JP4384564B2 - 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム - Google Patents

映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム Download PDF

Info

Publication number
JP4384564B2
JP4384564B2 JP2004205596A JP2004205596A JP4384564B2 JP 4384564 B2 JP4384564 B2 JP 4384564B2 JP 2004205596 A JP2004205596 A JP 2004205596A JP 2004205596 A JP2004205596 A JP 2004205596A JP 4384564 B2 JP4384564 B2 JP 4384564B2
Authority
JP
Japan
Prior art keywords
video
section
information
inter
frame difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004205596A
Other languages
English (en)
Other versions
JP2006033125A (ja
Inventor
英樹 住吉
雅規 佐野
正啓 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2004205596A priority Critical patent/JP4384564B2/ja
Publication of JP2006033125A publication Critical patent/JP2006033125A/ja
Application granted granted Critical
Publication of JP4384564B2 publication Critical patent/JP4384564B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムに係り、特に、映像中の所望する区間を高精度に検出するための映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムに関する。
従来、番組の中で用いられるスロー再生シーンは、番組制作者等が意図的にその部分を視聴者に詳しく見せるために用いることが多く、そのスロー映像とその事象が起こった元の映像部分は、ダイジェストや要約の候補となり、2次利用、3次利用されることが多い。また、スポーツ番組内容の記述やダイジェストの作成等においては、人手により注目する区間抽出してダイジェストの作成を行っているが、スポーツ番組は一般的に長時間となるため、その労力は大きなものとなっている
特に、スポーツ番組において、スロー再生映像として提示される映像は、注目される場面(イベント)が撮影された区間であるため、このスロー再生映像区間とその元となった映像区間を自動抽出することができれば、内容記述やダイジェスト作成に有効な情報となる。
このため、従来から幾つかの方法でスロー再生区間の抽出が行われている。例えば、MPEG(Moving Picture Experts Group)エンコードしたデータの動きベクトルの変化量や変化時間に注目したスロー区間を検出する手法がある(例えば、特許文献1参照。)。
また、スロー再生画像を含むリプレイシーンへの切り替えに用いられるDVE(Digital Video Effect)等の画像表現上の特殊効果を与える特殊効果装置を利用して、画面切り替え演出的な特徴部分からリプレイ区間を抽出する手法がある(例えば、非特許文献1参照。)。
特開2002−238030号公報 河合吉彦,馬場口登,北橋忠宏、「放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法」、電子情報通信学会論文誌、Vol.J84−D2 No.2 pp.432−435(2001.2).
しかしながら、上述の特許文献1に記載の技術では、処理する映像がMPEG方式によりエンコードされている必要があり、また再生中に速度が変化する演出が行われた場合にはスロー再生区間の検出が難しくなり処理が複雑になってしまう。
また、信号処理によって得られるスロー区間情報は、スロー区間の情報しか得られず、その始点、終点の値は誤差を含んだものとなってしまう。
また、実際の放送でのスロー再生は、前後に静止映像区間を伴う演出を行っているのが一般的であり、スロー区間を抽出してその区間だけを再生するようなダイジェストでは、映像的な繋がりがよくない等の問題がある。
また、上述の非特許文献1に記載の技術では、演出毎に変化する効果への対応や効果が行われなかった場合には検出できない等の問題がある。
本発明は、上述した問題点に鑑みなされたものであり、映像中からスロー映像区間を高精度に検出するための映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムを提供することを目的とする。
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
請求項1に記載された発明は、映像中からスロー再生区間の区間情報を検出するための映像区間検出装置において、前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成手段とを有することを特徴とする。
請求項1記載の発明によれば、映像中の所望する区間を高精度に検出することができる。
請求項2に記載された発明は、前記フレーム間差分抽出手段は、前記2枚の画像フレームにおける各画素の差の絶対値の総和を算出し、算出された値をフレーム間差分データとすることを特徴とする。
請求項2記載の発明によれば、2枚の画像フレームにおける各画素の差の絶対値の総和により算出されたフレーム間差分データを用いて映像中の所望する区間を高精度に検出することができる。
請求項3に記載された発明は、前記判定手段は、所定の帯域幅を有する信号を加算することにより得られる高周波成分が前記閾値以上の区間である場合にスロー再生区間と判定することを特徴とする。
請求項3記載の発明によれば、スロー再生速度が再生中に変化した場合においても、ピークの周波数が変化するだけでは、加算結果への影響が少なくなり、処理手法やパラメータを変化させずに、スロー再生速度が変化しても区間を高精度に検出することができる。
請求項4に記載された発明は、前記判定手段により得られたスロー再生区間の時刻情報により、前記スロー再生区間のフレーム間差分情報において変化量の極めて小さいフレーム間差分情報を取り除いた変化パターンを生成し、生成した変化パターンに基づいて探索用テンプレートを生成するテンプレート生成手段を有することを特徴とする。
請求項4記載の発明によれば、生成したテンプレートを用いてスロー再生シーンに用いられた元の映像を容易に取得することができる。
請求項5に記載された発明は、前記テンプレート生成手段により得られるテンプレートに基づいて、前記映像中に含まれるスロー再生区間に対応する前記映像中に含まれるオリジナル映像の区間情報を抽出する区間比較手段を有することを特徴とする。
請求項5記載の発明によれば、テンプレートを用いて映像中に含まれるスロー再生区間に対応するオリジナル映像の区間情報を高精度に抽出することができる。
請求項6に記載された発明は、前記区間比較手段により得られる前記オリジナル映像の区間情報を、前記区間情報生成手段により得られる区間情報に付加する区間情報付加手段を有することを特徴とする。
請求項6記載の発明によれば、オリジナル映像の区間を把握することにより、付加価値の高い高精度な番組を制作することができる。
請求項7に記載された発明は、映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて映像を制作するための映像制作装置において、前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成手段と、前記区間情報生成手段により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生手段とを有することを特徴とする。
請求項7記載の発明によれば、映像中の所望する区間を高精度に検出することができる。また、ダイジェスト映像等の制作や番組内容の記述に必要となる労力を削減し、区間情報に基づいて付加価値の高い高精度な番組を制作することができる。
請求項8に記載された発明は、映像中からスロー再生区間の区間情報を検出する映像区間検出プログラムにおいて、コンピュータに、前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理、及び、前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成処理を実行させる。
請求項8記載の発明によれば、映像中の所望する区間を高精度に検出することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像区間検出を実現することができる。また、プログラムをインストールすることにより、容易に映像区間検出を実現することができる。
請求項9に記載された発明は、映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて、映像を制作する映像制作プログラムにおいて、コンピュータに、前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成処理、及び、前記区間情報生成処理により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生処理をコンピュータに実行させる。
請求項9記載の発明によれば、映像中の所望する区間を高精度に検出することができる。また、ダイジェスト映像等の制作や番組内容の記述に必要となる労力を削減し、区間情報に基づいて付加価値の高い高精度な番組を制作することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像制作を実現することができる。また、プログラムをインストールすることにより、容易に映像制作を実現することができる。
本発明によれば、映像中の所望する区間を高精度に検出することができる。また、検出した区間情報に基づいて付加価値の高い高精度な番組を制作することができる。
<本発明の概要>
本発明は、例えば、サッカー中継等におけるスポーツ中継番組内のスロー再生区間を自動的に抽出し、他の装置により検出されたカット分割区間との照合を行うことで、スロー再生を含む映像区間(カットの単位)を決定する。
サッカー等動きの速いスポーツのテレビ中継においては、重要な場面(シュート、ゴール、ファール等)で、選手の動きやプレイの様子をわかりやすく見せるために、VTR(Video Tape Recorder)等を用いたスロー映像の再生が番組の間で行われる。したがって、このスロー再生区間を見つけ出すことは、スポーツ番組内の重要な場面を見つけることになる。
本発明は、スロー映像再生区間を含む映像信号(フレームもしくはフィールドの集合)ではフレーム間(もしくはフィールド間)の差分の絶対値が周期的に低下する特徴を利用し、フレーム間の差分情報を時間軸方向に並べた1次元のデータ列に変換した後、FFT(Fast Fourier Transform)やDFT(Discrete Fourier Transform)等の処理により周波数軸への変換を行い、その結果得られた周波数成分データの中から、高域周波数に一定以上の情報量を持つもの、つまり、短時間に差分データが大きく変動している区間を抽出することによりスロー再生区間を判断する。
そして、その区間情報を他の装置により切り出したカット変更点情報等と照合し、スロー再生映像を含む映像区間の情報を高精度に検出する。また、抽出したスロー映像の区間情報を蓄積しておき、連続的に再生する装置により試合のダイジェスト番組等の制作を行うことができる。
ここで、本発明におけるスロー再生について説明する。一般的に、スロー再生は映像の再生時間を引き延ばす処理であり、例えば、図1に示すような映像フレームの構成となる。図1は、スロー再生におけるフレーム構成の一例を示す図である。
図1に示すように、スロー再生時には、予め設定されたスロー再生速度に合わせて、同一のフレームを複数枚連続して挿入することにより実現される。
例えば、スロー再生速度が通常再生時の2分の1(以下、本明細書中において分数を「1/2」等と表記する。)で再生させる場合には、同じ画像を2フレーム連続して出力させることで、1/2のスロー再生を可能にしている。なお、図1では、フレーム#1,#2,#3とそれぞれ同一のフレーム#1’,#2’,#3’が対応するフレームの直後に挿入されている。
ここで、スロー再生中の連続する2フレームの画素間の差の絶対値の総和、すなわち、2フレーム間の画像の違いを求めると、スロー再生区間中の同一の画像が連続する2フレーム間においては、この差が理論上“0”になる。実際には、ノイズやレベル変動等の影響により“0”にはならないものの、他の区間に比べ非常に小さな値をとる。
このフレーム間の差分情報を時間軸上の1次元の信号として捕らえると、図2に示すようになる。図2は、フレーム間の差分情報の一例を示す図である。なお、図2において、横軸は時間を示し、縦軸は時間に対応したフレーム間の差分の絶対値の総和を示している。
図2に示すように、速度が通常の1/2のスロー再生区間では、違いのあるフレームとほとんど違いの無いフレームが交互に現れ、このデータを時間軸上に並べた場合、スロー再生区間では差分情報が大きく変動する信号として現れる。このように、速度が通常の1/2のデータ列は、例えば音声のような1次元のアナログ信号波形をサンプリングしたときと同様のデータ列となる。
また、差分情報変化のデータ列を1次元信号とし、信号に含まれる周波数成分に注目すると、スロー再生時には通常の映像区間に比較して高域の周波数成分が多く含まれるということができる。
本発明では、この特徴に注目してスロー再生と想定される映像区間を抽出するために、あるフレームから差分データを一定個(2のべき乗)取り出して1次元FFT処理等を行い周波数軸に変換する。
ここで、フレーム間差分情報のFFT処理について、図を用いて説明する。図3は、フレーム間差分情報のFFT処理結果の一例を示す図である。図3に示すように、スロー再生区間では、高周波帯域に成分の集中する特性となる。したがって、本発明では、高周波成分が予め設定された閾値以上の区間の場合にスロー再生区間と判定する。
なお、上述したように高周波成分が閾値以上の区間の場合にスロー再生区間と判定するが、特定の周波数の値だけではなく、所定の帯域幅を有する信号を加算した値を基準に判定してもよい。例えば、図3に示す点線枠で囲まれる領域の和をフレームにおけるスロー再生信頼度とし、その信頼度を基準にスロー再生区間の判定を行う。
これにより、例えばスロー再生速度が再生中に変化した場合において、ピークの周波数が変化するだけでは加算結果への影響が少なくなるため、処理手法やパラメータを変化させずに、スロー再生速度が変化しても区間の検出が可能となる。
なお、本発明においては、通常再生の映像がスロー再生区間として判定されてしまう場合として、例えば画面内の広い範囲にわたり短い周期で動いては止まる動作を繰り返している映像が考えられるが、通常の撮影においてはそのような被写体はほとんど現れないため誤検出が少ないといえる。
また、例えば抽出されたスロー再生区間の時刻情報を用いて、その区間のフレーム間差分情報から静止部分と推定される変化量の極めて小さいフレーム間差分情報を取り除いた変化パターン(通常再生速度でのフレーム間差分情報に相当)に基づいて探索用テンプレートを生成し、生成された探索用テンプレートを利用して、スロー再生の元となったオリジナル映像の区間を探索して、スロー再生区間との対応付けを行うことにより、映像中の所望する区間を高精度に検出することができる。これにより、ハイライトシーンやダイジェスト版の番組の生成に利用することで、付加価値の高い高精度な番組を制作することができる。
<実施形態>
以下に、本発明における映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
<実施例1:スロー映像区間検出>
図4は、本発明における映像区間検出装置の第1の実施例を示す図である。図4に示す映像区間検出装置10は、フレーム間差分抽出手段11と、FFT処理手段(変換手段)12と、高周波数領域加算手段13と、判定手段14と、区間情報生成手段15と、スロー区間情報蓄積手段16とを有するよう構成されている。
フレーム間差分抽出手段11は、入力となる映像(フレームデータ)からフレーム間の差分情報を取得する。具体的には、フレーム間差分抽出手段11は、入力となる映像データから、あるフレームとその次のフレームの2フレームの画像データを取り出し、2枚のフレームの画像間における各画素の差の絶対値の総和を算出して、算出されたフレーム間差分データを出力する。なお、フレーム間差分抽出手段11は、フレーム間差分の算出を処理対象となる映像データの全フレームに対して行う。
ここで、算出されたフレーム間差分データは、高速度撮影装置等の特殊なスロー再生装置を用いない通常のスロー再生区間において、例えば再生速度が1/2の場合に同じ画像が2回現れるため、その2フレーム間において差分情報の総和は、理論上“0”になる。実際には、ノイズやレベル変動等に影響により“0”にはならないが、前後のフレーム間に比べ非常に小さな値をとり、上述の図2に示すようなデータ列となる。
次に、FFT処理手段12は、フレーム間差分データを入力して差分情報の周波数軸変換を行う。具体的に説明すると、フレーム間差分情報を時間軸上のデータ列としてみる場合、スロー再生区間は上述の図2に示すようにサンプリング周波数の半分の周波数成分を持つ1次元の信号をサンプリングしたときのデータ列とほぼ同様の形態となる。
ここで、例えば、フレーム単位で差分情報を得ている場合は、フレーム間差分情報のデータ周期は30Hzとなり、得られたデータは30Hzのサンプリング周波数でサンプリングした1次元データとみなすことができる。
ここで、上述の内容について図を用いて説明する。図5は、フレーム間差分データをサンプルデータとした場合の入力信号の一例を示す図である。一般に映像中のフレームは一秒間に30枚表示されているため、フレームの差分データの出力間隔は1/30sec毎となる。したがって、図5に示すようなフレーム間差分データをサンプルデータとした入力信号の再生速度1/2の場合の波形は、15Hzの信号とみなすことができる。
また、図6は、再生速度が異なる場合の波形の一例を示す図である。なお、図6(a)は、再生速度が通常速度の1/3の場合のフレーム間差分データの一例を示し、図6(b)は、再生速度が通常速度の2/3の場合のフレーム間差分データの一例を示している。
ここで、再生速度が通常速度の1/3の場合は、図6(a)に示すパターンとなるため10Hzの周波数の信号とみなすことができ、また再生速度が通常速度の2/3の場合は、図6(b)に示すパターンとなる。つまり、パターンは異なるが山と谷の数1/3スローと同じになり、10Hzの周波数の信号とみなすことができる。
このように、差分情報を周波数軸で見た場合、スロー再生時には特定の周波数成分(サンプリング周波数と比較して高域成分)が一定時間続くことになる。FFT処理手段12は、フレーム間差分データの注目するフレームからnフレーム(n:2のべき乗個)のデータを入力としてFFTを行い、周波数軸上のデータに変換し、変換したデータを高周波数領域加算手段13に出力する。
高周波数領域加算手段13は、入力したデータから高域成分の抽出を行う。具体的に説明すると、スロー再生速度が一定の場合、理論的には10Hzや15Hzといった限られた周波数にピークを発生するが、現実的にはある領域の周波数内に分布することになる。これはスロー再生のスピードが変化していたり、元となる映像にノイズ等が含まれている場合があるからである。
そこで、高周波数領域加算手段13は、このようなノイズの除去やスロー再生速度の変化に対応するため、高域成分の加算による平均化を行う。つまり、上述した図3にしめしたように、フレーム間差分情報のFFT結果の中から高域となる一定の帯域のデータを高周波数領域加算手段13で加算し、ノイズの平均化を行う。更に、高周波数領域加算手段13は、スロー再生速度の変化によりばらつきが生じるデータを加算することで平均化する。この加算値をフレームにおけるスロー再生信頼度データとする。
このように、高域成分の加算による平均化を行うことで、所望する映像の抽出精度を向上することができる。また、高周波数領域加算手段13は、スロー再生信頼度データを判定手段14に出力する。
判定手段14は、高周波数領域加算手段13から得られるスロー再生信頼度データに基づいてスロー再生区間の判定を行う。具体的に説明すると、判定手段14は、高周波数領域加算手段13により得られたスロー再生信頼度データが一定の閾値以上の値を取る部分をスロー再生区間の候補データとする。
ここで、区間の判定には、例えば、スロー再生が一定の秒数(例えば、2秒以上等)で表示されることが多い特徴を利用して、継続時間が設定した秒数(例えば、1秒等)以下の信号領域は破棄する。また、ノイズ等に対応するため、設定した一定秒数(例えば、1秒等)以内で途切れた場合には継続と判断し、スロー再生区間の候補をフレーム番号や時間情報等からなる区間候補情報を出力する。ここで、区間候補情報の出力例について図を用いて説明する。
図7は、区間候補情報の一例を示す図である。図7に示すように、判定手段14から出力される区間候補情報は、開始から終了までの時間情報及びフレーム番組が付与されて出力される。
例えば、図7では、「start 00:00:05:02 durarion 00:00:11:29」の区間候補情報により、スロー再生区間の区間候補は開始位置が番組の先頭から0時0分5秒時の2フレーム目であり、継続時間が11秒29フレームであることを示している。
ここで、判定手段14によるスロー再生区間の判定においては、FFT処理を行うためのデータとして差分情報から複数のフレーム取り出すための窓を設定するが、この窓には幅があるため、特定の周波数帯域の盛り上がり部分は実際のスロー区間開始点より前から得られてしまう。そこで、オフセットを窓の半分の幅として設定することで開始点時刻の精度を高めることができる。例えば、64フレームをサンプルの窓として設定した場合、注目点は1フレーム目であるが、中央の点32サンプル目を開始点とする。また、FFT処理を行う際に注目するフレームの前後からサンプルデータを収集する方法を用いることもできる。
区間情報生成手段15は、入力される区間候補情報から区間の決定を行う。具体的に説明すると、判定手段14により得られたスロー再生区間候補情報には、演出上スロー再生の前後に付加されるストップモーション区間が含まれない。また、ノイズの影響による誤差のためにスロー再生が行われている区間全域を検出しているわけではない。
そこで、区間情報生成手段15は、上述にて得られる区間候補情報と、外部からの映像解析等により得られる映像区間情報、例えば、映像の色変化等による区間分割処理等で得られた区間情報(カット分割区間等)との照合を行う。ここで、上述の内容について図を用いて説明する。
図8は、スロー区間候補からスロー映像区間を決定する一例を示す図である。区間情報生成手段15は、図8に示すようにスロー再生区間が含まれる一続きの映像区間(映像の切り替わり(カット点))を区間情報の対応関係から求める。
例えば、図8(a)に示すように1つのカット内にスロー区間候補情報が含まれている場合は、その映像区間のカット点(カット2)をスロー映像区間情報(Tin〜Tout)として決定し、スロー区間情報蓄積手段16に出力する。
また、図8(b)に示すように複数のカットにまたがってスロー再生判定区間と対応した場合、時間的な重複が大きい方の映像区間のカット点(カット2)をスロー映像区間情報(Tin〜Tout)として決定し、スロー区間情報蓄積手段16に出力する。
なお、スロー区間候補が複数のカットにまたがる場合には、複数のカットを出力してもよく、予め設定されたカット(前半、後半、最初のカットから3カット分まで等)を映像区間として出力してもよい。
スロー区間情報蓄積装置16は、区間情報生成手段15により得られるスロー映像区間情報を蓄積する。上述したように、本実施形態によれば、映像中の所望する区間を高精度に検出することができる。また、スロー区間情報蓄積装置16に蓄積された映像を用いて、ダイジェスト版等の番組を高精度に制作することができる。
<実施例2:オリジナル区間検出>
次に、本発明における実施例2として、スロー映像から元の映像区間(オリジナル区間)の検出を行うための映像区間検出装置について、図を用いて説明する。
図9は、本発明における映像区間検出装置の第2の実施例を示す図である。図9に示す映像区間検出装置20は、スロー区間情報蓄積手段16と、探索テンプレート生成手段21と、指定区間データ取得手段22と、区間比較手段23と、区間情報生成手段24と、オリジナル区間情報付加手段25とを有するよう構成されている。なお、実施例2においては、すでにスロー区間情報蓄積手段16に上述したスロー再生区間のデータが蓄積されているものとする。図9では、そのスロー再生区間として得られた情報から、そのスロー再生の元となった映像区間を検出する。
探索テンプレート生成手段21は、フレーム間差分データ及びスロー区間情報蓄積手段16に蓄積されているスロー映像を入力し、入力したフレーム間差分データ及びスロー映像に基づいて、オリジナル映像を検出するための探索テンプレートを生成する。なお、図9に示すフレーム間差分データは、図4に示したフレーム間差分抽出手段11の出力である。探索テンプレート生成手段21は、作成した探索テンプレートを区間比較手段23に出力する。
また、指定区間データ取得手段22は、フレーム間差分データを入力し、予め設定される指定区間のデータを取得する。また、指定区間データ取得手段22は、取得したデータを区間比較手段23に出力する。
区間取得装置23は、探索テンプレート生成手段21により得られるテンプレートと、指定区間データ取得手段22により得られる区間データとの比較を行い、抽出されたオリジナル映像候補となる区間情報を区間情報生成手段24に出力する。
区間情報生成手段24は、図4に示す区間情報生成手段15と同様に、外部からの映像解析等により得られる映像区間情報、例えば、映像の色変化等による区間分割処理等で得られた区間情報を入力し、区間比較手段23により得られるオリジナル映像候補区間との照合を行う。
また、区間情報生成手段24は、照合により抽出されたオリジナル映像区間情報を出力する。オリジナル区間情報付加手段25は、オリジナル映像区間情報を入力し、スロー区間情報にオリジナル区間情報を付加する。また、オリジナル区間情報付加手段25は、付加したスロー区間情報をスロー区間情報蓄積手段16に出力する。
これにより、スロー再生情報にオリジナル映像を付加させることができる。また、この情報を用いて高精度な番組の制作を行うことができる。
ここで、オリジナル区間検出処理手順について具体的に図を用いて説明する。図10は、オリジナル区間検出処理内容について説明するための一例の図である。ここで、図10(a)は、探索するオリジナル映像区間である。
まず、スロー区間候補として得られた区間のフレーム番号から元となるフレーム間差分映像のデータを取得する(図10(b))。また、該当部分のうち差分データが極めて小さいフレームの情報を削除する。つまり、静止画として再生されたフレームの信号を削除することで、通常速度で再生したフレーム間差分データを作成する。残ったフレーム間差分データを連続させオリジナル区間検出用テンプレートを生成する(図10(c))。このデータをスロー再生された時間から遡って番組のフレーム間差分映像と一致する区間を探索し、スロー区間の元となる映像区間の時間情報を取得する(図10(d))。
なお、このときにも上述したように他の手法により分割した映像区間との対応を取ることで不必要なカットの細切れを防ぐことができる。
ここで、オリジナル区間検出処理により検出したオリジナル区間情報について図を用いて説明する。図11は、オリジナル区間検出処理により検出したオリジナル区間情報の一例を示す図である。図11に示すスロー検出データのうち、下線で示す「start 00:10:33:12 durarion 00:00:13:04 org_start 00:09:50:15 orgduration 00:00:08:22」の区間情報は、開始位置が番組の先頭から0時10分33秒12フレーム目であり、経過時間が13秒4フレームであることを示している。
また、このスロー検出データに対応するオリジナル映像の区間は、開始位置が番組の先頭から0時9分50秒15フレーム目であり、経過時間が8秒22フレームであることを示している。
図11のように、スロー区間情報にオリジナル映像の情報を付加することにより、ダイジェスト版等の番組を高精度に制作することができる。
<実施例3:映像制作装置>
更に、上述した映像区間検出装置を用いて、例えばダイジェスト番組等の高精度な番組を制作し、視聴者に表示するための映像制作装置について、図を用いて説明する。
図12は、本発明における映像制作装置の一構成例を示す図である。図12に示す映像制作装置30は、区間指定映像再生手段31と、表示手段32とを有するよう構成されている。
区間指定映像再生手段31は、番組映像データと、その映像データに対応して上述した処理により検出されたスロー映像区間情報を入力し、予め設定される区間指定映像再生処理に基づいてダイジェスト番組を生成し、表示手段32に出力する。
表示手段32は、区間指定映像再生手段31から入力されたダイジェスト番組を表示する。これにより、視聴者が所望する番組を容易に生成することができ、視聴者に提供(表示)することができる。
ここで、区間指定映像再生手段31について具体的に説明すると、例えば上述した映像区間の検出により蓄積されたスロー再生区間の時刻情報及びオリジナル映像区間を、図12に示す映像制作装置30により実行されるプログラムを呼び出し、順次再生することで試合のダイジェストを再生することができる。例えば、オリジナル区間が抽出できている場合には、オリジナル区間、スロー区間の順で再生することで、より効果的なダイジェストとすることができる。
上述したように、本発明における映像区間検出装置、映像制作装置により、映像中の所望する区間を高精度に検出することができ、付加価値の高い高精度な番組を効率的に制作し、視聴者に提供することができる。
ここで、上述した映像区間検出装置、及び映像制作装置は、上述した専用の装置構成により本発明における映像区間検出及び映像制作を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における映像区間検出、映像制作を実現することができる。
<ハードウェア構成>
ここで、本発明における映像区間検出及び映像制作が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図13は、本発明における映像区間検出、映像制作が実現可能なハードウェア構成の一例を示す図である。
図13におけるコンピュータ本体には、入力装置41と、出力装置42と、ドライブ装置43と、補助記憶装置44と、メモリ装置45と、各種制御を行うCPU(Central Processing Unit)46と、ネットワーク接続装置47とを有するよう構成されており、これらはシステムバスBで相互に接続されている。
入力装置41は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置42は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU46が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、CD−ROM等の記録媒体48等により提供される。プログラムを記録した記録媒体48は、ドライブ装置43にセット可能であり、記録媒体48に含まれる実行プログラムが、記録媒体48からドライブ装置43を介して補助記憶装置44にインストールされる。
補助記憶装置44は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
CPU46は、OS(Operating System)等の制御プログラム、及びメモリ装置45により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、映像区間検出、映像制作における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置44から取得することができ、また格納することもできる。
ネットワーク接続装置47は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで映像区間検出、映像制作を実現することができる。また、プログラムをインストールすることにより、容易に映像区間検出、映像制作を実現することができる。次に、実行プログラムにおける処理手順についてフローチャートを用いて説明する。
<映像区間検出処理>
図14は、本発明における映像区間検出処理手順を示す一例のフローチャートである。まず、映像中の所定のフレームの画像データを取り出す(S01)。また、画像データを取り出したフレームの次のフレームの画像データを取り出す(S02)。
次に、2フレーム間の各画素の差の絶対値の総和を計算し、フレーム間の差分データを出力する(S03)。ここで、映像中の全フレームについて、上述の処理が終了したかを判断する(S04)。映像中の全フレームにおいて処理が終了していない場合(S04において、NO)は、フレームを1フレーム移動してS01以降の処理を行う。つまり、映像中の全フレームにおけるフレーム間差分データを出力するまでS01〜S03までの処理を繰り返し行う。
また、映像中の全フレームにおいて処理が終了した場合(S04において、YES)、フレーム間差分データを入力し、FFT処理を行う(S05)。次に、FFT処理されたフレーム間差分データの高周波領域の加算を行い(S06)、加算されたスロー再生信頼度データを保存する。
次に、保存された信頼度データを読み込み(S07)、高周波領域の成分が予め設定された閾値以上であるかを判断する(S08)。ここで、高周波成分が閾値以上でない場合(S08において、NO)、次の信頼度データを読み込みS08の処理を行う。
また、高周波成分が閾値以上である場合(S08において、YES)、閾値以上の高周波成分が予め設定された時間中に途切れていないか(“断”になっていないか)が判断する(S09)。途切れている場合(S09において、NO)、次の信頼度データを読み込みS08以降の処理を行う。また、設定された時間中に高周波成分が閾値以上である場合(S09において、YES)、予め設定された時間分に対して閾値以上の状態が継続しているかを判断する(S10)。
ここで、高周波成分が設定された時間分に対して閾値以上の状態が継続していない場合(S10において、NO)、次の信頼度データを読み込みS08以降の処理を行う。
また、高周波成分が設定された時間分に対して閾値以上の状態が継続している場合(S10において、YES)、スロー再生区間候補情報を出力する。
次に、スロー再生の区間候補情報と映像の区間情報等とに基づいて、区間の重なっている部分を判定しスロー再生映像区間情報を出力する(S11)。
次に、全データにおいてS11までの処理が終了したかを判断する(S12)。ここで、全データについて処理が終了していない場合(S12において、NO)、次の信頼度データを読み込みS08以降の処理を行う。
また、全データについてS11までの処理が終了している場合は、オリジナル区間を検出するかを判断する(S13)。オリジナル区間を検出しない場合(S13において、NO)映像区間検出処理を終了する。
また、オリジナル区間を検出する場合(S13において、YES)、まず探索用のテンプレートを生成する(S14)。次に、S14にて生成したテンプレートと元の映像(オリジナル映像)とを比較してスロー再生に対応するオリジナル映像部分を検出する(S15)。
更に、S11の処理により得られたスロー再生映像区間情報にオリジナル区間情報を付加し、スロー再生映像区間情報を出力して処理を終了する(S16)。
これにより、映像中の所望する区間を高精度に検出することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像区間検出を実現することができる。また、プログラムをインストールすることにより、容易に映像区間検出を実現することができる。
<映像制作処理>
次に、映像制作処理手順について、フローチャートを用いて説明する。図15は、本発明における映像制作処理手順を示す一例のフローチャートである。まず、上述した映像区間検出処理(S01〜S12又はS16)によりスロー再生区間情報を出力する(S21)。
次に、元の映像を入力し(S22)、予め指定される区間に基づいて映像を抽出することで新たなダイジェスト版等の番組映像を制作する(S23)。また、制作された映像を表示する(S24)。これにより、区間情報に基づいて付加価値の高い高精度な番組を制作し、視聴者に提供することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像制作を実現することができる。また、プログラムをインストールすることにより、容易に映像制作を実現することができる。
上述したように本発明によれば、映像中の所望する区間を高精度に検出することができる。具体的には、フレーム間信号(RGB値、YC値等)の差分絶対値の総和と1次元FFTやDFT等の単純な計算処理により、高精度にスロー再生の候補区間を得ることができる。
また、スロー再生区間の判定処理には次のような効果がある。まず、入力映像の形式は問わず、フレーム、もしくはフィールドを単位とするデジタル化データがあれば処理可能である。また、フレーム間差分データに対する周波数軸上での処理のため、ノイズやピンボケのある画像、低解像度の画像等においても有効な検出が可能になる。また、計算コストが極めて低い簡易な手法を用いるため、フレーム間差分の計算、1次元FFT(DFT)等による計算ともリアルタイム(1/30秒以下)で処理可能であるので、最大遅延はFFTに必要な窓分だけで、実時間処理も可能である。
更に、ある帯域の周波数成分の量にのみ注目してスロー再生区間を識別しており、スロー再生区間中に再生速度が変化しても処理手法やパラメータを変化することなくスロー再生区間の抽出が可能である。また、上述の映像区間検出により付加価値の高い高精度な番組制作を実現することができる。
なお、本発明は、ダイジェスト視聴や放送番組制作、放送番組視聴補助等の技術に適用することができる。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
スロー再生におけるフレーム構成の一例を示す図である。 フレーム間の差分情報の一例を示す図である。 フレーム間差分情報のFFT処理結果の一例を示す図である。 本発明における映像区間検出装置の第1の実施例を示す図である。 フレーム間差分データをサンプルデータとした場合の入力信号の一例を示す図である。 再生速度が異なる場合の波形の一例を示す図である。 区間候補情報の一例を示す図である。 スロー区間候補からスロー映像区間を決定する一例を示す図である。 本発明における映像区間検出装置の第2の実施例を示す図である。 オリジナル区間検出処理内容について説明するための一例の図である。 オリジナル区間検出処理により検出したオリジナル区間情報の一例を示す図である。 本発明における映像制作装置の一構成例を示す図である。 本発明における映像区間検出、映像制作が実現可能なハードウェア構成の一例を示す図である。 本発明における映像区間検出処理手順を示す一例のフローチャートである。 本発明における映像制作処理手順を示す一例のフローチャートである。
符号の説明
10,20 映像区間検出装置
11 フレーム間差分抽出手段
12 FFT処理手段
13 高周波数領域加算手段
14 判定手段
15 区間情報生成手段
16 スロー区間情報蓄積手段
21 探索テンプレート生成手段
22 指定区間データ取得手段
23 区間比較手段
24 区間情報生成手段
25 オリジナル区間情報付加手段
30 映像制作装置
31 区間指定映像再生手段
32 表示手段
41 入力装置
42 出力装置
43 ドライブ装置
44 補助記憶装置
45 メモリ装置
46 CPU
47 ネットワーク接続装置
48 記録媒体

Claims (9)

  1. 映像中からスロー再生区間の区間情報を検出するための映像区間検出装置において、
    前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、
    前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、
    前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、
    前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、
    前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成手段とを有することを特徴とする映像区間検出装置。
  2. 前記フレーム間差分抽出手段は、
    前記2枚の画像フレームにおける各画素の差の絶対値の総和を算出し、算出された値をフレーム間差分データとすることを特徴とする請求項1に記載の映像区間検出装置。
  3. 前記判定手段は、
    所定の帯域幅を有する信号を加算することにより得られる高周波成分が前記閾値以上の区間である場合にスロー再生区間と判定することを特徴とする請求項1又は2に記載の映像区間検出装置。
  4. 前記判定手段により得られたスロー再生区間の時刻情報により、前記スロー再生区間のフレーム間差分情報において変化量の極めて小さいフレーム間差分情報を取り除いた変化パターンを生成し、生成した変化パターンに基づいて探索用テンプレートを生成するテンプレート生成手段を有することを特徴とする請求項1乃至3の何れか1項に記載の映像区間検出装置。
  5. 前記テンプレート生成手段により得られるテンプレートに基づいて、前記映像中に含まれるスロー再生区間に対応する前記映像中に含まれるオリジナル映像の区間情報を抽出する区間比較手段を有することを特徴とする請求項4に記載の映像区間検出装置。
  6. 前記区間比較手段により得られる前記オリジナル映像の区間情報を、前記区間情報生成手段により得られる区間情報に付加する区間情報付加手段を有することを特徴とする請求項5に記載の映像区間検出装置。
  7. 映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて映像を制作するための映像制作装置において、
    前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、
    前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、
    前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、
    前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、
    前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成手段と、
    前記区間情報生成手段により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生手段とを有することを特徴とする映像制作装置。
  8. 映像中からスロー再生区間の区間情報を検出する映像区間検出プログラムにおいて、
    コンピュータに、
    前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理
    前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理
    前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理
    前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理、及び、
    前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成処理を実行させるための映像区間検出プログラム。
  9. 映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて、映像を制作する映像制作プログラムにおいて、
    コンピュータに、
    前記映像中に含まれる連続する2枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理
    前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理
    前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理
    前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理
    前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成処理、及び、
    前記区間情報生成処理により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生処理をコンピュータに実行させるための映像制作プログラム。
JP2004205596A 2004-07-13 2004-07-13 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム Expired - Fee Related JP4384564B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004205596A JP4384564B2 (ja) 2004-07-13 2004-07-13 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004205596A JP4384564B2 (ja) 2004-07-13 2004-07-13 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム

Publications (2)

Publication Number Publication Date
JP2006033125A JP2006033125A (ja) 2006-02-02
JP4384564B2 true JP4384564B2 (ja) 2009-12-16

Family

ID=35898986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004205596A Expired - Fee Related JP4384564B2 (ja) 2004-07-13 2004-07-13 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム

Country Status (1)

Country Link
JP (1) JP4384564B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4647551B2 (ja) * 2006-06-13 2011-03-09 株式会社エヌ・ティ・ティ・データ スロー再生区間検出装置、スロー再生区間検出方法およびプログラム
CN101542481A (zh) * 2006-11-14 2009-09-23 皇家飞利浦电子股份有限公司 用于检测慢动作的方法和设备

Also Published As

Publication number Publication date
JP2006033125A (ja) 2006-02-02

Similar Documents

Publication Publication Date Title
JP4166707B2 (ja) 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム
US9226028B2 (en) Method and system for altering the presentation of broadcast content
JP4615166B2 (ja) 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
US8233769B2 (en) Content data processing device, content data processing method, program, and recording/ playing device
US7941031B2 (en) Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program
JP4546682B2 (ja) 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
US8290345B2 (en) Digest generation for television broadcast program
US7366401B2 (en) Video summary play apparatus and method
US20080044085A1 (en) Method and apparatus for playing back video, and computer program product
US7149365B2 (en) Image information summary apparatus, image information summary method and image information summary processing program
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
US9020327B2 (en) Method and system for altering the presentation of recorded content
JP4292627B2 (ja) 動画像記録再生装置および方法、並びに記録媒体
JP4432823B2 (ja) 特定条件区間検出装置および特定条件区間検出方法
US8693847B2 (en) Contents processing apparatus and method
JP4702577B2 (ja) コンテンツ再生順序決定システムと、その方法及びプログラム
JP4384564B2 (ja) 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム
KR20060102639A (ko) 동영상 재생 시스템 및 방법
JP4424273B2 (ja) 情報処理装置および方法、並びにプログラム
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
JP4519074B2 (ja) 映像蓄積再生装置
JP2007049421A (ja) 情報処理装置および方法、並びにプログラム
JP2006303868A (ja) 信号属性判定装置、信号属性判定方法、情報信号記録装置、情報信号記録方法、情報信号再生装置、情報信号再生方法、情報信号記録再生装置および情報信号記録再生方法並びに記録媒体
JP2000175133A (ja) 情報記録再生装置および方法、並びに提供媒体
JP2006018972A (ja) メタデータ生成装置及びメタデータ生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees