JP3800588B2 - 要約映像表示装置および要約映像表示方法 - Google Patents
要約映像表示装置および要約映像表示方法 Download PDFInfo
- Publication number
- JP3800588B2 JP3800588B2 JP2001048240A JP2001048240A JP3800588B2 JP 3800588 B2 JP3800588 B2 JP 3800588B2 JP 2001048240 A JP2001048240 A JP 2001048240A JP 2001048240 A JP2001048240 A JP 2001048240A JP 3800588 B2 JP3800588 B2 JP 3800588B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- reduced
- videos
- displayed
- summary video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、必要な映像に対して要約映像を生成し、これを表示する要約映像表示装置およびその方法に関するものである。
【０００２】
【従来の技術】
従来より、大容量の映像をすべて閲覧しなくても、短時間で映像の内容を確認できるようにするために、映像に対する要約映像を生成し表示することが行われている。そして、ユーザーは表示された要約映像を閲覧し、映像の内容確認をしている。
【０００３】
この種の要約映像を生成する方法としては、例えば特開２０００−１７５１４９号公報に開示されたものがある。以下、図６を用いて、このような要約映像を表示する要約映像表示装置について説明する。図６は、従来の要約映像表示装置の構成を示す図である。
【０００４】
図６において、映像入力手段６０１から入力された映像フレームは映像一時格納手段６０２に格納される。カット点検出手段６０３は、映像一時格納手段６０２により格納された連続するフレームの特徴量を抽出し、映像の編集カット点を検出する。そして、カット点検出手段６０３は、検出した編集カット点および編集カット点のフレーム映像を編集カット点映像格納手段６０４に格納する。
【０００５】
そして、要約映像生成手段６０５が、映像一時格納手段６０２と、編集カット点映像格納手段６０４を参照し、編集カット点映像格納手段６０４に保持されている編集カット点とその次の編集カット点までの映像フレームの集合であるカット映像を抽出し、このカット映像から一定の割合で、又は任意にフレームを抽出しこれを要約映像とする。
【０００６】
そして、表示手段６０６が、このようにして生成された複数の要約映像を１つづつ順次表示する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記構成は、表示手段６０６に同時に表示される要約映像が１画面のみである。このため、大容量の入力映像が入力された際に、この入力映像から非常に多数の編集カット点が検出され、大量の要約映像が生成された場合には、全ての要約映像が表示されるまでには、非常に長い時間を要することになる。これにより、ユーザーがこのような要約映像の閲覧を行う場合には、非常に長い時間を有するという問題点がある。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、大容量の入力映像の内容に該当する要約映像を高速で閲覧できる要約映像表示装置およびその方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、入力画像から複数の編集カット点が検出され、複数の要約映像が生成された場合に、複数の要約映像を縮小し、縮小した複数の要約映像のうち少なくとも２つ以上を合成し同一画面上に表示するようにしたものである。
【００１０】
これにより、複数の要約映像が同時に表示手段に表示される。この結果、ユーザーが同時に複数の要約映像を閲覧できるので、入力映像の内容確認の高速化が図れる。
【００１１】
【発明の実施の形態】
本発明の第１の態様にかかる要約映像表示装置は、入力映像から編集カット点を検出するカット点検出手段と、検出された前記編集カット点を用いて要約映像を生成する要約映像生成手段と、前記入力画像から複数の要約映像が生成された場合に、前記複数の要約映像を縮小し複数の縮小要約映像を生成し、前記複数の縮小要約映像のうち少なくとも２つ以上の前記縮小要約映像を合成し同一画面上に表示する要約映像合成手段と、を具備する要約映像表示装置であって、前記要約映像合成手段は、前記同一画面上に表示された前記複数の縮小要約映像から１以上の前記縮小要約映像が選択された場合に、前記選択された縮小要約映像を拡大すると共に前記選択された縮小要約映像以外の縮小要約映像をさらに縮小し、前記拡大した縮小要約映像と共に合成し前記同一画面上に表示する構成を採る。
【００１２】
この構成により、一連の入力映像から大量の編集カット点が検出され、大量のカット映像単位の要約映像が生成されたとしても、複数の要約映像を同時に表示できる。これにより、ユーザーが同時に複数の要約映像を閲覧できるので、入力映像の内容確認の高速化が図れる。
また、所望の要約映像を拡大して表示することができるので、確実に所望の要約映像の内容確認ができる。また、拡大した要約映像以外も同時に表示されているので、拡大した要約映像の内容と同時にその他の要約映像の確認もできる。
【００１３】
本発明の第２の態様は、第１の態様にかかる要約映像表示装置において、前記縮小要約映像は、前記入力画像から生成された全ての前記複数の要約映像が前記同一画面上に表示できるように縮小された映像である。
【００１４】
これにより、入力映像から生成された全ての要約映像を同時に表示できる。この結果、ユーザーが同時に全ての要約映像の閲覧ができるので、より高速に映像の内容確認ができる。
【００１５】
本発明の第３の態様は、第１の態様にかかる要約映像表示装置において、前記縮小要約映像は、表示部の大きさに応じた所定数の前記要約映像が前記同一画面上に表示できるように縮小された映像であり、前記縮小要約映像を前記所定数づつ順次合成し前記同一画面上に表示するものである。
【００１６】
これにより、表示画面が小さく、全ての要約映像を同時に表示するのが適当でない場合であっても、要約映像を表示画面サイズに応じた所定数づつ表示できる。この結果、表示画面が小さい場合であっても、映像の内容の確認を確実に、かつ高速に行える。また、表示画面が大きい場合は、表示画面の大きさに合わせて多数の要約映像を同時に表示できる。
【００１９】
本発明の第４の態様は、入力映像から編集カット点を検出する工程と、検出された前記編集カット点を用いて要約映像を生成する工程と、前記入力画像から複数の縮小要約映像が生成された場合に、前記複数の要約映像の夫々の大きさを縮小し、縮小した前記複数の要約映像のうち少なくとも２つ以上を合成し、表示手段の同一画面上に表示する工程と、前記同一画面上に表示された前記複数の縮小要約映像から１以上の前記縮小要約映像が選択された場合に、前記選択された縮小要約映像を拡大すると共に前記選択された縮小要約映像以外の縮小要約映像をさらに縮小し、前記拡大した縮小要約映像と共に合成し前記同一画面上に表示する工程と、を具備するようにした。
【００２０】
以下、本発明の一実施の形態にかかる要約映像表示装置ついて図面を参照して説明する。図１は、上記実施の形態における要約映像表示装置のブロック図を示すものである。
【００２１】
本実施の形態の要約映像表示装置１００には、外部からの入力映像を蓄積する手段であり、大容量の映像をデータベースとして蓄積する映像蓄積部１０１が設けられている。また、要約映像表示装置１００には、蓄積すべき映像の入力に際し、該当映像の編集カット点を検出する手段であるカット点検出部１０２が設けられている。カット点検出部１０２が行うカット点検出方式は、入力映像のフレームの特徴量（ＤＣＴ係数等）と後続するフレームの特徴量の差が一定閾値を越える場合に、この後続するフレーム部分を編集カット点とする方式が一般的である。また、カット点検出部１０２が行うカット点検出方式には、この方法を改良した特開平１０−２９４９２３号公報に記載された技術等の公知技術が使用可能である。
【００２２】
また、要約映像表示部１００には、カット点検出部１０２が検出した編集カット点に対応する位置情報（タイムコードもしくはフレーム番号など）を記憶する手段であるカット点記憶部１０３が設けられている。
【００２３】
さらに、要約映像表示部１００には、入力映像に対して映像蓄積部１０１の位置を示す番地を割り付け、かつカット点検出部１０２により検出された編集カット点と映像蓄積部１０１に蓄積されている該当映像の編集カット点番地を対応づける手段である映像管理部１０４が設けられている。これにより、要約映像表示装置１００に大量に映像が入力されても、これらの映像が映像管理部１０４により指定された位置に、編集カット点に対応つけて整理して蓄積される。よって、映像蓄積部１０１が、データベースとして機能することができる。
【００２４】
また、要約映像表示装置１００には、カット点検出部１０３で検出した編集カット点を先頭とするカット映像から所定数のフレームを抽出し、これらのフレームを繋いで要約映像を生成する要約映像生成部１０５が設けられている。なお、カット映像とは、編集カット点から次の編集カット点までの映像である。
【００２５】
要約映像生成部１０５は、編集カット点から連続する所定数のフレームを抽出して要約映像を作る。また、要約映像生成手段１０５は、編集カット点から間隔を置いたフレームを所定数抽出して、これらのフレームを繋いで要約映像を生成しても良い。
【００２６】
ところで、通常、入力映像からは、非常に大量の編集カット点が検出される。よって、要約映像も非常に大量に生成される。例えば一時間程度の入力映像には、平均６０程度の編集カット点が存在するので、６０程度の要約映像が生成される。よって、これらの要約映像を１つづつ順次表示していたのでは、全ての要約映像の表示が終わるまでにかなりの時間を要することになる。そこで、本要約映像表示装置１００は、入力映像から要約映像が大量に生成されたとしても、短い時間で全ての要約映像を表示できるような工夫がなされている。
【００２７】
具体的には、本要約映像表示装置１００は、複数の要約映像を同時に表示するための手段である要約映像合成部１０６が設けられている。要約映像合成部１０６には、動画縮小部１０７と、動画合成部１０８と、を具備する構成となっている。
【００２８】
動画縮小部１０７は、要約映像生成部１０５で生成された要約映像のフレームサイズを順次縮小して縮小要約映像を生成する手段である。また、動画合成部１０８は動画縮小部１０７において生成された複数の縮小要約映像を合成し、表示部１０９の１画面に動画として表示する手段である。
【００２９】
次に、上記のように構成された要約映像表示装置１０１の動作を、図２を用いて説明する。図２は、上記実施の形態にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図である。
【００３０】
まず、映像蓄積部１０１に格納された入力映像２０１は、カット点検出部１０２により編集カット点が検出される。この例では、入力映像２０１から、複数の編集カット点２０２〜２０６が検出される。そして、編集カット点２０２〜２０６の位置に該当する入力映像２０１のフレームは、カット点記憶部１０３に記憶される。
【００３１】
そして、要約映像生成部１０５が、検出された編集カット点２０２〜２０６間のカット映像２０１ａ〜２０１ｄから、所定のフレームを抽出し要約映像２０７〜２１０を生成する。
【００３２】
次に、要約映像表示装置１００は、要約映像の合成処理に移行する。まず、動画縮小部１０７が、要約映像２０７〜２１０の先頭カット映像を取りだし、所定の大きさに縮小する。そして、動画縮小部１０７は、この動作を要約映像２０７〜２１０の先頭カット映像に合い続くフレームに対して同様に行う。このようにして、動画縮小部１０７は、縮小要約映像を生成する。
【００３３】
また、動画縮小部１０７は、要約映像２０７〜２１０を縮小する際に、要約映像２０７〜２１０の全てが表示部１０９の同一画面上に表示できる大きさに縮小する。この場合では、要約映像が４つであるので、動画縮小部１０７は、映像を１／４以下に縮小する処理をする。
【００３４】
次に、動画合成部１０８は動画縮小部１０７から順次送られてくる縮小要約映像を表示部１０９の表示画面１０９の所定部分２１２〜２１５に同時に表示できるように合成する。この例では、要約映像２０７〜２１０の縮小要約映像を、順次表示画面２１１の左上から、右上、左下、右下という順番に表示部１０９の表示メモリの対応箇所に書き込んでいくことで、合成画像を生成する。なお、要約映像２０７〜２１０の縮小要約映像を表示する位置は、これ以外であっても良い。
【００３５】
このようにして、複数の要約映像２０７〜２１０を同時に表示できるので、ユーザーが同時に複数の要約映像２０７〜２１０を閲覧できる。この結果、ユーザーが入力映像の内容確認を高速に行える。この例では、４つの要約映像が同時に表示されるので、従来に比べて４倍のスピードで内容確認ができる。
【００３６】
また、図３に示すように、要約映像表示装置１００に、多数の編集カット点３０２〜３１１が検出され、多数の要約映像３１２〜３２０が生成される映像３０１が入力された場合には、要約映像３１２〜３２０の全てを表示部１０９に同時に表示するようにする。
【００３７】
つまり、動画縮小部１０７は、要約映像３１２〜３２０を縮小する際に、要約映像２０７〜２１０の全てが表示部１０９の同一画面上に表示できる大きさに縮小する。この場合では、要約映像が９つあるので、動画縮小部１０７は、映像を１／９以下に縮小する処理をする。
【００３８】
そして、動画合成部１０８は動画縮小部１０７から順次送られてくる縮小要約映像を表示部１０９の表示画面１０９の所定部分３２２〜３３０に同時に表示できるように合成する。この例では、要約映像３１２〜３２０の縮小要約映像を、順次表示画面２１１の左上から右上の方向、左下の方向から右下という順番に表示部１０９の表示メモリの対応箇所に書き込んでいくことで、合成画像を生成する。
【００３９】
なお、入力映像からさらに多数の要約映像が生成されたとしても、要約映像を（１／要約映像の数）に縮小することで、全ての要約映像を同時に表示部１０９に表示できる。
【００４０】
このように、入力映像から生成された全ての要約映像を同時に表示することで、ユーザーが同時に全ての要約映像の閲覧ができる。この結果、ユーザーがより高速に映像の内容確認ができる。
【００４１】
次に、上記実施の形態の変形例について図４を用いて説明する。図４は、上記実施の形態の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図である。
【００４２】
上記実施の形態では、表示部１０９の表示能力にかかわらず入力映像から生成された全ての要約映像を同時に表示するようにした。しかしながら、表示部１０９の表示能力が十分でなく、同時に多くの要約映像を表示すると、要約映像の縮小率が大きくなりすぎ、閲覧するのが容易ではなくなるという可能性がある。このため、変形例は、表示部１０９の表示画面サイズに応じた数に表示画面を分割し、分割した数の要約映像を同時に表示するようにしている。
【００４３】
例えば、図４に示すように、入力映像３０１から、１０個の編集カット点３０２〜３１１が検出され、９個の要約映像が生成されたとする。この場合、表示部１０９の表示サイズや解像度が９個の要約映像を同時に表示するのに十分な能力を有する場合には、図３に示すように、同時に９個の要約映像を表示すれば良い。しかし、表示部１０９の表示サイズが小さい、もしくは解像度が低い等して、表示部１０９に９個の要約映像を同時に表示すると、表示した要約映像が非常に小さくなってしまう場合がある。例えば、要約映像生成装置１００が、表示部１０９が、図４に示すように同時に４個の要約映像を表示する能力しか持たないと判断した場合である。
【００４４】
この場合、まず、表示画面１０９の所定部分４０１〜４０４に時系列的に早い位置にある要約映像３１２〜３１５の縮小要約映像を表示する。そして次に、表示画面１０９の所定部分４０１〜４０４に時系列的に早い位置にある要約映像３１６〜３１９の縮小映像を表示し、そして、最後に、要約映像３２０の縮小映像を表示する。最後の要約映像３２０の表示は、表示画面２１１全面に表示しても良いし、他の要約映像３１２〜３１９と同様に縮小して表示しても良い。
【００４５】
なお、この例では、最後の１個の要約映像が残った形態で説明したが、最後に２個もしくは３個の要約映像が残る場合もある、この場合は、最後に残った要約映像すべてを同時に表示するように縮小して表示する。
【００４６】
このように、この変形例によれば、表示部１０９の表示能力が低く、全ての要約映像を同時に表示するのが適当でない場合であっても、要約映像を表示部１０９の表示能力に応じた所定数づつ表示できる。この結果、表示画面が小さい場合であっても、表示する要約映像が小さくなりすぎることがない。また、要約映像を表示部１０９の表示能力に合わせた所定数ずつ表示できるので、要約映像を高速に表示できる。よって、ユーザーが要約映像の内容の確認に、かつ高速に行える。また、この変形例では、表示部１０９の表示能力が大きい場合には、表示能力に合わせて多数の要約映像を同時に表示できる。
【００４７】
次に、上記実施の形態のその他の変形例について図５を用いて説明する。図５は、上記実施の形態のその他の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図である。
【００４８】
その他の変形例は、要約映像合成部１０６が動画拡大部を有し、縮小表示した要約映像から任意に選択された要約映像を拡大表示するものである。
【００４９】
例えば、図５に示すように、表示部２１１の４つの所定部分２１２〜２１５に要約映像が表示されているとする。ここで、ユーザーが所定部分２１２に表示されている要約映像を選択したとする。この場合、要約映像合成部１０７は、選択された所定部分２１２に表示されている要約映像を拡大し、所定部分５０１に表示するようにする。これと共に、他の所定部分２１３〜２１５に表示されていた要約映像も拡大された要約映像と共に表示画面に２１１に同時に表示するために、他の所定部分２１３〜２１５に表示されていた要約映像を縮小する。そして、他の所定部分２１３〜２１５に表示されていた要約映像を所定部分５０２〜５０４に表示する。
【００５０】
また、ユーザーが所定部分２１２および２１３に表示されている要約映像を選択したとする。この場合、要約映像合成部１０７は、選択された所定部分２１２、２１３に表示されている要約映像を拡大し、所定部分５０５、５０６に表示する。これと共に、他の所定部分２１４、２１５に表示されていた要約映像も表示画面に２１１に同時に表示するために、他の所定部分２１４、２１５に表示されていた要約映像を縮小し、所定部分５０７、５０８に表示する。
【００５１】
このようにして、ユーザーが所望の要約映像を拡大して表示することができるので、確実に所望の要約映像の内容確認ができる。また、拡大した要約映像以外も同時に表示画面１０９に表示されているので、拡大した要約映像の内容と同時にその他の要約映像の確認もできる。この結果、ユーザーは要約映像の確認を高速にできる。
【００５２】
また、上記実施の形態においては、カット点検出部１０２、映像管理部１０４、要約映像生成部１０５、動画縮小部１０７、動画合成部１０８の動作をプログラムとしてＣＤ−ＲＯＭなどの記憶媒体に記憶し、カット点検出部１０２、映像管理部１０４、要約映像生成部１０５、動画縮小部１０７、動画合成部１０８の動作をコンピュータを用いてソフトウエア的に実現することを想定している。また、映像蓄積部１０１、カット点記憶部１０３、には、ＲＡＭやハードディスクなどのコンピュータの記憶部が使用されることを想定している。
【００５３】
しかし、これに限らず、上記実施の形態にかかる要約映像表示装置１００をカット点検出部１０２、映像管理部１０４、要約映像生成部１０５、動画縮小部１０７、動画合成部１０８の機能を備えた専用のハードウエア回路で実現する形態であっても良い。
【００５４】
また、上記実施の形態では素材映像が外部から入力される形態で説明したが、、素材映像を予めプログラムと共にＣＤ−ＲＯＭなどの記憶媒体に格納しておく形態であっても良い。
【００５５】
なお、上記実施の形態では、素材映像から検出した編集カット点を用いて要約映像を生成し、この後に要約映像を縮小して表示する形態を採った。しかし、素材映像から編集カット点を検出した後に、先頭カット映像を取りだし縮小表示し、この動作を合い続く所定数のフレーム映像に対して同様に行う形態でも良い。
【００５６】
また、以上説明した要約映像表示装置を映像検索装置に適用することで、動画像に対して、その内容を的確に表すカット属性を効率よく閲覧できるので、映像のうちユーザーの検索入力文章の言葉に最も近いカット映像を高速に取り出すことができる。これにより、大容量の映像データベースを高速かつ効率よく検索できる。
【００５７】
【発明の効果】
以上説明したように、本発明によれば、複数の要約映像を同一画面に表示できるので、大容量の入力映像の内容に該当する要約映像を高速で閲覧できる。
【図面の簡単な説明】
【図１】本発明における一実施の形態にかかる要約映像表示装置のブロック図
【図２】上記実施の形態にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す第１の図
【図３】上記実施の形態にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す第２の図
【図４】上記実施の形態の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図
【図５】上記実施の形態のその他の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図
【図６】従来の要約映像表示装置のブロック図
【符号の説明】
１０１ 映像蓄積部
１０２ カット点検出部
１０３ 編集カット点記憶部
１０４ 映像管理部
１０５ 要約映像生成部
１０６ 要約映像合成部
１０７ 動画縮小部
１０８ 動画合成部
１０９ 表示部
【発明の属する技術分野】
本発明は、必要な映像に対して要約映像を生成し、これを表示する要約映像表示装置およびその方法に関するものである。
【０００２】
【従来の技術】
従来より、大容量の映像をすべて閲覧しなくても、短時間で映像の内容を確認できるようにするために、映像に対する要約映像を生成し表示することが行われている。そして、ユーザーは表示された要約映像を閲覧し、映像の内容確認をしている。
【０００３】
この種の要約映像を生成する方法としては、例えば特開２０００−１７５１４９号公報に開示されたものがある。以下、図６を用いて、このような要約映像を表示する要約映像表示装置について説明する。図６は、従来の要約映像表示装置の構成を示す図である。
【０００４】
図６において、映像入力手段６０１から入力された映像フレームは映像一時格納手段６０２に格納される。カット点検出手段６０３は、映像一時格納手段６０２により格納された連続するフレームの特徴量を抽出し、映像の編集カット点を検出する。そして、カット点検出手段６０３は、検出した編集カット点および編集カット点のフレーム映像を編集カット点映像格納手段６０４に格納する。
【０００５】
そして、要約映像生成手段６０５が、映像一時格納手段６０２と、編集カット点映像格納手段６０４を参照し、編集カット点映像格納手段６０４に保持されている編集カット点とその次の編集カット点までの映像フレームの集合であるカット映像を抽出し、このカット映像から一定の割合で、又は任意にフレームを抽出しこれを要約映像とする。
【０００６】
そして、表示手段６０６が、このようにして生成された複数の要約映像を１つづつ順次表示する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記構成は、表示手段６０６に同時に表示される要約映像が１画面のみである。このため、大容量の入力映像が入力された際に、この入力映像から非常に多数の編集カット点が検出され、大量の要約映像が生成された場合には、全ての要約映像が表示されるまでには、非常に長い時間を要することになる。これにより、ユーザーがこのような要約映像の閲覧を行う場合には、非常に長い時間を有するという問題点がある。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、大容量の入力映像の内容に該当する要約映像を高速で閲覧できる要約映像表示装置およびその方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、入力画像から複数の編集カット点が検出され、複数の要約映像が生成された場合に、複数の要約映像を縮小し、縮小した複数の要約映像のうち少なくとも２つ以上を合成し同一画面上に表示するようにしたものである。
【００１０】
これにより、複数の要約映像が同時に表示手段に表示される。この結果、ユーザーが同時に複数の要約映像を閲覧できるので、入力映像の内容確認の高速化が図れる。
【００１１】
【発明の実施の形態】
本発明の第１の態様にかかる要約映像表示装置は、入力映像から編集カット点を検出するカット点検出手段と、検出された前記編集カット点を用いて要約映像を生成する要約映像生成手段と、前記入力画像から複数の要約映像が生成された場合に、前記複数の要約映像を縮小し複数の縮小要約映像を生成し、前記複数の縮小要約映像のうち少なくとも２つ以上の前記縮小要約映像を合成し同一画面上に表示する要約映像合成手段と、を具備する要約映像表示装置であって、前記要約映像合成手段は、前記同一画面上に表示された前記複数の縮小要約映像から１以上の前記縮小要約映像が選択された場合に、前記選択された縮小要約映像を拡大すると共に前記選択された縮小要約映像以外の縮小要約映像をさらに縮小し、前記拡大した縮小要約映像と共に合成し前記同一画面上に表示する構成を採る。
【００１２】
この構成により、一連の入力映像から大量の編集カット点が検出され、大量のカット映像単位の要約映像が生成されたとしても、複数の要約映像を同時に表示できる。これにより、ユーザーが同時に複数の要約映像を閲覧できるので、入力映像の内容確認の高速化が図れる。
また、所望の要約映像を拡大して表示することができるので、確実に所望の要約映像の内容確認ができる。また、拡大した要約映像以外も同時に表示されているので、拡大した要約映像の内容と同時にその他の要約映像の確認もできる。
【００１３】
本発明の第２の態様は、第１の態様にかかる要約映像表示装置において、前記縮小要約映像は、前記入力画像から生成された全ての前記複数の要約映像が前記同一画面上に表示できるように縮小された映像である。
【００１４】
これにより、入力映像から生成された全ての要約映像を同時に表示できる。この結果、ユーザーが同時に全ての要約映像の閲覧ができるので、より高速に映像の内容確認ができる。
【００１５】
本発明の第３の態様は、第１の態様にかかる要約映像表示装置において、前記縮小要約映像は、表示部の大きさに応じた所定数の前記要約映像が前記同一画面上に表示できるように縮小された映像であり、前記縮小要約映像を前記所定数づつ順次合成し前記同一画面上に表示するものである。
【００１６】
これにより、表示画面が小さく、全ての要約映像を同時に表示するのが適当でない場合であっても、要約映像を表示画面サイズに応じた所定数づつ表示できる。この結果、表示画面が小さい場合であっても、映像の内容の確認を確実に、かつ高速に行える。また、表示画面が大きい場合は、表示画面の大きさに合わせて多数の要約映像を同時に表示できる。
【００１９】
本発明の第４の態様は、入力映像から編集カット点を検出する工程と、検出された前記編集カット点を用いて要約映像を生成する工程と、前記入力画像から複数の縮小要約映像が生成された場合に、前記複数の要約映像の夫々の大きさを縮小し、縮小した前記複数の要約映像のうち少なくとも２つ以上を合成し、表示手段の同一画面上に表示する工程と、前記同一画面上に表示された前記複数の縮小要約映像から１以上の前記縮小要約映像が選択された場合に、前記選択された縮小要約映像を拡大すると共に前記選択された縮小要約映像以外の縮小要約映像をさらに縮小し、前記拡大した縮小要約映像と共に合成し前記同一画面上に表示する工程と、を具備するようにした。
【００２０】
以下、本発明の一実施の形態にかかる要約映像表示装置ついて図面を参照して説明する。図１は、上記実施の形態における要約映像表示装置のブロック図を示すものである。
【００２１】
本実施の形態の要約映像表示装置１００には、外部からの入力映像を蓄積する手段であり、大容量の映像をデータベースとして蓄積する映像蓄積部１０１が設けられている。また、要約映像表示装置１００には、蓄積すべき映像の入力に際し、該当映像の編集カット点を検出する手段であるカット点検出部１０２が設けられている。カット点検出部１０２が行うカット点検出方式は、入力映像のフレームの特徴量（ＤＣＴ係数等）と後続するフレームの特徴量の差が一定閾値を越える場合に、この後続するフレーム部分を編集カット点とする方式が一般的である。また、カット点検出部１０２が行うカット点検出方式には、この方法を改良した特開平１０−２９４９２３号公報に記載された技術等の公知技術が使用可能である。
【００２２】
また、要約映像表示部１００には、カット点検出部１０２が検出した編集カット点に対応する位置情報（タイムコードもしくはフレーム番号など）を記憶する手段であるカット点記憶部１０３が設けられている。
【００２３】
さらに、要約映像表示部１００には、入力映像に対して映像蓄積部１０１の位置を示す番地を割り付け、かつカット点検出部１０２により検出された編集カット点と映像蓄積部１０１に蓄積されている該当映像の編集カット点番地を対応づける手段である映像管理部１０４が設けられている。これにより、要約映像表示装置１００に大量に映像が入力されても、これらの映像が映像管理部１０４により指定された位置に、編集カット点に対応つけて整理して蓄積される。よって、映像蓄積部１０１が、データベースとして機能することができる。
【００２４】
また、要約映像表示装置１００には、カット点検出部１０３で検出した編集カット点を先頭とするカット映像から所定数のフレームを抽出し、これらのフレームを繋いで要約映像を生成する要約映像生成部１０５が設けられている。なお、カット映像とは、編集カット点から次の編集カット点までの映像である。
【００２５】
要約映像生成部１０５は、編集カット点から連続する所定数のフレームを抽出して要約映像を作る。また、要約映像生成手段１０５は、編集カット点から間隔を置いたフレームを所定数抽出して、これらのフレームを繋いで要約映像を生成しても良い。
【００２６】
ところで、通常、入力映像からは、非常に大量の編集カット点が検出される。よって、要約映像も非常に大量に生成される。例えば一時間程度の入力映像には、平均６０程度の編集カット点が存在するので、６０程度の要約映像が生成される。よって、これらの要約映像を１つづつ順次表示していたのでは、全ての要約映像の表示が終わるまでにかなりの時間を要することになる。そこで、本要約映像表示装置１００は、入力映像から要約映像が大量に生成されたとしても、短い時間で全ての要約映像を表示できるような工夫がなされている。
【００２７】
具体的には、本要約映像表示装置１００は、複数の要約映像を同時に表示するための手段である要約映像合成部１０６が設けられている。要約映像合成部１０６には、動画縮小部１０７と、動画合成部１０８と、を具備する構成となっている。
【００２８】
動画縮小部１０７は、要約映像生成部１０５で生成された要約映像のフレームサイズを順次縮小して縮小要約映像を生成する手段である。また、動画合成部１０８は動画縮小部１０７において生成された複数の縮小要約映像を合成し、表示部１０９の１画面に動画として表示する手段である。
【００２９】
次に、上記のように構成された要約映像表示装置１０１の動作を、図２を用いて説明する。図２は、上記実施の形態にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図である。
【００３０】
まず、映像蓄積部１０１に格納された入力映像２０１は、カット点検出部１０２により編集カット点が検出される。この例では、入力映像２０１から、複数の編集カット点２０２〜２０６が検出される。そして、編集カット点２０２〜２０６の位置に該当する入力映像２０１のフレームは、カット点記憶部１０３に記憶される。
【００３１】
そして、要約映像生成部１０５が、検出された編集カット点２０２〜２０６間のカット映像２０１ａ〜２０１ｄから、所定のフレームを抽出し要約映像２０７〜２１０を生成する。
【００３２】
次に、要約映像表示装置１００は、要約映像の合成処理に移行する。まず、動画縮小部１０７が、要約映像２０７〜２１０の先頭カット映像を取りだし、所定の大きさに縮小する。そして、動画縮小部１０７は、この動作を要約映像２０７〜２１０の先頭カット映像に合い続くフレームに対して同様に行う。このようにして、動画縮小部１０７は、縮小要約映像を生成する。
【００３３】
また、動画縮小部１０７は、要約映像２０７〜２１０を縮小する際に、要約映像２０７〜２１０の全てが表示部１０９の同一画面上に表示できる大きさに縮小する。この場合では、要約映像が４つであるので、動画縮小部１０７は、映像を１／４以下に縮小する処理をする。
【００３４】
次に、動画合成部１０８は動画縮小部１０７から順次送られてくる縮小要約映像を表示部１０９の表示画面１０９の所定部分２１２〜２１５に同時に表示できるように合成する。この例では、要約映像２０７〜２１０の縮小要約映像を、順次表示画面２１１の左上から、右上、左下、右下という順番に表示部１０９の表示メモリの対応箇所に書き込んでいくことで、合成画像を生成する。なお、要約映像２０７〜２１０の縮小要約映像を表示する位置は、これ以外であっても良い。
【００３５】
このようにして、複数の要約映像２０７〜２１０を同時に表示できるので、ユーザーが同時に複数の要約映像２０７〜２１０を閲覧できる。この結果、ユーザーが入力映像の内容確認を高速に行える。この例では、４つの要約映像が同時に表示されるので、従来に比べて４倍のスピードで内容確認ができる。
【００３６】
また、図３に示すように、要約映像表示装置１００に、多数の編集カット点３０２〜３１１が検出され、多数の要約映像３１２〜３２０が生成される映像３０１が入力された場合には、要約映像３１２〜３２０の全てを表示部１０９に同時に表示するようにする。
【００３７】
つまり、動画縮小部１０７は、要約映像３１２〜３２０を縮小する際に、要約映像２０７〜２１０の全てが表示部１０９の同一画面上に表示できる大きさに縮小する。この場合では、要約映像が９つあるので、動画縮小部１０７は、映像を１／９以下に縮小する処理をする。
【００３８】
そして、動画合成部１０８は動画縮小部１０７から順次送られてくる縮小要約映像を表示部１０９の表示画面１０９の所定部分３２２〜３３０に同時に表示できるように合成する。この例では、要約映像３１２〜３２０の縮小要約映像を、順次表示画面２１１の左上から右上の方向、左下の方向から右下という順番に表示部１０９の表示メモリの対応箇所に書き込んでいくことで、合成画像を生成する。
【００３９】
なお、入力映像からさらに多数の要約映像が生成されたとしても、要約映像を（１／要約映像の数）に縮小することで、全ての要約映像を同時に表示部１０９に表示できる。
【００４０】
このように、入力映像から生成された全ての要約映像を同時に表示することで、ユーザーが同時に全ての要約映像の閲覧ができる。この結果、ユーザーがより高速に映像の内容確認ができる。
【００４１】
次に、上記実施の形態の変形例について図４を用いて説明する。図４は、上記実施の形態の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図である。
【００４２】
上記実施の形態では、表示部１０９の表示能力にかかわらず入力映像から生成された全ての要約映像を同時に表示するようにした。しかしながら、表示部１０９の表示能力が十分でなく、同時に多くの要約映像を表示すると、要約映像の縮小率が大きくなりすぎ、閲覧するのが容易ではなくなるという可能性がある。このため、変形例は、表示部１０９の表示画面サイズに応じた数に表示画面を分割し、分割した数の要約映像を同時に表示するようにしている。
【００４３】
例えば、図４に示すように、入力映像３０１から、１０個の編集カット点３０２〜３１１が検出され、９個の要約映像が生成されたとする。この場合、表示部１０９の表示サイズや解像度が９個の要約映像を同時に表示するのに十分な能力を有する場合には、図３に示すように、同時に９個の要約映像を表示すれば良い。しかし、表示部１０９の表示サイズが小さい、もしくは解像度が低い等して、表示部１０９に９個の要約映像を同時に表示すると、表示した要約映像が非常に小さくなってしまう場合がある。例えば、要約映像生成装置１００が、表示部１０９が、図４に示すように同時に４個の要約映像を表示する能力しか持たないと判断した場合である。
【００４４】
この場合、まず、表示画面１０９の所定部分４０１〜４０４に時系列的に早い位置にある要約映像３１２〜３１５の縮小要約映像を表示する。そして次に、表示画面１０９の所定部分４０１〜４０４に時系列的に早い位置にある要約映像３１６〜３１９の縮小映像を表示し、そして、最後に、要約映像３２０の縮小映像を表示する。最後の要約映像３２０の表示は、表示画面２１１全面に表示しても良いし、他の要約映像３１２〜３１９と同様に縮小して表示しても良い。
【００４５】
なお、この例では、最後の１個の要約映像が残った形態で説明したが、最後に２個もしくは３個の要約映像が残る場合もある、この場合は、最後に残った要約映像すべてを同時に表示するように縮小して表示する。
【００４６】
このように、この変形例によれば、表示部１０９の表示能力が低く、全ての要約映像を同時に表示するのが適当でない場合であっても、要約映像を表示部１０９の表示能力に応じた所定数づつ表示できる。この結果、表示画面が小さい場合であっても、表示する要約映像が小さくなりすぎることがない。また、要約映像を表示部１０９の表示能力に合わせた所定数ずつ表示できるので、要約映像を高速に表示できる。よって、ユーザーが要約映像の内容の確認に、かつ高速に行える。また、この変形例では、表示部１０９の表示能力が大きい場合には、表示能力に合わせて多数の要約映像を同時に表示できる。
【００４７】
次に、上記実施の形態のその他の変形例について図５を用いて説明する。図５は、上記実施の形態のその他の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図である。
【００４８】
その他の変形例は、要約映像合成部１０６が動画拡大部を有し、縮小表示した要約映像から任意に選択された要約映像を拡大表示するものである。
【００４９】
例えば、図５に示すように、表示部２１１の４つの所定部分２１２〜２１５に要約映像が表示されているとする。ここで、ユーザーが所定部分２１２に表示されている要約映像を選択したとする。この場合、要約映像合成部１０７は、選択された所定部分２１２に表示されている要約映像を拡大し、所定部分５０１に表示するようにする。これと共に、他の所定部分２１３〜２１５に表示されていた要約映像も拡大された要約映像と共に表示画面に２１１に同時に表示するために、他の所定部分２１３〜２１５に表示されていた要約映像を縮小する。そして、他の所定部分２１３〜２１５に表示されていた要約映像を所定部分５０２〜５０４に表示する。
【００５０】
また、ユーザーが所定部分２１２および２１３に表示されている要約映像を選択したとする。この場合、要約映像合成部１０７は、選択された所定部分２１２、２１３に表示されている要約映像を拡大し、所定部分５０５、５０６に表示する。これと共に、他の所定部分２１４、２１５に表示されていた要約映像も表示画面に２１１に同時に表示するために、他の所定部分２１４、２１５に表示されていた要約映像を縮小し、所定部分５０７、５０８に表示する。
【００５１】
このようにして、ユーザーが所望の要約映像を拡大して表示することができるので、確実に所望の要約映像の内容確認ができる。また、拡大した要約映像以外も同時に表示画面１０９に表示されているので、拡大した要約映像の内容と同時にその他の要約映像の確認もできる。この結果、ユーザーは要約映像の確認を高速にできる。
【００５２】
また、上記実施の形態においては、カット点検出部１０２、映像管理部１０４、要約映像生成部１０５、動画縮小部１０７、動画合成部１０８の動作をプログラムとしてＣＤ−ＲＯＭなどの記憶媒体に記憶し、カット点検出部１０２、映像管理部１０４、要約映像生成部１０５、動画縮小部１０７、動画合成部１０８の動作をコンピュータを用いてソフトウエア的に実現することを想定している。また、映像蓄積部１０１、カット点記憶部１０３、には、ＲＡＭやハードディスクなどのコンピュータの記憶部が使用されることを想定している。
【００５３】
しかし、これに限らず、上記実施の形態にかかる要約映像表示装置１００をカット点検出部１０２、映像管理部１０４、要約映像生成部１０５、動画縮小部１０７、動画合成部１０８の機能を備えた専用のハードウエア回路で実現する形態であっても良い。
【００５４】
また、上記実施の形態では素材映像が外部から入力される形態で説明したが、、素材映像を予めプログラムと共にＣＤ−ＲＯＭなどの記憶媒体に格納しておく形態であっても良い。
【００５５】
なお、上記実施の形態では、素材映像から検出した編集カット点を用いて要約映像を生成し、この後に要約映像を縮小して表示する形態を採った。しかし、素材映像から編集カット点を検出した後に、先頭カット映像を取りだし縮小表示し、この動作を合い続く所定数のフレーム映像に対して同様に行う形態でも良い。
【００５６】
また、以上説明した要約映像表示装置を映像検索装置に適用することで、動画像に対して、その内容を的確に表すカット属性を効率よく閲覧できるので、映像のうちユーザーの検索入力文章の言葉に最も近いカット映像を高速に取り出すことができる。これにより、大容量の映像データベースを高速かつ効率よく検索できる。
【００５７】
【発明の効果】
以上説明したように、本発明によれば、複数の要約映像を同一画面に表示できるので、大容量の入力映像の内容に該当する要約映像を高速で閲覧できる。
【図面の簡単な説明】
【図１】本発明における一実施の形態にかかる要約映像表示装置のブロック図
【図２】上記実施の形態にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す第１の図
【図３】上記実施の形態にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す第２の図
【図４】上記実施の形態の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図
【図５】上記実施の形態のその他の変形例にかかる入力映像と編集カット点とカット映像の対応並びに表示部における表示を示す図
【図６】従来の要約映像表示装置のブロック図
【符号の説明】
１０１ 映像蓄積部
１０２ カット点検出部
１０３ 編集カット点記憶部
１０４ 映像管理部
１０５ 要約映像生成部
１０６ 要約映像合成部
１０７ 動画縮小部
１０８ 動画合成部
１０９ 表示部
Claims (4)
- 入力映像から編集カット点を検出するカット点検出手段と、検出された前記編集カット点を用いて要約映像を生成する要約映像生成手段と、前記入力画像から複数の要約映像が生成された場合に、前記複数の要約映像を縮小し複数の縮小要約映像を生成し、前記複数の縮小要約映像のうち少なくとも２つ以上の前記縮小要約映像を合成し同一画面上に表示する要約映像合成手段と、を具備する要約映像表示装置であって、
前記要約映像合成手段は、前記同一画面上に表示された前記複数の縮小要約映像から１以上の前記縮小要約映像が選択された場合に、前記選択された縮小要約映像を拡大すると共に前記選択された縮小要約映像以外の縮小要約映像をさらに縮小し、前記拡大した縮小要約映像と共に合成し前記同一画面上に表示することを特徴とする要約映像表示装置。 - 前記縮小要約映像は、前記入力画像から生成された全ての前記複数の要約映像が前記同一画面上に表示できるように縮小された映像であることを特徴とする請求項１記載の要約映像表示装置。
- 前記縮小要約映像は、表示部の大きさに応じた所定数の前記要約映像が前記同一画面上に表示できるように縮小された映像であり、前記縮小要約映像を前記所定数づつ順次合成し前記同一画面上に表示することを特徴とする請求項１記載の要約映像表示装置。
- 入力映像から編集カット点を検出する工程と、検出された前記編集カット点を用いて要約映像を生成する工程と、前記入力画像から複数の縮小要約映像が生成された場合に、前記複数の要約映像の夫々の大きさを縮小し、縮小した前記複数の要約映像のうち少なくとも２つ以上を合成し、表示手段の同一画面上に表示する工程と、前記同一画面上に表示された前記複数の縮小要約映像から１以上の前記縮小要約映像が選択された場合に、前記選択された縮小要約映像を拡大すると共に前記選択された縮小要約映像以外の縮小要約映像をさらに縮小し、前記拡大した縮小要約映像と共に合成し前記同一画面上に表示する工程と、を具備することを特徴とする要約映像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001048240A JP3800588B2 (ja) | 2001-02-23 | 2001-02-23 | 要約映像表示装置および要約映像表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001048240A JP3800588B2 (ja) | 2001-02-23 | 2001-02-23 | 要約映像表示装置および要約映像表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002252827A JP2002252827A (ja) | 2002-09-06 |
| JP3800588B2 true JP3800588B2 (ja) | 2006-07-26 |
Family
ID=18909543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001048240A Expired - Fee Related JP3800588B2 (ja) | 2001-02-23 | 2001-02-23 | 要約映像表示装置および要約映像表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3800588B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4656199B2 (ja) * | 2008-07-22 | 2011-03-23 | カシオ計算機株式会社 | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム |
| JP2014003425A (ja) * | 2012-06-18 | 2014-01-09 | Olympus Corp | 映像再生装置、プログラム、映像再生方法及びサーバシステム |
-
2001
- 2001-02-23 JP JP2001048240A patent/JP3800588B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002252827A (ja) | 2002-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8745515B2 (en) | Presentation of large pages on small displays | |
| JP4782105B2 (ja) | 画像処理装置及び画像処理方法 | |
| US6747674B1 (en) | Image processing apparatus, image processing method, and information providing medium | |
| WO2005050986A1 (ja) | 映像内容の提示方法及び装置 | |
| EP1460848B1 (en) | Apparatus and method for converting multimedia contents | |
| US20080079693A1 (en) | Apparatus for displaying presentation information | |
| US20080240683A1 (en) | Method and system to reproduce contents, and recording medium including program to reproduce contents | |
| WO2018095253A1 (zh) | 图像互换格式图的制作方法和装置 | |
| JPH10126731A (ja) | 旅行アルバム作成システム | |
| US7576786B2 (en) | Information processing apparatus and method, program therefor and storage medium | |
| CN112969043B (zh) | 媒体文件生成、播放方法及设备 | |
| JP3800588B2 (ja) | 要約映像表示装置および要約映像表示方法 | |
| JP2003333537A (ja) | 画像再生装置および画像再生方法 | |
| JPH11272399A (ja) | 表示用データを記録した記録媒体及び表示装置 | |
| US9396759B2 (en) | Generating content data for a video file | |
| JP2864523B2 (ja) | 表示装置 | |
| JP3331291B2 (ja) | 映像情報編集装置 | |
| JPH11242542A (ja) | 要約作成表示装置 | |
| JPH117376A (ja) | 情報検索方法及び情報処理機器並びに情報検索処理プログラムを記憶した記憶媒体 | |
| JP2798075B2 (ja) | シナリオ編集装置 | |
| US20060233419A1 (en) | Image display control method, image display control program, image data recording method and computer-readable medium | |
| JPH11308567A (ja) | ページ表示機能付きレイアウト映像編集方法及び装置及びそのプログラムを記録した記録媒体 | |
| US20040066971A1 (en) | Picture image processing method, processing apparatus and recording medium | |
| JPH11177922A (ja) | 動画データ編集方法および装置 | |
| US20030004590A1 (en) | Digital sound processing program executing apparatus, a digital sound processing program executing method, a machine readable media, and a digital audio sound processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060421 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060421 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |