JP4021545B2 - デジタル動画像処理装置およびデジタル動画像処理方法 - Google Patents
デジタル動画像処理装置およびデジタル動画像処理方法 Download PDFInfo
- Publication number
- JP4021545B2 JP4021545B2 JP06118698A JP6118698A JP4021545B2 JP 4021545 B2 JP4021545 B2 JP 4021545B2 JP 06118698 A JP06118698 A JP 06118698A JP 6118698 A JP6118698 A JP 6118698A JP 4021545 B2 JP4021545 B2 JP 4021545B2
- Authority
- JP
- Japan
- Prior art keywords
- digital moving
- moving image
- scene change
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はデジタル動画像処理装置およびデジタル動画像処理方法に関し、特にデジタル動画像に対してその検索または表示等のためのインデックス情報を自動的に付与するデジタル動画像処理装置およびデジタル動画像処理方法に関する。
【０００２】
【従来の技術】
一般に、デジタル動画像は、テープのようなシーケンシャルに読み出すことしかできない媒体に記録するのではなく、ＣＤ−ＲＯＭ（ＲＷ）やＤＶＤ−ＲＯＭ（ＲＡＭ）などに記録することにより、所望の場所からランダムにアクセスできるという特長がある。
【０００３】
ランダムアクセスするためにはインデックスを設けることが必要となるが、このインデックスを手作業で入力すると、たいへんな手間になる。そこで、自動でこのインデックスを付けるためにシーンチェンジと呼ばれる場所（場面が急に変わるところ）を、前後のフレームを比較することにより検出し、それをインデックスとすることが提案されている。
【０００４】
しかし、一般に、ＴＶ放送番組や映画などの動画像では、シーンチェンジは約５秒に一回の割合で発生する。このため、検出された全てのシーンチェンジをそのままインデックスして使用すると、インデックスの数が増えすぎてしまい、却って画像の検索または表示に手間がかかるという問題が発生する。
【０００５】
【発明が解決しようとする課題】
上述のように、従来では、シーンチェンジ検出を用いてインデックスを自動付与すると、インデックスの数が増えすぎてしまい、却って画像の検索または表示に手間がかかるという問題があった。
【０００６】
本発明はこのような実情に鑑みてなされたものであり、検出された多数のシーンチェンジの中から意味のあるシーンチェンジを特定できるようにし、デジタル動画像の検索、再生制御に最適なデジタル動画像処理装置およびデジタル動画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の課題を解決するため、本発明のデジタル動画像処理装置は、処理対象のデジタル動画像を含む同じ番組の複数のデジタル動画像それぞれのシーンチェンジを検出する手段と、検出されたシーンチェンジのフレーム画像を異なるデジタル動画像同士で比較し、前記処理対象のデジタル動画像から検出されたシーンチェンジのフレーム画像と類似したフレーム画像を、他のデジタル動画像から検出する手段と、類似したフレーム画像が複数のデジタル動画像間で高い頻度で検出された前記処理対象デジタル動画像内のシーンチェンジのフレーム位置を記録する手段とを具備することを特徴とする。
【０００８】
このデジタル動画像処理装置においては、同じ番組の複数のデジタル動画像間でシーンチェンジフレームのフレーム画像の付き合わせが行われ、これにより、処理対象のデジタル動画像内のシーンチェンジフレームの中で、類似したフレーム画像が複数のデジタル動画像間で高い頻度で検出されたシーンチェンジのフレーム位置が調べられ、そのシーンチェンジのフレーム位置が解析結果として記録される。
【０００９】
例えば、異なる日時に放送された同一ニュース番組などのような同種類の複数のデジタル動画像では、一般に、番組のオープニング、番組内の特集コーナー、天気予報コーナー、およびエンディング、ＣＭなどで共通のフレーム画像が使用されていることが多く、このような部分では、類似したフレーム画像が高い頻度で検出される。よって、類似したフレーム画像が高い頻度で検出されたシーンチェンジフレームの位置を記録することにより、数多くのシーンチェンジの中で、番組の構成の変わり目に対応した意味のあるシーンチェンジをインデックス情報などとして使用することが可能となり、番組をサブ番組毎に分類してその検索や表示を行ったり、特定の部分をスキップして表示するなどの制御を容易に行うことが出来る。
【００１０】
また、シーンチェンジフレーム同士の比較であるので、全てのフレームを比較する場合に比し、演算処理量を大幅に低減できる。したがって、専用のハードウェアを用いずとも、汎用のプロセッサを用いたソフトウェアによる処理のみで、意味のあるシーンチェンジを検出することが出来る。
【００１１】
また、本発明のデジタル動画像処理装置は、処理対象のデジタル動画像のシーンチェンジを検出する手段と、検出された各シーンチェンジのフレーム画像と予め記録されている１以上の参照用のフレーム画像とを比較して、その類似の有無を判定する手段と、前記参照用のフレーム画像と類似していると判定された各フレーム画像について、処理対象デジタル動画像内のフレーム位置を記録する手段とを具備することを特徴とする。
【００１２】
このデジタル動画像処理装置においては、番組の構成の変わり目などに対応するフレーム画像などが予め参照用のフレーム画像として記録されており、この参照用のフレーム画像と処理対象のデジタル動画像のシーンチェンジフレーム画像との突き合わせによって、意味のあるシーンチェンジが検出される。この場合においても、数多くのシーンチェンジの中で、番組の構成の変わり目などに対応した意味のあるシーンチェンジをインデックス情報として使用することが可能となる。
【００１３】
また、同種類の複数のデジタル画像間でシーンチェンジフレーム画像の突き合わせを行うことによって求めた高頻度の類似フレーム画像を前述の参照用フレーム画像として使用することにより、新たに処理対象となったデジタル動画像については、その参照用フレーム画像との比較のみで意味のあるシーンチェンジフレームを検出できるようになり、処理効率を向上を図ることが出来る。
【００１４】
また、本発明のデジタル動画像処理装置は、処理対象のデジタル動画像のシーンチェンジを検出する手段と、検出された各シーンチェンジのフレーム画像と予め記録されている複数の参照用のフレーム画像とを比較して、その類似の有無を判定する手段と、前記参照用のフレーム画像と類似していると判定された各フレーム画像について、処理対象デジタル動画像内のフレーム位置を記録する手段と、この記録結果を用いて、前記参照用フレームと類似していると判定された前記処理対象デジタル動画像内の連続した複数のシーンチェンジフレームを含む類似画像区間を検出する手段と、この類似画像区間の検出結果に基づいて、前記処理対象のデジタル動画像の検索または表示を制御する手段とを具備することを特徴とする。
【００１５】
処理対象デジタル動画像内の連続したシーンチェンジが複数の参照用フレームそれぞれと類似していると判定された区間については、複数の参照用フレームで代表される動画像と同一の動画像を含む類似画像区間となる。よって、この類似画像区間の検出結果に基づいて処理対象のデジタル動画像の検索または表示を制御することにより、同一動画像の区間を省いたスキップ表示や、あるいは同一動画像部のみを検索して表示するといった制御を行うことが出来る。
【００１６】
例えば、新しいニュースを少しずつ入れながら古いニュースと一緒に放送するといったタイプのニュース番組では、一度見たニュースの差分を視聴したいという要望があるが、本装置を用いることにより、既に見たニュースについてはスキップし、新しく加わったニュースだけを視聴することが可能となる。
画像データベースの中から、ある動画像と同一の動画像区間を検索して表示するといった制御が可能となる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係るデジタル動画像処理装置のシステム構成が示されている。このデジタル動画像処理装置はランダムアクセス可能な記録媒体にデジタル動画像を記録し、その記録媒体を用いてデジタル動画像の検索または表示を行うものであり、その特徴とする機能は、デジタル動画像の解析機能である。この解析機能は、同種類の複数のデジタル動画像を用いてそのシーンチェンジフレームを解析するものであり、これにより意味のあるインデックスを自動付与したり、あるいはある特定の画像を検索したり、あるいはある特定の画像を省いたスキップ表示を行うことが可能となる。
【００１８】
このデジタル動画像処理装置のデジタル動画像処理部＃１は、図示のように、デジタル動画像記録部１０１、シーンチェンジ検出部１０２、シーンチェンジ検出結果記録部１０３、シーンチェンジフレーム画像解析部１０４、および解析結果記録部１０５から構成されている。
【００１９】
デジタル動画像記録部１０１は複数のデジタル動画像を記録するためのものであり、ランダムアクセス可能な記録メディアを用いて実現されている。メディアはハードディスクでもＤＶＤ−ＲＡＭでもビデオテープでも半導体メモリでも構わない。
【００２０】
本実施形態ではデジタル動画像記録部１０１には同種類の複数のデジタル動画像が記録されてあり、これらデジタル動画像に共通の特徴を抽出することにより、それらデジタル動画像の検索または表示のためのインデックス作成などが行われる。ここで、同種類のデジタル動画像とは、少なくとも同一フレーム画像を含むものであり、例えば、毎朝７時からＴＶ放送されるある特定のニュース番組についての複数回分の記録映像、週一回ＴＶ放送されるある特定のバラエティー番組についての複数回分の記録映像などである。これらＴＶ放送番組においては、番組のオープニングや、エンディングなどで共通の映像ソースが用いられていることが多い。特に、バラエティー番組においては、いくつかのサブ番組で構成されていることが多く、各サブ番組のオープニングでは共通の映像ソースが用いられている。
【００２１】
シーンチェンジ検出部１０２は、デジタル動画像記録部１０１から一つずつデジタル動画像を取り出し、そのデジタル動画像内の時間的に前後するフレーム同士を比較することによってシーンチェンジを検出する。この場合、同一シーン内の連続するフレーム画像は時間的な相関が高く互いに類似しているが、シーンチェンジ位置ではその前と後ではフレーム画像は大きく変化し、フレーム間の相関はほとんど無くなる。シーンチェンジ位置は、このような時間的に前後するフレーム間の非類似度に基づいて検出される。
【００２２】
具体的には、例えば、特公平５−７４２７３号に開示されている方法をシーンチェンジ（カット）の検出に使用することができる。この方法によれば、連続記録した画像シーケンスに対し、フレーム毎に差分画像及び原画像の統計量を連続的に算出し、相対的な変化を抽出することよりシーンチェンジを検出する。シーンチェンジには瞬間的に場面が変わるものとフェードイン・フェードアウトによって徐々に場面が切り替わるリゾルブというシーンチェンジがある。リゾルブのシーンチェンジの場合は場面が変わりきった直後のフレーム画像を検出結果とする。リゾルブの検出は、たとえば文献（信学論Ｄ−ＩＩ Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ Ｎｏ．４ｐｐ．５３８−５４６ １９９６ ４月「映像ショット切換え検出法とその映像アクセスインターフェース」谷口 行信、外村 佳伸、浜田 洋）に紹介されている手法などがある。
【００２３】
シーンチェンジ検出部１０２によって検出された各デジタル動画像のシーンチェンジフレームは、シーンチェンジ検出結果記録部１０３に記録される。記録される情報は検出されたフレーム番号である。また対応するフレーム画像も一緒に記録しておくようにしても良い。記録するメディアはハードディスクでもＤＶＤ−ＲＡＭでもビデオテープでも半導体メモリでも構わない。また、デジタル動画像記録部１０１を記録装置として用いても良い。
【００２４】
シーンチェンジフレーム画像解析部１０４は、シーンチェンジ検出結果記録部１０３に記録された検出結果を用いて、シーンチェンジのフレーム画像を異なるデジタル動画像同士で付き合わせて他のデジタル動画像からの類似フレームの出現頻度を計算するものであり、これにより、同種類の複数のデジタル画像で共通に使用されているフレーム画像のように、他のデジタル画像から高い頻度で検出された類似フレームについてのシーンチェンジフレームフレーム位置が検出される。このシーンチェンジフレーム画像解析部１０４による解析結果は、解析結果記録部１０５に記録され、デジタル動画像記録部１０１上のデジタル動画像を検索または表示するためのインデックス情報などとして使用される。また、解析結果記録部１０５の内容は、同種類の他のデジタル動画像を新しく処理する場合に比較対象画像として使用されるテンプレートフレーム画像としても利用される。解析結果記録部１０５としてはデジタル動画像記録部１０１を利用することができる。
【００２５】
このように、デジタル動画像処理部＃１においては、シーンチェンジフレームの解析を行うことにより、数多くのシーンチェンジの中で、番組の構成の変わり目に等に対応した意味のあるシーンチェンジを検出することが可能となる。
【００２６】
デジタル動画像処理部＃２は、同種類の他のデジタル動画像を新しく処理する場合に、デジタル動画像処理部＃１の解析結果記録部１０５の内容を使用して新たなデジタル動画像に対する画像解析処理を行うものである。
【００２７】
すなわち、このデジタル動画像処理部＃２では、デジタル動画像記録部１１１から処理対処の新たなデジタル動画像が取り出され、その前後のフレームを比較することでシーンチェンジのフレームがシーンチェンジ検出部１１２によって検出される。検出されたシーンチェンジのフレーム番号はシーンチェンジ検出結果記録部１１３に記録される。シーンチェンジフレーム画像比較部１１４では、処理対処の新たなデジタル動画像の各シーンチェンジのフレーム画像と、解析結果記録部１０５に記録されているテンプレートフレーム画像とが比較されて、類似の有無が検出される。テンプレートフレーム画像と類似するフレーム画像については、そのフレーム番号が、処理対処の新たなデジタル動画像のインデックス情報などとして出力結果記録部１１５に記録される。
【００２８】
なお、このデジタル動画像処理部＃２のデジタル動画像記録部１１１、シーンチェンジ検出部１１２、シーンチェンジ検出結果記録部１１３は、デジタル動画像処理部＃１のデジタル動画像記録部１０１、シーンチェンジ検出部１０２、シーンチェンジ検出結果記録部１０３とそれぞれ同一の機能を有する。また、デジタル動画像処理部＃１とデジタル動画像処理部＃２は独立した別々の装置として実現しても良いし、また一つの装置として実現しても良い。一つの装置として実現する場合は、同一機能部についてはデジタル動画像処理部＃１と＃２間で共用することが出来る。
【００２９】
次に、図２および図３の概念図を用いてシーンチェンジフレーム解析部１０４の処理概要を説明する。
ここでは、同種類の動画像（２０１、２０２）として、それらが互いに例えば毎日の７時のニュースであったり、あるいは毎週一回放映されるバラエティー番組である場合などのように、同種類の動画像を処理対象とする。同種類の動画像なので動画像の長さは基本的に同じである。しかし、シーンチェンジフレーム解析部１０４は処理対象とする範囲を設定できるため、処理対象の動画像の長さが必ずしも同じである必要はない。動画像２０１，２０２のどちらにおいても、シーンチェンジ検出によって検出された各シーンチェンジのフレーム画像２０３，２０５は概念上動画像のシーケンスの中に多数の個所で検出される。通常は、シーンチェンジは約５秒に一回の割合で検出される。
【００３０】
前述したように、同種類の動画像の中には定番で使われる同フレーム画像（２０４）すなわちオープニングのタイトルや各サブセッションのタイトルフレーム画像が存在する。時間軸方向に同フレーム画像はほぼ同時刻に現れることが多い。図２は同時刻に同フレーム画像が出現している場合を示しており、図３は時間的に異なるフレーム位置に同フレーム画像が出現している場合を示している。
【００３１】
番組内で定時に始まるサブセッションに関しては、解析する時間幅を限定して処理を行うことができる。一方、あるバラエティー番組では不定期にサブセッションがあったりなかったり、時間的にもかなりずれてサブセッションが設定されたりすることがある。その場合は、事前の知識がなければすべての組み合わせで同フレーム画像２０４が他のデジタル動画像の中にあるかどうかを調べる。
【００３２】
次に、図４を参照して、デジタル動画像の解析手順を説明する。
ここでは、図５に示されているように、「ＮＯ．１」から「ＮＯ．５」の５つのデジタル動画像がデジタル動画像記録部１０１に記録されている場合を想定する。これら「ＮＯ．１」から「ＮＯ．５」の５つのデジタル動画像は、異なる日時に放送された同一のニュース番組の動画像である。
【００３３】
まず、これら５つのデジタル動画像それぞれについてのシーンチェンジが検出された後、次の手順で、シーンチェンジフレームの解析が行われる。
すなわち、最初に、ステップ３０１で、処理対象となる一つのデジタル動画像（ここでは、「ＮＯ．１」の動画像とする）について未処理のシーンチェンジフレーム画像が存在するかどうか判定する。未処理のシーンチェンジが存在する場合は、ステップ３０２で、同種類の他の動画像（「ＮＯ．２」〜「ＮＯ．４」）から得られたシーンチェンジフレーム画像それぞれとの比較が行われる。ステップ３０２で動画像「ＮＯ．１」内のあるシーンチェンジフレーム画像が、他のシーンチェンジフレーム画像（「ＮＯ．２」〜「ＮＯ．４」）のいずれかに含まれているあるシーンチェンジフレーム画像と同フレーム画像であると判定された場合には、ステップ３０３にて、その対応関係が記録される。
【００３４】
続いて、ステップ３０１へ戻って未処理のシーンチェンジフレーム画像が存在するかどうかを判定する。未処理のシーンチェンジフレーム画像がなくなった場合は、ステップ３０４に進み、そこで、ステップ３０３の記録結果を用いることにより、処理対象のデジタル動画像のすべてのシーンチェンジフレーム画像それぞれについて、他の動画像に存在する同フレーム画像の数をカウントする。次に、ステップ３０５で、処理対象のデジタル動画像内のシーンチェンジフレーム画像の中から、ある閾値以上のカウント数を有するシーンチェンジフレーム画像を類似フレーム画像として検出する。そして、この検出結果がステップ３０６でインデックス情報として記録部に記録される。
【００３５】
図５の例においては、オープニングと、天気予報の部分で共通の映像ソースが用いられているので、「ＮＯ．１」の動画像から検出されたシーンチェンジフレームＡ１〜Ａ８の内、フレームＡ３については、「ＮＯ．２」の動画像中のシーンチェンジフレームＢ３と同フレーム画像であることが検出されると共に、「ＮＯ．３」の動画像の中のシーンチェンジフレームＣ４、および「ＮＯ．４」の動画像の中のシーンチェンジフレームＤ４ともそれぞれ同フレーム画像であることが検出される。よって、フレームＡ３の画像は出現頻度の高い類似フレーム画像として決定される。同様に、「ＮＯ．１」の動画像の中のシーンチェンジフレームＡ８についても、他のデジタル動画像それぞれのシーンチェンジフレームＢ８，Ｃ９，Ｄ１０と同フレーム画像であることが検出され、Ａ８は出現頻度の高い類似フレーム画像として決定される。
【００３６】
この場合、処理対象の「ＮＯ．１」の動画像の中のシーンチェンジフレームの中で、シーンチェンジフレームＡ３とＡ８の二つが意味のあるシーンチェンジフレームとして選択され、その位置が検索または表示のためのインデックスとして用いられることになる。
【００３７】
また、ステップ３０６では、図６のようなインデックス情報を生成するようにしてもよい。
図６では、検出された２つの類似フレーム画像に対応する２つのインデックス情報（ＩＮＤＥＸ１，ＩＮＤＥＸ２）が作成されている。ＩＮＤＥＸ１は共通の番組オープニングタイトルがどのデジタル動画像のどのフレーム番号に存在するかを示すものであり、またＩＮＤＥＸ２には、天気予報のタイトルがどのデジタル動画像のどのフレーム番号に存在するかを示すものである。
【００３８】
図６のように複数のデジタル動画像に共通に使用可能なインデックス情報を作成しておくことにより、例えば、複数のデジタル動画像の中から天気予報の画像部分のみを順次検索して表示するといった処理を行うことが可能となる。
【００３９】
次に、図７のフローチャートを参照して、図４の処理で得られた解析結果（今後、このシーンチェンジフレーム画像をテンプレートフレーム画像と呼ぶ）を用いて新規に処理対象となった同種類の動画像からテンプレートフレーム画像と同一のシーンチェンジフレーム画像を検出する処理を説明する。
【００４０】
ここでは、図８のように、既に解析されている動画像「ＮＯ．１」〜「ＮＯ．４」の解析結果を用いて、同種類の新たな動画像「ＮＯ．５」を解析する場合を想定する。
【００４１】
まず、ステップ４０１で、未処理のテンプレートフレーム画像がないか判定する。未処理のテンプレートフレーム画像が存在する場合は、ステップ４０２で、新規に処理対象となった動画像「ＮＯ．５」から得られたシーンチェンジフレーム画像それぞれとテンプレートフレーム画像を比較する。ステップ４０３では、同フレーム画像と判定された場合その対応関係を記録する。そして、ステップ４０１にもどって、未処理のテンプレートフレーム画像があれば４０２の処理を続け、ない場合は４０４で解析結果を記録する。
【００４２】
このようにテンプレートフレーム画像を一つずつ取り出して、新規に処理対象となった動画像「ＮＯ．５」から得られたシーンチェンジフレーム画像それぞれと比較することにより、図８の例においては、処理対象の「ＮＯ．５」の動画像の中のシーンチェンジフレームの中で、テンプレートフレーム画像と同フレーム画像となるシーンチェンジフレームＥ４とＥ１０の二つが意味のあるシーンチェンジフレームとして選択され、その位置が動画像「ＮＯ．５」の検索または表示のためのインデックスとして用いられることになる。
【００４３】
また、図６のＩＮＤＥＸ１の情報中に「ＮＯ．５、フレーム番号Ｅ４」を、ＩＮＤＥＸ２の情報中に「ＮＯ．５、フレーム番号Ｅ１０」を追加するようにしてもよい。これにより、５つのデジタル動画像に共通のインデックスが生成されることになる。また、テンプレートフレーム画像に予めその画像を意味するタイトル（例えば、オープニング、天気予報など）などを利用者が設定しておけば、各デジタル動画像毎にその概略的な番組構造をサブ番組名（オープニング、天気予報など）付きのアイコンなどを用いて模式的に画面表示したり、あるいはそのアイコンと該当する画像をリンクさせておき、アイコン操作によって自動的に対応する動画像を表示するといった制御を実現することが可能となる。
【００４４】
なお、図７の処理においては、テンプレートフレーム画像は、図４の処理で検出した結果を用いているが、このテンプレートフレーム画像は事前に人がマニュアルで与えてもかまわない。
【００４５】
また、動画像内の全てのシーンチェンジフレーム画像を比較対象とする必要はなく、探索範囲を限定してもかまわない。例えば、検出したいシーンチェンジフレーム画像が動画像のある時間帯にほぼ決まっている場合は、その時間帯のみに適用することにより処理時間や検出精度を上げることができる。
【００４６】
シーンチェンジフレーム画像の比較方法であるが、基本的には、まったく同じかどうかを判定すれば良いのでフレーム間の各画像のＲＧＢ値の差分の絶対和がある閾値以下であれば同一とみなすという方法を適用できる。しかし、すべての画素の差分をとると時間がかかるので、最初に、フレーム画像中から適当に選んだ少ない画素を使って大まかな比較を行い、これによって明らかに異なるものを排除して比較対象フレームを絞り込んだ後に、今度は、精密に同一フレーム画像かどうかを全画素比較によって判定するという方法を用いることもできる。これにより、処理の高速化を図ることができる。
【００４７】
図９には、図７の解析結果を利用して行われる動画像検索または表示処理の手順が示されている。
すなわち、まず、ステップ５０１で、図４の処理またはマニュアル操作で与えられたテンプレート画像の中に未処理のテンプレートフレーム画像がないか判定する。未処理のテンプレートフレーム画像が存在する場合は、ステップ５０２で、検索または表示対象の動画像から得られたシーンチェンジフレーム画像それぞれとテンプレートフレーム画像を比較する。ステップ５０３では、同フレーム画像と判定された場合その対応関係を記録する。そして、ステップ５０１にもどって、未処理のテンプレートフレーム画像があれば５０２の処理を続け、ない場合は５０４で解析結果を記録する。そして、この解析結果に基づいて、デジタル動画像の検索または表示を行う。
【００４８】
例えば、新しいニュースを少しずつ入れながら古いニュースと一緒に放送するタイプのニュース番組では、一度見たニュースの差分のニュースを見たいという要求が強い。この場合、視聴済みのニュース番組を参照画像として使用し、その視聴済みのニュース番組からシーンチェンジフレーム画像を抽出し、そのシーンチェンジフレーム画像を前述のテンプレートフレーム画像などとして利用して、新規のニュースに対して類似フレーム画像を検出し、類似フレームの存在する区間を省いた新規デジタル動画像を生成し表示することにより、新しく加わったニュースのみを視聴することができる。
【００４９】
類似フレーム区間の検出とそれを用いた検索／表示制御の例を図１０に示す。
図１０において、例えば動画像「ＮＯ．１」が視聴済みの番組であり、動画像「ＮＯ．２」が新たに視聴しようとする番組である場合には、動画像「ＮＯ．１」と動画像「ＮＯ．２」との間で類似フレームが連続して現れる区間（ＩＮ１〜ＯＵＴ１、ＩＮ２〜ＯＵＴ２、ＩＮ３〜ＯＵＴ３）が検出され、それら期間をスキップして動画像「ＮＯ．２」の検索および表示が行われる。この場合の処理手順を図１１に示す。
【００５０】
すなわち、動画像「ＮＯ．１」の全てのシーンチェンジフレームをテンプレートして使用し、この各テンプレートを順番に動画像「ＮＯ．２」のシーンチェンジフレームそれぞれと比較していくことにより、同フレーム画像として検出されたフレーム番号の対応関係が記録されていく（ステップ６０１〜６０３）。そして、この記録結果をステップ６０２で解析することにより、同フレーム（類似フレーム）であると検出された動画像「ＮＯ．２」内の連続するシーンチェンジフレームの区間がステップ６０５にて検出され、その検出された区間を用いて動画像「ＮＯ．２」の検索／表示の制御がステップ６０６で行われる。
【００５１】
同様に、動画像「ＮＯ．４」が視聴済みの番組であり、動画像「ＮＯ．５」が新たに視聴しようとする番組である場合には、動画像「ＮＯ．４」と動画像「ＮＯ．５」との間で類似フレームが連続して現れる区間が検出され、それら期間をスキップして動画像「ＮＯ．５」の検索および表示が行われる。
【００５２】
また、逆に、同一の画像部分を検索することもできる。図１０の例では、例えば、動画像「ＮＯ．１」の動画区間（ＩＮ１〜ＯＵＴ１）のシーンチェンジフレーム画像を順番にテンプレートフレーム画像として使用して、別の動画像「ＮＯ．２」〜「ＮＯ．５」それぞれのシーンチェンジフレーム画像と比較して同フレーム画像の位置を検出することにより、同フレーム画像が連続して多数含まれる領域を特定することが出来る。
【００５３】
したがって、多数のデジタル動画像の収録されたデータベースから、あるデジタル動画像に類似または同種類のデジタル動画像を見つけたい場合、参照されるデジタル動画像から検出されたシーンチェンジフレーム画像を、多数のデジタル動画像からのシーンチェンジフレーム画像に対して比較し、類似画像の多数含まれるデジタル動画像を検索または表示することにより、同種類のデジタル動画像を見つけ出すことができる。
【００５４】
以上のように、本実施形態においては、類似したフレーム画像が高い頻度で検出されたシーンチェンジのフレーム位置を記録していくことにより、数多くのシーンチェンジの中で、番組の構成の変わり目に等に対応した意味のあるシーンチェンジをインデックス情報として使用することが可能となり、番組をサブ番組毎に分類してその検索や表示を容易に行うことが出来る。また、シーンチェンジフレーム同士の比較であるので、全てのフレームを比較する場合に比し、演算処理量を大幅に低減できる。したがって、専用のハードウェアを用いずとも、汎用のプロセッサを用いたソフトウェアによる処理のみで、意味のあるシーンチェンジを検出することが出来る。よって、図４、図７、図９、および図１１の処理の全てはコンピュータプログラムを用いて実現でき、これをＣＤ−ＲＯＭなどの記録媒体を通じてコンピュータに導入して実行させることにより、本実施形態と同等の効果を得ることが可能となる。
【００５５】
また、本実施形態は、ユーザが自ら録画または配信などによって自動取得したデジタル動画像の検索、表示制御のためにそのデジタル動画像を解析する場合について説明したが、同種類の複数のデジタル動画像から構成される動画像タイトルを作成する場合にも同様にして適用することが出来る。この場合、複数のデジタル動画像と同一の記録媒体上に図６のようなインデックス情報を記録しておくことにより、そのインデックス情報を用いた様々な検索／表示制御を実現することができる。
【００５６】
【発明の効果】
以上のように、本発明によれば、多数のシーンチェンジフレーム画像の中から意味のあるシーンチェンジフレーム画像を自動検出できるようになり、この検出結果を用いてインデックスの作成や、様々な検索、表示制御処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタル動画像処理装置のシステム構成を示すブロック図。
【図２】同実施形態におけるシーンチェンジフレーム解析の様子を説明するための第１の図。
【図３】同実施形態におけるシーンチェンジフレーム解析の様子を説明するための第２の図。
【図４】同実施形態に適用されるシーンチェンジフレーム解析処理の手順を示すフローチャート。
【図５】同実施形態において扱われる複数のデジタル動画像間における同フレーム画像の対応関係の一例を示す図。
【図６】同実施形態によるシーンチェンジフレーム解析処理で得られるインデックス情報の一例を示す図。
【図７】同実施形態において既に検出されたシーンチェンジフレームを用いて新たな同種類の動画像を解析する処理の手順を示すフローチャート。
【図８】同実施形態において新たな同種類の動画像を解析する処理の様子を示す図。
【図９】同実施形態においてシーンチェンジフレーム解析結果を用いてデジタル動画像を検索または表示する処理の手順を示すフローチャート。
【図１０】同実施形態におけるシーンチェンジフレーム解析を用いて類似画像区間を検出する様子を示す図。
【図１１】同実施形態においてシーンチェンジフレーム解析結果を用いた類似画像区間検出処理を利用してデジタル動画像を検索または表示する処理の手順を示すフローチャート。
【符号の説明】
１０１…デジタル動画像記録部
１０２…シーンチェンジ検出部
１０３…シーンチェンジ検出結果記録部
１０４…シーンチェンジフレーム画像解析部
１０５…解析結果記録部
１１１…デジタル動画像記録部
１１２…シーンチェンジ検出部
１１３…シーンチェンジ検出結果記録部
１１４…シーンチェンジフレーム画像比較部
１１５…出力結果記録部
２０１…デジタル動画像
２０２…デジタル動画像
２０３，２０５…シーンチェンジフレーム画像
２０４…同フレーム画像
【発明の属する技術分野】
本発明はデジタル動画像処理装置およびデジタル動画像処理方法に関し、特にデジタル動画像に対してその検索または表示等のためのインデックス情報を自動的に付与するデジタル動画像処理装置およびデジタル動画像処理方法に関する。
【０００２】
【従来の技術】
一般に、デジタル動画像は、テープのようなシーケンシャルに読み出すことしかできない媒体に記録するのではなく、ＣＤ−ＲＯＭ（ＲＷ）やＤＶＤ−ＲＯＭ（ＲＡＭ）などに記録することにより、所望の場所からランダムにアクセスできるという特長がある。
【０００３】
ランダムアクセスするためにはインデックスを設けることが必要となるが、このインデックスを手作業で入力すると、たいへんな手間になる。そこで、自動でこのインデックスを付けるためにシーンチェンジと呼ばれる場所（場面が急に変わるところ）を、前後のフレームを比較することにより検出し、それをインデックスとすることが提案されている。
【０００４】
しかし、一般に、ＴＶ放送番組や映画などの動画像では、シーンチェンジは約５秒に一回の割合で発生する。このため、検出された全てのシーンチェンジをそのままインデックスして使用すると、インデックスの数が増えすぎてしまい、却って画像の検索または表示に手間がかかるという問題が発生する。
【０００５】
【発明が解決しようとする課題】
上述のように、従来では、シーンチェンジ検出を用いてインデックスを自動付与すると、インデックスの数が増えすぎてしまい、却って画像の検索または表示に手間がかかるという問題があった。
【０００６】
本発明はこのような実情に鑑みてなされたものであり、検出された多数のシーンチェンジの中から意味のあるシーンチェンジを特定できるようにし、デジタル動画像の検索、再生制御に最適なデジタル動画像処理装置およびデジタル動画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の課題を解決するため、本発明のデジタル動画像処理装置は、処理対象のデジタル動画像を含む同じ番組の複数のデジタル動画像それぞれのシーンチェンジを検出する手段と、検出されたシーンチェンジのフレーム画像を異なるデジタル動画像同士で比較し、前記処理対象のデジタル動画像から検出されたシーンチェンジのフレーム画像と類似したフレーム画像を、他のデジタル動画像から検出する手段と、類似したフレーム画像が複数のデジタル動画像間で高い頻度で検出された前記処理対象デジタル動画像内のシーンチェンジのフレーム位置を記録する手段とを具備することを特徴とする。
【０００８】
このデジタル動画像処理装置においては、同じ番組の複数のデジタル動画像間でシーンチェンジフレームのフレーム画像の付き合わせが行われ、これにより、処理対象のデジタル動画像内のシーンチェンジフレームの中で、類似したフレーム画像が複数のデジタル動画像間で高い頻度で検出されたシーンチェンジのフレーム位置が調べられ、そのシーンチェンジのフレーム位置が解析結果として記録される。
【０００９】
例えば、異なる日時に放送された同一ニュース番組などのような同種類の複数のデジタル動画像では、一般に、番組のオープニング、番組内の特集コーナー、天気予報コーナー、およびエンディング、ＣＭなどで共通のフレーム画像が使用されていることが多く、このような部分では、類似したフレーム画像が高い頻度で検出される。よって、類似したフレーム画像が高い頻度で検出されたシーンチェンジフレームの位置を記録することにより、数多くのシーンチェンジの中で、番組の構成の変わり目に対応した意味のあるシーンチェンジをインデックス情報などとして使用することが可能となり、番組をサブ番組毎に分類してその検索や表示を行ったり、特定の部分をスキップして表示するなどの制御を容易に行うことが出来る。
【００１０】
また、シーンチェンジフレーム同士の比較であるので、全てのフレームを比較する場合に比し、演算処理量を大幅に低減できる。したがって、専用のハードウェアを用いずとも、汎用のプロセッサを用いたソフトウェアによる処理のみで、意味のあるシーンチェンジを検出することが出来る。
【００１１】
また、本発明のデジタル動画像処理装置は、処理対象のデジタル動画像のシーンチェンジを検出する手段と、検出された各シーンチェンジのフレーム画像と予め記録されている１以上の参照用のフレーム画像とを比較して、その類似の有無を判定する手段と、前記参照用のフレーム画像と類似していると判定された各フレーム画像について、処理対象デジタル動画像内のフレーム位置を記録する手段とを具備することを特徴とする。
【００１２】
このデジタル動画像処理装置においては、番組の構成の変わり目などに対応するフレーム画像などが予め参照用のフレーム画像として記録されており、この参照用のフレーム画像と処理対象のデジタル動画像のシーンチェンジフレーム画像との突き合わせによって、意味のあるシーンチェンジが検出される。この場合においても、数多くのシーンチェンジの中で、番組の構成の変わり目などに対応した意味のあるシーンチェンジをインデックス情報として使用することが可能となる。
【００１３】
また、同種類の複数のデジタル画像間でシーンチェンジフレーム画像の突き合わせを行うことによって求めた高頻度の類似フレーム画像を前述の参照用フレーム画像として使用することにより、新たに処理対象となったデジタル動画像については、その参照用フレーム画像との比較のみで意味のあるシーンチェンジフレームを検出できるようになり、処理効率を向上を図ることが出来る。
【００１４】
また、本発明のデジタル動画像処理装置は、処理対象のデジタル動画像のシーンチェンジを検出する手段と、検出された各シーンチェンジのフレーム画像と予め記録されている複数の参照用のフレーム画像とを比較して、その類似の有無を判定する手段と、前記参照用のフレーム画像と類似していると判定された各フレーム画像について、処理対象デジタル動画像内のフレーム位置を記録する手段と、この記録結果を用いて、前記参照用フレームと類似していると判定された前記処理対象デジタル動画像内の連続した複数のシーンチェンジフレームを含む類似画像区間を検出する手段と、この類似画像区間の検出結果に基づいて、前記処理対象のデジタル動画像の検索または表示を制御する手段とを具備することを特徴とする。
【００１５】
処理対象デジタル動画像内の連続したシーンチェンジが複数の参照用フレームそれぞれと類似していると判定された区間については、複数の参照用フレームで代表される動画像と同一の動画像を含む類似画像区間となる。よって、この類似画像区間の検出結果に基づいて処理対象のデジタル動画像の検索または表示を制御することにより、同一動画像の区間を省いたスキップ表示や、あるいは同一動画像部のみを検索して表示するといった制御を行うことが出来る。
【００１６】
例えば、新しいニュースを少しずつ入れながら古いニュースと一緒に放送するといったタイプのニュース番組では、一度見たニュースの差分を視聴したいという要望があるが、本装置を用いることにより、既に見たニュースについてはスキップし、新しく加わったニュースだけを視聴することが可能となる。
画像データベースの中から、ある動画像と同一の動画像区間を検索して表示するといった制御が可能となる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係るデジタル動画像処理装置のシステム構成が示されている。このデジタル動画像処理装置はランダムアクセス可能な記録媒体にデジタル動画像を記録し、その記録媒体を用いてデジタル動画像の検索または表示を行うものであり、その特徴とする機能は、デジタル動画像の解析機能である。この解析機能は、同種類の複数のデジタル動画像を用いてそのシーンチェンジフレームを解析するものであり、これにより意味のあるインデックスを自動付与したり、あるいはある特定の画像を検索したり、あるいはある特定の画像を省いたスキップ表示を行うことが可能となる。
【００１８】
このデジタル動画像処理装置のデジタル動画像処理部＃１は、図示のように、デジタル動画像記録部１０１、シーンチェンジ検出部１０２、シーンチェンジ検出結果記録部１０３、シーンチェンジフレーム画像解析部１０４、および解析結果記録部１０５から構成されている。
【００１９】
デジタル動画像記録部１０１は複数のデジタル動画像を記録するためのものであり、ランダムアクセス可能な記録メディアを用いて実現されている。メディアはハードディスクでもＤＶＤ−ＲＡＭでもビデオテープでも半導体メモリでも構わない。
【００２０】
本実施形態ではデジタル動画像記録部１０１には同種類の複数のデジタル動画像が記録されてあり、これらデジタル動画像に共通の特徴を抽出することにより、それらデジタル動画像の検索または表示のためのインデックス作成などが行われる。ここで、同種類のデジタル動画像とは、少なくとも同一フレーム画像を含むものであり、例えば、毎朝７時からＴＶ放送されるある特定のニュース番組についての複数回分の記録映像、週一回ＴＶ放送されるある特定のバラエティー番組についての複数回分の記録映像などである。これらＴＶ放送番組においては、番組のオープニングや、エンディングなどで共通の映像ソースが用いられていることが多い。特に、バラエティー番組においては、いくつかのサブ番組で構成されていることが多く、各サブ番組のオープニングでは共通の映像ソースが用いられている。
【００２１】
シーンチェンジ検出部１０２は、デジタル動画像記録部１０１から一つずつデジタル動画像を取り出し、そのデジタル動画像内の時間的に前後するフレーム同士を比較することによってシーンチェンジを検出する。この場合、同一シーン内の連続するフレーム画像は時間的な相関が高く互いに類似しているが、シーンチェンジ位置ではその前と後ではフレーム画像は大きく変化し、フレーム間の相関はほとんど無くなる。シーンチェンジ位置は、このような時間的に前後するフレーム間の非類似度に基づいて検出される。
【００２２】
具体的には、例えば、特公平５−７４２７３号に開示されている方法をシーンチェンジ（カット）の検出に使用することができる。この方法によれば、連続記録した画像シーケンスに対し、フレーム毎に差分画像及び原画像の統計量を連続的に算出し、相対的な変化を抽出することよりシーンチェンジを検出する。シーンチェンジには瞬間的に場面が変わるものとフェードイン・フェードアウトによって徐々に場面が切り替わるリゾルブというシーンチェンジがある。リゾルブのシーンチェンジの場合は場面が変わりきった直後のフレーム画像を検出結果とする。リゾルブの検出は、たとえば文献（信学論Ｄ−ＩＩ Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ Ｎｏ．４ｐｐ．５３８−５４６ １９９６ ４月「映像ショット切換え検出法とその映像アクセスインターフェース」谷口 行信、外村 佳伸、浜田 洋）に紹介されている手法などがある。
【００２３】
シーンチェンジ検出部１０２によって検出された各デジタル動画像のシーンチェンジフレームは、シーンチェンジ検出結果記録部１０３に記録される。記録される情報は検出されたフレーム番号である。また対応するフレーム画像も一緒に記録しておくようにしても良い。記録するメディアはハードディスクでもＤＶＤ−ＲＡＭでもビデオテープでも半導体メモリでも構わない。また、デジタル動画像記録部１０１を記録装置として用いても良い。
【００２４】
シーンチェンジフレーム画像解析部１０４は、シーンチェンジ検出結果記録部１０３に記録された検出結果を用いて、シーンチェンジのフレーム画像を異なるデジタル動画像同士で付き合わせて他のデジタル動画像からの類似フレームの出現頻度を計算するものであり、これにより、同種類の複数のデジタル画像で共通に使用されているフレーム画像のように、他のデジタル画像から高い頻度で検出された類似フレームについてのシーンチェンジフレームフレーム位置が検出される。このシーンチェンジフレーム画像解析部１０４による解析結果は、解析結果記録部１０５に記録され、デジタル動画像記録部１０１上のデジタル動画像を検索または表示するためのインデックス情報などとして使用される。また、解析結果記録部１０５の内容は、同種類の他のデジタル動画像を新しく処理する場合に比較対象画像として使用されるテンプレートフレーム画像としても利用される。解析結果記録部１０５としてはデジタル動画像記録部１０１を利用することができる。
【００２５】
このように、デジタル動画像処理部＃１においては、シーンチェンジフレームの解析を行うことにより、数多くのシーンチェンジの中で、番組の構成の変わり目に等に対応した意味のあるシーンチェンジを検出することが可能となる。
【００２６】
デジタル動画像処理部＃２は、同種類の他のデジタル動画像を新しく処理する場合に、デジタル動画像処理部＃１の解析結果記録部１０５の内容を使用して新たなデジタル動画像に対する画像解析処理を行うものである。
【００２７】
すなわち、このデジタル動画像処理部＃２では、デジタル動画像記録部１１１から処理対処の新たなデジタル動画像が取り出され、その前後のフレームを比較することでシーンチェンジのフレームがシーンチェンジ検出部１１２によって検出される。検出されたシーンチェンジのフレーム番号はシーンチェンジ検出結果記録部１１３に記録される。シーンチェンジフレーム画像比較部１１４では、処理対処の新たなデジタル動画像の各シーンチェンジのフレーム画像と、解析結果記録部１０５に記録されているテンプレートフレーム画像とが比較されて、類似の有無が検出される。テンプレートフレーム画像と類似するフレーム画像については、そのフレーム番号が、処理対処の新たなデジタル動画像のインデックス情報などとして出力結果記録部１１５に記録される。
【００２８】
なお、このデジタル動画像処理部＃２のデジタル動画像記録部１１１、シーンチェンジ検出部１１２、シーンチェンジ検出結果記録部１１３は、デジタル動画像処理部＃１のデジタル動画像記録部１０１、シーンチェンジ検出部１０２、シーンチェンジ検出結果記録部１０３とそれぞれ同一の機能を有する。また、デジタル動画像処理部＃１とデジタル動画像処理部＃２は独立した別々の装置として実現しても良いし、また一つの装置として実現しても良い。一つの装置として実現する場合は、同一機能部についてはデジタル動画像処理部＃１と＃２間で共用することが出来る。
【００２９】
次に、図２および図３の概念図を用いてシーンチェンジフレーム解析部１０４の処理概要を説明する。
ここでは、同種類の動画像（２０１、２０２）として、それらが互いに例えば毎日の７時のニュースであったり、あるいは毎週一回放映されるバラエティー番組である場合などのように、同種類の動画像を処理対象とする。同種類の動画像なので動画像の長さは基本的に同じである。しかし、シーンチェンジフレーム解析部１０４は処理対象とする範囲を設定できるため、処理対象の動画像の長さが必ずしも同じである必要はない。動画像２０１，２０２のどちらにおいても、シーンチェンジ検出によって検出された各シーンチェンジのフレーム画像２０３，２０５は概念上動画像のシーケンスの中に多数の個所で検出される。通常は、シーンチェンジは約５秒に一回の割合で検出される。
【００３０】
前述したように、同種類の動画像の中には定番で使われる同フレーム画像（２０４）すなわちオープニングのタイトルや各サブセッションのタイトルフレーム画像が存在する。時間軸方向に同フレーム画像はほぼ同時刻に現れることが多い。図２は同時刻に同フレーム画像が出現している場合を示しており、図３は時間的に異なるフレーム位置に同フレーム画像が出現している場合を示している。
【００３１】
番組内で定時に始まるサブセッションに関しては、解析する時間幅を限定して処理を行うことができる。一方、あるバラエティー番組では不定期にサブセッションがあったりなかったり、時間的にもかなりずれてサブセッションが設定されたりすることがある。その場合は、事前の知識がなければすべての組み合わせで同フレーム画像２０４が他のデジタル動画像の中にあるかどうかを調べる。
【００３２】
次に、図４を参照して、デジタル動画像の解析手順を説明する。
ここでは、図５に示されているように、「ＮＯ．１」から「ＮＯ．５」の５つのデジタル動画像がデジタル動画像記録部１０１に記録されている場合を想定する。これら「ＮＯ．１」から「ＮＯ．５」の５つのデジタル動画像は、異なる日時に放送された同一のニュース番組の動画像である。
【００３３】
まず、これら５つのデジタル動画像それぞれについてのシーンチェンジが検出された後、次の手順で、シーンチェンジフレームの解析が行われる。
すなわち、最初に、ステップ３０１で、処理対象となる一つのデジタル動画像（ここでは、「ＮＯ．１」の動画像とする）について未処理のシーンチェンジフレーム画像が存在するかどうか判定する。未処理のシーンチェンジが存在する場合は、ステップ３０２で、同種類の他の動画像（「ＮＯ．２」〜「ＮＯ．４」）から得られたシーンチェンジフレーム画像それぞれとの比較が行われる。ステップ３０２で動画像「ＮＯ．１」内のあるシーンチェンジフレーム画像が、他のシーンチェンジフレーム画像（「ＮＯ．２」〜「ＮＯ．４」）のいずれかに含まれているあるシーンチェンジフレーム画像と同フレーム画像であると判定された場合には、ステップ３０３にて、その対応関係が記録される。
【００３４】
続いて、ステップ３０１へ戻って未処理のシーンチェンジフレーム画像が存在するかどうかを判定する。未処理のシーンチェンジフレーム画像がなくなった場合は、ステップ３０４に進み、そこで、ステップ３０３の記録結果を用いることにより、処理対象のデジタル動画像のすべてのシーンチェンジフレーム画像それぞれについて、他の動画像に存在する同フレーム画像の数をカウントする。次に、ステップ３０５で、処理対象のデジタル動画像内のシーンチェンジフレーム画像の中から、ある閾値以上のカウント数を有するシーンチェンジフレーム画像を類似フレーム画像として検出する。そして、この検出結果がステップ３０６でインデックス情報として記録部に記録される。
【００３５】
図５の例においては、オープニングと、天気予報の部分で共通の映像ソースが用いられているので、「ＮＯ．１」の動画像から検出されたシーンチェンジフレームＡ１〜Ａ８の内、フレームＡ３については、「ＮＯ．２」の動画像中のシーンチェンジフレームＢ３と同フレーム画像であることが検出されると共に、「ＮＯ．３」の動画像の中のシーンチェンジフレームＣ４、および「ＮＯ．４」の動画像の中のシーンチェンジフレームＤ４ともそれぞれ同フレーム画像であることが検出される。よって、フレームＡ３の画像は出現頻度の高い類似フレーム画像として決定される。同様に、「ＮＯ．１」の動画像の中のシーンチェンジフレームＡ８についても、他のデジタル動画像それぞれのシーンチェンジフレームＢ８，Ｃ９，Ｄ１０と同フレーム画像であることが検出され、Ａ８は出現頻度の高い類似フレーム画像として決定される。
【００３６】
この場合、処理対象の「ＮＯ．１」の動画像の中のシーンチェンジフレームの中で、シーンチェンジフレームＡ３とＡ８の二つが意味のあるシーンチェンジフレームとして選択され、その位置が検索または表示のためのインデックスとして用いられることになる。
【００３７】
また、ステップ３０６では、図６のようなインデックス情報を生成するようにしてもよい。
図６では、検出された２つの類似フレーム画像に対応する２つのインデックス情報（ＩＮＤＥＸ１，ＩＮＤＥＸ２）が作成されている。ＩＮＤＥＸ１は共通の番組オープニングタイトルがどのデジタル動画像のどのフレーム番号に存在するかを示すものであり、またＩＮＤＥＸ２には、天気予報のタイトルがどのデジタル動画像のどのフレーム番号に存在するかを示すものである。
【００３８】
図６のように複数のデジタル動画像に共通に使用可能なインデックス情報を作成しておくことにより、例えば、複数のデジタル動画像の中から天気予報の画像部分のみを順次検索して表示するといった処理を行うことが可能となる。
【００３９】
次に、図７のフローチャートを参照して、図４の処理で得られた解析結果（今後、このシーンチェンジフレーム画像をテンプレートフレーム画像と呼ぶ）を用いて新規に処理対象となった同種類の動画像からテンプレートフレーム画像と同一のシーンチェンジフレーム画像を検出する処理を説明する。
【００４０】
ここでは、図８のように、既に解析されている動画像「ＮＯ．１」〜「ＮＯ．４」の解析結果を用いて、同種類の新たな動画像「ＮＯ．５」を解析する場合を想定する。
【００４１】
まず、ステップ４０１で、未処理のテンプレートフレーム画像がないか判定する。未処理のテンプレートフレーム画像が存在する場合は、ステップ４０２で、新規に処理対象となった動画像「ＮＯ．５」から得られたシーンチェンジフレーム画像それぞれとテンプレートフレーム画像を比較する。ステップ４０３では、同フレーム画像と判定された場合その対応関係を記録する。そして、ステップ４０１にもどって、未処理のテンプレートフレーム画像があれば４０２の処理を続け、ない場合は４０４で解析結果を記録する。
【００４２】
このようにテンプレートフレーム画像を一つずつ取り出して、新規に処理対象となった動画像「ＮＯ．５」から得られたシーンチェンジフレーム画像それぞれと比較することにより、図８の例においては、処理対象の「ＮＯ．５」の動画像の中のシーンチェンジフレームの中で、テンプレートフレーム画像と同フレーム画像となるシーンチェンジフレームＥ４とＥ１０の二つが意味のあるシーンチェンジフレームとして選択され、その位置が動画像「ＮＯ．５」の検索または表示のためのインデックスとして用いられることになる。
【００４３】
また、図６のＩＮＤＥＸ１の情報中に「ＮＯ．５、フレーム番号Ｅ４」を、ＩＮＤＥＸ２の情報中に「ＮＯ．５、フレーム番号Ｅ１０」を追加するようにしてもよい。これにより、５つのデジタル動画像に共通のインデックスが生成されることになる。また、テンプレートフレーム画像に予めその画像を意味するタイトル（例えば、オープニング、天気予報など）などを利用者が設定しておけば、各デジタル動画像毎にその概略的な番組構造をサブ番組名（オープニング、天気予報など）付きのアイコンなどを用いて模式的に画面表示したり、あるいはそのアイコンと該当する画像をリンクさせておき、アイコン操作によって自動的に対応する動画像を表示するといった制御を実現することが可能となる。
【００４４】
なお、図７の処理においては、テンプレートフレーム画像は、図４の処理で検出した結果を用いているが、このテンプレートフレーム画像は事前に人がマニュアルで与えてもかまわない。
【００４５】
また、動画像内の全てのシーンチェンジフレーム画像を比較対象とする必要はなく、探索範囲を限定してもかまわない。例えば、検出したいシーンチェンジフレーム画像が動画像のある時間帯にほぼ決まっている場合は、その時間帯のみに適用することにより処理時間や検出精度を上げることができる。
【００４６】
シーンチェンジフレーム画像の比較方法であるが、基本的には、まったく同じかどうかを判定すれば良いのでフレーム間の各画像のＲＧＢ値の差分の絶対和がある閾値以下であれば同一とみなすという方法を適用できる。しかし、すべての画素の差分をとると時間がかかるので、最初に、フレーム画像中から適当に選んだ少ない画素を使って大まかな比較を行い、これによって明らかに異なるものを排除して比較対象フレームを絞り込んだ後に、今度は、精密に同一フレーム画像かどうかを全画素比較によって判定するという方法を用いることもできる。これにより、処理の高速化を図ることができる。
【００４７】
図９には、図７の解析結果を利用して行われる動画像検索または表示処理の手順が示されている。
すなわち、まず、ステップ５０１で、図４の処理またはマニュアル操作で与えられたテンプレート画像の中に未処理のテンプレートフレーム画像がないか判定する。未処理のテンプレートフレーム画像が存在する場合は、ステップ５０２で、検索または表示対象の動画像から得られたシーンチェンジフレーム画像それぞれとテンプレートフレーム画像を比較する。ステップ５０３では、同フレーム画像と判定された場合その対応関係を記録する。そして、ステップ５０１にもどって、未処理のテンプレートフレーム画像があれば５０２の処理を続け、ない場合は５０４で解析結果を記録する。そして、この解析結果に基づいて、デジタル動画像の検索または表示を行う。
【００４８】
例えば、新しいニュースを少しずつ入れながら古いニュースと一緒に放送するタイプのニュース番組では、一度見たニュースの差分のニュースを見たいという要求が強い。この場合、視聴済みのニュース番組を参照画像として使用し、その視聴済みのニュース番組からシーンチェンジフレーム画像を抽出し、そのシーンチェンジフレーム画像を前述のテンプレートフレーム画像などとして利用して、新規のニュースに対して類似フレーム画像を検出し、類似フレームの存在する区間を省いた新規デジタル動画像を生成し表示することにより、新しく加わったニュースのみを視聴することができる。
【００４９】
類似フレーム区間の検出とそれを用いた検索／表示制御の例を図１０に示す。
図１０において、例えば動画像「ＮＯ．１」が視聴済みの番組であり、動画像「ＮＯ．２」が新たに視聴しようとする番組である場合には、動画像「ＮＯ．１」と動画像「ＮＯ．２」との間で類似フレームが連続して現れる区間（ＩＮ１〜ＯＵＴ１、ＩＮ２〜ＯＵＴ２、ＩＮ３〜ＯＵＴ３）が検出され、それら期間をスキップして動画像「ＮＯ．２」の検索および表示が行われる。この場合の処理手順を図１１に示す。
【００５０】
すなわち、動画像「ＮＯ．１」の全てのシーンチェンジフレームをテンプレートして使用し、この各テンプレートを順番に動画像「ＮＯ．２」のシーンチェンジフレームそれぞれと比較していくことにより、同フレーム画像として検出されたフレーム番号の対応関係が記録されていく（ステップ６０１〜６０３）。そして、この記録結果をステップ６０２で解析することにより、同フレーム（類似フレーム）であると検出された動画像「ＮＯ．２」内の連続するシーンチェンジフレームの区間がステップ６０５にて検出され、その検出された区間を用いて動画像「ＮＯ．２」の検索／表示の制御がステップ６０６で行われる。
【００５１】
同様に、動画像「ＮＯ．４」が視聴済みの番組であり、動画像「ＮＯ．５」が新たに視聴しようとする番組である場合には、動画像「ＮＯ．４」と動画像「ＮＯ．５」との間で類似フレームが連続して現れる区間が検出され、それら期間をスキップして動画像「ＮＯ．５」の検索および表示が行われる。
【００５２】
また、逆に、同一の画像部分を検索することもできる。図１０の例では、例えば、動画像「ＮＯ．１」の動画区間（ＩＮ１〜ＯＵＴ１）のシーンチェンジフレーム画像を順番にテンプレートフレーム画像として使用して、別の動画像「ＮＯ．２」〜「ＮＯ．５」それぞれのシーンチェンジフレーム画像と比較して同フレーム画像の位置を検出することにより、同フレーム画像が連続して多数含まれる領域を特定することが出来る。
【００５３】
したがって、多数のデジタル動画像の収録されたデータベースから、あるデジタル動画像に類似または同種類のデジタル動画像を見つけたい場合、参照されるデジタル動画像から検出されたシーンチェンジフレーム画像を、多数のデジタル動画像からのシーンチェンジフレーム画像に対して比較し、類似画像の多数含まれるデジタル動画像を検索または表示することにより、同種類のデジタル動画像を見つけ出すことができる。
【００５４】
以上のように、本実施形態においては、類似したフレーム画像が高い頻度で検出されたシーンチェンジのフレーム位置を記録していくことにより、数多くのシーンチェンジの中で、番組の構成の変わり目に等に対応した意味のあるシーンチェンジをインデックス情報として使用することが可能となり、番組をサブ番組毎に分類してその検索や表示を容易に行うことが出来る。また、シーンチェンジフレーム同士の比較であるので、全てのフレームを比較する場合に比し、演算処理量を大幅に低減できる。したがって、専用のハードウェアを用いずとも、汎用のプロセッサを用いたソフトウェアによる処理のみで、意味のあるシーンチェンジを検出することが出来る。よって、図４、図７、図９、および図１１の処理の全てはコンピュータプログラムを用いて実現でき、これをＣＤ−ＲＯＭなどの記録媒体を通じてコンピュータに導入して実行させることにより、本実施形態と同等の効果を得ることが可能となる。
【００５５】
また、本実施形態は、ユーザが自ら録画または配信などによって自動取得したデジタル動画像の検索、表示制御のためにそのデジタル動画像を解析する場合について説明したが、同種類の複数のデジタル動画像から構成される動画像タイトルを作成する場合にも同様にして適用することが出来る。この場合、複数のデジタル動画像と同一の記録媒体上に図６のようなインデックス情報を記録しておくことにより、そのインデックス情報を用いた様々な検索／表示制御を実現することができる。
【００５６】
【発明の効果】
以上のように、本発明によれば、多数のシーンチェンジフレーム画像の中から意味のあるシーンチェンジフレーム画像を自動検出できるようになり、この検出結果を用いてインデックスの作成や、様々な検索、表示制御処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタル動画像処理装置のシステム構成を示すブロック図。
【図２】同実施形態におけるシーンチェンジフレーム解析の様子を説明するための第１の図。
【図３】同実施形態におけるシーンチェンジフレーム解析の様子を説明するための第２の図。
【図４】同実施形態に適用されるシーンチェンジフレーム解析処理の手順を示すフローチャート。
【図５】同実施形態において扱われる複数のデジタル動画像間における同フレーム画像の対応関係の一例を示す図。
【図６】同実施形態によるシーンチェンジフレーム解析処理で得られるインデックス情報の一例を示す図。
【図７】同実施形態において既に検出されたシーンチェンジフレームを用いて新たな同種類の動画像を解析する処理の手順を示すフローチャート。
【図８】同実施形態において新たな同種類の動画像を解析する処理の様子を示す図。
【図９】同実施形態においてシーンチェンジフレーム解析結果を用いてデジタル動画像を検索または表示する処理の手順を示すフローチャート。
【図１０】同実施形態におけるシーンチェンジフレーム解析を用いて類似画像区間を検出する様子を示す図。
【図１１】同実施形態においてシーンチェンジフレーム解析結果を用いた類似画像区間検出処理を利用してデジタル動画像を検索または表示する処理の手順を示すフローチャート。
【符号の説明】
１０１…デジタル動画像記録部
１０２…シーンチェンジ検出部
１０３…シーンチェンジ検出結果記録部
１０４…シーンチェンジフレーム画像解析部
１０５…解析結果記録部
１１１…デジタル動画像記録部
１１２…シーンチェンジ検出部
１１３…シーンチェンジ検出結果記録部
１１４…シーンチェンジフレーム画像比較部
１１５…出力結果記録部
２０１…デジタル動画像
２０２…デジタル動画像
２０３，２０５…シーンチェンジフレーム画像
２０４…同フレーム画像
Claims (6)
- 処理対象のデジタル動画像を含む同じ番組の複数のデジタル動画像それぞれのシーンチェンジを検出する手段と、
検出されたシーンチェンジのフレーム画像を異なるデジタル動画像同士で比較し、前記処理対象のデジタル動画像から検出されたシーンチェンジのフレーム画像と類似したフレーム画像を、他のデジタル動画像から検出する手段と、
類似したフレーム画像が複数のデジタル動画像間で高い頻度で検出された前記処理対象デジタル動画像内のシーンチェンジのフレーム位置を記録する手段とを具備することを特徴とするデジタル動画像処理装置。 - 前記同じ番組の複数のデジタル動画像は、少なくとも同一のフレーム画像を含むことを特徴とする請求項１記載のデジタル動画像処理装置。
- デジタル動画像を処理するデジタル動画像処理方法であって、
処理対象のデジタル動画像含む同じ番組の複数のデジタル動画像それぞれのシーンチェンジを検出し、
検出されたシーンチェンジのフレーム画像を異なるデジタル動画像同士で比較して、前記処理対象のデジタル動画像から検出されたシーンチェンジのフレーム画像と類似したフレーム画像を、他のデジタル動画像から検出し、
類似したフレーム画像が複数のデジタル動画像間で高い頻度で検出された前記処理対象デジタル動画像内のシーンチェンジのフレーム位置を記録することを特徴とするデジタル動画像処理方法。 - 前記同じ番組の複数のデジタル動画像は、少なくとも同一のフレーム画像を含むことを特徴とする請求項３記載のデジタル動画像処理方法。
- 処理対象のデジタル動画像含む同じ番組の複数のデジタル動画像それぞれのシーンチェンジを検出する手順と、
検出されたシーンチェンジのフレーム画像を異なるデジタル動画像同士で比較して、前記処理対象のデジタル動画像から検出されたシーンチェンジのフレーム画像と類似したフレーム画像を、他のデジタル動画像から検出する手順と、
類似したフレーム画像が複数のデジタル動画像間で高い頻度で検出された前記処理対象デジタル動画像内のシーンチェンジのフレーム位置を記録する手順とをコンピュータに実行させるプログラムを記録した記録媒体。 - 前記同じ番組の複数のデジタル動画像は、少なくとも同一のフレーム画像を含むことを特徴とする請求項５記載の記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06118698A JP4021545B2 (ja) | 1998-03-12 | 1998-03-12 | デジタル動画像処理装置およびデジタル動画像処理方法 |
| US09/266,611 US6795127B1 (en) | 1998-03-12 | 1999-03-11 | Video processing system and video processing method |
| US10/940,670 US7417690B2 (en) | 1998-03-12 | 2004-09-15 | Video processing system and video processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06118698A JP4021545B2 (ja) | 1998-03-12 | 1998-03-12 | デジタル動画像処理装置およびデジタル動画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11259061A JPH11259061A (ja) | 1999-09-24 |
| JP4021545B2 true JP4021545B2 (ja) | 2007-12-12 |
Family
ID=13163888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06118698A Expired - Lifetime JP4021545B2 (ja) | 1998-03-12 | 1998-03-12 | デジタル動画像処理装置およびデジタル動画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6795127B1 (ja) |
| JP (1) | JP4021545B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002117037A (ja) | 2000-10-06 | 2002-04-19 | Nec Corp | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
| JP4047264B2 (ja) * | 2003-09-30 | 2008-02-13 | 株式会社東芝 | 動画像処理装置、動画像処理方法および動画像処理プログラム |
| JP4373961B2 (ja) | 2005-05-17 | 2009-11-25 | 株式会社東芝 | 映像録画再生装置及び映像録画再生方法 |
| JP4574530B2 (ja) * | 2005-12-05 | 2010-11-04 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
| JP5111924B2 (ja) * | 2007-04-05 | 2013-01-09 | 株式会社東芝 | 医用画像診断装置 |
| WO2008143345A1 (ja) * | 2007-05-23 | 2008-11-27 | Nec Corporation | コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム |
| JP5060224B2 (ja) * | 2007-09-12 | 2012-10-31 | 株式会社東芝 | 信号処理装置及びその方法 |
| US8861598B2 (en) * | 2008-03-19 | 2014-10-14 | Cisco Technology, Inc. | Video compression using search techniques of long-term reference memory |
| US8184163B2 (en) * | 2009-03-05 | 2012-05-22 | Tektronix, Inc. | Methods and systems for detecting and locating skipped frames in a video sequence |
| JP5178616B2 (ja) * | 2009-04-22 | 2013-04-10 | 三菱電機株式会社 | シーンチェンジ検出装置および映像記録装置 |
| US9824296B2 (en) * | 2011-11-10 | 2017-11-21 | Canon Kabushiki Kaisha | Event detection apparatus and event detection method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2518503B2 (ja) | 1993-03-08 | 1996-07-24 | 日本電気株式会社 | 画面切り替え検出方法 |
| JP3200784B2 (ja) | 1993-07-29 | 2001-08-20 | キヤノン株式会社 | 動画像検索方法及び装置 |
| US5835163A (en) * | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
| US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
| US5767923A (en) * | 1996-06-07 | 1998-06-16 | Electronic Data Systems Corporation | Method and system for detecting cuts in a video signal |
| TW303555B (en) * | 1996-08-08 | 1997-04-21 | Ind Tech Res Inst | Digital data detecting method |
| CA2190785A1 (en) * | 1996-11-20 | 1998-05-20 | Nael Hirzalla | Method of processing a video stream |
| US6137544A (en) * | 1997-06-02 | 2000-10-24 | Philips Electronics North America Corporation | Significant scene detection and frame filtering for a visual indexing system |
-
1998
- 1998-03-12 JP JP06118698A patent/JP4021545B2/ja not_active Expired - Lifetime
-
1999
- 1999-03-11 US US09/266,611 patent/US6795127B1/en not_active Expired - Lifetime
-
2004
- 2004-09-15 US US10/940,670 patent/US7417690B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20050041157A1 (en) | 2005-02-24 |
| JPH11259061A (ja) | 1999-09-24 |
| US6795127B1 (en) | 2004-09-21 |
| US7417690B2 (en) | 2008-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7376274B2 (en) | Method and apparatus for use in video searching | |
| EP1081960B1 (en) | Signal processing method and video/voice processing device | |
| EP1040656B1 (en) | Apparatus and method for locating a commercial disposed within a video data stream | |
| US6964021B2 (en) | Method and apparatus for skimming video data | |
| EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
| KR100711948B1 (ko) | 개인화된 비디오 분류 및 검색 시스템 | |
| US20090025039A1 (en) | Method and apparatus for video digest generation | |
| US20050257151A1 (en) | Method and apparatus for identifying selected portions of a video stream | |
| US20030061612A1 (en) | Key frame-based video summary system | |
| JP4021545B2 (ja) | デジタル動画像処理装置およびデジタル動画像処理方法 | |
| JP2002140712A (ja) | Ａｖ信号処理装置および方法、プログラム、並びに記録媒体 | |
| US20050264703A1 (en) | Moving image processing apparatus and method | |
| JPH1084525A (ja) | ビデオに索引をつける方法 | |
| JP2002117037A (ja) | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 | |
| US20040085340A1 (en) | Method and apparatus for editing source video | |
| EP1222634A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| EP1293914A2 (en) | Apparatus, method and processing program for summarizing image information | |
| JP2002125199A (ja) | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 | |
| JP2000339474A (ja) | 動画像類似度算出装置および方法 | |
| JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
| JP4512969B2 (ja) | 信号処理装置及び方法、記録媒体、並びにプログラム | |
| KR20050033075A (ko) | 비디오 이미지들의 시퀀스에서 콘텐트 속성을 검출하는 유닛 및 방법 | |
| US8150167B2 (en) | Method of image analysis of an image in a sequence of images to determine a cross-fade measure | |
| Volkmer et al. | Gradual transition detection using average frame similarity | |
| KR100370249B1 (ko) | 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070927 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term | ||
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |