JP3597271B2 - 動画像のカット点画像検出装置 - Google Patents
動画像のカット点画像検出装置 Download PDFInfo
- Publication number
- JP3597271B2 JP3597271B2 JP26368195A JP26368195A JP3597271B2 JP 3597271 B2 JP3597271 B2 JP 3597271B2 JP 26368195 A JP26368195 A JP 26368195A JP 26368195 A JP26368195 A JP 26368195A JP 3597271 B2 JP3597271 B2 JP 3597271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cut point
- data
- cut
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は動画像のカット点画像検出装置に関し、特に符号化された動画像情報からなる動画像の切替わりを高速かつ高精度で検出できる動画像のカット点画像検出装置に関する。
【０００２】
【従来の技術】
自動カット点検出のためのカット画面の検索方法については、これまで、例えば大辻、外村らによる”フィルタを用いた映像カット点検出”、電子情報通信学会秋季大会、Ｄー２６４（１９９３）や、中島らによる“フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出”、電子情報通信学会秋季大会、Ｄー５０１（１９９４）により提案されている。
【０００３】
これらの従来方法においては、各フレーム間での映像変化量が時間的に突出している場合に、該フレームをカット画面としている。前者の提案は、映像変化量の時間変化値にフィルタ処理を施すことにより、フラッシュなどの不連続な変動を除去して検出精度を向上させている。また後者は、離散フレーム（１５フレーム周期でフレーム内符号化された画面）での映像変化量の時間変化値に、ピーク点検出等を組み合わせた３種類の条件を設定し、これらの３種類の条件のいずれかに該当するフレームがあった場合、該フレームをカット画面とすることにより、高速検出を実現する一方、検出精度の向上をはかっている。
【０００４】
【発明が解決しようとする課題】
これら２つの方式については、前者の場合、高精度な検出を行うために各フレームの画素データすべてが調べられており、処理速度は再生時間のほぼ数倍程度を要している。また、圧縮蓄積された動画像からの検出については、画像を一度完全に復号化して元の画像に戻してから検出作業を行うため、高速検出は困難なものとなる。
【０００５】
また、後者の場合には、動画像のうち離散的なフレームを用いて検出を行うため、例えばカットが連続する場合や動きの速い映像、カメラのパン、ズームなどの映像で過剰検出や未検出等が多々発生し、高速化を図ることが可能なものの、高い検出精度が得られないという問題があった。また、離散的なフレームで検出を行っているため、１フレーム精度の正確な検出はできないという問題もあった。このため各フレームを用いることによって検出の精度を向上させることが求められるが、圧縮動画像データの場合、前者と同様、復号化処理によりすべての画像を復元する必要があり処理時間が大幅に増大するため、高速な検出が困難になるという問題があった。
【０００６】
本発明の目的は、前記のような従来技術の問題点を除去し、高速化を保ちつつ高い精度で、かつ１フレーム単位でカット点を検出することのできるカット点画像検出装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、本発明は、入力された圧縮動画像データを可変長復号などの簡易復号処理し、カット点である画像を検出する動画像のカット点画像検出装置において、入力された動画像の符号化データを可変長復号などの簡易復号処理する簡易復号処理手段と、該簡易復号処理手段から出力された画像のブロック毎のＤＣＴ変換係数およびウェーブレット変換係数のいずれかの平均値成分データを抽出する抽出手段と、該抽出手段から出力された前記ブロック毎の前記平均値成分データをブロック内の全ての画素にコピーして元の画像のフルサイズを復元する画像作成手段と、該画像作成手段によって作成された前記フルサイズの画面データから、各画面ごとに特徴量を抽出し、該特徴量を基にカット点検出を行うカット点検出手段と、該カット点検出手段によって検出されたカット点画像を保持する手段とを具備した点に特徴がある。また、本発明の他の特徴は、前記画像作成手段は、前記簡易復号処理手段が復号後抽出した画像データの一部を用いて、任意のサイズの縮小画像を復元するようにした点に特徴がある。
【０００８】
この発明によれば、簡易復号された画像データのブロック毎の平均値成分データを用いて元の画像のフルサイズまたは任意のサイズの縮小画像を復元しているので、従来装置のように低周波成分のデータから高周波成分のデータまでの全てのデータを用いて完全に復号化して元の画像に戻すという処理をなくすことができる。このため、該フレーム画像の再生処理を高速で行うことができるようになる。また、この結果、１フレーム単位でカット点の検出を行うことができるようになり、カット画像の検出精度を向上することができるようになる。
【０００９】
また、本発明は、前記入力された動画像がフレーム間符号化された画像の場合は、前記画像作成手段によって作成された画面データに対して動き補償を行う動き補償手段を具備した点に特徴がある。この発明によれば、該動き補償手段は、前記画像作成手段によって作成された画面データのみを対象として動き補償を行うため、動き補償処理に必要な画素数の削減が可能となり、その分処理時間を短縮することができるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図、図２および図３は、図１の制御部１３の動作を示すフローチャートである。この実施形態は、動画像符号化の国際標準方式であるＭＰＥＧ１（ＩＳＯ／ＩＥＣ １１１７２）により圧縮された動画像符号化データからカット点フレームを検出するものであるが、本発明はこれに限定されるものではない。
【００１１】
図１に示されているように、圧縮符号化された動画像の符号化データは、簡易復号処理部に入力される。該簡易復号処理部では、まず、可変長復号部１において、画面やブロック単位の符号化モード、動き補償モード、動きベクトル量などが復号され、動き補償処理部５に入力される。また、各ブロックの量子化された二次元ＤＣＴ係数が復号され、該二次元ＤＣＴ係数は平均値成分抽出部２へ入力される。
【００１２】
次に、平均値成分抽出部２において、例えば、図４（ａ） に示されているフレームｉの各８画素×８ラインのブロックの量子化二次元ＤＣＴ係数から、同図（ｂ） 、に示されている平均値成分データを表わす（０、０）成分が抽出され、画像作成部３に入力される。画像作成部３では、図５のように第ｋ番目のブロックの平均値成分データから第ｋ番目のブロック内データを復元し、内部メモリ４に保持する。復元方法としては、該平均値成分データをブロック内の全ての画素にコピーする方法を用いることができる。これにより、簡易フルサイズ復元画像が得られる。
【００１３】
次に、該簡易復元処理部は、画像作成部３の内部メモリ４に保持されている画面データと動き補償処理部５で作成された予測画面データを用いて、符号化モードにより以下の２つの方法のいずれかでフレーム画像データを作成し、画像表示部７へ出力する。
【００１４】
該簡易復元処理部は、ブロックの符号化モードが、イントラ符号化の場合には、画像作成部３の内部メモリ４に保持されている画面データをそのままフレーム画像として画像表示部７へ出力する。
【００１５】
一方、ブロックの符号化モードがインター符号化の場合には、動き補償処理部５は、入力された動き補償モード、動きベクトル量データを用いて、ＩＳＯ／ＩＥＣ１１１７２に従って、第１のメモリ６から入力される、該フレームの前後に存在する符号化画像からの動き補償を行い、該フレームの予測画面データを作る。そして、画像作成部３の内部メモリ４に保持されている画面データと、動き補償処理部５で作成された前記予測画面データをそれぞれの画素で加算してフレーム画像データを作成し、画像表示部７へ出力する。
【００１６】
なお、この変形例として、動き補償処理部５で作成された予測画面データのみをそのままフレーム画像として復元して画像表示部７へ出力して、処理負荷の軽減を図ることも可能である。ただし、この場合には、簡易復元画像の画質が劣化してカット画面検出精度が低下する恐れがある。
【００１７】
画像表示部７は、簡易復号された各フレームを図６のようにディスプレイ上に表示する。また、該簡易復号された各フレーム画像データはカット点検出部８、第２のメモリ９へ出力される。ただし、フレーム画像を非表示にして、処理負担を軽減させることもできる。
【００１８】
カット点検出部８では、図７のように、以前に復号化されたフレームｉ−１の画像データを第２のメモリ９から転送し、画像表示部７に入力された画像データと同じ画像データにより、輝度情報、色差情報などの特徴量を抽出し、カット点検出を行う。該カット点検出を行う方法として、例えば、中島らによる“フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出”電子情報通信学会秋季大会Ｄー５０１（１９９４）、特願平５−２１６８９５号、あるいは特願平６−４６５６１号に開示されている技術を用いることができる。
【００１９】
第１の判定部１０では、カット点検出部８で行われたカット点検出に従って、カット点であるか、否かを判断し、カット点画像である場合には、カット画像保持部１１にカット検出ファイルとしてデータを蓄積し、さらにカット画像表示部１２にもデータを出力する。
【００２０】
カット画像表示部１２では、図８のようにディスプレイ上にカット点画像を表示する。但し、カット点画像を非表示にして処理負荷を軽減させることも可能である。
【００２１】
次に、制御部１３の動作を図２および図３のフローチャートを参照して説明する。まず、ステップＳ１では、ブロックの番号を表すｋとフレームの番号を表すｉが０に置かれる。ステップＳ２では、可変長復号部１にて、フレームｉの動画像の符号化データのｋ番目のブロックを復号する。ステップＳ３では、平均値成分抽出部２にて復号化されたデータから平均値成分データの抽出を行う。ステップＳ４では、ブロックｋはフレームｉ内の最終のブロックであるか否かの判断がなされ、この判断が否定の時には、ステップＳ５に進んで、ｋが１だけインクリメントされ、前記ステップＳ２〜Ｓ４の動作が繰り返される。
【００２２】
フレームｉの全部のブロックが復号化され、それぞれの平均値成分データの抽出が終わると、ステップＳ４の判断は肯定になりステップＳ６に進む。ステップＳ６〜Ｓ９では、カット画面検出用画像を作成する処理が行われる。ステップＳ６では、前記フレームｉがフレーム間符号化画面（すなわち、インター画面）であるか否かの判断がなされる。この判断が肯定の時には、ステップＳ７に進み、前記動き補償処理部５から出力された動き補償データのみで画像表示部７に表示するか否かの判断がなされる。この判断が肯定の時には、ステップＳ１０に進んで動き補償データのみで表示が行われる。前記ステップＳ６の判断が否定の時には、すなわちフレームｉがフレーム内符号化画像である時には、ステップＳ８に進んでメモリ４から画像データを読みだし、次いでステップＳ１０に進んで該画像データが画像表示部７に表示される。また、前記ステップＳ７の判断が否定の時には、ステップＳ９に進んで、メモリ４から読み出した画像データと動き補償データとの加算がなされる。そして、ステップＳ１０に進んで、画像表示部７に表示される。
【００２３】
ステップＳ１１では、前記画像データの表示と並行して、前記画像データはカット点検出部８へ転送され、また第２のメモリ９に格納される。ステップＳ１２では、第２のメモリ９から以前のフレーム画像データの読みだしが行われる。次に、図３のステップＳ１４に進んで、カット点検出部８は、フレームｉがカット点であるか否かの判定を行う。カット点であると判定されると、ステップＳ１５に進んで、フレームｉをカット画像保持部１１に保存する。また、ステップＳ１６では、カット画像表示部１２に表示する。ステップＳ１７では、フレームｉが最終の画像であるか否かの判断を行い、この判断が否定の時には、ステップＳ１３に進んで、ｉを１だけインクリメントして、再びステップＳ２の処理に戻る。なお、前記ステップＳ１４の判断が否定の時には、フレームｉはカット点ではないので、前記ステップＳ１５、Ｓ１６の処理をすることなく、前記ステップＳ１３に進む。
【００２４】
以上のように、本実施形態によれば、画像作成部３においてフレーム画像の各ブロックの平均値成分データからフレーム画像の再生を行っているので、該フレーム画像の再生処理を高速で行うことができる。また、この結果、１フレーム単位でカット点の検出を行うことができるようになり、カット画像の検出精度を向上することができるようになる。
【００２５】
次に、本発明の第２の実施形態を説明する。この実施形態は、前記画像作成部３、動き補償処理部５の処理を、縮小画像を用いて行うようにしたものである。
【００２６】
該簡易復号処理部において、図９のように、平均値成分抽出部２から入力された１ブロック毎の平均値成分データを該当する各ブロックの代表のデータとすることにより、縮小画像を画像作成部３で作成し、内部メモリ４に保持する。例えば、３５２画素×２４０ラインの画像について８画素×８ラインブロックの平均値成分で縮小画像を作成した場合、そのサイズは４４画素×３０ラインになる。
【００２７】
動き補償処理部５（図１参照）では、画像作成部３で作成された画像データが縮小画像である場合、次の２つの方式のいずれかを用いて、動き補償を行う。
【００２８】
（１）図１０（ａ） および（ｂ） のように入力された動きベクトルを縮小率に応じてスケーリングして動き補償を行う。なお、図１０（ａ） は現フレーム画像を前記縮小画像データで表した模式図、同図（ｂ） は動き補償を説明する参照フレーム画像を示している。
いま、ｘ方向、ｙ方向の縮小率がそれぞれ１／α、１／β（但し、α、β＞０）であるとすると、動きベクトルのスケーリングは、例えば、以下の式（１） 、（２） を利用して求めることができる。
ｍｖｘ’＝ｍｖｘ／α …（１）
ｍｖｙ’＝ｍｖｙ／β …（２）
但し、ｍｖｘ、ｍｖｙは入力された動きベクトル量、ｍｖｘ’、ｍｖｙ’はスケーリング後の動きベクトル量である。
【００２９】
図１０（ｂ） の例は、各ブロックをｘ、ｙ方向いずれも１／８（α＝β＝８）に縮小した場合で、注目ブロックのｘ方向の動きベクトルがｍｖｘ＝１３、ｙ方向の動きベクトルがｍｖｙ＝９の場合である。この場合には、ｍｖｘ／αおよびｍｖｙ／βの整数部分は共に１になり、スケーリングした動きベクトルは、ｍｖｘ’＝１、ｍｖｙ’＝１となる。この結果、図１０（ｂ） の参照フレームにおいて、画素データＸａ が動き補償データとなる。
【００３０】
（２）動き補償処理部５では、入力された動きベクトル量により縮小画像データを内分して動き補償を行う。具体的には、以下の３つの変換式のいずれかにより動き補償データを作る。
【００３１】
（２−１）まず、図１１（ａ） のように動きベクトルが示す画像データが、左右隣り合う縮小画像データの間にある場合には、動き補償データは、下式（３） で求めることができる。
動き補償データＸ＝（ｓＡ＋ｒＢ）／α …（３）
但し、ｒ＋ｓ＝α、ｒ＝ｍｖｘ％αである。なお、ｒ＝ｍｖｘ％αは、ｍｖｘをαで割った余りがｒであることを示している。以下の式においても同様である。
図の例は、（ｍｖｘ，ｍｖｙ）＝（１３，８）、α＝β＝８の例であり、ｒ＝５、ｓ＝３となり、動き補償データＸは、下式のように、縮小画像データＡ、Ｂを５：３に内分するデータとなる。
Ｘ＝（３Ａ＋５Ｂ）／８
（２−２）図１１（ｂ） のように動きベクトルが示す画像データが、上下隣り合う縮小画像データの間にある場合には、動き補償データは、下式で求めることができる。
動き補償データＸ＝（ｕＡ＋ｔＣ）／β …（３）
但し、ｔ＋ｕ＝β、ｔ＝ｍｖｙ％βである。
図の例は、（ｍｖｘ，ｍｖｙ）＝（８，１４）、α＝β＝８の例であり、ｔ＝６、ｕ＝２となり、動き補償データＸは、下式のように、縮小画像データＡ、Ｃを６：２に内分するデータとなる。
Ｘ＝（２Ａ＋６Ｃ）／８
（２−３）それ以外の場合は、図１１（ｃ） のように、隣接する４つの縮小画像データから動き補償データを下式で求めることができる。
動き補償データＸ＝（ｓｕＡ＋ｒｕＢ＋ｓｔＣ＋ｒｔＤ）／αβ …（４）
但し、ｒ＋ｓ＝α、ｔ＋ｕ＝β、ｒ＝ｍｖｘ％α、ｔ＝ｍｖｙ％βである。
図の例は、（ｍｖｘ，ｍｖｙ）＝（１３，１４）、α＝β＝８の例であり、ｒ＝５、ｔ＝６となる。この結果、ｓ＝３、ｕ＝２となり、動き補償データＸは、下式のように、縮小画像データＡ、Ｂ、Ｃ、Ｄを６：１０：１８：３０の割合で加算したデータとなる。
Ｘ＝（６Ａ＋１０Ｂ＋１８Ｃ＋３０Ｄ）／６４
本発明の実施にあたっては、さらに種々の変形形態が可能である。例えば、縮小画面を求める際や、ブロック分割する際の平均値計算については、８画素×８ラインのブロックに限らず、１６画素×１６ラインや４画素×４ラインなど種々のサイズが適応可能であるし、それに伴い、動きベクトル変換や内分動き補償を変化させることができる。
【００３２】
さらに、簡易復号化処理については、平均値成分データのみだけでなく、低周波数成分データも用いることによって表示された画質を向上させることができる。また、カット画面と判定された画面をカット検出ファイルとして蓄積することにより、後でファイルからカット画面のみを復元、出力することも可能である。また、検出されたカット点画像は、シーンを代表する画像として用いることができ、この画像データを類似画像検索装置に転送することによって、すべてのフレームを調べることなく効率的に類似画像検索や類似画像のクラスタリングも行える。
【００３３】
そして、本発明は、ＭＰＥＧ１のみならず、ＭＰＥＧ２、Ｈ２６１などの国際標準化された符号化法を用いた動画像の符号化データへの適用が可能であり、ＤＣＴ変換のみならず、ウェーブレット変換、ベクトル量子化等により圧縮し、動き補償を行った符号化データへの適用も可能である。
【００３４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像作成手段は、復号処理され、抽出された画面データの一部を用いてフレーム画像の再生画像の作成を行うので、従来装置のように低周波成分のデータから高周波成分のデータまでの全てのデータを用いて完全に復号化して元の画像に戻すという処理をなくすことができる。このため、カット検出の前段階の処理を短縮でき、該フレーム画像の再生処理を高速で行うことができるようになる。また、この結果、１フレーム単位でカット点の検出を行うことができるようになり、カット画像の検出精度を向上することができるようになる。
【００３５】
また、入力された動画像がフレーム間符号化された画像の場合は、動き補償手段は、前記画像作成手段によって作成された画面データのみを対象として動き補償を行うため、動き補償処理に必要な画素数の削減が可能となり、その分処理時間を短縮することができるようになる。、
なお、本発明を実際に動作させたところ、次のような結果が得られた。すなわち、ニュース、料理番組、バラエティ番組、宣伝番組（ＣＭ番組）等を含んだ約１時間の素材で、ＩＳＯで標準化されたＭＰＥＧ１方式で符号化されたビットストリームについてカット点検出を行った場合、正しく検出されたカット画面数に対する未検出カット画面の割合（未検出率）と本来カット画面ではないのに誤って検出された画面の割合（過剰検出率）は、前述の中島らの方式で、離散的フレームを対象にしているものと、本発明の簡易復号化を用いて、同じカット検出方式を用いたもので比較してみると、前者の未検出率が１１．２％、過剰検出率１１．３％であるのに対し、後者の未検出率が６．６％、過剰検出率が１．９％となった。したがって、本発明による検出装置では、従来装置と比較して、総合的に見て、高い精度でカット画面を検出することができた。
【００３６】
また、検出時間についても同様に、前述の中島らの方式ですべてのフレームを完全に復号化してからカット検出を行う場合と、本発明の簡易復号化してカット検出をする場合とで比較してみると、後者は前者の１／４以下程度の時間で処理できるようになり、カット点の高速検出も可能となった。
【図面の簡単な説明】
【図１】本発明の一実施形態の動画像のカット画面の検出装置の構成を示すブロック図である。
【図２】図１の制御装置の動作を説明するためのフローチャートである。
【図３】図２の続きのフローチャートである。
【図４】図１の平均値成分抽出部の動作の一例の説明図である。
【図５】図１の画像作成部の動作の一例の説明図である。
【図６】図１の画像表示部の表示例を示す図である。
【図７】図１のカット点検出部の動作の一部の説明図である。
【図８】図１のカット画像表示部の表示例を示す説明図である。
【図９】本発明の第２の実施形態における画像作成部の動作の一例の説明図である。
【図１０】前記第２の実施形態における動き補償処理部の一部の動作の説明図である。
【図１１】前記第２の実施形態における動き補償処理部の一部の動作の説明図である。
【符号の説明】
１…可変長復号部、２…平均値成分抽出部、３…画像作成部、４…内部メモリ、５…動き補償処理部、６…第１のメモリ、７…画像表示部、８…カット点検出部、９…第２のメモリ、１０…第１の判定部、１１…カット画像保持部、１２…カット画像表示部。
【発明の属する技術分野】
本発明は動画像のカット点画像検出装置に関し、特に符号化された動画像情報からなる動画像の切替わりを高速かつ高精度で検出できる動画像のカット点画像検出装置に関する。
【０００２】
【従来の技術】
自動カット点検出のためのカット画面の検索方法については、これまで、例えば大辻、外村らによる”フィルタを用いた映像カット点検出”、電子情報通信学会秋季大会、Ｄー２６４（１９９３）や、中島らによる“フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出”、電子情報通信学会秋季大会、Ｄー５０１（１９９４）により提案されている。
【０００３】
これらの従来方法においては、各フレーム間での映像変化量が時間的に突出している場合に、該フレームをカット画面としている。前者の提案は、映像変化量の時間変化値にフィルタ処理を施すことにより、フラッシュなどの不連続な変動を除去して検出精度を向上させている。また後者は、離散フレーム（１５フレーム周期でフレーム内符号化された画面）での映像変化量の時間変化値に、ピーク点検出等を組み合わせた３種類の条件を設定し、これらの３種類の条件のいずれかに該当するフレームがあった場合、該フレームをカット画面とすることにより、高速検出を実現する一方、検出精度の向上をはかっている。
【０００４】
【発明が解決しようとする課題】
これら２つの方式については、前者の場合、高精度な検出を行うために各フレームの画素データすべてが調べられており、処理速度は再生時間のほぼ数倍程度を要している。また、圧縮蓄積された動画像からの検出については、画像を一度完全に復号化して元の画像に戻してから検出作業を行うため、高速検出は困難なものとなる。
【０００５】
また、後者の場合には、動画像のうち離散的なフレームを用いて検出を行うため、例えばカットが連続する場合や動きの速い映像、カメラのパン、ズームなどの映像で過剰検出や未検出等が多々発生し、高速化を図ることが可能なものの、高い検出精度が得られないという問題があった。また、離散的なフレームで検出を行っているため、１フレーム精度の正確な検出はできないという問題もあった。このため各フレームを用いることによって検出の精度を向上させることが求められるが、圧縮動画像データの場合、前者と同様、復号化処理によりすべての画像を復元する必要があり処理時間が大幅に増大するため、高速な検出が困難になるという問題があった。
【０００６】
本発明の目的は、前記のような従来技術の問題点を除去し、高速化を保ちつつ高い精度で、かつ１フレーム単位でカット点を検出することのできるカット点画像検出装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、本発明は、入力された圧縮動画像データを可変長復号などの簡易復号処理し、カット点である画像を検出する動画像のカット点画像検出装置において、入力された動画像の符号化データを可変長復号などの簡易復号処理する簡易復号処理手段と、該簡易復号処理手段から出力された画像のブロック毎のＤＣＴ変換係数およびウェーブレット変換係数のいずれかの平均値成分データを抽出する抽出手段と、該抽出手段から出力された前記ブロック毎の前記平均値成分データをブロック内の全ての画素にコピーして元の画像のフルサイズを復元する画像作成手段と、該画像作成手段によって作成された前記フルサイズの画面データから、各画面ごとに特徴量を抽出し、該特徴量を基にカット点検出を行うカット点検出手段と、該カット点検出手段によって検出されたカット点画像を保持する手段とを具備した点に特徴がある。また、本発明の他の特徴は、前記画像作成手段は、前記簡易復号処理手段が復号後抽出した画像データの一部を用いて、任意のサイズの縮小画像を復元するようにした点に特徴がある。
【０００８】
この発明によれば、簡易復号された画像データのブロック毎の平均値成分データを用いて元の画像のフルサイズまたは任意のサイズの縮小画像を復元しているので、従来装置のように低周波成分のデータから高周波成分のデータまでの全てのデータを用いて完全に復号化して元の画像に戻すという処理をなくすことができる。このため、該フレーム画像の再生処理を高速で行うことができるようになる。また、この結果、１フレーム単位でカット点の検出を行うことができるようになり、カット画像の検出精度を向上することができるようになる。
【０００９】
また、本発明は、前記入力された動画像がフレーム間符号化された画像の場合は、前記画像作成手段によって作成された画面データに対して動き補償を行う動き補償手段を具備した点に特徴がある。この発明によれば、該動き補償手段は、前記画像作成手段によって作成された画面データのみを対象として動き補償を行うため、動き補償処理に必要な画素数の削減が可能となり、その分処理時間を短縮することができるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図、図２および図３は、図１の制御部１３の動作を示すフローチャートである。この実施形態は、動画像符号化の国際標準方式であるＭＰＥＧ１（ＩＳＯ／ＩＥＣ １１１７２）により圧縮された動画像符号化データからカット点フレームを検出するものであるが、本発明はこれに限定されるものではない。
【００１１】
図１に示されているように、圧縮符号化された動画像の符号化データは、簡易復号処理部に入力される。該簡易復号処理部では、まず、可変長復号部１において、画面やブロック単位の符号化モード、動き補償モード、動きベクトル量などが復号され、動き補償処理部５に入力される。また、各ブロックの量子化された二次元ＤＣＴ係数が復号され、該二次元ＤＣＴ係数は平均値成分抽出部２へ入力される。
【００１２】
次に、平均値成分抽出部２において、例えば、図４（ａ） に示されているフレームｉの各８画素×８ラインのブロックの量子化二次元ＤＣＴ係数から、同図（ｂ） 、に示されている平均値成分データを表わす（０、０）成分が抽出され、画像作成部３に入力される。画像作成部３では、図５のように第ｋ番目のブロックの平均値成分データから第ｋ番目のブロック内データを復元し、内部メモリ４に保持する。復元方法としては、該平均値成分データをブロック内の全ての画素にコピーする方法を用いることができる。これにより、簡易フルサイズ復元画像が得られる。
【００１３】
次に、該簡易復元処理部は、画像作成部３の内部メモリ４に保持されている画面データと動き補償処理部５で作成された予測画面データを用いて、符号化モードにより以下の２つの方法のいずれかでフレーム画像データを作成し、画像表示部７へ出力する。
【００１４】
該簡易復元処理部は、ブロックの符号化モードが、イントラ符号化の場合には、画像作成部３の内部メモリ４に保持されている画面データをそのままフレーム画像として画像表示部７へ出力する。
【００１５】
一方、ブロックの符号化モードがインター符号化の場合には、動き補償処理部５は、入力された動き補償モード、動きベクトル量データを用いて、ＩＳＯ／ＩＥＣ１１１７２に従って、第１のメモリ６から入力される、該フレームの前後に存在する符号化画像からの動き補償を行い、該フレームの予測画面データを作る。そして、画像作成部３の内部メモリ４に保持されている画面データと、動き補償処理部５で作成された前記予測画面データをそれぞれの画素で加算してフレーム画像データを作成し、画像表示部７へ出力する。
【００１６】
なお、この変形例として、動き補償処理部５で作成された予測画面データのみをそのままフレーム画像として復元して画像表示部７へ出力して、処理負荷の軽減を図ることも可能である。ただし、この場合には、簡易復元画像の画質が劣化してカット画面検出精度が低下する恐れがある。
【００１７】
画像表示部７は、簡易復号された各フレームを図６のようにディスプレイ上に表示する。また、該簡易復号された各フレーム画像データはカット点検出部８、第２のメモリ９へ出力される。ただし、フレーム画像を非表示にして、処理負担を軽減させることもできる。
【００１８】
カット点検出部８では、図７のように、以前に復号化されたフレームｉ−１の画像データを第２のメモリ９から転送し、画像表示部７に入力された画像データと同じ画像データにより、輝度情報、色差情報などの特徴量を抽出し、カット点検出を行う。該カット点検出を行う方法として、例えば、中島らによる“フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出”電子情報通信学会秋季大会Ｄー５０１（１９９４）、特願平５−２１６８９５号、あるいは特願平６−４６５６１号に開示されている技術を用いることができる。
【００１９】
第１の判定部１０では、カット点検出部８で行われたカット点検出に従って、カット点であるか、否かを判断し、カット点画像である場合には、カット画像保持部１１にカット検出ファイルとしてデータを蓄積し、さらにカット画像表示部１２にもデータを出力する。
【００２０】
カット画像表示部１２では、図８のようにディスプレイ上にカット点画像を表示する。但し、カット点画像を非表示にして処理負荷を軽減させることも可能である。
【００２１】
次に、制御部１３の動作を図２および図３のフローチャートを参照して説明する。まず、ステップＳ１では、ブロックの番号を表すｋとフレームの番号を表すｉが０に置かれる。ステップＳ２では、可変長復号部１にて、フレームｉの動画像の符号化データのｋ番目のブロックを復号する。ステップＳ３では、平均値成分抽出部２にて復号化されたデータから平均値成分データの抽出を行う。ステップＳ４では、ブロックｋはフレームｉ内の最終のブロックであるか否かの判断がなされ、この判断が否定の時には、ステップＳ５に進んで、ｋが１だけインクリメントされ、前記ステップＳ２〜Ｓ４の動作が繰り返される。
【００２２】
フレームｉの全部のブロックが復号化され、それぞれの平均値成分データの抽出が終わると、ステップＳ４の判断は肯定になりステップＳ６に進む。ステップＳ６〜Ｓ９では、カット画面検出用画像を作成する処理が行われる。ステップＳ６では、前記フレームｉがフレーム間符号化画面（すなわち、インター画面）であるか否かの判断がなされる。この判断が肯定の時には、ステップＳ７に進み、前記動き補償処理部５から出力された動き補償データのみで画像表示部７に表示するか否かの判断がなされる。この判断が肯定の時には、ステップＳ１０に進んで動き補償データのみで表示が行われる。前記ステップＳ６の判断が否定の時には、すなわちフレームｉがフレーム内符号化画像である時には、ステップＳ８に進んでメモリ４から画像データを読みだし、次いでステップＳ１０に進んで該画像データが画像表示部７に表示される。また、前記ステップＳ７の判断が否定の時には、ステップＳ９に進んで、メモリ４から読み出した画像データと動き補償データとの加算がなされる。そして、ステップＳ１０に進んで、画像表示部７に表示される。
【００２３】
ステップＳ１１では、前記画像データの表示と並行して、前記画像データはカット点検出部８へ転送され、また第２のメモリ９に格納される。ステップＳ１２では、第２のメモリ９から以前のフレーム画像データの読みだしが行われる。次に、図３のステップＳ１４に進んで、カット点検出部８は、フレームｉがカット点であるか否かの判定を行う。カット点であると判定されると、ステップＳ１５に進んで、フレームｉをカット画像保持部１１に保存する。また、ステップＳ１６では、カット画像表示部１２に表示する。ステップＳ１７では、フレームｉが最終の画像であるか否かの判断を行い、この判断が否定の時には、ステップＳ１３に進んで、ｉを１だけインクリメントして、再びステップＳ２の処理に戻る。なお、前記ステップＳ１４の判断が否定の時には、フレームｉはカット点ではないので、前記ステップＳ１５、Ｓ１６の処理をすることなく、前記ステップＳ１３に進む。
【００２４】
以上のように、本実施形態によれば、画像作成部３においてフレーム画像の各ブロックの平均値成分データからフレーム画像の再生を行っているので、該フレーム画像の再生処理を高速で行うことができる。また、この結果、１フレーム単位でカット点の検出を行うことができるようになり、カット画像の検出精度を向上することができるようになる。
【００２５】
次に、本発明の第２の実施形態を説明する。この実施形態は、前記画像作成部３、動き補償処理部５の処理を、縮小画像を用いて行うようにしたものである。
【００２６】
該簡易復号処理部において、図９のように、平均値成分抽出部２から入力された１ブロック毎の平均値成分データを該当する各ブロックの代表のデータとすることにより、縮小画像を画像作成部３で作成し、内部メモリ４に保持する。例えば、３５２画素×２４０ラインの画像について８画素×８ラインブロックの平均値成分で縮小画像を作成した場合、そのサイズは４４画素×３０ラインになる。
【００２７】
動き補償処理部５（図１参照）では、画像作成部３で作成された画像データが縮小画像である場合、次の２つの方式のいずれかを用いて、動き補償を行う。
【００２８】
（１）図１０（ａ） および（ｂ） のように入力された動きベクトルを縮小率に応じてスケーリングして動き補償を行う。なお、図１０（ａ） は現フレーム画像を前記縮小画像データで表した模式図、同図（ｂ） は動き補償を説明する参照フレーム画像を示している。
いま、ｘ方向、ｙ方向の縮小率がそれぞれ１／α、１／β（但し、α、β＞０）であるとすると、動きベクトルのスケーリングは、例えば、以下の式（１） 、（２） を利用して求めることができる。
ｍｖｘ’＝ｍｖｘ／α …（１）
ｍｖｙ’＝ｍｖｙ／β …（２）
但し、ｍｖｘ、ｍｖｙは入力された動きベクトル量、ｍｖｘ’、ｍｖｙ’はスケーリング後の動きベクトル量である。
【００２９】
図１０（ｂ） の例は、各ブロックをｘ、ｙ方向いずれも１／８（α＝β＝８）に縮小した場合で、注目ブロックのｘ方向の動きベクトルがｍｖｘ＝１３、ｙ方向の動きベクトルがｍｖｙ＝９の場合である。この場合には、ｍｖｘ／αおよびｍｖｙ／βの整数部分は共に１になり、スケーリングした動きベクトルは、ｍｖｘ’＝１、ｍｖｙ’＝１となる。この結果、図１０（ｂ） の参照フレームにおいて、画素データＸａ が動き補償データとなる。
【００３０】
（２）動き補償処理部５では、入力された動きベクトル量により縮小画像データを内分して動き補償を行う。具体的には、以下の３つの変換式のいずれかにより動き補償データを作る。
【００３１】
（２−１）まず、図１１（ａ） のように動きベクトルが示す画像データが、左右隣り合う縮小画像データの間にある場合には、動き補償データは、下式（３） で求めることができる。
動き補償データＸ＝（ｓＡ＋ｒＢ）／α …（３）
但し、ｒ＋ｓ＝α、ｒ＝ｍｖｘ％αである。なお、ｒ＝ｍｖｘ％αは、ｍｖｘをαで割った余りがｒであることを示している。以下の式においても同様である。
図の例は、（ｍｖｘ，ｍｖｙ）＝（１３，８）、α＝β＝８の例であり、ｒ＝５、ｓ＝３となり、動き補償データＸは、下式のように、縮小画像データＡ、Ｂを５：３に内分するデータとなる。
Ｘ＝（３Ａ＋５Ｂ）／８
（２−２）図１１（ｂ） のように動きベクトルが示す画像データが、上下隣り合う縮小画像データの間にある場合には、動き補償データは、下式で求めることができる。
動き補償データＸ＝（ｕＡ＋ｔＣ）／β …（３）
但し、ｔ＋ｕ＝β、ｔ＝ｍｖｙ％βである。
図の例は、（ｍｖｘ，ｍｖｙ）＝（８，１４）、α＝β＝８の例であり、ｔ＝６、ｕ＝２となり、動き補償データＸは、下式のように、縮小画像データＡ、Ｃを６：２に内分するデータとなる。
Ｘ＝（２Ａ＋６Ｃ）／８
（２−３）それ以外の場合は、図１１（ｃ） のように、隣接する４つの縮小画像データから動き補償データを下式で求めることができる。
動き補償データＸ＝（ｓｕＡ＋ｒｕＢ＋ｓｔＣ＋ｒｔＤ）／αβ …（４）
但し、ｒ＋ｓ＝α、ｔ＋ｕ＝β、ｒ＝ｍｖｘ％α、ｔ＝ｍｖｙ％βである。
図の例は、（ｍｖｘ，ｍｖｙ）＝（１３，１４）、α＝β＝８の例であり、ｒ＝５、ｔ＝６となる。この結果、ｓ＝３、ｕ＝２となり、動き補償データＸは、下式のように、縮小画像データＡ、Ｂ、Ｃ、Ｄを６：１０：１８：３０の割合で加算したデータとなる。
Ｘ＝（６Ａ＋１０Ｂ＋１８Ｃ＋３０Ｄ）／６４
本発明の実施にあたっては、さらに種々の変形形態が可能である。例えば、縮小画面を求める際や、ブロック分割する際の平均値計算については、８画素×８ラインのブロックに限らず、１６画素×１６ラインや４画素×４ラインなど種々のサイズが適応可能であるし、それに伴い、動きベクトル変換や内分動き補償を変化させることができる。
【００３２】
さらに、簡易復号化処理については、平均値成分データのみだけでなく、低周波数成分データも用いることによって表示された画質を向上させることができる。また、カット画面と判定された画面をカット検出ファイルとして蓄積することにより、後でファイルからカット画面のみを復元、出力することも可能である。また、検出されたカット点画像は、シーンを代表する画像として用いることができ、この画像データを類似画像検索装置に転送することによって、すべてのフレームを調べることなく効率的に類似画像検索や類似画像のクラスタリングも行える。
【００３３】
そして、本発明は、ＭＰＥＧ１のみならず、ＭＰＥＧ２、Ｈ２６１などの国際標準化された符号化法を用いた動画像の符号化データへの適用が可能であり、ＤＣＴ変換のみならず、ウェーブレット変換、ベクトル量子化等により圧縮し、動き補償を行った符号化データへの適用も可能である。
【００３４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像作成手段は、復号処理され、抽出された画面データの一部を用いてフレーム画像の再生画像の作成を行うので、従来装置のように低周波成分のデータから高周波成分のデータまでの全てのデータを用いて完全に復号化して元の画像に戻すという処理をなくすことができる。このため、カット検出の前段階の処理を短縮でき、該フレーム画像の再生処理を高速で行うことができるようになる。また、この結果、１フレーム単位でカット点の検出を行うことができるようになり、カット画像の検出精度を向上することができるようになる。
【００３５】
また、入力された動画像がフレーム間符号化された画像の場合は、動き補償手段は、前記画像作成手段によって作成された画面データのみを対象として動き補償を行うため、動き補償処理に必要な画素数の削減が可能となり、その分処理時間を短縮することができるようになる。、
なお、本発明を実際に動作させたところ、次のような結果が得られた。すなわち、ニュース、料理番組、バラエティ番組、宣伝番組（ＣＭ番組）等を含んだ約１時間の素材で、ＩＳＯで標準化されたＭＰＥＧ１方式で符号化されたビットストリームについてカット点検出を行った場合、正しく検出されたカット画面数に対する未検出カット画面の割合（未検出率）と本来カット画面ではないのに誤って検出された画面の割合（過剰検出率）は、前述の中島らの方式で、離散的フレームを対象にしているものと、本発明の簡易復号化を用いて、同じカット検出方式を用いたもので比較してみると、前者の未検出率が１１．２％、過剰検出率１１．３％であるのに対し、後者の未検出率が６．６％、過剰検出率が１．９％となった。したがって、本発明による検出装置では、従来装置と比較して、総合的に見て、高い精度でカット画面を検出することができた。
【００３６】
また、検出時間についても同様に、前述の中島らの方式ですべてのフレームを完全に復号化してからカット検出を行う場合と、本発明の簡易復号化してカット検出をする場合とで比較してみると、後者は前者の１／４以下程度の時間で処理できるようになり、カット点の高速検出も可能となった。
【図面の簡単な説明】
【図１】本発明の一実施形態の動画像のカット画面の検出装置の構成を示すブロック図である。
【図２】図１の制御装置の動作を説明するためのフローチャートである。
【図３】図２の続きのフローチャートである。
【図４】図１の平均値成分抽出部の動作の一例の説明図である。
【図５】図１の画像作成部の動作の一例の説明図である。
【図６】図１の画像表示部の表示例を示す図である。
【図７】図１のカット点検出部の動作の一部の説明図である。
【図８】図１のカット画像表示部の表示例を示す説明図である。
【図９】本発明の第２の実施形態における画像作成部の動作の一例の説明図である。
【図１０】前記第２の実施形態における動き補償処理部の一部の動作の説明図である。
【図１１】前記第２の実施形態における動き補償処理部の一部の動作の説明図である。
【符号の説明】
１…可変長復号部、２…平均値成分抽出部、３…画像作成部、４…内部メモリ、５…動き補償処理部、６…第１のメモリ、７…画像表示部、８…カット点検出部、９…第２のメモリ、１０…第１の判定部、１１…カット画像保持部、１２…カット画像表示部。
Claims (11)
- 入力された圧縮動画像データを可変長復号などの簡易復号処理し、カット点である画像を検出する動画像のカット点画像検出装置において、
入力された動画像の符号化データを可変長復号などの簡易復号処理する簡易復号処理手段と、
該簡易復号処理手段から出力された画像のブロック毎のＤＣＴ変換係数およびウェーブレット変換係数のいずれかの平均値成分データを抽出する抽出手段と、
該抽出手段から出力された前記ブロック毎の前記平均値成分データをブロック内の全ての画素にコピーして元の画像のフルサイズを復元する画像作成手段と、
該画像作成手段によって作成された前記フルサイズの画面データから、各画面ごとに特徴量を抽出し、該特徴量を基にカット点検出を行うカット点検出手段と、
該カット点検出手段によって検出されたカット点画像を保持する手段とを具備したことを特徴とするカット点画像検出装置。 - 請求項１のカット点画像検出装置において、
前記抽出手段は、前記平均値成分データの抽出に代えて、低周波成分データのみを抽出することを特徴とするカット点画像検出装置。 - 請求項１のカット点画像検出装置において、
前記画像作成手段によって作成されたフルサイズの画面データに対して動き補償を行う動き補償手段をさらに具備したことを特徴とするカット点画像検出装置。 - 請求項３のカット点画像検出装置において、
前記入力された動画像がフレーム間符号化された画像の場合に、前記動き補償手段により形成された動き補償予測画面のみを用いて前記元の画像のフルサイズを復元することを特徴とするカット点画像検出装置。 - 入力された圧縮動画像データを可変長復号などの簡易復号処理し、カット点である画像を検出する動画像のカット点画像検出装置において、
入力された動画像の符号化データを可変長復号などの簡易復号処理する簡易復号処理手段と、
該簡易復号処理手段から出力された画像のブロック毎のＤＣＴ変換係数およびウェーブレット変換係数のいずれかの平均値成分データを抽出する抽出手段と、
該抽出手段から出力された前記ブロック毎の前記平均値成分データを各ブロックの代表のデータとすることにより任意のサイズの縮小画像を復元する画像作成手段と、
該画像作成手段によって作成された前記縮小画像の画面データから、各画面ごとに特徴量を抽出し、該特徴量を基にカット点検出を行うカット点検出手段と、
該カット点検出手段によって検出されたカット点画像を保持する手段とを具備したことを特徴とするカット点画像検出装置。 - 請求項５のカット点画像検出装置において、
前記画像作成手段によって作成された縮小画像の画面データに対して動き補償を行う動き補償手段をさらに具備したことを特徴とするカット点画像検出装置。 - 請求項６のカット点画像検出装置において、
前記入力された動画像がフレーム間符号化された画像の場合に、前記動き補償手段により形成された動き補償予測画面のみを用いて画面を復元することを特徴とするカット点画像検出装置。 - 請求項６のカット点画像検出装置において、
前記動き補償手段は、前記画像作成手段によって作成された画像が任意のサイズの縮小画像である場合に、該縮小画像の縮小率に応じた動きベクトル量のスケーリングを行うことを特徴とするカット点画像検出装置。 - 請求項６のカット点画像検出装置において、
前記動き補償手段は、前記画像作成手段によって作成された画像が任意のサイズの縮小画像である場合に、該縮小画像の縮小率に応じた動きベクトル量のスケーリングと内分動き補償を行うことを特徴とするカット点画像検出装置。 - 請求項５〜９のいずれかに記載のカット点画像検出装置において、
前記抽出手段は、前記画像のブロック毎の前記変換係数の平均値成分データのみを抽出することを特徴とするカット点画像検出装置。 - 請求項５〜９のいずれかに記載のカット点画像検出装置において、
前記抽出手段は、前記画像のブロック毎の前記変換係数の低周波成分データのみを抽出することを特徴とするカット点画像検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26368195A JP3597271B2 (ja) | 1995-09-19 | 1995-09-19 | 動画像のカット点画像検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26368195A JP3597271B2 (ja) | 1995-09-19 | 1995-09-19 | 動画像のカット点画像検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0983864A JPH0983864A (ja) | 1997-03-28 |
| JP3597271B2 true JP3597271B2 (ja) | 2004-12-02 |
Family
ID=17392870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26368195A Expired - Fee Related JP3597271B2 (ja) | 1995-09-19 | 1995-09-19 | 動画像のカット点画像検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3597271B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60036288T2 (de) * | 1999-06-30 | 2008-05-29 | Sharp K.K. | Dynamisches bildsuch-informations-aufzeichnungsgerät und dynamische bildsuchvorrichtung |
-
1995
- 1995-09-19 JP JP26368195A patent/JP3597271B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0983864A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5351038B2 (ja) | 画像データ及び深度データの組合せを処理する画像処理システム | |
| EP1037469B1 (en) | Apparatus and method for fade detecting and information encoding | |
| US8098729B2 (en) | Implementing B-picture scene changes | |
| JPH09130812A (ja) | 重複ビデオフィールドの検出方法及び装置、画像エンコーダ | |
| JPH1075457A (ja) | 動画像内の移動物体検出装置 | |
| JP2010500818A (ja) | 漫画アニメーション圧縮のためのシステムおよび方法 | |
| JPH1066087A (ja) | シーン変化点検出方法および動画像の編集表示方法 | |
| JP4875007B2 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
| US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
| JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
| JP3633159B2 (ja) | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 | |
| JP3778960B2 (ja) | 動画像符号化方法及び装置 | |
| JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
| JPH0918782A (ja) | 映像信号処理方法及び装置 | |
| JP2002515705A (ja) | ビデオデコーダのコストを低減させる方法および装置 | |
| JP4023324B2 (ja) | 透かし埋め込み及び画像圧縮部 | |
| JP2002537735A (ja) | ブロック効果減少のためのフィルタリング段階を用いたビデオ復号化装置及び方法 | |
| JPH10224790A (ja) | 圧縮伸張された画像中のブロック状ノイズを除去するフィルタおよびフィルタ方法 | |
| JP2000125303A (ja) | 運動推定フェ―ズにおける３：２プルダウンの検知及び最適化したビデオ圧縮エンコ―ダ | |
| JP4165752B2 (ja) | 画像データへの秘匿データ挿入方式および秘匿データ検出方式 | |
| JP5080304B2 (ja) | 秘匿データが挿入された画像データの表示方式 | |
| JP3597271B2 (ja) | 動画像のカット点画像検出装置 | |
| JPH11155129A (ja) | Ｍｐｅｇ画像再生装置およびｍｐｅｇ画像再生方法 | |
| JP2001346208A (ja) | 画像信号復号化装置および方法 | |
| JPH0795536A (ja) | 動画像逆再生装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040908 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |