JP3932631B2 - 圧縮動画像データカット検出装置 - Google Patents
圧縮動画像データカット検出装置 Download PDFInfo
- Publication number
- JP3932631B2 JP3932631B2 JP32740197A JP32740197A JP3932631B2 JP 3932631 B2 JP3932631 B2 JP 3932631B2 JP 32740197 A JP32740197 A JP 32740197A JP 32740197 A JP32740197 A JP 32740197A JP 3932631 B2 JP3932631 B2 JP 3932631B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- cut
- dvc
- frame
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮動画像データから効率良くカット（シーンの変化点）を検出する技術に関する。
【０００２】
【従来の技術】
近年、ＤＶＣカメラに代表されるように、映像分野において圧縮動画像データを扱う機会が増加している。これらの圧縮動画像データからカットを検出することにより、内容検索や編集作業を効率良く行うことができる。例えば圧縮動画像データをパソコン等でノンリニア編集する場合、圧縮動画像データから事前にカットを検出しておき、カットの代表画像を並べて表示することで、一連の内容を理解することができる。また、カットの位置情報とカットの代表画像をリンクさせておくことで、カットの代表画像の順番を並べ換えたりすることによって容易に内容の変更を行うことができる。
【０００３】
以下、圧縮動画像データの例としてＤＶＣデータから、カットを検出する従来の圧縮動画像データカット検出装置について説明する。なお、ＤＶＣデータには、民生用とプロ用（ＤＶＣＰＲＯ）があり、民生用についてはＨＤＤｉｇｉｔａｌＶＣＲＣｏｎｆｅｒｅｎｃｅのＳｐｅｃｉｆｉｃａｔｉｏｎｓｏｆＣｏｎｓｕｍｅｒ−ＵｓｅＤｉｇｉｔａｌＶＣＲｓｕｓｉｎｇ６．３ｍｍｍａｇｎｅｔｉｃｔａｐｅに、プロ用についてはＰｒｏｐｏｓｅｄＳＭＰＴＥＳｔａｎｄａｒｄ／ＳＭＰＴＥｘｘｘＭｆｏｒＴｅｌｅｖｉｓｉｏｎＤｉｇｉｔａｌＲｅｃｏｒｄｉｎｇ６．３５ｍｍＴｙｐｅＤ−７ＣｏｍｐｏｎｅｎｔＦｏｒｍａｔＴａｐｅＣａｓｓｅｔｔｅＶ１６．０８−２Ｃ４ｔｈＤｒａｆｔＳｅｐｔｅｍｂｅｒ１０，１９９６やＰｒｏｐｏｓｅｄＳＭＰＴＥＳｔａｎｄａｒｄｆｏｒＤｉｇｉｔａｌＶｉｄｅｏＲｅｃｏｒｄｉｎｇｗｉｔｈｖｉｄｅｏｃｏｍｐｒｅｓｓｉｏｎ６．３５ｍｍＴｙｐｅＤ−７ＣｏｍｐｏｎｅｎｔＦｏｒｍａｔ５２５／６０ａｎｄ６２５／５０（ＤＶＣＰＲＯ）Ｖ１６．０８−３Ｂ４ｔｈＤｒａｆｔＤｅｃｅｍｂｅｒ９，１９９６に示される規格に準じている。以後の説明では例として民生用のＤＶＣデータを用いる。
【０００４】
ここでまずＤＶＣデータの圧縮方式とフォーマットについて説明する。
まず、ＤＶＣデータの圧縮方法を図１９を用いて説明する。ＤＶＣデータは、フレーム内の輝度（Ｙ）、色差（Ｃｒ、Ｃｂ）の各ブロック（水平８画素×垂直８画素）ごとに圧縮を行う。まず、ブロックをＤＣＴ（離散コサイン変換）してＤＣ成分とＡＣ成分を得る（図１９のＳ１）。
【０００５】
このＤＣＴには、圧縮後の画質を良くするために、８−８ＤＣＴと呼ばれるモードと、２−４−８ＤＣＴと呼ばれる２通りのモードが準備されている。この２つのモードを、ＤＣＴモードと呼ばれるコード（１ビット）で、適応的に切り替えて使用する。ブロック内の、奇数フィールドと偶数フィールドの差分が大きい場合は、ＤＣＴモードの値を１として、２−４−８ＤＣＴを行なう。ブロック内の、奇数フィールドと偶数フィールドの差分が小さい場合は、ＤＣＴモードの値を０として、８−８ＤＣＴを行なう。
【０００６】
例えば、被写体の動きが大きい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が大きくなるため、２−４−８ＤＣＴを行ない、静止画のように動きが小さい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が小さくなるため、８−８ＤＣＴを行なう。ＤＣＴを行なった後、ＡＣ成分については、４つのエリア（図１９のエリア０からエリア３）に分割し、各エリアごとに量子化を行う。各エリアの量子化の際に用いる量子化ステップは、クラスナンバー（後述）と、量子化ナンバー（後述）より決定される。量子化後のＡＣ成分はＶＬＣ（可変長符号化）により圧縮される。
【０００７】
各エリアは、各ＡＣ成分の絶対値の最大値の大きさにより、クラス０からクラス３の４つのクラスに分けられる。クラスナンバーは各クラスを区別するためのものである。
【０００８】
（表１）にＡＣ成分の絶対値の最大値とクラスナンバーの関係の例を示す。また量子化ナンバーは圧縮後のデータの量を制限するための値である。
【０００９】
【表１】
【００１０】
（表２）は量子化ステップの算出を行う表である。クラスナンバーと量子化ナンバーと各エリア（エリアナンバーが０から３）と量子化ステップの関係は（表２）のようになる。
【００１１】
【表２】
【００１２】
次にＤＶＣデータのフォーマットについて図２０、図２１、図２２、図２３を用いて説明する。なお、以下では例としてＮＴＳＣの場合について説明する。
【００１３】
図２０に示すように、輝度ブロックのデータは１４バイト、色差ブロックは１０バイトで構成される。ＤＣ成分は９ビット固定、クラスナンバーは２ビット固定、ＤＣＴモードは１ビット固定で、図２０に示すように決められた位置に記録されている。ＡＣ成分の記録領域も、輝度ブロックの場合１００ビット、色差ブロックの場合６８ビットと固定であるが、圧縮されたＡＣ成分は可変長なので、実質的なＡＣ成分のデータが、記録領域の中でどのくらいの範囲に記録されているかは画像によって変動する。
【００１４】
図２１にマクロブロックの構成を示す。マクロブロックは４個の輝度（Ｙ）ブロックと２個の色差（Ｃｒ、Ｃｂ）ブロックで構成される。ＡＣ成分の量子化の際に用いられる量子化ナンバーは４ビット固定で、マクロブロックごとに設定され図２１に示すような位置に記録される。
【００１５】
図２２は１フレームの構成を示す。各フレームは１０個のＤＩＦｓｅｑｕｅｎｃｅで構成される。各ＤＩＦｓｅｑｕｅｎｃｅは１５０個（図２２のＮｏ．０からＮｏ．１４９）のＤＩＦｂｌｏｃｋで構成される。Ｎｏ．０からＮｏ．５のＤＩＦｂｌｏｃｋにはそのフレームに関連する諸情報が記録されている。その中にインデックスコード（見たいシーンの頭出しをする際の目印となる信号）や録画タイムコード（ＤＶＣカメラで撮影したときの年月日および時刻）が記録されている。インデックスコードには録画が開始されるたびに目印を記録しても良いし、また、録画開始にかかわらずユーザーが見たい映像に合わせて自由に目印を記録しても良い。
【００１６】
Ｎｏ．６からＮｏ．１４９のＤＩＦｂｌｏｃｋには圧縮されたオーディオデータとビデオデータが記録されている。
【００１７】
なお、以後の説明において、Ｎｏ．６からＮｏ．１４９のＤＩＦｂｌｏｃｋに記録されているデータ、及びこれらを伸長したものを画像データと呼んでＮｏ．０からＮｏ．５のＤＩＦｂｌｏｃｋとは区別する。
【００１８】
各ＤＩＦｂｌｏｃｋの大きさは８０バイト固定であるためフレーム全体の大きさは１２０Ｋバイト固定である。
【００１９】
図２３に１つのＤＩＦｓｅｑｕｅｎｃｅの構造を示す。図２３においてＡ０からＡ８がオーディオデータのＤＩＦｂｌｏｃｋであり、Ｖ０からＶ１３４がビデオデータのＤＩＦｂｌｏｃｋである。Ｖ０からＶ１３４の各ＤＩＦｂｌｏｃｋはそれぞれ１個のマクロブロックの情報が記録されている。
【００２０】
一般的に、ＤＶＣカメラで撮影したデータや、既に存在するアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードしたものなど大容量のものは、ハードディスクなどより安価なテープメディアに記録されていることが多い。
【００２１】
これらのＤＶＣデータをパソコン上でノンリニア編集を行う場合、ＤＶＣデータをテープメディアからパソコン上のハードディスクなどのランダムアクセスメディアに転送する必要がある。
【００２２】
このような用途を鑑み、以下に述べる従来の圧縮動画像データカット検出装置は、テープメディアからパソコンにＤＶＣデータを転送する際にカットを検出するものである。
【００２３】
図２４に従来の圧縮動画像データカット検出装置の構成を示す。図２４において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００２４】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち１フレーム分のデータを一時記憶するメモリで、１０７はハードディスクで、１１８はメモリ１０４に記録されている１フレーム分のＤＶＣデータの中の各フレームからインデックスコードを読み出して、インデックスコードの値よりカットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００２５】
以上のうち、カット判定手段１１８はソフトウェアで構成される。
図２５は従来の圧縮動画像データカット検出装置の処理の流れを示す。以下、従来の圧縮動画像データカット検出装置の動作について図２４と図２５を用いて説明する。
【００２６】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図２５のＳ１）。
【００２７】
このときカット判定手段１１８でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図２５のＳ２）。そしてメモリ１０４に記憶されているデータの中からインデックスコードを読み出し、インデックスコードに目印が記録されているかを見て、カットの有無を判定する（図２５のＳ３）。
【００２８】
ＤＶＣカメラの仕様によっては、録画開始（カット）ごとにインデックスコードに目印を自動的に記録するものもある。このようなＤＶＣカメラで撮影されているＤＶＣデータに対して正確にカットを検出することができる。カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図２５のＳ４）。
【００２９】
次にメモリ１０４内に記憶されている現在フレームのＤＶＣデータをハードディスク１０７に転送して記録する（図２５のＳ５）。
【００３０】
以上の処理を最終フレームになるまで繰り返す。
以上のように従来の圧縮動画像データカット検出装置では、ＤＶＣカメラで撮影時にＤＶＣデータに記録されるインデックスコードをたよりにカット検出を行っていた。
【００３１】
【発明が解決しようとする課題】
しかしながら、上記従来の圧縮動画像データカット検出装置は、ＤＶＣカメラで撮影時にＤＶＣデータに記録されるインデックスコードをたよりにカット検出を行っているので、録画開始（カット）と、インデックスコードの目印が対応していないＤＶＣデータに対してはカットを検出できないという問題を有していた。
【００３２】
例えば、既にたくさんのカットを持つアナログの動画像データを、ＤＶＣ用ＶＴＲで録画した場合は、動画像中のカットとインデックスコードは対応しなくなる。そのため、インデックスコードを用いてカットを検出することができない。
【００３３】
また、ＤＶＣデータが、どのようにして作成されたのか（どんなＤＶＣカメラで撮影されたのか、ＤＶＣ用ＶＴＲで録画されたのか）が分からない場合は、インデックスコードとカットが対応しているかどうかの確認ができず、インデックスコードを用いてのカット検出結果を信頼できないという問題を有していた。
【００３６】
【課題を解決するための手段】
このような問題を解決するために、本発明の圧縮動画像データカット検出装置は、圧縮動画像データの中の、各フレームの先頭より同一位置のデータの、フレーム間の比較を行う同一位置データ比較手段を有する。
【００３７】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、直交変換のＤＣ成分のデータの比較を行う。
【００３８】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、量子化ステップのデータの比較を行う。
【００３９】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータの各フレームのクラスナンバーのデータの比較を行う。
【００４０】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータの各フレームの量子化ナンバーのデータの比較を行う。
【００４１】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、直交変換のＤＣ成分のデータのフレーム間の比較および量子化ステップのデータのフレーム間の比較を行う。
【００４２】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータのＤＣＴ（離散コサイン変換）のＤＣ成分のデータのフレーム間の比較およびクラスナンバーのデータのフレーム間の比較を行う。
【００４３】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータのＤＣＴのＤＣ成分のデータのフレーム間の比較および量子化ナンバーのデータのフレーム間の比較を行う。
【００４４】
また、本発明の圧縮動画像データカット検出装置は、ＤＶＣデータの、ＤＣＴモードの値をカウントするカウンタと、前記カウンタの値を用いてカットの有無を判定するカット判定手段を有する。
【００４５】
【発明の実施の形態】
（実施の形態１）
図１は本発明の第１の実施形態における圧縮動画像データカット検出装置の構成図である。図１において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００４６】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクで、１０５はメモリ１０４に記録されている２フレーム分のＤＶＣデータの中の各フレームから録画タイムコードを読み出して比較する録画タイムコード比較手段で、１０６はメモリ１０４に一時記憶されるＤＶＣデータのフレーム番号を管理し、録画タイムコード比較手段１０５の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００４７】
本実施形態においては、例として、以上のうちの録画タイムコード比較手段１０５と、カット判定手段１０６はソフトウェアで構成されるものとする。
【００４８】
図２は本発明の第１の実施形態の圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第１の実施形態の圧縮動画像データカット検出装置の動作について図１と図２を用いて説明する。
【００４９】
図１のＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図２のＳ１）。
【００５０】
このときカット判定手段１０６でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図２のＳ２）。そしてメモリ１０４に現在フレームと１つ前のフレームの２フレーム分のＤＶＣデータが記憶されたかどうかを判断し（図２のＳ３）、２フレーム分のＤＶＣデータが記憶されている場合は、フレーム間の録画タイムコードの比較を行う（図２のＳ４）。ここでいう録画タイムコードとは、録画時の年月日や時分秒に対応するコードである。よって録画を停止して、再度録画を開始した時点で録画タイムコードが不連続になる。録画タイムコードが不連続であれば、カットが有ると判定し（図２のＳ５）、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図２のＳ６）。
【００５１】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図２のＳ７）。
【００５２】
以上の処理を最終フレームになるまで繰り返す。
以上のように、ＤＶＣカメラで撮影時にＤＶＣデータに記録される録画タイムコードを用いることでカットを検出することができる。このように図１に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。また、圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【００５３】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【００５４】
（実施の形態２）
次に、本発明の第２の実施形態について、図面を参照しながら説明する。
【００５５】
図３は本発明の第２の実施形態における圧縮動画像データカット検出装置の構成図である。図３において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００５６】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクで、１０８はメモリ１０４に記録されているＤＶＣデータを伸長して画像を再構成するデコーダボードで、１０９は伸長された２フレーム分の画像データを記憶する画像データメモリで、１１０は画像データメモリ１０９に記憶されている各フレームの輝度信号と色差信号を比較する画像データ比較手段で、１１１は画像データ比較手段１１０の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００５７】
本実施形態においては、例として、以上のうちの画像データ比較手段１１０と、カット判定手段１１１はソフトウェアで構成されるものとする。
【００５８】
図４は本発明の第２の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第２の実施形態における圧縮動画像データカット検出装置の動作について図３と図４を用いて説明する。
【００５９】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図４のＳ１）。
【００６０】
このときカット判定手段１１１でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図４のＳ２）。そしてメモリ１０４に記憶されているＤＶＣデータをデコーダボード１０８で伸長して画像を再構成し、再構成された画像データを画像データメモリ１０９に記憶する（図４のＳ３）。
【００６１】
画像データメモリ１０９に現在フレームと１つ前のフレームの２フレーム分の画像データが記憶されたかどうかを判断し（図４のＳ４）、２フレーム分の画像データが記憶されている場合は、フレーム間の輝度信号の比較（またはフレーム間の色差信号の比較）を行う（図４のＳ５）。輝度信号（または色差信号）の変化量が大きい場合は、カットが有ると判定する（図４のＳ６）。
【００６２】
図５に輝度信号を用いた場合の変化量の算出方法例を示す。図５に示すように、画像を分割し、過去フレームと現在フレームの対応する分割領域どうしの差分の絶対値を求め、全ての分割領域の差分の絶対値の和を変化量とする。
【００６３】
なお、変化量の算出方法は、これに限らず、色差信号を用いても良いし、輝度（または色）のヒストグラムを用いても良い。図６に変化量のグラフを示す。
【００６４】
フレーム間にカットが無い場合は、画像が非常に似ているため、各分割領域においてフレーム間の輝度差は小さな値となり変化量は小さくなる。フレーム間にカットが有る場合は、図５に示すように各フレームの各分割領域では画像の内容が違うため、各分割領域においてフレーム間の輝度差は大きな値となり変化量は図６に示すように大きな値となる。このようにカット点の変化量は突出するため、変化量がある値（しきい値）を超えるとフレーム間にカットと有ると判定する。
【００６５】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図４のＳ７）。
【００６６】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図４のＳ８）。
【００６７】
以上の処理を最終フレームになるまで繰り返す。以上のように、メモリ１０４に記録されているＤＶＣデータの中の画像データを伸長してカットを検出することができる。このように図３に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【００６８】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図３のような構成で、ＤＶＣデータを伸長してカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【００６９】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【００７０】
（実施の形態３）
上記の本発明の第２の実施形態では図３のメモリ１０４に記憶されているＤＶＣデータを、伸長してカット検出を行う例を示したが、以下にＤＶＣデータを伸長せずに、同一位置データ（後述）を直接比較する同一位置データ比較手段を有する本発明の第３の実施形態について説明する。図２２に示した通り、１フレームのＤＶＣデータは固定長でかつ固定数のＤＩＦｂｌｏｃｋで構成されている。ビデオデータのＤＩＦｂｌｏｃｋは図２１に示すようなマクロブロックのデータが記録されている。マクロブロックの構成要素であるブロックは図２０に示す通りである。この中でＤＣ成分のデータは定められた位置に記録されている。すなわち各フレームのＤＶＣデータの中でＤＣ成分は、定められた位置に記録されており、フレームによって（画像によって）記録位置が変動することはない。このようにフレーム（画像によって）記録位置が変動しないデータを同一位置データと呼ぶことにする。同一位置データとしてＤＣ成分のほかに、ブロックごとに存在するクラスナンバーやＤＣＴモード（図２０参照）、マクロブロックごとに存在する量子化ナンバー（図２１参照）などがある。同一位置データでないものとしてＡＣ成分が挙げられる。ＡＣ成分はデータの記録領域は、輝度ブロックの場合１００ビット、色差ブロックの場合６８ビットと固定であり、図２０に示すようにクラスナンバーより後の領域に記録される。しかしながら圧縮されたＡＣ成分のデータは可変長なので、実質的なＡＣ成分のデータが、記録領域の中でどのくらいの範囲に記録されているかはフレームによって（画像によって）変動する。すなわちＡＣ成分のデータはフレーム内での記録位置がフレームによって（画像によって）変動する。
【００７１】
図７は本発明の第３の実施形態における圧縮動画像データカット検出装置の構成図である。図７において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００７２】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクである。１１２はメモリ１０４に記録されている各フレームの同一位置データどうしを比較する同一位置データ比較手段であるが、本実施形態では比較する同一位置データとしてＤＣ成分を用いるので、１１２をＤＣ成分比較手段と呼ぶ。
【００７３】
１１３はＤＣ成分比較手段１１２の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００７４】
本実施形態においては、例として、以上のうちのＤＣ成分比較手段１１２と、カット判定手段１１３はソフトウェアで構成されるものとする。
【００７５】
図８は本発明の第３の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第３の実施形態における圧縮動画像データカット検出装置の動作について図７と図８を用いて説明する。
【００７６】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図８のＳ１）。
【００７７】
このときカット判定手段１１３でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントし（図８のＳ２）、メモリ１０４に現在フレームと１つ前のフレームの２フレーム分のＤＶＣデータが記憶されたかどうかを判断（図８のＳ３）する。２フレーム分のＤＶＣデータが記憶されている場合は、各フレーム内の同一位置データであるＤＣ成分のフレーム間の比較を行う（図８のＳ４）。ＤＣ成分は各ブロックの輝度（または色差）の平均値に対応した値であり、第２の実施形態と同様に図５に示したように各分割領域ごとにフレーム間のＤＣ成分の差分の絶対値を求め、それらの和を変化量とする。
【００７８】
なお、変化量の算出方法は、これに限らずＤＣ成分のヒストグラムを用いても良い。
【００７９】
各ブロックのＤＣ成分の値を得るには、ブロックの先頭アドレスにダイレクトに移動し、ブロック内の最初の９ビットを取得すれば良い（図２０参照）。そしてＤＣ成分の変化量が大きい場合は、カットが有ると判定する（図８のＳ５）。これも第２の実施形態と同様に図６に示すようにカット点で変化量が突出する特徴を利用してカットの有無を判定する。
【００８０】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図８のＳ６）。
【００８１】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図８のＳ７）。
【００８２】
以上の処理を最終フレームになるまで繰り返す。
以上のように、同一位置データであるＤＣ成分を用いることでカットを検出することができる。このように図７に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【００８３】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図７のような構成で、ＤＣ成分を用いてカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【００８４】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【００８５】
第２の実施形態では、ＤＶＣデータを完全に伸長してからカット検出を行っていたため、伸長のためのデコーダボードと画像データメモリが必要であった。本実施形態では記録位置が固定であるＤＣ成分のデータの変化量を用いてカット検出を行ったため、ＤＣ成分の取得は、ブロックの先頭アドレスに移動し、最初の９ビットを取得するという簡単な処理だけで良く、容易にソフトウェアで実現できる。そのためデコーダボードや画像メモリが不要で低コスト化を図ることができる。また、ＡＣ成分の取得や逆量子化、逆ＤＣＴといった伸長のための一連の処理が不要なので高速処理が実現できる。ＡＣ成分は可変長コードであるため、ＡＣ成分の取得は、同一位置データの取得のようにブロックの先頭アドレスに移動して、所定の固定長の値を取得するのとは異なり、ＡＣ成分の可変長コードを頭から少しずつ解く処理を繰り返す必要があり、非常に負荷が大きい。また、逆量子化および逆ＤＣＴは、膨大な数の積和演算が必要である。このような膨大な処理を行うことに比べ、同一位置データであるＤＣ成分のデータを取得しながらカット検出を行う本実施形態では、テープメディアからパソコンへのデータ転送速度が、ＤＶＣデータの通常再生速度の例えば４倍速や５倍速といった高速転送を行う際にも、その速度に追従した高速カット検出が行うことができる。
【００８６】
（実施の形態４）
以上のＤＣ成分と同様に、各ブロックごとに設定されるクラスナンバーや、各マクロブロックごとに設定される量子化ナンバーもフレーム内の固定の位置に記録されており（図２０、図２１参照）、これらの値のフレーム間の比較結果をもとにカットを検出しても良く、ＤＣ成分を用いた場合と同様に高速処理が可能となる。
【００８７】
以下、本発明の第４の実施形態について、図面を参照しながら説明する。
図９は本発明の第４の実施形態における圧縮動画像データカット検出装置の構成図である。図９において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００８８】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクである。１１４はメモリ１０４に記録されている各フレームの同一位置データどうしを比較する同一位置データ比較手段であるが、本実施形態では比較する同一位置データとしてクラスナンバーを用いるので、１１４をクラスナンバー比較手段と呼ぶ。１１５はクラスナンバー比較手段１１４の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００８９】
本実施形態においては、例として、以上のうちのクラスナンバー比較手段１１４と、カット判定手段１１５はソフトウェアで構成されるものとする。
【００９０】
図１０は本発明の第４の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第４の実施形態における圧縮動画像データカット検出装置の動作について図９と図１０を用いて説明する。
【００９１】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図１０のＳ１）。
【００９２】
このときカット判定手段１１５でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントし（図１０のＳ２）、メモリ１０４に現在フレームと１つ前のフレームの２フレーム分のＤＶＣデータが記憶されたかどうかを判断（図１０のＳ３）する。２フレーム分のＤＶＣデータが記憶されている場合は、各フレーム内の同一位置データであるクラスナンバーのフレーム間の比較を行う（図１０のＳ４）。
【００９３】
（表１）に示すように、クラスナンバーは各ブロックのＡＣ成分の絶対値の最大値より算出された値であるため、図１１に示すような画像例において、人物の顔の輪郭や髪の毛などの複雑な部分ではクラスナンバーの値は大きくなる（図１１の黒いブロック）。背景等の単調な部分ではクラスナンバーは小さくなる（図１１の白い部分）。このようにクラスナンバーには画像の特徴が反映される。
【００９４】
図１２にクラスナンバーを用いた場合の変化量の算出方法例を示す。図１２に示すように、画像を分割し、過去フレームと現在フレームの対応する分割領域どうしのクラスナンバーの差分の絶対値を求め、全ての分割領域の差分の絶対値の和を変化量とする。
【００９５】
なお、変化量の算出方法は、これに限らずクラスナンバーのヒストグラムを用いても良い。図１３に変化量のグラフを示す。
【００９６】
フレーム間にカットが無い場合は、画像が非常に似ているため、各分割領域においてフレーム間のクラスナンバーの差は小さな値となり変化量は小さくなる。フレーム間にカットが有る場合は、図１２に示すように各フレームの各分割領域では画像の内容が違うため、各分割領域においてフレーム間のクラスナンバーの差は大きな値となり変化量は図１３に示すように大きな値となる。
【００９７】
各ブロックのクラスナンバーの値を得るには、ブロックの先頭アドレスにダイレクトに移動し、図２０に示すように、ブロック内の所定の２ビットの値を取得すれば良い。そしてクラスナンバーの変化量がある値（しきい値）より大きい場合は、カットが有ると判定する（図１０のＳ５）。
【００９８】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図１０のＳ６）。
【００９９】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図１０のＳ７）。
【０１００】
以上の処理を最終フレームになるまで繰り返す。
以上のように、同一位置データであるクラスナンバーを用いることでカットを検出することができる。このように図９に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【０１０１】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図９のような構成で、クラスナンバーを用いてカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【０１０２】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセス再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【０１０３】
第２の実施形態では、ＤＶＣデータを完全に伸長してからカット検出を行っていたため、伸長のためのデコーダボードと画像データメモリが必要であった。本実施形態では記録位置が固定であるクラスナンバーのデータの変化量を用いてカット検出を行っており、クラスナンバーの取得は、ブロックの先頭アドレスに移動し、図２０に示すように所定の２ビットを取得するという簡単な処理だけで良く、容易にソフトウェアで実現できる。そのためデコーダボードや画像メモリが不要で低コスト化を図ることができる。また、ＡＣ成分の取得や逆量子化、逆ＤＣＴといった伸長のための一連の処理が不要なので高速処理が実現できる。ＡＣ成分は可変長コードであるため、ＡＣ成分の取得は、同一位置データの取得のようにブロックの先頭アドレスに移動して、所定の固定長の値を取得するのとは異なり、ＡＣ成分の可変長コードを頭から少しずつ解く処理を繰り返す必要があり、非常に負荷が大きい。また、逆量子化および逆ＤＣＴは、膨大な数の積和演算が必要である。このような膨大な処理を行うことに比べ、同一位置データであるクラスナンバーのデータを取得しながらカット検出を行う本実施形態では、テープメディアからパソコンへのデータ転送速度が、ＤＶＣデータの通常再生速度の例えば４倍速や５倍速といった高速転送を行う際にも、その速度に追従した高速カット検出を行うことができる。なお、クラスナンバーと量子化ナンバーは、量子化ステップを決定するためのパラメータであり、（表２）に示すような関係にあり、クラスナンバーと量子化ナンバーから容易に量子化ステップを導くことができ、量子化ステップの値のフレーム間の比較結果を用いてカットを検出しても良い。
【０１０４】
クラスナンバーの値が大きいほど複雑な画像であり、圧縮後のデータの大きさが小さくなりにくいことを意味する。ＤＶＣデータは各ブロックの記録領域の大きさは固定であるため、各ブロックのデータを最終的には定められた記録領域におさまるように圧縮する必要があり、そのために圧縮後のデータが小さくなりにくいデータに対しては量子化ステップの値として大きな値を用いて圧縮する。
【０１０５】
このように、量子化ステップはクラスナンバーの値と同様に画像によって変動する。すなわち量子化ステップの値も画像の特徴が反映されているため、クラスナンバーと同様にカット検出に用いることができる。
【０１０６】
また、量子化ナンバーも、圧縮後のデータの大きさが所定量になることを目的として変動するパラメータであるので量子化ステップ同様に画像の特徴が反映されるため、カット検出に用いることができる。
【０１０７】
また、クラスナンバーや量子化ステップや量子化ナンバーは、ＡＣ成分の圧縮に関係する値であるため、画像の複雑さに対応しており、具体的には図１１に示すように被写体の輪郭部分に対応する。既に述べた第３の実施形態ではＤＣ成分を用いてカット検出を行う例を示したが、ＤＣ成分を用いた場合、カットが無い一連のシーンの中で、輝度値が極端に大きく変化するような場合、カットが無いにもかかわらずカットが有ると判定してしまう。このような誤った判定によりカットを検出することを過剰検出と呼ぶことにする。例えば人がランプに火をともすようなシーンにおいて、火をともす前後のフレーム間では、ランプの部分における輝度差が極端に大きくなる。これにより過剰検出となる可能性がある。しかしながら、クラスナンバー（または量子化ステップや量子化ナンバー）を用いてカット検出をする場合は、ランプに火がともされてもランプ部分の形状は極端に変化をするわけではないため、ＤＣ成分を用いた場合に比べ輝度変化の影響による過剰検出が発生しにくいという利点がある。また、ＤＣ成分と、クラスナンバーまたは量子化ナンバーまたは量子化ステップを、併用してカット検出を行っても良い。例えば赤い服を着た人物が中央に存在するシーンから、青い服を着た人物が中央に存在するシーンに変化するような動画がある場合、被写体の存在位置に変化がないため、同じような位置に同じような輪郭が存在する。よってクラスナンバー（または量子化ステップや量子化ナンバー）ではシーンの前後のフレーム間で、大きな変化が確認できず、カットの検出漏れが生じる可能性がある。しかしながら、色差のＤＣ成分には大きな変化が出る。よってクラスナンバー（または量子化ステップや量子化ナンバー）とＤＣ成分を併用することにより、高精度の検出が可能となる。
【０１０８】
（実施の形態５）
以下、本発明の第５の実施形態について、図面を参照しながら説明する。
【０１０９】
図１４は本発明の第５の実施形態における圧縮動画像データカット検出装置の構成図である。図１４において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【０１１０】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータを一時記憶するメモリで、１０７はハードディスクである。１１６は、メモリ１０４に記録されている１フレーム分のデータの中から、ＤＣＴモードの値が１であるブロック数をカウントするＤＣＴモードカウンタである。
【０１１１】
１１７は、ＤＣＴモードカウンタ１１６の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【０１１２】
本実施形態においては、例として、以上のうちのＤＣＴモードカウンタ１１６と、カット判定手段１１７はソフトウェアで構成されるものとする。
【０１１３】
図１５は本発明の第５の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第５の実施形態における圧縮動画像データカット検出装置の動作について図１４と図１５を用いて説明する。
【０１１４】
はじめに、ＤＣＴモードカウンタ１１６の値を０にする（図１５のＳ１）。次にＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図１５のＳ２）。
【０１１５】
このときカット判定手段１１７でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図１５のＳ３）。
【０１１６】
次にフレーム内の各ブロックのＤＣＴモードの値を読み出し、ＤＣＴモードの値が１のブロックの数をカウントする（図１５のＳ４）。
【０１１７】
各ブロックのＤＣＴモードの値を得るには、ブロックの先頭アドレスにダイレクトに移動し、図２０に示すように、ブロック内の所定の１ビットの値を取得すれば良い。
【０１１８】
次に、カット判定手段１１７において、ある値（しきい値）とＤＣＴモードカウンタ１１６の値を比較して、カットが有るかどうか（ＤＣＴモードカウンタ１１６の値が、しきい値より大きいかどうか）を判定する（図１５のＳ５）。
【０１１９】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図１５のＳ６）。
【０１２０】
次にメモリ１０４内に記憶されている現在フレームのＤＶＣデータをハードディスク１０７に転送して記録する（図１５のＳ７）。
【０１２１】
以上の処理を最終フレームになるまで繰り返す。
以上、処理の流れを説明したが、ＤＣＴモードカウンタ１１６の出力（各フレームのＤＣＴモードが１のブロック数）の値を用いてカットが検出できる理由について、ＤＣＴモードと画像の関係を示して説明する。
【０１２２】
まず、ＤＣＴモードと画像がどのような関係にあるかを図１６、図１７を用いて説明する。
【０１２３】
ＤＣＴには、圧縮後の画質を良くするために、８−８ＤＣＴと呼ばれるモードと、２−４−８ＤＣＴと呼ばれる２通りのモードが準備されている。この２つのモードを、ＤＣＴモード（１ビット）で、適応的に切り替えて使用する。ブロック内の、奇数フィールドと偶数フィールドの差分が大きい場合は、ＤＣＴモードの値を１として、２−４−８ＤＣＴを行なう。ブロック内の、奇数フィールドと偶数フィールドの差分が小さい場合は、ＤＣＴモードの値を０として、８−８ＤＣＴを行なう。
【０１２４】
よって、例えば、被写体の動きが大きい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が大きく、２−４−８ＤＣＴを行ない、静止画のように動きが小さい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が小さく、８−８ＤＣＴを行なう。
【０１２５】
図１６に被写体が右へ動いている場合のＤＣＴモードの様子を示す。被写体が動くことによって、奇数フィールドと偶数フィールドの差分が大きくなるブロックが出現する。このようなブロックは、ＤＣＴモードが１となる（図１６の黒いブロック）。この例では、背景では大きな変化がないため、ＤＣＴモードが１となるブロックは、画像全体のほんの一部である。
【０１２６】
次に図１７に、あるフレームの、奇数フィールドと偶数フィールドの間でシーンが変わるようなカット（以下では、フィールド混在カットと呼ぶ）の例を示す。フレーム２の奇数フィールドと偶数フィールドの間がカットとなっており、フレーム２は、フレーム１とフレーム３を混ぜたような絵になる。
【０１２７】
このような場合は、フレーム１とフレーム２は、似ている要素が多く含まれる（フレーム２とフレーム３も同様）ので、フレーム１とフレーム２の差分（または、フレーム２とフレーム３の差分）は、あまり大きな値にならない。そのため、フレーム１とフレーム２の差分を用いてフィールド混在カットを検出するのは困難である。
【０１２８】
フレーム２をまたぐ、フレーム１とフレーム３の差分は大きな値となるので、これを用いてフィールド混在カットを検出することは可能であるが、フレーム１とフレーム３の差分を得るには、フレーム１とフレーム３を保存しておくメモリが必要となり、装置の低コスト化が図れない。
【０１２９】
しかしながら、図１７に示すように、フレーム２では画面全体のほとんどのブロックでＤＣＴモードが１となるという特徴があり、この特徴を利用して、各フレームのＤＣＴモードが１のブロック数をカウントし、その集計結果の値により、フィールド混在カットを検出することができる。
【０１３０】
図１８に、各フレームのＤＣＴモードが１のブロック数を示す。この図のように、フィールド混在カットでは、ＤＣＴモードが１のブロック数が極端に多くなる。被写体の動きが大きい領域においても、ややＤＣＴモードが１のブロック数は多くなるが、図１６に示した通り、被写体が動いたりした場合に、ＤＣＴモードが１になるブロック数は、画面全体のほんの一部に過ぎないため、フィールド混在カットのように極端に大きな値になることはない。
【０１３１】
このような特徴から、各フレームのＤＣＴモードが１のブロック数をカウントして、その結果より、フィールド混在カットを検出することが可能である。
【０１３２】
この方法によれば、図１７のフレーム１とフレーム３の差分を使う必要がないため、フレーム１とフレーム３を保存するためのメモリが不要で、装置の低コスト化を図ることができる。
【０１３３】
以上のように、ＤＣＴモードを用いることでフィールド混在カットを検出することができる。このように図１４に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【０１３４】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図１４のような構成で、ＤＣＴモードを用いてカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【０１３５】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセス再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【０１３６】
第２の実施形態では、ＤＶＣデータを完全に伸長してからカット検出を行っていたため、伸長のためのデコーダボードと画像データメモリが必要であった。本実施形態では記録位置が固定であるＤＣＴモードのデータの変化量を用いてカット検出を行っており、ＤＣＴモードの取得は、ブロックの先頭アドレスに移動し、図２０に示すように所定の１ビットを取得するという簡単な処理だけで良く、容易にソフトウェアで実現できる。そのためデコーダボードや画像メモリが不要で低コスト化を図ることができる。また、ＡＣ成分の取得や逆量子化、逆ＤＣＴといった伸長のための一連の処理が不要なので高速処理が実現できる。ＡＣ成分は可変長コードであるため、ＡＣ成分の取得は、同一位置データの取得のようにブロックの先頭アドレスに移動して、所定の固定長の値を取得するのとは異なり、ＡＣ成分の可変長コードを頭から少しずつ解く処理を繰り返す必要があり、非常に負荷が大きい。また、逆量子化および逆ＤＣＴは、膨大な数の積和演算が必要である。このような膨大な処理を行うことに比べ、ＤＣＴモードのデータを取得しながらカット検出を行う本実施形態では、テープメディアからパソコンへのデータ転送速度が、ＤＶＣデータの通常再生速度の例えば４倍速や５倍速といった高速転送を行う際にも、その速度に追従した高速カット検出を行うことができる。
【０１３７】
なお、ＤＣＴモードと、ＤＣ成分またはクラスナンバーまたは量子化ナンバーまたは量子化ステップを、併用してカット検出を行っても良い。併用することにより、フィールド混在カットと、フィールド混在カット以外の通常のカットの、両方のカットが含まれるような圧縮動画像データからのカット検出が可能となる。
【０１３８】
【発明の効果】
本発明の圧縮動画像データカット検出装置は、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【０１３９】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の構成図
【図２】本発明の第１の実施形態の処理の流れ図
【図３】本発明の第２の実施形態の構成図
【図４】本発明の第２の実施形態の処理の流れ図
【図５】輝度信号を用いた場合の変化量の算出方法例を示す図
【図６】輝度信号を用いた場合の変化量を示す図
【図７】本発明の第３の実施形態の構成図
【図８】本発明の第３の実施形態の処理の流れ図
【図９】本発明の第４の実施形態の構成図
【図１０】本発明の第４の実施形態の処理の流れ図
【図１１】原画像とクラスナンバーの対応を示す図
【図１２】クラスナンバーを用いた場合の変化量の算出方法例を示す図
【図１３】クラスナンバーを用いた場合の変化量を示す図
【図１４】本発明の第５の実施形態の構成図
【図１５】本発明の第５の実施形態の処理の流れ図
【図１６】被写体が動いた場合の原画像とＤＣＴモードの対応を示す図
【図１７】フィールド混在カットの場合の原画像とＤＣＴモードの対応を示す図
【図１８】各フレームのＤＣＴモードが１のブロック数の図
【図１９】ＤＶＣデータの各ブロックの圧縮方法の説明図
【図２０】ＤＶＣデータの輝度ブロックと色差ブロックのデータの配置の説明図
【図２１】ＤＶＣデータのマクロブロックのデータの配置の説明図
【図２２】ＤＶＣデータの１フレームのデータの構造の説明図
【図２３】ＤＶＣデータの１つのＤＩＦｓｅｑｕｅｎｃｅのデータの構造の説明図
【図２４】従来の圧縮動画像データカット検出装置の構成図
【図２５】従来の圧縮動画像データカット検出装置の処理の流れ図
【符号の説明】
１００ ＤＶＣ用テープメディア
１０１ ＤＶＣ用ＶＴＲ
１０２ パソコン
１０３ ＩＥＥＥ１３９４ケーブル
１０４ メモリ
１０５ 録画タイムコード比較手段
１０６ カット判定手段
１０７ ハードディスク
１０８ デコーダボード
１０９ 画像データメモリ
１１０ 画像データ比較手段
１１１ カット判定手段
１１２ ＤＣ成分比較手段（同一位置データ比較手段）
１１３ カット判定手段
１１４ クラスナンバー比較手段（同一位置データ比較手段）
１１５ カット判定手段
１１６ ＤＣＴモードカウンタ
１１７ カット判定手段
１１８ カット判定手段
【発明の属する技術分野】
本発明は、圧縮動画像データから効率良くカット（シーンの変化点）を検出する技術に関する。
【０００２】
【従来の技術】
近年、ＤＶＣカメラに代表されるように、映像分野において圧縮動画像データを扱う機会が増加している。これらの圧縮動画像データからカットを検出することにより、内容検索や編集作業を効率良く行うことができる。例えば圧縮動画像データをパソコン等でノンリニア編集する場合、圧縮動画像データから事前にカットを検出しておき、カットの代表画像を並べて表示することで、一連の内容を理解することができる。また、カットの位置情報とカットの代表画像をリンクさせておくことで、カットの代表画像の順番を並べ換えたりすることによって容易に内容の変更を行うことができる。
【０００３】
以下、圧縮動画像データの例としてＤＶＣデータから、カットを検出する従来の圧縮動画像データカット検出装置について説明する。なお、ＤＶＣデータには、民生用とプロ用（ＤＶＣＰＲＯ）があり、民生用についてはＨＤＤｉｇｉｔａｌＶＣＲＣｏｎｆｅｒｅｎｃｅのＳｐｅｃｉｆｉｃａｔｉｏｎｓｏｆＣｏｎｓｕｍｅｒ−ＵｓｅＤｉｇｉｔａｌＶＣＲｓｕｓｉｎｇ６．３ｍｍｍａｇｎｅｔｉｃｔａｐｅに、プロ用についてはＰｒｏｐｏｓｅｄＳＭＰＴＥＳｔａｎｄａｒｄ／ＳＭＰＴＥｘｘｘＭｆｏｒＴｅｌｅｖｉｓｉｏｎＤｉｇｉｔａｌＲｅｃｏｒｄｉｎｇ６．３５ｍｍＴｙｐｅＤ−７ＣｏｍｐｏｎｅｎｔＦｏｒｍａｔＴａｐｅＣａｓｓｅｔｔｅＶ１６．０８−２Ｃ４ｔｈＤｒａｆｔＳｅｐｔｅｍｂｅｒ１０，１９９６やＰｒｏｐｏｓｅｄＳＭＰＴＥＳｔａｎｄａｒｄｆｏｒＤｉｇｉｔａｌＶｉｄｅｏＲｅｃｏｒｄｉｎｇｗｉｔｈｖｉｄｅｏｃｏｍｐｒｅｓｓｉｏｎ６．３５ｍｍＴｙｐｅＤ−７ＣｏｍｐｏｎｅｎｔＦｏｒｍａｔ５２５／６０ａｎｄ６２５／５０（ＤＶＣＰＲＯ）Ｖ１６．０８−３Ｂ４ｔｈＤｒａｆｔＤｅｃｅｍｂｅｒ９，１９９６に示される規格に準じている。以後の説明では例として民生用のＤＶＣデータを用いる。
【０００４】
ここでまずＤＶＣデータの圧縮方式とフォーマットについて説明する。
まず、ＤＶＣデータの圧縮方法を図１９を用いて説明する。ＤＶＣデータは、フレーム内の輝度（Ｙ）、色差（Ｃｒ、Ｃｂ）の各ブロック（水平８画素×垂直８画素）ごとに圧縮を行う。まず、ブロックをＤＣＴ（離散コサイン変換）してＤＣ成分とＡＣ成分を得る（図１９のＳ１）。
【０００５】
このＤＣＴには、圧縮後の画質を良くするために、８−８ＤＣＴと呼ばれるモードと、２−４−８ＤＣＴと呼ばれる２通りのモードが準備されている。この２つのモードを、ＤＣＴモードと呼ばれるコード（１ビット）で、適応的に切り替えて使用する。ブロック内の、奇数フィールドと偶数フィールドの差分が大きい場合は、ＤＣＴモードの値を１として、２−４−８ＤＣＴを行なう。ブロック内の、奇数フィールドと偶数フィールドの差分が小さい場合は、ＤＣＴモードの値を０として、８−８ＤＣＴを行なう。
【０００６】
例えば、被写体の動きが大きい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が大きくなるため、２−４−８ＤＣＴを行ない、静止画のように動きが小さい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が小さくなるため、８−８ＤＣＴを行なう。ＤＣＴを行なった後、ＡＣ成分については、４つのエリア（図１９のエリア０からエリア３）に分割し、各エリアごとに量子化を行う。各エリアの量子化の際に用いる量子化ステップは、クラスナンバー（後述）と、量子化ナンバー（後述）より決定される。量子化後のＡＣ成分はＶＬＣ（可変長符号化）により圧縮される。
【０００７】
各エリアは、各ＡＣ成分の絶対値の最大値の大きさにより、クラス０からクラス３の４つのクラスに分けられる。クラスナンバーは各クラスを区別するためのものである。
【０００８】
（表１）にＡＣ成分の絶対値の最大値とクラスナンバーの関係の例を示す。また量子化ナンバーは圧縮後のデータの量を制限するための値である。
【０００９】
【表１】
（表２）は量子化ステップの算出を行う表である。クラスナンバーと量子化ナンバーと各エリア（エリアナンバーが０から３）と量子化ステップの関係は（表２）のようになる。
【００１１】
【表２】
次にＤＶＣデータのフォーマットについて図２０、図２１、図２２、図２３を用いて説明する。なお、以下では例としてＮＴＳＣの場合について説明する。
【００１３】
図２０に示すように、輝度ブロックのデータは１４バイト、色差ブロックは１０バイトで構成される。ＤＣ成分は９ビット固定、クラスナンバーは２ビット固定、ＤＣＴモードは１ビット固定で、図２０に示すように決められた位置に記録されている。ＡＣ成分の記録領域も、輝度ブロックの場合１００ビット、色差ブロックの場合６８ビットと固定であるが、圧縮されたＡＣ成分は可変長なので、実質的なＡＣ成分のデータが、記録領域の中でどのくらいの範囲に記録されているかは画像によって変動する。
【００１４】
図２１にマクロブロックの構成を示す。マクロブロックは４個の輝度（Ｙ）ブロックと２個の色差（Ｃｒ、Ｃｂ）ブロックで構成される。ＡＣ成分の量子化の際に用いられる量子化ナンバーは４ビット固定で、マクロブロックごとに設定され図２１に示すような位置に記録される。
【００１５】
図２２は１フレームの構成を示す。各フレームは１０個のＤＩＦｓｅｑｕｅｎｃｅで構成される。各ＤＩＦｓｅｑｕｅｎｃｅは１５０個（図２２のＮｏ．０からＮｏ．１４９）のＤＩＦｂｌｏｃｋで構成される。Ｎｏ．０からＮｏ．５のＤＩＦｂｌｏｃｋにはそのフレームに関連する諸情報が記録されている。その中にインデックスコード（見たいシーンの頭出しをする際の目印となる信号）や録画タイムコード（ＤＶＣカメラで撮影したときの年月日および時刻）が記録されている。インデックスコードには録画が開始されるたびに目印を記録しても良いし、また、録画開始にかかわらずユーザーが見たい映像に合わせて自由に目印を記録しても良い。
【００１６】
Ｎｏ．６からＮｏ．１４９のＤＩＦｂｌｏｃｋには圧縮されたオーディオデータとビデオデータが記録されている。
【００１７】
なお、以後の説明において、Ｎｏ．６からＮｏ．１４９のＤＩＦｂｌｏｃｋに記録されているデータ、及びこれらを伸長したものを画像データと呼んでＮｏ．０からＮｏ．５のＤＩＦｂｌｏｃｋとは区別する。
【００１８】
各ＤＩＦｂｌｏｃｋの大きさは８０バイト固定であるためフレーム全体の大きさは１２０Ｋバイト固定である。
【００１９】
図２３に１つのＤＩＦｓｅｑｕｅｎｃｅの構造を示す。図２３においてＡ０からＡ８がオーディオデータのＤＩＦｂｌｏｃｋであり、Ｖ０からＶ１３４がビデオデータのＤＩＦｂｌｏｃｋである。Ｖ０からＶ１３４の各ＤＩＦｂｌｏｃｋはそれぞれ１個のマクロブロックの情報が記録されている。
【００２０】
一般的に、ＤＶＣカメラで撮影したデータや、既に存在するアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードしたものなど大容量のものは、ハードディスクなどより安価なテープメディアに記録されていることが多い。
【００２１】
これらのＤＶＣデータをパソコン上でノンリニア編集を行う場合、ＤＶＣデータをテープメディアからパソコン上のハードディスクなどのランダムアクセスメディアに転送する必要がある。
【００２２】
このような用途を鑑み、以下に述べる従来の圧縮動画像データカット検出装置は、テープメディアからパソコンにＤＶＣデータを転送する際にカットを検出するものである。
【００２３】
図２４に従来の圧縮動画像データカット検出装置の構成を示す。図２４において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００２４】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち１フレーム分のデータを一時記憶するメモリで、１０７はハードディスクで、１１８はメモリ１０４に記録されている１フレーム分のＤＶＣデータの中の各フレームからインデックスコードを読み出して、インデックスコードの値よりカットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００２５】
以上のうち、カット判定手段１１８はソフトウェアで構成される。
図２５は従来の圧縮動画像データカット検出装置の処理の流れを示す。以下、従来の圧縮動画像データカット検出装置の動作について図２４と図２５を用いて説明する。
【００２６】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図２５のＳ１）。
【００２７】
このときカット判定手段１１８でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図２５のＳ２）。そしてメモリ１０４に記憶されているデータの中からインデックスコードを読み出し、インデックスコードに目印が記録されているかを見て、カットの有無を判定する（図２５のＳ３）。
【００２８】
ＤＶＣカメラの仕様によっては、録画開始（カット）ごとにインデックスコードに目印を自動的に記録するものもある。このようなＤＶＣカメラで撮影されているＤＶＣデータに対して正確にカットを検出することができる。カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図２５のＳ４）。
【００２９】
次にメモリ１０４内に記憶されている現在フレームのＤＶＣデータをハードディスク１０７に転送して記録する（図２５のＳ５）。
【００３０】
以上の処理を最終フレームになるまで繰り返す。
以上のように従来の圧縮動画像データカット検出装置では、ＤＶＣカメラで撮影時にＤＶＣデータに記録されるインデックスコードをたよりにカット検出を行っていた。
【００３１】
【発明が解決しようとする課題】
しかしながら、上記従来の圧縮動画像データカット検出装置は、ＤＶＣカメラで撮影時にＤＶＣデータに記録されるインデックスコードをたよりにカット検出を行っているので、録画開始（カット）と、インデックスコードの目印が対応していないＤＶＣデータに対してはカットを検出できないという問題を有していた。
【００３２】
例えば、既にたくさんのカットを持つアナログの動画像データを、ＤＶＣ用ＶＴＲで録画した場合は、動画像中のカットとインデックスコードは対応しなくなる。そのため、インデックスコードを用いてカットを検出することができない。
【００３３】
また、ＤＶＣデータが、どのようにして作成されたのか（どんなＤＶＣカメラで撮影されたのか、ＤＶＣ用ＶＴＲで録画されたのか）が分からない場合は、インデックスコードとカットが対応しているかどうかの確認ができず、インデックスコードを用いてのカット検出結果を信頼できないという問題を有していた。
【００３６】
【課題を解決するための手段】
このような問題を解決するために、本発明の圧縮動画像データカット検出装置は、圧縮動画像データの中の、各フレームの先頭より同一位置のデータの、フレーム間の比較を行う同一位置データ比較手段を有する。
【００３７】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、直交変換のＤＣ成分のデータの比較を行う。
【００３８】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、量子化ステップのデータの比較を行う。
【００３９】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータの各フレームのクラスナンバーのデータの比較を行う。
【００４０】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータの各フレームの量子化ナンバーのデータの比較を行う。
【００４１】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、直交変換のＤＣ成分のデータのフレーム間の比較および量子化ステップのデータのフレーム間の比較を行う。
【００４２】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータのＤＣＴ（離散コサイン変換）のＤＣ成分のデータのフレーム間の比較およびクラスナンバーのデータのフレーム間の比較を行う。
【００４３】
また、本発明の圧縮動画像データカット検出装置は、同一位置データ比較手段により、ＤＶＣデータのＤＣＴのＤＣ成分のデータのフレーム間の比較および量子化ナンバーのデータのフレーム間の比較を行う。
【００４４】
また、本発明の圧縮動画像データカット検出装置は、ＤＶＣデータの、ＤＣＴモードの値をカウントするカウンタと、前記カウンタの値を用いてカットの有無を判定するカット判定手段を有する。
【００４５】
【発明の実施の形態】
（実施の形態１）
図１は本発明の第１の実施形態における圧縮動画像データカット検出装置の構成図である。図１において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００４６】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクで、１０５はメモリ１０４に記録されている２フレーム分のＤＶＣデータの中の各フレームから録画タイムコードを読み出して比較する録画タイムコード比較手段で、１０６はメモリ１０４に一時記憶されるＤＶＣデータのフレーム番号を管理し、録画タイムコード比較手段１０５の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００４７】
本実施形態においては、例として、以上のうちの録画タイムコード比較手段１０５と、カット判定手段１０６はソフトウェアで構成されるものとする。
【００４８】
図２は本発明の第１の実施形態の圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第１の実施形態の圧縮動画像データカット検出装置の動作について図１と図２を用いて説明する。
【００４９】
図１のＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図２のＳ１）。
【００５０】
このときカット判定手段１０６でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図２のＳ２）。そしてメモリ１０４に現在フレームと１つ前のフレームの２フレーム分のＤＶＣデータが記憶されたかどうかを判断し（図２のＳ３）、２フレーム分のＤＶＣデータが記憶されている場合は、フレーム間の録画タイムコードの比較を行う（図２のＳ４）。ここでいう録画タイムコードとは、録画時の年月日や時分秒に対応するコードである。よって録画を停止して、再度録画を開始した時点で録画タイムコードが不連続になる。録画タイムコードが不連続であれば、カットが有ると判定し（図２のＳ５）、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図２のＳ６）。
【００５１】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図２のＳ７）。
【００５２】
以上の処理を最終フレームになるまで繰り返す。
以上のように、ＤＶＣカメラで撮影時にＤＶＣデータに記録される録画タイムコードを用いることでカットを検出することができる。このように図１に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。また、圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【００５３】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【００５４】
（実施の形態２）
次に、本発明の第２の実施形態について、図面を参照しながら説明する。
【００５５】
図３は本発明の第２の実施形態における圧縮動画像データカット検出装置の構成図である。図３において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００５６】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクで、１０８はメモリ１０４に記録されているＤＶＣデータを伸長して画像を再構成するデコーダボードで、１０９は伸長された２フレーム分の画像データを記憶する画像データメモリで、１１０は画像データメモリ１０９に記憶されている各フレームの輝度信号と色差信号を比較する画像データ比較手段で、１１１は画像データ比較手段１１０の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００５７】
本実施形態においては、例として、以上のうちの画像データ比較手段１１０と、カット判定手段１１１はソフトウェアで構成されるものとする。
【００５８】
図４は本発明の第２の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第２の実施形態における圧縮動画像データカット検出装置の動作について図３と図４を用いて説明する。
【００５９】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図４のＳ１）。
【００６０】
このときカット判定手段１１１でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図４のＳ２）。そしてメモリ１０４に記憶されているＤＶＣデータをデコーダボード１０８で伸長して画像を再構成し、再構成された画像データを画像データメモリ１０９に記憶する（図４のＳ３）。
【００６１】
画像データメモリ１０９に現在フレームと１つ前のフレームの２フレーム分の画像データが記憶されたかどうかを判断し（図４のＳ４）、２フレーム分の画像データが記憶されている場合は、フレーム間の輝度信号の比較（またはフレーム間の色差信号の比較）を行う（図４のＳ５）。輝度信号（または色差信号）の変化量が大きい場合は、カットが有ると判定する（図４のＳ６）。
【００６２】
図５に輝度信号を用いた場合の変化量の算出方法例を示す。図５に示すように、画像を分割し、過去フレームと現在フレームの対応する分割領域どうしの差分の絶対値を求め、全ての分割領域の差分の絶対値の和を変化量とする。
【００６３】
なお、変化量の算出方法は、これに限らず、色差信号を用いても良いし、輝度（または色）のヒストグラムを用いても良い。図６に変化量のグラフを示す。
【００６４】
フレーム間にカットが無い場合は、画像が非常に似ているため、各分割領域においてフレーム間の輝度差は小さな値となり変化量は小さくなる。フレーム間にカットが有る場合は、図５に示すように各フレームの各分割領域では画像の内容が違うため、各分割領域においてフレーム間の輝度差は大きな値となり変化量は図６に示すように大きな値となる。このようにカット点の変化量は突出するため、変化量がある値（しきい値）を超えるとフレーム間にカットと有ると判定する。
【００６５】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図４のＳ７）。
【００６６】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図４のＳ８）。
【００６７】
以上の処理を最終フレームになるまで繰り返す。以上のように、メモリ１０４に記録されているＤＶＣデータの中の画像データを伸長してカットを検出することができる。このように図３に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【００６８】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図３のような構成で、ＤＶＣデータを伸長してカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【００６９】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【００７０】
（実施の形態３）
上記の本発明の第２の実施形態では図３のメモリ１０４に記憶されているＤＶＣデータを、伸長してカット検出を行う例を示したが、以下にＤＶＣデータを伸長せずに、同一位置データ（後述）を直接比較する同一位置データ比較手段を有する本発明の第３の実施形態について説明する。図２２に示した通り、１フレームのＤＶＣデータは固定長でかつ固定数のＤＩＦｂｌｏｃｋで構成されている。ビデオデータのＤＩＦｂｌｏｃｋは図２１に示すようなマクロブロックのデータが記録されている。マクロブロックの構成要素であるブロックは図２０に示す通りである。この中でＤＣ成分のデータは定められた位置に記録されている。すなわち各フレームのＤＶＣデータの中でＤＣ成分は、定められた位置に記録されており、フレームによって（画像によって）記録位置が変動することはない。このようにフレーム（画像によって）記録位置が変動しないデータを同一位置データと呼ぶことにする。同一位置データとしてＤＣ成分のほかに、ブロックごとに存在するクラスナンバーやＤＣＴモード（図２０参照）、マクロブロックごとに存在する量子化ナンバー（図２１参照）などがある。同一位置データでないものとしてＡＣ成分が挙げられる。ＡＣ成分はデータの記録領域は、輝度ブロックの場合１００ビット、色差ブロックの場合６８ビットと固定であり、図２０に示すようにクラスナンバーより後の領域に記録される。しかしながら圧縮されたＡＣ成分のデータは可変長なので、実質的なＡＣ成分のデータが、記録領域の中でどのくらいの範囲に記録されているかはフレームによって（画像によって）変動する。すなわちＡＣ成分のデータはフレーム内での記録位置がフレームによって（画像によって）変動する。
【００７１】
図７は本発明の第３の実施形態における圧縮動画像データカット検出装置の構成図である。図７において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００７２】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクである。１１２はメモリ１０４に記録されている各フレームの同一位置データどうしを比較する同一位置データ比較手段であるが、本実施形態では比較する同一位置データとしてＤＣ成分を用いるので、１１２をＤＣ成分比較手段と呼ぶ。
【００７３】
１１３はＤＣ成分比較手段１１２の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００７４】
本実施形態においては、例として、以上のうちのＤＣ成分比較手段１１２と、カット判定手段１１３はソフトウェアで構成されるものとする。
【００７５】
図８は本発明の第３の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第３の実施形態における圧縮動画像データカット検出装置の動作について図７と図８を用いて説明する。
【００７６】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図８のＳ１）。
【００７７】
このときカット判定手段１１３でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントし（図８のＳ２）、メモリ１０４に現在フレームと１つ前のフレームの２フレーム分のＤＶＣデータが記憶されたかどうかを判断（図８のＳ３）する。２フレーム分のＤＶＣデータが記憶されている場合は、各フレーム内の同一位置データであるＤＣ成分のフレーム間の比較を行う（図８のＳ４）。ＤＣ成分は各ブロックの輝度（または色差）の平均値に対応した値であり、第２の実施形態と同様に図５に示したように各分割領域ごとにフレーム間のＤＣ成分の差分の絶対値を求め、それらの和を変化量とする。
【００７８】
なお、変化量の算出方法は、これに限らずＤＣ成分のヒストグラムを用いても良い。
【００７９】
各ブロックのＤＣ成分の値を得るには、ブロックの先頭アドレスにダイレクトに移動し、ブロック内の最初の９ビットを取得すれば良い（図２０参照）。そしてＤＣ成分の変化量が大きい場合は、カットが有ると判定する（図８のＳ５）。これも第２の実施形態と同様に図６に示すようにカット点で変化量が突出する特徴を利用してカットの有無を判定する。
【００８０】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図８のＳ６）。
【００８１】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図８のＳ７）。
【００８２】
以上の処理を最終フレームになるまで繰り返す。
以上のように、同一位置データであるＤＣ成分を用いることでカットを検出することができる。このように図７に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【００８３】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図７のような構成で、ＤＣ成分を用いてカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【００８４】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【００８５】
第２の実施形態では、ＤＶＣデータを完全に伸長してからカット検出を行っていたため、伸長のためのデコーダボードと画像データメモリが必要であった。本実施形態では記録位置が固定であるＤＣ成分のデータの変化量を用いてカット検出を行ったため、ＤＣ成分の取得は、ブロックの先頭アドレスに移動し、最初の９ビットを取得するという簡単な処理だけで良く、容易にソフトウェアで実現できる。そのためデコーダボードや画像メモリが不要で低コスト化を図ることができる。また、ＡＣ成分の取得や逆量子化、逆ＤＣＴといった伸長のための一連の処理が不要なので高速処理が実現できる。ＡＣ成分は可変長コードであるため、ＡＣ成分の取得は、同一位置データの取得のようにブロックの先頭アドレスに移動して、所定の固定長の値を取得するのとは異なり、ＡＣ成分の可変長コードを頭から少しずつ解く処理を繰り返す必要があり、非常に負荷が大きい。また、逆量子化および逆ＤＣＴは、膨大な数の積和演算が必要である。このような膨大な処理を行うことに比べ、同一位置データであるＤＣ成分のデータを取得しながらカット検出を行う本実施形態では、テープメディアからパソコンへのデータ転送速度が、ＤＶＣデータの通常再生速度の例えば４倍速や５倍速といった高速転送を行う際にも、その速度に追従した高速カット検出が行うことができる。
【００８６】
（実施の形態４）
以上のＤＣ成分と同様に、各ブロックごとに設定されるクラスナンバーや、各マクロブロックごとに設定される量子化ナンバーもフレーム内の固定の位置に記録されており（図２０、図２１参照）、これらの値のフレーム間の比較結果をもとにカットを検出しても良く、ＤＣ成分を用いた場合と同様に高速処理が可能となる。
【００８７】
以下、本発明の第４の実施形態について、図面を参照しながら説明する。
図９は本発明の第４の実施形態における圧縮動画像データカット検出装置の構成図である。図９において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【００８８】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータのうち２フレーム分（現在入力されるフレームと、１つ前に入力されたフレーム）を一時記憶するメモリで、１０７はハードディスクである。１１４はメモリ１０４に記録されている各フレームの同一位置データどうしを比較する同一位置データ比較手段であるが、本実施形態では比較する同一位置データとしてクラスナンバーを用いるので、１１４をクラスナンバー比較手段と呼ぶ。１１５はクラスナンバー比較手段１１４の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【００８９】
本実施形態においては、例として、以上のうちのクラスナンバー比較手段１１４と、カット判定手段１１５はソフトウェアで構成されるものとする。
【００９０】
図１０は本発明の第４の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第４の実施形態における圧縮動画像データカット検出装置の動作について図９と図１０を用いて説明する。
【００９１】
ＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図１０のＳ１）。
【００９２】
このときカット判定手段１１５でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントし（図１０のＳ２）、メモリ１０４に現在フレームと１つ前のフレームの２フレーム分のＤＶＣデータが記憶されたかどうかを判断（図１０のＳ３）する。２フレーム分のＤＶＣデータが記憶されている場合は、各フレーム内の同一位置データであるクラスナンバーのフレーム間の比較を行う（図１０のＳ４）。
【００９３】
（表１）に示すように、クラスナンバーは各ブロックのＡＣ成分の絶対値の最大値より算出された値であるため、図１１に示すような画像例において、人物の顔の輪郭や髪の毛などの複雑な部分ではクラスナンバーの値は大きくなる（図１１の黒いブロック）。背景等の単調な部分ではクラスナンバーは小さくなる（図１１の白い部分）。このようにクラスナンバーには画像の特徴が反映される。
【００９４】
図１２にクラスナンバーを用いた場合の変化量の算出方法例を示す。図１２に示すように、画像を分割し、過去フレームと現在フレームの対応する分割領域どうしのクラスナンバーの差分の絶対値を求め、全ての分割領域の差分の絶対値の和を変化量とする。
【００９５】
なお、変化量の算出方法は、これに限らずクラスナンバーのヒストグラムを用いても良い。図１３に変化量のグラフを示す。
【００９６】
フレーム間にカットが無い場合は、画像が非常に似ているため、各分割領域においてフレーム間のクラスナンバーの差は小さな値となり変化量は小さくなる。フレーム間にカットが有る場合は、図１２に示すように各フレームの各分割領域では画像の内容が違うため、各分割領域においてフレーム間のクラスナンバーの差は大きな値となり変化量は図１３に示すように大きな値となる。
【００９７】
各ブロックのクラスナンバーの値を得るには、ブロックの先頭アドレスにダイレクトに移動し、図２０に示すように、ブロック内の所定の２ビットの値を取得すれば良い。そしてクラスナンバーの変化量がある値（しきい値）より大きい場合は、カットが有ると判定する（図１０のＳ５）。
【００９８】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図１０のＳ６）。
【００９９】
次にメモリ１０４内に記憶されている現在フレームの１つ前のフレームのＤＶＣデータをハードディスク１０７に転送して記録する（図１０のＳ７）。
【０１００】
以上の処理を最終フレームになるまで繰り返す。
以上のように、同一位置データであるクラスナンバーを用いることでカットを検出することができる。このように図９に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【０１０１】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図９のような構成で、クラスナンバーを用いてカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【０１０２】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセス再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【０１０３】
第２の実施形態では、ＤＶＣデータを完全に伸長してからカット検出を行っていたため、伸長のためのデコーダボードと画像データメモリが必要であった。本実施形態では記録位置が固定であるクラスナンバーのデータの変化量を用いてカット検出を行っており、クラスナンバーの取得は、ブロックの先頭アドレスに移動し、図２０に示すように所定の２ビットを取得するという簡単な処理だけで良く、容易にソフトウェアで実現できる。そのためデコーダボードや画像メモリが不要で低コスト化を図ることができる。また、ＡＣ成分の取得や逆量子化、逆ＤＣＴといった伸長のための一連の処理が不要なので高速処理が実現できる。ＡＣ成分は可変長コードであるため、ＡＣ成分の取得は、同一位置データの取得のようにブロックの先頭アドレスに移動して、所定の固定長の値を取得するのとは異なり、ＡＣ成分の可変長コードを頭から少しずつ解く処理を繰り返す必要があり、非常に負荷が大きい。また、逆量子化および逆ＤＣＴは、膨大な数の積和演算が必要である。このような膨大な処理を行うことに比べ、同一位置データであるクラスナンバーのデータを取得しながらカット検出を行う本実施形態では、テープメディアからパソコンへのデータ転送速度が、ＤＶＣデータの通常再生速度の例えば４倍速や５倍速といった高速転送を行う際にも、その速度に追従した高速カット検出を行うことができる。なお、クラスナンバーと量子化ナンバーは、量子化ステップを決定するためのパラメータであり、（表２）に示すような関係にあり、クラスナンバーと量子化ナンバーから容易に量子化ステップを導くことができ、量子化ステップの値のフレーム間の比較結果を用いてカットを検出しても良い。
【０１０４】
クラスナンバーの値が大きいほど複雑な画像であり、圧縮後のデータの大きさが小さくなりにくいことを意味する。ＤＶＣデータは各ブロックの記録領域の大きさは固定であるため、各ブロックのデータを最終的には定められた記録領域におさまるように圧縮する必要があり、そのために圧縮後のデータが小さくなりにくいデータに対しては量子化ステップの値として大きな値を用いて圧縮する。
【０１０５】
このように、量子化ステップはクラスナンバーの値と同様に画像によって変動する。すなわち量子化ステップの値も画像の特徴が反映されているため、クラスナンバーと同様にカット検出に用いることができる。
【０１０６】
また、量子化ナンバーも、圧縮後のデータの大きさが所定量になることを目的として変動するパラメータであるので量子化ステップ同様に画像の特徴が反映されるため、カット検出に用いることができる。
【０１０７】
また、クラスナンバーや量子化ステップや量子化ナンバーは、ＡＣ成分の圧縮に関係する値であるため、画像の複雑さに対応しており、具体的には図１１に示すように被写体の輪郭部分に対応する。既に述べた第３の実施形態ではＤＣ成分を用いてカット検出を行う例を示したが、ＤＣ成分を用いた場合、カットが無い一連のシーンの中で、輝度値が極端に大きく変化するような場合、カットが無いにもかかわらずカットが有ると判定してしまう。このような誤った判定によりカットを検出することを過剰検出と呼ぶことにする。例えば人がランプに火をともすようなシーンにおいて、火をともす前後のフレーム間では、ランプの部分における輝度差が極端に大きくなる。これにより過剰検出となる可能性がある。しかしながら、クラスナンバー（または量子化ステップや量子化ナンバー）を用いてカット検出をする場合は、ランプに火がともされてもランプ部分の形状は極端に変化をするわけではないため、ＤＣ成分を用いた場合に比べ輝度変化の影響による過剰検出が発生しにくいという利点がある。また、ＤＣ成分と、クラスナンバーまたは量子化ナンバーまたは量子化ステップを、併用してカット検出を行っても良い。例えば赤い服を着た人物が中央に存在するシーンから、青い服を着た人物が中央に存在するシーンに変化するような動画がある場合、被写体の存在位置に変化がないため、同じような位置に同じような輪郭が存在する。よってクラスナンバー（または量子化ステップや量子化ナンバー）ではシーンの前後のフレーム間で、大きな変化が確認できず、カットの検出漏れが生じる可能性がある。しかしながら、色差のＤＣ成分には大きな変化が出る。よってクラスナンバー（または量子化ステップや量子化ナンバー）とＤＣ成分を併用することにより、高精度の検出が可能となる。
【０１０８】
（実施の形態５）
以下、本発明の第５の実施形態について、図面を参照しながら説明する。
【０１０９】
図１４は本発明の第５の実施形態における圧縮動画像データカット検出装置の構成図である。図１４において１００はＤＶＣデータを記録しているＤＶＣ用テープメディアで、１０１はＤＶＣ用テープメディア１００からＤＶＣデータを読み出すＤＶＣ用ＶＴＲで、１０２はパソコンである。１０３はＤＶＣ用ＶＴＲ１０１から、パソコン１０２にＤＶＣデータを転送するＩＥＥＥ１３９４ケーブルである。
【０１１０】
パソコン１０２の内部における１０４は、ＩＥＥＥ１３９４ケーブル１０３を介して入力されるＤＶＣデータを一時記憶するメモリで、１０７はハードディスクである。１１６は、メモリ１０４に記録されている１フレーム分のデータの中から、ＤＣＴモードの値が１であるブロック数をカウントするＤＣＴモードカウンタである。
【０１１１】
１１７は、ＤＣＴモードカウンタ１１６の結果より、カットの有無を判定してカットのフレーム番号をハードディスク１０７に出力するカット判定手段である。
【０１１２】
本実施形態においては、例として、以上のうちのＤＣＴモードカウンタ１１６と、カット判定手段１１７はソフトウェアで構成されるものとする。
【０１１３】
図１５は本発明の第５の実施形態における圧縮動画像データカット検出装置の処理の流れを示す。以下、本発明の第５の実施形態における圧縮動画像データカット検出装置の動作について図１４と図１５を用いて説明する。
【０１１４】
はじめに、ＤＣＴモードカウンタ１１６の値を０にする（図１５のＳ１）。次にＤＶＣ用テープメディア１００から１フレーム分のＤＶＣデータが読み出され、ＩＥＥＥ１３９４ケーブル１０３を介してパソコン１０２内のメモリ１０４に記録される（図１５のＳ２）。
【０１１５】
このときカット判定手段１１７でフレーム番号を管理する変数（フレーム番号変数と呼ぶ）をインクリメントする（図１５のＳ３）。
【０１１６】
次にフレーム内の各ブロックのＤＣＴモードの値を読み出し、ＤＣＴモードの値が１のブロックの数をカウントする（図１５のＳ４）。
【０１１７】
各ブロックのＤＣＴモードの値を得るには、ブロックの先頭アドレスにダイレクトに移動し、図２０に示すように、ブロック内の所定の１ビットの値を取得すれば良い。
【０１１８】
次に、カット判定手段１１７において、ある値（しきい値）とＤＣＴモードカウンタ１１６の値を比較して、カットが有るかどうか（ＤＣＴモードカウンタ１１６の値が、しきい値より大きいかどうか）を判定する（図１５のＳ５）。
【０１１９】
カットが有ると判定したら、フレーム番号の数字をハードディスク１０７上のテキストファイルに出力する（図１５のＳ６）。
【０１２０】
次にメモリ１０４内に記憶されている現在フレームのＤＶＣデータをハードディスク１０７に転送して記録する（図１５のＳ７）。
【０１２１】
以上の処理を最終フレームになるまで繰り返す。
以上、処理の流れを説明したが、ＤＣＴモードカウンタ１１６の出力（各フレームのＤＣＴモードが１のブロック数）の値を用いてカットが検出できる理由について、ＤＣＴモードと画像の関係を示して説明する。
【０１２２】
まず、ＤＣＴモードと画像がどのような関係にあるかを図１６、図１７を用いて説明する。
【０１２３】
ＤＣＴには、圧縮後の画質を良くするために、８−８ＤＣＴと呼ばれるモードと、２−４−８ＤＣＴと呼ばれる２通りのモードが準備されている。この２つのモードを、ＤＣＴモード（１ビット）で、適応的に切り替えて使用する。ブロック内の、奇数フィールドと偶数フィールドの差分が大きい場合は、ＤＣＴモードの値を１として、２−４−８ＤＣＴを行なう。ブロック内の、奇数フィールドと偶数フィールドの差分が小さい場合は、ＤＣＴモードの値を０として、８−８ＤＣＴを行なう。
【０１２４】
よって、例えば、被写体の動きが大きい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が大きく、２−４−８ＤＣＴを行ない、静止画のように動きが小さい場合は、ブロック内の、奇数フィールドと偶数フィールドの差分が小さく、８−８ＤＣＴを行なう。
【０１２５】
図１６に被写体が右へ動いている場合のＤＣＴモードの様子を示す。被写体が動くことによって、奇数フィールドと偶数フィールドの差分が大きくなるブロックが出現する。このようなブロックは、ＤＣＴモードが１となる（図１６の黒いブロック）。この例では、背景では大きな変化がないため、ＤＣＴモードが１となるブロックは、画像全体のほんの一部である。
【０１２６】
次に図１７に、あるフレームの、奇数フィールドと偶数フィールドの間でシーンが変わるようなカット（以下では、フィールド混在カットと呼ぶ）の例を示す。フレーム２の奇数フィールドと偶数フィールドの間がカットとなっており、フレーム２は、フレーム１とフレーム３を混ぜたような絵になる。
【０１２７】
このような場合は、フレーム１とフレーム２は、似ている要素が多く含まれる（フレーム２とフレーム３も同様）ので、フレーム１とフレーム２の差分（または、フレーム２とフレーム３の差分）は、あまり大きな値にならない。そのため、フレーム１とフレーム２の差分を用いてフィールド混在カットを検出するのは困難である。
【０１２８】
フレーム２をまたぐ、フレーム１とフレーム３の差分は大きな値となるので、これを用いてフィールド混在カットを検出することは可能であるが、フレーム１とフレーム３の差分を得るには、フレーム１とフレーム３を保存しておくメモリが必要となり、装置の低コスト化が図れない。
【０１２９】
しかしながら、図１７に示すように、フレーム２では画面全体のほとんどのブロックでＤＣＴモードが１となるという特徴があり、この特徴を利用して、各フレームのＤＣＴモードが１のブロック数をカウントし、その集計結果の値により、フィールド混在カットを検出することができる。
【０１３０】
図１８に、各フレームのＤＣＴモードが１のブロック数を示す。この図のように、フィールド混在カットでは、ＤＣＴモードが１のブロック数が極端に多くなる。被写体の動きが大きい領域においても、ややＤＣＴモードが１のブロック数は多くなるが、図１６に示した通り、被写体が動いたりした場合に、ＤＣＴモードが１になるブロック数は、画面全体のほんの一部に過ぎないため、フィールド混在カットのように極端に大きな値になることはない。
【０１３１】
このような特徴から、各フレームのＤＣＴモードが１のブロック数をカウントして、その結果より、フィールド混在カットを検出することが可能である。
【０１３２】
この方法によれば、図１７のフレーム１とフレーム３の差分を使う必要がないため、フレーム１とフレーム３を保存するためのメモリが不要で、装置の低コスト化を図ることができる。
【０１３３】
以上のように、ＤＣＴモードを用いることでフィールド混在カットを検出することができる。このように図１４に示すような構成にすることで、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。
【０１３４】
またＤＶＣデータは、ＤＶＣカメラで撮影されたものばかりではなく、例えば複数のカットが存在する１本のアナログの動画像データをディジタル化し、ＤＶＣデータの形式にエンコードされたものである場合もあり、このようなデータにはインデックスコードに限らず、例えば録画タイムコードもカットに対応した形式になっていない場合もありえる。このようなデータに対しても、図１４のような構成で、ＤＣＴモードを用いてカットを検出することができる。すなわち、エンコードの状態に依存せず、汎用的にカット検出ができる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【０１３５】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセス再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【０１３６】
第２の実施形態では、ＤＶＣデータを完全に伸長してからカット検出を行っていたため、伸長のためのデコーダボードと画像データメモリが必要であった。本実施形態では記録位置が固定であるＤＣＴモードのデータの変化量を用いてカット検出を行っており、ＤＣＴモードの取得は、ブロックの先頭アドレスに移動し、図２０に示すように所定の１ビットを取得するという簡単な処理だけで良く、容易にソフトウェアで実現できる。そのためデコーダボードや画像メモリが不要で低コスト化を図ることができる。また、ＡＣ成分の取得や逆量子化、逆ＤＣＴといった伸長のための一連の処理が不要なので高速処理が実現できる。ＡＣ成分は可変長コードであるため、ＡＣ成分の取得は、同一位置データの取得のようにブロックの先頭アドレスに移動して、所定の固定長の値を取得するのとは異なり、ＡＣ成分の可変長コードを頭から少しずつ解く処理を繰り返す必要があり、非常に負荷が大きい。また、逆量子化および逆ＤＣＴは、膨大な数の積和演算が必要である。このような膨大な処理を行うことに比べ、ＤＣＴモードのデータを取得しながらカット検出を行う本実施形態では、テープメディアからパソコンへのデータ転送速度が、ＤＶＣデータの通常再生速度の例えば４倍速や５倍速といった高速転送を行う際にも、その速度に追従した高速カット検出を行うことができる。
【０１３７】
なお、ＤＣＴモードと、ＤＣ成分またはクラスナンバーまたは量子化ナンバーまたは量子化ステップを、併用してカット検出を行っても良い。併用することにより、フィールド混在カットと、フィールド混在カット以外の通常のカットの、両方のカットが含まれるような圧縮動画像データからのカット検出が可能となる。
【０１３８】
【発明の効果】
本発明の圧縮動画像データカット検出装置は、インデックスコードの記録内容にかかわらず、テープメディアからパソコンへ圧縮動画像データの、データ転送およびカット検出の同時処理が可能となる。また、転送に用いる圧縮動画像データは、非圧縮動画像データに比べてデータ量が少ないため、高速に、データ転送およびカット検出の同時処理を実現できる。
【０１３９】
また、データ転送とカット検出の同時処理を行うことで、ユーザーはパソコンへのデータ転送が完了するとすぐに、ノンリニア編集等の作業に着手することができる。その際、すでにテキストファイルに出力しているカットのフレーム番号を参照して、任意のカットにランダムアクセスして再生したり、カットの順番の並べ換えなどを行うことができる。また、アナログデータであれば、テープメディアからパソコンへのデータ転送中に画質劣化が生じ、かつ同じデータでも転送するたびに劣化の度合いが異なり、カット検出結果が毎回違う結果になりえるが、テープメディアからパソコン内部に至るまでを一貫してディジタルのデータとすることで画質劣化が無く、データ転送中のカット検出結果に全くばらつきがなく、安定した結果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の構成図
【図２】本発明の第１の実施形態の処理の流れ図
【図３】本発明の第２の実施形態の構成図
【図４】本発明の第２の実施形態の処理の流れ図
【図５】輝度信号を用いた場合の変化量の算出方法例を示す図
【図６】輝度信号を用いた場合の変化量を示す図
【図７】本発明の第３の実施形態の構成図
【図８】本発明の第３の実施形態の処理の流れ図
【図９】本発明の第４の実施形態の構成図
【図１０】本発明の第４の実施形態の処理の流れ図
【図１１】原画像とクラスナンバーの対応を示す図
【図１２】クラスナンバーを用いた場合の変化量の算出方法例を示す図
【図１３】クラスナンバーを用いた場合の変化量を示す図
【図１４】本発明の第５の実施形態の構成図
【図１５】本発明の第５の実施形態の処理の流れ図
【図１６】被写体が動いた場合の原画像とＤＣＴモードの対応を示す図
【図１７】フィールド混在カットの場合の原画像とＤＣＴモードの対応を示す図
【図１８】各フレームのＤＣＴモードが１のブロック数の図
【図１９】ＤＶＣデータの各ブロックの圧縮方法の説明図
【図２０】ＤＶＣデータの輝度ブロックと色差ブロックのデータの配置の説明図
【図２１】ＤＶＣデータのマクロブロックのデータの配置の説明図
【図２２】ＤＶＣデータの１フレームのデータの構造の説明図
【図２３】ＤＶＣデータの１つのＤＩＦｓｅｑｕｅｎｃｅのデータの構造の説明図
【図２４】従来の圧縮動画像データカット検出装置の構成図
【図２５】従来の圧縮動画像データカット検出装置の処理の流れ図
【符号の説明】
１００ ＤＶＣ用テープメディア
１０１ ＤＶＣ用ＶＴＲ
１０２ パソコン
１０３ ＩＥＥＥ１３９４ケーブル
１０４ メモリ
１０５ 録画タイムコード比較手段
１０６ カット判定手段
１０７ ハードディスク
１０８ デコーダボード
１０９ 画像データメモリ
１１０ 画像データ比較手段
１１１ カット判定手段
１１２ ＤＣ成分比較手段（同一位置データ比較手段）
１１３ カット判定手段
１１４ クラスナンバー比較手段（同一位置データ比較手段）
１１５ カット判定手段
１１６ ＤＣＴモードカウンタ
１１７ カット判定手段
１１８ カット判定手段
Claims (4)
- 圧縮動画像データの中の、各フレームの先頭より同一位置のデータのフレーム間の比較を行う同一位置データ比較手段を有し、
前記同一位置データ比較手段により、量子化ステップのデータを比較し、データの変化量がしきい値より大きい場合にカットが有ると判定することを特徴とする圧縮動画像データカット検出装置。 - 圧縮動画像データの中の、各フレームの先頭より同一位置のデータのフレーム間の比較を行う同一位置データ比較手段を有し、
前記圧縮動画像データがＤＶＣデータであり、
前記同一位置データ比較手段により、クラスナンバーのデータを比較し、データの変化量がしきい値より大きい場合にカットが有ると判定することを特徴とする圧縮動画像データカット検出装置。 - 圧縮動画像データの中の、各フレームの先頭より同一位置のデータのフレーム間の比較を行う同一位置データ比較手段を有し、
前記圧縮動画像データがＤＶＣデータであり、
前記同一位置データ比較手段により、量子化ナンバーのデータを比較し、データの変化量がしきい値より大きい場合にカットが有ると判定することを特徴とする圧縮動画像データカット検出装置。 - ＤＶＣデータの、１フレーム分のデータの中から、ＤＣＴモードの値が１であるブロック数をカウントするカウンタと、
前記カウンタの値がしきい値より大きい場合にカットが有ると判定するカット判定手段を有することを特徴とする圧縮動画像データカット検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32740197A JP3932631B2 (ja) | 1997-03-21 | 1997-11-28 | 圧縮動画像データカット検出装置 |
| US09/046,315 US20010048486A1 (en) | 1997-03-21 | 1998-03-23 | Apparatus for detection of cut in compressed motion picture data |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6766897 | 1997-03-21 | ||
| JP9-67668 | 1997-03-21 | ||
| JP32740197A JP3932631B2 (ja) | 1997-03-21 | 1997-11-28 | 圧縮動画像データカット検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10327387A JPH10327387A (ja) | 1998-12-08 |
| JP3932631B2 true JP3932631B2 (ja) | 2007-06-20 |
Family
ID=26408881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32740197A Expired - Fee Related JP3932631B2 (ja) | 1997-03-21 | 1997-11-28 | 圧縮動画像データカット検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20010048486A1 (ja) |
| JP (1) | JP3932631B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000311469A (ja) | 1999-02-26 | 2000-11-07 | Matsushita Electric Ind Co Ltd | ディスク制御装置及びそれを用いたディスク装置 |
| US7031385B1 (en) | 1999-10-01 | 2006-04-18 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for detecting scene change of a compressed moving-picture, and program recording medium therefor |
| US7085995B2 (en) * | 2000-01-26 | 2006-08-01 | Sony Corporation | Information processing apparatus and processing method and program storage medium |
| WO2001056281A1 (fr) * | 2000-01-26 | 2001-08-02 | Sony Corporation | Procede et systeme informatique et support d'enregistrement de programmes |
| US6882793B1 (en) | 2000-06-16 | 2005-04-19 | Yesvideo, Inc. | Video processing system |
| JP4783985B2 (ja) * | 2001-02-28 | 2011-09-28 | 日本電気株式会社 | 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム |
| JP4337317B2 (ja) * | 2002-09-06 | 2009-09-30 | ソニー株式会社 | 情報処理装置、およびプログラム |
| EP1597914A1 (en) * | 2003-02-21 | 2005-11-23 | Koninklijke Philips Electronics N.V. | Shot-cut detection |
| US7733596B2 (en) * | 2007-12-13 | 2010-06-08 | Dell Products L.P. | System and method for identifying the signal integrity of a signal from a tape drive |
| JP5071988B2 (ja) * | 2009-04-24 | 2012-11-14 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5870144A (en) * | 1997-03-28 | 1999-02-09 | Adaptec, Inc. | Reduced-quality resolution digital video encoder/decoder |
-
1997
- 1997-11-28 JP JP32740197A patent/JP3932631B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-23 US US09/046,315 patent/US20010048486A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10327387A (ja) | 1998-12-08 |
| US20010048486A1 (en) | 2001-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3315766B2 (ja) | 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置 | |
| JP3244629B2 (ja) | シーン変化点検出方法 | |
| US8644629B2 (en) | Compression and decoding of single sensor color image data | |
| JP3787398B2 (ja) | 画像処理装置及びその方法 | |
| US9167198B2 (en) | Image processing apparatus and image processing method | |
| GB2379117A (en) | System and method for detecting the border of recorded video data | |
| JPH09322174A (ja) | 動画データの再生方法 | |
| JP3932631B2 (ja) | 圧縮動画像データカット検出装置 | |
| US6078690A (en) | Image data conversion device and method having function of inserting delimiter code into position in image data where a predetermined amount of data is reached | |
| CN1132985A (zh) | 活动图象信息压缩和解压缩方法及视频信号处理系统 | |
| JP4115061B2 (ja) | 記録メディアとこれを用いる映像記録／再生装置 | |
| US20090153677A1 (en) | Recording and reproduction apparatus and methods, and a recording medium storing a computer program for executing the methods | |
| JP5290568B2 (ja) | 動画像記録装置、動画像再生装置及びプログラム | |
| US8428355B2 (en) | Image file processing method | |
| JP2003023600A (ja) | 画像処理装置、動画記録再生装置、画像処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体 | |
| JP2000023081A (ja) | 画像再生装置 | |
| TW550952B (en) | Method for detecting scene change in compressed video data | |
| JP2001160947A (ja) | 画像記録装置および方法 | |
| KR100210443B1 (ko) | 디지탈 스틸 카메라(dsc)의 화상 압축방법. | |
| KR101501244B1 (ko) | 썸네일 생성 방법 | |
| JPH10145812A (ja) | ディジタル画像信号記録装置 | |
| KR100838816B1 (ko) | 동영상 검색 방법 | |
| Singh et al. | Critical Review of External Recorders in Film and Television Production | |
| KR20030085671A (ko) | 영상파일 포맷 및 영상파일 생성 및 재생 방법 | |
| JP2001358983A (ja) | 画像入力装置、画像記録方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040929 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040929 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20041014 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070312 |
|
| LAPS | Cancellation because of no payment of annual fees |