JPH06508491A - シーン変化の検出 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 シーン変化の検出 発明の分野 本発明はビデオシーケンスにおいてシーン（状況・場面）の変化位置を検出する ための方法及び装置に関する。

発明の背景 テレビジョン（放送）制作業務では、従来からビデオ画像の記録に第１媒体を使 用し、音声の記録に第２媒体を使用している。そののち記録画像と記録音声とに ついて各別に編集を行ない、当初の制作中に記録された音声トラックへ別の音声 を加えることも多い。その後、画像と音声とか合成されて最終結果が得られる。

本書では、電気の形で記録され又は伝送される画像をビデオ信号と呼び、電気の 形で伝送され又は記録される音声をオーディオ信号と呼び、両者を合成したもの をテレビ信号と呼ぶこととする。上記のように、最終編集ステップは、音声と画 像とが同期しているテレビ信号を生成するために編集済みビデオ信号と編集済み オーディオ信号とを合成することを含む。

編集手順の大半は、先ずビデオ信号を編集し、そののち編集済みのビデオトラッ クにオーディオトラックを付加することからなる。これは種々の音源からのオー ディオ信号を合成することを含む場合もあり、この様々な音源材料の合成を行う ためのオーディオミキシング設備は公知である。しかし、先に編集したビデオト ラックに対してオーディオトラックを編集するときの問題は、オーディオトラッ クに変化か生じることになるビデオトラック中の位置を捜し当てるのにかなり時 間がかかり得ることにある。通常、このような変化は、ビデオトラックか各シー ン間で切れるとき、又は何か顕著な（ｓｉｇｎｉｆｉｃａｎｔ）ことかビデオ画 像に発生するときに生ずる。

本発明の目的は、ビデオシーケンスにおけるシーン変化位置を検出する方法を提 供することにある。

発明の要旨 本発明の第１の側面（ａｓｐｅｃｔ）によれば、ビデオシーケンスにおけるシー ン変化位置を検出する方法か提供され、その特徴は、各ビデオフレームの情報内 容を表すデータを生成し、前記情報内容の顕著な変化を捜し当てるために前記デ ータを処理し、シーン変化がありそうな位置を特定するために前記顕著な変化の 位置を特定するステップにある。

好ましい実施例では、ビデオデータを圧縮し、圧縮後に存在するデータ量を評価 することによって情報内容を決定する。圧縮は空間圧縮のためのＪＰＥＧ規格に 従って行われ、この場合、各フレームについて生ずるデータ量（圧縮後）は当初 のソースフレームの情報内容によって変化する。

好ましい実施例では、編集済みのビデオシーケンスにおけるシーン変化を特定す るためにこの方法を使用し、前記ビデオシーケンスに対してオーディオトラック を編集できるようにする。

第２の好ましい実施例では、ビデオ材料の編集を容易にするために、未編集ビデ オでのシーン変化が検出される。ソースビデオ材料の編集とソースオーディオ材 料の編集とを一緒に行うことか望ましく、これによりオーディオ材料かビデオ材 料のいずれかを先に編集しなければならないという制約か取り除かれる。

上述した好ましい実施例（複数）は記録されたビデオにについての創意に富む技 術の使用に関する。第３の好ましい実施例では、この方法をビデオカメラによっ て生成された生のビデオに使用する。つまり、この方法を警備システムに使用す れば、シーンの情報内容の顕著な変化がビデオ監視区域への侵入者と解釈される 。従って、そのような侵入者の存在を検出すれば、警報を発し、付加回路を起動 し、記録装置のスイッチを入れ、又は記録装置による記録の質を高めるといった さらなる措置をとり得る。

以下、添付図面を参照しながら実施例によって本発明を説明する。

図面の簡単な説明 図１は編集済みのビデオトラックについてオーディオトラックを生成するための 、オーディオディスプレイ、ビデオディスプレイおよび処理ユニットを含むオー ディオ信号編集用のシステムを示す。

図２は図１に示したビデオディプレイユニットに表示される典型的な表示であっ てビデオソース材料に重ねたシーン変化インジケータを含むものを示す。

図３はビデオ圧縮回路およびプロセッサを含む図１に示した処理ユニットの詳細 を示す。

図４は図３に示したビデオ圧縮回路の詳細を示す。

図５，６及び７は図３に示したプロセッサ装置の動作の詳細を示す。

図８は、シーン変化検出回路を有する警備システムを示す。

好ましい実施例の詳細な説明 第１実施例は、先に編集されたビデオトラックとの合成のためにデジタルオーデ ィオ信号を編集すべく構成されたデジタル編集セットである。

このシステムは、処理ユニット１５と、オーディオ信号に関する情報を表示する 第１ビデオデイスプレイユニツト（ＶＤＵ）］　６と、ビデオ信号に関連する情 報を表示する第２ＶＤＵ　１７とを含む。さらに、オーディオ制御パネル１８お よびビデオ制御パネル１９からなる制御装置か備えられ、後者はタブレット（ｄ ｉｇｉｔｉｚｉｎｇ　ｔａｂｌｅｔ）とスタイラスペン（ｐｒｅｓｓｕｒｅ　５ ｅｎｓｉｔｉｖｅ　５ｔｙｌｕｓ）とを有する。

全帯域幅のＲＧＢヒデビデ号かビデオ入力ポート２０を介して処理装置１５に供 給される。同様に、オーディオ信号かオーディオ入力ポート２１を介して処理装 置１５に供給される。ＲＧＢビデオ出力信号は出力ポート２２から取り出され、 それに付随するオーディオ混合信号は出力ポート２３に出力される。

ビデオ信号に対してオーディオ信号を編集する目的のために、オーディオ信号は 空間圧縮され、これによって従来のコンピュータディスクドライブに格納され、 編集処理中の実質的なランダムアクセスか容易になる。従って、ポート２２のビ デオ出力信号は最終的なビデオ出力として使用されないか、出力ポート２３へ出 力される編集済みオーディオ信号を当初の全帯域幅の編集済みビデオ信号に同期 させるのに順次使用されるタイムコードを与える。

ポート２０へ供給されたビデオデータは、処理回路１５によって圧縮されてディ スクに書き込まれた後、スタイラスペン及びタブレットの組１９の操作によるア クセス及びビデオＶＤＵ１７への表示が可能になる。ビデオＶＤＵ　１７に表示 される表示の一例が図２に示されている。この例では、もとのビデオソースか一 本の木の前を歩いている一人の男から構成され、システムにプレイを指令すると ビデオクリップかモニタ１７に表示される。

よく知られているように、カーソル２５か表示の一部として示され、これかスタ イラスペンのマニュアル操作に応答する。さらに、スタイラスペンをタブレット に押し当てることによって特定の操作を選択できる。スタイラスペンを使ってビ デオクリップの先送り、逆戻し、及び停止を可能にするシンボル２６も画面に重 ね表示されている。画像に重ね表示された時計２７は、表示中のビデオフレーム のビデオソース全体に関する位置を示す。ビデオソースのサイズは記憶装置によ って決まり、典型的なシステムでは１時間分の記録されたビデオの記憶、操作か 可能であろう。

編集済みビデオに対するオーディオトラックの編集は、スクリプトを参照し、ビ デオ内の特定箇所（ｓｐｅｃｉｆｉｃｉ　ｎｓ　ｔａｎｃｅｓ）に記録されるオ ーディオ信号を指定して行う。

ビデオはタイムコードを含み、表示中のフレームのタイムコードの実際の数値も 右上隅の制御用アイコン２６の上に表示されている。しかし、このタイムコード を参照して編集命令（複数）を記録することは煩雑な作業であり好ましくない。

従って、命令（複数）は、通常、ビデオシーンに現れる特定のできごとに応答し てオーディオサウンドトラックに形成される変化を指定する形をとる。

特に、オーディオソースにおける顕著な変化は、画像に顕著な変化が生ずる時、 特にビデオ画像が別のシーンに切り替わる時に発生する。

これらのシーン変化の検出を容易にするために、実質的に横方向の実線からなる 表示２８も重ねられ、その長さは経過フレームの数に比例する。この線はフレー ム内のビデオに存在するデータの平均量を表し、前記データ量か突然変化すると 符号２９て示すような乱れ（ｐｅｒ−ｔｕｒｂａｔ　１ｏｎｓ）かこの線に生し る。乱れの極性は特に意味ははなく、その存在かその特定時点においてシーンに 何か顕著なことが起こったことを示す。

シーン変化表示の上に、表示中のフレームの位置をシーン変化表示に関連させて 示す位置ポインタ３０が表示されている。又、カーソル２５をポインタ３０の位 置へ動かしてスタイラスペンを押し付け、さらにスタイラスペンを操作してポイ ンタ３０を移動させることにより、表示されるビデオの位置を先送り又は逆戻し することかできる。このように、タブレット上でスタイラスペンを操作し表示さ れたポインタ３０の位置を動かすことによって、編集者はビデオの位置を特定の シーン変化の位置へ迅速に、はぼ瞬時に移動することができる。一旦シーン変化 を捜し当てれば、編集者は、そのシーン変化が探していたものか否かをもとのス コア（ｓｃｏｒｅ）を参照しなから迅速に判断することができる。例えば、男か 木の前を歩いた後、シーンは自分の車に乗り込む男に切り替わる。このシーン変 化は通常、表示画像の情報内容の顕著な変化を伴い、その結果、シーン変化検出 線上に乱れか表示される。従って、二の位置で音声を変化させる必要かあれば、 編集者はシーン変化か生じる位置へすばやく動かし、もとのスクリプトを参照し ながら、男か木の前を歩くシーンから男が車に乗り込むシーンに切り替わる特定 位置を迅速に特定することができる。例えば、男か車に乗り込んだ後ドアをバタ ンと閉めるか、その音はまた記録されていない。従って、シーンか変化する時点 をすはやく捜し当てた後、音声編集者はドアの閉まる音を付けることかでき、こ れによって、オーディオスコアか完成する。

図３に処理装置１５の詳細を示す。全帯域幅ビデオ信号か、入力ライン３１上の ＲＧＢ成分として、このユニットへ供給される。ＲＧＢ成分は、各インターフェ ース回路３３を介してフレーム先入れ先出しくＦＩＦＯ）メモリユニット３２へ 供給される。フレームＦＩＦＯ３２はビデオデータを圧縮チップ３４への供給に 適した形に組み立てる。この圧縮チップ３４として、米国カリフォルニア州ミル ピタス（ｌｉｌｉｌｐｉｔａｓ、　Ｃａ１ｉｆｏｒｎｉａ、　ＬＩＳＡ）のシー キューブ、マイクロシステムズ（Ｃ−Ｃｕｂｅ　Ｍｉｃｒｏｓｙｓｔｅｍｓ）に よって供給されるシーキューブＣＬ　５５０　（Ｃ−ＣｕｂｅＣＬ５５０）か典 型的である。圧縮チップ３４は、米国のジヨイント・フォトグラフィック・エキ スパート・グループ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔ　 Ｇｒｏｕｐ）　（Ｊ　Ｐ　Ｅ　Ｇ）によって定められた圧縮規格に従ってビデオ フレームを圧縮するか、このチップの全動作はシーキューブ・マイクロシステム ズによって供給されるデータブックに記載されている。

圧縮回路３４はビデオフレームを圧縮するが、入力フレームはそれぞれ３００キ ロバイト程度の等しい量のデータを有し、圧縮後の出力フレームはフレームの実 際の情報内容によって定まる量のデータを有することになる。

出力圧縮フレームは、高速スタティックＲＡＭからなる２キロバイトのＦＩＦＯ ３５へ供給され、その後４メガハイドのダイナミックランダムアクセスメモリ装 置（ＤＲＡＭ）３６へ供給される。このＤＲＡＭ３６はデータフレームを４メガ バイトのメモリに循環的にロードする。４メガバイトＲＡＭの循環性は円３６Ａ で示され、フレーム間隔は円上の点３６Ｂで示されている。従って、個々のフレ ームか占めるスペースは、個々のフレームのデータ内容か異なれば、もとのビデ オの情報内容に応じて変化することかわかる。

循環ＤＲＡＭ３６に書き込まれたデータはそののち磁気ディスクに書き込まれ、 従ってＦＩＦＯ３５及びＤＲＡＭ３６は圧縮回路３４とディスク記憶装置との間 のバッファになる。

ディスク記憶装置自体は、それぞれ１ギガバイトのデータを記憶できる３個の磁 気ディスクドライブ装置３７からなる。従って、システムの全記憶容量は非常に 大きく、その目的は１時間までの圧縮ビデオを記憶できるようにすることにある ことが認められよう。

ディスクドライブ３７へのデータの書き込みは、中央処理装置（ＣＰＵ）３８に よって制御される。ＣＰＵ３８として、８メガバイトのオンボードメモリ及び浮 動小数点演算ユニットを有するモトローラ６８０３０プロセ・ｙすか典型的であ る。ＣＰＵ３８は、１６ビツト多重バス４１を介して圧縮回路３４やタイミング 回路３９及びインターフェース回路４０と通信する。タイミング回路３９はフレ ームＦＩＦＯ３２や圧縮回路３４およびスタティックＲＡＭ　ＦＩＦＯ３５ヘタ イミング信号を供給する。

回路４０は小型コンピュータ標準インターフェース（ＳＣ３Ｉ）に従って動作し 、１．３ギガバイトドライブ３７を循環ダイナミックＲＡＭ３６に接続する。タ イミング回路３９や圧縮回路３４およびｓｃｓ　ｒインターフェース４０自体は インターフェース回路４２を介してＣＰＵバス４１に接続されている。

既に述へたように、ビデオデータの圧縮か行われるときに、各フレームについて 生成されるデータの実際の量は、もとのフレームの実際の情報内容に応じて変化 する。

従って、ＣＰＵの制御下で圧縮データをドライブ３７に書き込むためには、書き 込まれるデータの実際の量に関する情報をＣＰＵに与える必要かある。従って、 圧縮回路３４はそのインターフェース回路４２を介して、特定のフレーム内に存 在するデータ量を示しながら、フレーム毎の情報をＣＰＵ３８に与える。この情 報を受けたＣＰＵ３８は、この情報のディスク３７への転送を容易にするＳＣ３ Ｉインターフェース４０へ情報を与える。

但し、ダイナミックＲＡＭ３６を通るデータの循環に起因する遅延か生じること に注意する必要がある。

ＣＰＵ３８は、専用のローカル大容量記憶装置４３を備えている。これも磁気デ ィスクであり、ＣＰＵ３８にプログラム及びデータを供給する。又、圧縮回路３ ４によって生成されてインターフェース回路４２とバス４１を介してＣＰＵに供 給される、圧縮後の各フレームのデータ量を示すデータもディスク４３に書き込 まれる。従って、処理装置３８は任意の特定フレームについて記憶された圧縮デ ータの実際の量を示す情報にいつでもアクセスできる。

プレイバックの手順はデータ記録の手順とほぼ同様である。オペレータの指令に 応答して、ＣＰＯ３８は、ディスクドライブ３７から４メガバイトＤＲＡＭ循環 バッファ３６へデータを転送するようＳＣ３Ｉインターフェース４０に命令する 。バッファ３６にデータが書き込まれるときに、同時にデータか前記バッファ３ ６から読み出されてスタティックＦＩＦＯ３５へ供給される。スタティックＦＩ ＦＯ３５の他の側では圧縮データか圧縮回路３４へ供給され、圧縮回路３４は圧 縮解除した（ｄｅ−ｃｏｍｐｒｅｓｓｅｄ）データをフレームＦＩＦ０３２へ順 次供給する。前記フレームＦＩＦＯ３２から各インターフェース回路３３を介し てＲＧＢ成分か読み出され、ＲＧＢ出力３１へ供給される。従って、図３に示さ れた処理ユニット内の伝送路の大半か双方向性であり、記録処理中は入カポ−） ３１として使用されたものか、プレイバック処理中は出力ポートになる。

プレイバック中、データは、はぼ一定速度でスタティックＲＡＭ３５に書き込ま れる傾向にあり、従って、はぼ一定速度で圧縮解除（ｄｅ−ｃｏｍｐｒｅｓｓｉ ｏｎ）回路３４に与えることか可能である。しかし、大量のデータを有するフレ ームか圧縮解除回路３４の一部での追加処理を必要とするので、圧縮解除回路３ ４か上記データを受け取って表示可能なビデオ信号を生成することかできる速度 は変化する。従って、スタティックＦＩＦＯ３５か重要なバッファリンク機能を 提供し、前記ＦＩＦＯから圧縮回路へデータか読み出される速度はデータ処理の 必要量によって異なる。

圧縮解除回路３４によって生成された圧縮解除ビデオデータは、正確にはディス プレイモニタへ直接供給するのに適した形ではない。特に、ＲＧＢ成分は必要な 順序でなく、その生成速度は必要な同期状態にない。従って、圧縮解除回路３４ によって生成された圧縮解除ビデオ信号はフレームＦＩＦＯ３２へ供給され、そ の後インターフェース回路３３によって、必要なタイプの信号を生成すへ＜ＲＧ Ｂ信号か読み出される。

図１の出力ポート２２へ向かう出力をボート３１に出力することに加えて、圧縮 解除ＲＧＢビデオ信号も、モニタ１７上でビデオ表示を生成すべく構成された回 路へ供給される。

特に、圧縮解除ＲＧＢビデオ信号は、フレームスドア（ｆｒａｍｅ　５ｔｏｒｅ ）　４　Ｇから第２の信号を受け取るビデオミキサ４５へ供給される。従って、 圧縮解除ＲＧＢビデオ信号はフレームスドア４６から読み出されたビデオ信号と 合成され、ディジタル・アナログ（Ｄ／Ａ）変換器４７へ供給される合成ビデオ 信号を生成する。その後、Ｄ／Ａ変換器４７からの出力かディスプレイモニタ１ ７へ供給される。

ビデオミキサ４５へ供給された圧縮解除ＲＧＢビデオ信号は、図２の樹木の前を 歩いている男のような記録されたビデオの背景画像を与える。時計２７やアイコ ン２６およびシーン変化検出表示２８などの重ねられた画像はフレームスドア４ ６で組み立てられ、ビデオミキサ４５かフレームスドア４６から供給される信号 をインターフェース３３によって供給される圧縮解除ビデオ画像の上に重ねる。

従って、モニタ１７上の表示のためにＤ／Ａ変換器４７へ供給される信号は、図 ２に示されているように、アイコン等の表示が重ねられた圧縮解除ビデオ画像（ 樹木の前を歩いている男）からなる。

フレームスドア４６で組み立てられる重ね画像は、プログラム制御に応答して、 そして圧縮回路から構成される装置４３に記憶されたデータに応答して、処理装 置３８によって生成される。従って、処理装置３８は、各フレームについて生成 され、そのフレーム含まれる圧縮データの量を表す数字を分析・処理するように 構成されている。この情報の処理は、図２に示されたシーン変化表示要素２８の 表示に必要なデータを順次生成する。

圧縮および圧縮解除回路３４の概略か図４に示されている。回路の働きを圧縮に 関して説明するが、圧縮解除の手順はほぼ同様で逆に行われることが理解されよ う。

全帯域幅ＲＧＢビデオは、ＲＧＢ信号をテレビジョン放送で使用されるような輝 度プラス色差からなるＹＵＶ信号に変換するように構成されているマトリックス 変換器５１へ供給される。この変換はある程度の圧縮とあるレベルのロスとをも たらす。

ＹＵＶへの変換後、画像フレームは、通常８×８または１６Ｘ１６の画素からな るいくつかのブロックに分割される。後続の処理は個々のブロックに対して行わ れるか、これらのブロックが最終出力画像で可視化されないことを確実にするた め、追加的措置をとる必要が生じる場合もある。

画像を複数ブロックに分割するように構成された回路５２からの出力は、各ブロ ックを分析して、ブロック内の画像の性質を記述する複数の周波数バンドを生成 する離散的コサイン変換（ＤＣＴ）回路５３へ供給される。

この処理は画像をあまり圧縮せず、実質的にロスを生じさせない。しかし、これ によって以後の圧縮が容易になる。

ＤＣＴ回路５３ての変換後、周波数バンドは打切り（ｔｒｕｎｃａｔｉｎｇ）回 路５４で切り詰められ（ｔｒｕｎｃａｔｅｄ）　、そののち打切り回路５４によ って生成されたデータはコーデック（ｃｏｄｅｃ）　５５によってホフマンコー ド化される。

ホフマンコーデック５５は典型的なビデオ信号の固有の冗長性を利用して、打切 り回路５４によって生成された頻度の高い値には少ないビット数からなるコード を与え、逆に頻度の低い信号にはより多くのビットを与えることによりロスを非 常に少なくしながら相当な程度の圧縮を行う。

複数のブロックから得られた複数のバンドについてホフマン回路で生成されたデ ータは合成され、連続したデータの流れになって、図３を参照して説明したバッ ファリングを介してディスクドライブ３７に書き込まれる。

上記処理の性質は、実際に記憶されるデータ量を可能な限り少なくするといった ものである。このデータ縮小はもとのデータ固有の冗長性に大きく左右される。

もとの画像の実際の情報内容か増せば、圧縮後の記憶すべきデータ量も増す。こ のように、記憶すべきデータ量はもとのフレームの情報内容に直接関連している 。既に述べたように、存在するデータ量を示すこの情報は処理装置３８へ転送す る必要があり、これによって前記処理装置は、特定フレームについてディスク３ ７に書き込むべきデータの量に関してインターフェース回路に命令することかで きる。

圧縮後に生成されるデータの量に突然の変化が生じるとき、これはもとのビデオ 入力信号の性質の変化を示す。

二の変化は、第一に、記録されたシーンの性質の変化による可能性か高く、これ は話の筋におけるシーン変化に起因するものであって、通常は、ある記録位置か ら他の記録位置へ切り替わる結果となる。

圧縮回路３４からのデータ受信に応答して処理装置３８か行う動作を図５に示す 。圧縮処理によってクリップに存在するフレームの数は変化しないから、圧縮フ レームまたは対応する非圧縮フレームに関連するタイムコードで示される固有の 番号をフレームに与えることかできる。

本開示の目的のため、現在処理中のフレームをフレームｎと呼び、その前のフレ ームをフレームｎ−１，さらに前のフレームをフレームｎ−２と呼ぶ。

圧縮後に生成されるデータの量は図５中に値Ｘで示される。つまり、フレームｎ を圧縮して生成したデータの量が図５中にＸ　（ｎ）として示され、同様に、先 行するフレームの圧縮によって生成した情報の量はＸ（ｎ−１）で示されている 。

処理装置３８は、シーン変化の位置を示す表示要素２８を生成するために数値Ｘ を処理する。この処理の一部として、現在のフレームの値Ｘ　（ｎ）か３個の先 行フレームの値と共に記憶される。

ステップ５６において、記憶されているＸの値をシフトしてＸ　（ｎ）の旧位を Ｘ（ｎ−１）とし、Ｘ（ｎ−１）をＸ（ｎ−２）とし、Ｘ（ｎ−２）をＸ（ｎ− ３）とすることによって新しいＸ　（ｎ）を受け入れるスペースをつくる。

ステップ５７で新しいＸの値を受け入れ、ステップ５８て、記憶されているＹ　 （ｎ）の値をＹ（ｎ−１）にシフトして、新しいＹ　（ｎ）を受け入れるスペー スをつくる。

ステップ５９で、新しいＹ　（ｎ）の値を以下のように計算する。

Ｙ　（ｎ）　＝Ｘ　（ｎ）　＋Ｘ　（ｎ　−１）　＋Ｘ　（ｎ−２）＋Ｘ（ｎ− ３） その後、ステップ６０て、Ｙ　（ｎ）を４で割って４つの記憶されているＸの値 の平均を出す。

ステップ６１で、今はＹ（ｎ−１）として格納されているＹの前回値を新しい値 Ｙ　（ｎ）から引いて、出力値Ｚ　（ｎ）を生成する。

従って、この処理の効果は入力される数値を効果的に差分して、実際のシーン変 化の位置をより正確に捜し当てることにある。

ステップ６２てＣの値を計算する。この値はシーン変化か検出されなければゼロ であり、シーン変化か検出された場合はプラスｌかマイナス１になる。比較用に しきい値か設定され、これは最初のシステム設定時に調整できる。このようにし て、ステップ６２でＺ　（ｎ）をＴｌと比較し、Ｚ　（ｎ）がＴＩより大ならＣ （ｎ）をプラス１に設定する。その後、Ｚ　（ｎ）をＴ２と比較し、Ｚ　（ｎ） かＴ２より小なら、Ｃ（ｎ）をマイナス１に設定する。

Ｚ　（ｎ）がＴｌとＴ２との間にあればＣをゼロに設定して、シーン変化かなか ったことを示す。

Ｃの計算をしきい値ＴＩおよびＴ２に関連させて図６にグラフとして示す。この グラフからよく分かるように、ＺかＴ２より小ならＣはマイナスの値が与えられ 、ＺがＴＩとＴ２の間ならＣはゼロの値が与えられ、ＺがＴＩより大ならＣはプ ラスの値か与えられる。

ステップ６３では、ステップ６２で計算されたＣの値を評価する。Ｃかゼロでな ければ前に計算されたＺ　（ｎ）の値か表示される。それ以外はＺ　（ｎ）をゼ ロとし、シーン変化によるものでない小さい変動か信号から効果的に除外される 。

ｎに対してプロットされたＺ　（ｎ）によって得られる表示、つまり図２の表示 要素２８のための基礎を形成するものか図７に示されている。ｎの値は水平に延 びてフレーム位置を表す。各フレーム位置ｎのために使用できる画素の数は解像 度、つまり画像の幅を横切る方向に表示されるべきフレーム位置の数によって決 まる。この解像度の値はオペレータからの指令に応答して調節され得図７では３ ７フレームのビデオクリップを示すように解像度か設定されている。このクリッ プ内でシーン変化か２回発生し、それらか検出されてプラス１のピーク７１及び マイナス１のピーク７２となっている。音声の編集者はスタイラスペンを操作し てこれらのフレームをすばやく捜し当て、その位置で音声編集が必要か否かを決 定できる。

図１に示したシステムでは、ビデオソース材料か前もって編集され、オーディオ トラックの編集及び同期を容易にするシステムが提供されている。しかし、上述 のようなシーン変化を特定する技術はビデオ信号の編集を容易に行うことにも利 用でき、この場合、編集ポイントの位置を捜し当てるためにシーン変化が検出さ れる。

第３実施例か図８に示されており、これは、監視システム内でシーン変化を保護 する技術を採用している。銀行の金庫室や倉庫等のように一般の立ち入りが禁止 された区域に監視カメラ９２か向けられている。

通常の動作条件下では、カメラ９２によって生成される画像はほぼ一定に維持さ れ、たとえカメラを振動させるような環境条件にカメラ９２か遭遇したとしても 、画像はあまり変化しない。カメラ９２によって生成されるビデオ画像は図３を 参照しなから開示した圧縮回路とほぼ同様の圧縮回路９３によって圧縮される。

圧縮されたビデオのフレームはビデオテープレコーダ９４へ供給される。さらに 、各圧縮フレームに存在するデータの量を示す情報か中央処理装置９５へ供給さ れる。通常の条件下で各圧縮フィールドに含まれるデータ量は、眺め（ｖｉｅｗ ）か変化しなけれは、はぼ一定のままのはずである。さらに、環境条件に起因し てカメラ９２か振れたとしても、画像に存在する実際の情報量はあまり変わらず 、その結１　果、圧縮ビデオに存在するデータ量はほぼ同じである。

しかし、侵入者が視野に入ると、画像中の情報量がかなり変化し、その結果、圧 縮ビデオデータの量がかなり変化する。各圧縮フレームに存在するデータのこの 変化が中央処理装置によって認識され、侵入者か視野に入ったことを示す状態に 移行するようにプログラムされる。

特定の用途に関していえば、これによって制御信号か警報器９６へ供給され、そ の警報器か作動する。又、ＶＴＲ９４は通常は休止状態てあり、ＣＰＵ９５か発 生した警報信号かＶＴＲ９４を起動することによって、カメラ９２か生成したフ レームか記録される。このようにして、不要な記録を大量に生成する設備を伴わ ない記録設備か提供される。

あるいは、ＶＴＲ９４の動作特性を変えてもよい。例えは、通常動作中は、ＶＴ Ｒ９４はビデオ速度より実質的に遅い速度でフレームを記録する「スロースキャ ン」方式でフレームを記録してもよい。また、ビデオ画像の圧縮度を上げて、質 をかなり低下させてもよい。

しかし、侵入者の存在を検出した時点でＶＴＲ９４の記録特性か変えられ、帯域 幅の広いビデオが全ビデオ速度で記録されることになる。従って、不要な記録の 量か低減される一方、実際の侵入者自身の高質画像か得られる。

ビデオソースのシーン変化を検出する本システムは、ここに記載した特定の実施 例以外の多くの用途に適用できることか理解されよう。ビデオ圧縮か他の目的の ために、特に記憶容量及びアクセス時間の低減のために使用されるシステムにも 本発明を適用できる。

Ｆｌ（３−５ １＋＋＋＋＋、＋＋−＋□−、、、１−＋−ρＣＴ／ＧＯ９３１００６３４１ｍ −ｎｗ、、＋　Ａ＋＋ｌ＋＋。−Ｎ＋　ＰＣＴ／ＧＢ　９３１００６３４国際調 査報告 フロントページの続き （７２）発明者　ランドール、ブルース、ウィリアムイギリス国　オックスフォ ードシャー　オーエックス１６８エフビー　パンベリーウォルサム・ガーデン　 １３

Claims (27)

【特許請求の範囲】
1. １．ビデオシーケンスにおけるシーン変化の位置を検出するための方法であって 、 各ビデオフレームに存在する情報の量を表すデータを生成し、 前記情報の内容の顕著な変化を捜し当てるために前記データを処理し、 前記顕著な変化の位置を特定することによりシーン変化がありそうな位置を特定 することを特徴とするシーン変化位置検出方法。
2. ２．ビデオ信号が飛び越し走査され、各ビデオフィールドに存在する情報の量を 決定することによって各ビデオフレームに存在する情報の量を決定する請求項１ 記載のシーン変化位置検出方法。
3. ３．ビデオデータを圧縮し、圧縮後に存在するデータの量を評価（ａｓｓｅｓｓ ）することによって情報内容を決定する請求項１又は２記載のシーン変化位置検 出方法。
4. ４．空間圧縮アルゴリズムに従ってビデオデータを圧縮する請求項３記載のシー ン変化位置検出方法。
5. ５．前記空間圧縮アルゴリズムが各ビデオフィールド又はフレームを圧縮し、圧 縮後に前記フィールド又はフレームに存在する情報の量を表す情報が生成される 請求項４記載のシーン変化位置検出方法。
6. ６．前記圧縮アルゴリズムがフィールド又はフレームに関連するデータを複数の エリアに分割する請求項４記載のシーン変化位置検出方法。
7. ７．前記エリアから得られる信号の周波数成分を決定するために前記エリアを処 理する請求項６記載のシーン変化位置検出方法。
8. ８．更なる圧縮を容易にするために前記周波数成分を切り詰める（ｔｒｕｎｃａ ｔｅ）請求項７記載のシーン変化位置検出方法。
9. ９．更にデータ圧縮を行うために、ホフマンコーディング等の統計関連コーディ ング方法に従って前記切り詰められた周波数成分をコード化する請求項８記載の シーン変化位置検出方法。
10. １０．各フィールド又はフレーム内のデータの圧縮にＪＰＥＧ圧縮を使用する請 求項４記載のシーン変化位置検出方法。
11. １１．各フィールド又はフレームに存在する情報の量を表す数値（Ｘ）を生成し 、シーン変化の存在のしるし（ｉｎｄｉｃａｔｉｏｎ）を与えるべく前記数値を 数学的に差分する請求項１〜１０のいずれか１項記載のシーン変化位置検出方法 。
12. １２．前記ビデオシーケンスを編集済みのビデオから取り出し、オーディオトラ ックの編集を容易にするためにシーン変化を検出する請求項１〜１１のいずれか １項記載のシーン変化位置検出方法。
13. １３．前記ビデオシーケンスがソース記録であり、前記ビデオシーケンスの編集 を容易にするためにシーン変化の検出を行う請求項１〜１１のいずれか１項記載 のシーン変化位置検出方法。
14. １４．前記ビデオシーケンスをカメラから得て、前記カメラによって観察された シーンの変化を特定するためにシーン変化の検出を行う請求項１〜１１のいずれ か１項記載のシーン変化位置検出方法。
15. １５．前記カメラによって検出されるシーン変化が、侵入者の存在を特定するた めにとられる方法となる請求項１４記載のシーン変化位置検出方法。
16. １６．前記侵入者の検出によってビデオテープレコーダが起動する請求項１５記 載のシーン変化位置検出方法。
17. １７．前記ビデオテープレコーダの起動が、前記ビデオテープレコーダが記録す る画像の質を高めるように記録方式を変更することを含む請求項１６記載のシー ン変化位置検出方法。
18. １８．ビデオシーケンスにおけるシーン変化の位置を検出するための装置であっ て、 各ビデオフレームに存在する情報の量を表すデータを生成するための手段（１５ ；３４）と、前記情報の内容の顕著な変化を捜し当てるべく前記データを処理す るための処理手段（３８）と、シーン変化がありそうな位置を特定するべく前記 顕著な変化の位置を特定するための表示手段（１７）とを備えているシーン変化 位置検出装置。
19. １９．前記データを生成するための手段が、ビデオデータを圧縮するための圧縮 手段（３４）を含む請求項１８記載のシーン変化位置検出装置。
20. ２０．前記圧縮手段が、空間圧縮アルゴリズムに従って前記ビデオデータを圧縮 するための手段を含む請求項１９に記載のシーン変化位置検出装置。
21. ２１．前記圧縮手段がＪＰＥＧ空間圧縮を行う請求項２０記載のシーン変化位置 検出装置。
22. ２２．先に編集されたビデオトラックに対してオーディオ信号を編集するための 、請求項１８〜２１のいずれか１項記載のシーン変化検出装置を含む編集セット （図１）。
23. ２３．ビデオクリップを編集するための、請求項１８〜２１のいずれか１項記載 のシーン変化検出装置を含む編集セット。
24. ２４．シーンを観察すべく構成されたカメラ（９２）と、請求項１８〜２１のい ずれか１項記載のシーン変化検出装置（９３、９５）と、シーン変化の検出に伴 って出力信号を生成するための手段（９５、９６）とを含む監視システム。
25. ２５．前記カメラからの出力を記録するためのビデオテープレコーダを含む請求 項２４記載の監視システム。
26. ２６．侵入者が検出されたときだけ前記ビデオテープレコーダが記録を行う請求 項２５記載の監視システム。
27. ２７．侵入者が検出されたときに質が改善された画像を記録するように、前記ビ デオテープレコーダの動作特性が変更される請求項２５記載の監視システム。