JP3154500B2 - ビデオ画像列の場面変化を検出するシステムおよび方法 - Google Patents

ビデオ画像列の場面変化を検出するシステムおよび方法

Info

Publication number
JP3154500B2
JP3154500B2 JP03319491A JP3319491A JP3154500B2 JP 3154500 B2 JP3154500 B2 JP 3154500B2 JP 03319491 A JP03319491 A JP 03319491A JP 3319491 A JP3319491 A JP 3319491A JP 3154500 B2 JP3154500 B2 JP 3154500B2
Authority
JP
Japan
Prior art keywords
video
change
scene
frame
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03319491A
Other languages
English (en)
Other versions
JPH06121272A (ja
Inventor
ジェイ．ゴウブ ロバート
Original Assignee
テキサス インスツルメンツ インコーポレイテツド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テキサス インスツルメンツ インコーポレイテツド filed Critical テキサス インスツルメンツ インコーポレイテツド
Publication of JPH06121272A publication Critical patent/JPH06121272A/ja
Application granted granted Critical
Publication of JP3154500B2 publication Critical patent/JP3154500B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/326—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明はビデオ画像列の編集に
関し、更に具体的に云えば、自動的な場面変化の検出に
関する。
【０００２】
【従来の技術】ビデオ装置に於ける場面変化の検出は、
可視情報製品に広い範囲に亘って関係がある。ビデオ制
作の為の典型的な編集過程では、ディレクタは、生のビ
デオ・フィルムにある各々の場面の内容を記述する書か
れた日誌に頼り、その情報を時間コード数によってテー
プ上の場所と関係づける。オペレータは、テープを見な
がら、手作業でその日誌を作成し、場面変化が起こった
時には、何時でも注を入れなければならない。
【０００３】ビデオ・テープを見たり編集したりする時
にしばしば行なわれるもう一つの作業は、早送り及び巻
戻しである。ユーザは、特定の場面を見付ける為に早送
り又は巻戻しをすることがある。従来の装置では、これ
は、テープ上の画像を見ることができない高速で行なっ
てもよいし、普通の見る速度より余り早くない中間速度
で行なってもよい。高速では、ユーザは、場面の場所を
推測し、その場所でテープを止める。所望の場面を捕え
損うのが普通である。然し、中間の探索速度でも、ユー
ザは所望の場面を突止めようとして絶えずテープを見て
いなければならないので、不満足である。更に、中間速
度は、人間の目及び精神によって画像を理解することが
できる速度によって制限される。従って、ユーザが場面
単位で早送り／巻戻しをすることが重要である。
【０００４】場面変化の検出は、一つには、一連の画像
（画像列）に於ける動きを検出することに頼る。この分
野は、主に自動標的認識（ＡＴＲ）の防衛の用途で、多
くの研究及び製品の開発が行なわれている。然し、可視
的な動きから雑音及び場面の状態の広い範囲に亘って実
時間で確実に動きを抽出することは達成できなかった
（ＩＥＥＥ １９８８所載のＡ．ワックスマン他「対流
滑動輪郭と可視的な動きの測定」、ＣＨ２６０５−４／
８８／００００／０７１７、及びＩＥＥＥ １９８７所
載のＡ．ベリ及びＴ．ポッチオの論文「定量的な光の流
れに逆らって」、ＣＨ２４６５−３／８７／００００／
０１７１）。
【０００５】カメラの動き又は照明の変化がない時、単
に動きを検出することは非常に簡単である。相継ぐ二つ
の画像の画素間の差を求めたのち閾値作用に掛ければ、
動きの勾配が得られる。物体が動く場合、差が大きいこ
とは、動きが起こったことを示す。都合の悪いことに、
カメラが動く場合や、影又は雲のせい等で画素の感知さ
れる照明が変化する場合、かなりの虚偽の動きの勾配が
生じる。カメラが動いたこと又は雑音が存在することが
分かっていれば、こう云う影響を除くことができる（Ｉ
ＥＥＥ １９８７所載のＷ．トンプソン及びＴ．ポンの
論文「動く物体の検出」、ＣＨ２４６５−３／８７／０
０００／０２０１）。しかし、ビデオ・テープの場合と
同じく、出所の分からないビデオ場面では、この情報は
利用することができない。
【０００６】
【課題を解決するための手段及び作用】この発明の目的
は、ビデオ信号源に接続されたコンピュータを使って、
このビデオ信号源によって発生された画像列に於ける場
面変化を検出する為に、ビデオ信号を解析することであ
る。
【０００７】この発明の目的は、独立に又は一緒に使う
ことのできる複数の場面変化検出方法から、計算コスト
の点で、該当する仮定及び状況を考慮に入れて、適当な
方法をシステムが適用することを保証する様に選ぶこと
である。
【０００８】この発明の目的は、ビデオ・テープ日誌の
自動的な作成や場面に敏感な早送りナビゲータの様なビ
デオ編集の用途に、並びにビデオ監視システムに、この
場面変化検出方法を使うことである。
【０００９】こう云う目的が、この発明では、ビデオ信
号源に接続されたコンピュータを用いることによって達
成される。コンピュータが、ビデオ信号源によって発生
されたビデオ画像フレームを受取ってディジタル化す
る。コンピュータ内の画像処理ハードウェア及びソフト
ウェアが、場面変化を検出する為に、ビデオ列のディジ
タル化された表示を解析する。
【００１０】この発明による場面変化の検出は、インタ
ビューから市内景観への切換えという様な場面内容の劇
的な変化の検出に関わる。その場面の中で動いている人
間の様な小さな変化は、この発明の場面変化検出器を用
いた場面変化の検出の引金とならない。
【００１１】この場面変化検出器は、複雑度並びに計算
コストが色々変る多数のアルゴリズムを用いることがで
きる。一連のビデオ画像（例えば、照明の条件が制御さ
れてカメラが不動であるスタジオ内での一連のインタビ
ュー）の内容について多数の仮定をしてよい様な時に
は、一層簡単なアルゴリズムが使われる。そう云う場
合、システムは、場面を別々の検出区域に分離し、測定
し得る特徴（例えば、光の強度）の変化があるかどうか
をそう云う区域について監視することを含む方法を使
う。例えば場面がカメラの動き及び雑音のある背景を含
む時、システムは、画面内の物体を検出して追跡する更
に複雑なアルゴリズムを用いる。物体が劇的に変化する
か映像に出入りする時、場面変化が検出される。
【００１２】この発明に特有と考えられる新規な特徴は
特許請求の範囲に記載してあるが、この発明自体並びに
その使い方及びその他の利点は、以下図面について、実
施例を説明する所から最もよく理解されよう。
【００１３】
【実施例】この発明の場面変化検出器は、ビデオ源から
ビデオ・フレーム列を受取る。フレームは、ビデオ・カ
メラ、ビデオ・ディスク・プレーヤ若しくはビデオ・テ
ープ・レコーダ又はその他の任意のビデオ源によって発
生することができる。当業者であれば、この発明がビデ
オ源の為の場面変化検出に制限されず、一連の画像を発
生する任意の源に対して作用することが理解されよう。
然し、好ましい実施例では、ビデオ源がビデオ・フレー
ム列を発生する。フレームがディジタル表示に変換さ
れ、その表示がフレーム毎に記憶される。ディジタル・
コンピュータが画像処理技術によってディジタル化ビデ
オ・フレームを解析し、場面変化を検出する。場面変化
は、映像内の劇的な変化（例えば、全く異なる眺めや、
俳優が舞台に出入りする様な微妙な変化）として定義さ
れる。
【００１４】場面変化を検出する為に使われるアルゴリ
ズムは、これに限らないが、光の強度、生地、寸法又は
色の様な物体の物理的な特徴の内の一つ以上の変化にた
よるか、場面に出入りする時の物体を追跡することによ
る。物体は、場面の中の自然の物体を表すものや、実際
の物体の少なくとも或る部分を含む評価領域を表すもの
であってよい。この発明は、簡単なものから複雑なもの
までの多数の方式で構成される。ビデオ画像列について
どう云う仮定をすることができるかという様な設計の判
断基準、カメラの動きとか騒々しい背景の様な環境、並
びにコストの制約が、これらの方式を互いに別々に使う
か或いは組合せて使うかを決める。簡単な方の方式で
は、それらの物体は、検出区域と呼ばれる画像内の幾つ
かの区域である。これに対して、更に複雑な方式では、
物体は一つ以上の物理的な特徴に対して同じような値を
持つ画素領域である。
【００１５】場面変化が検出された時には何時でも、そ
の情報が応用モジュールに送られる。この応用は、ビデ
オ・テープの日誌の作成であってよく、この時、応用イ
ンターフェイスはハイパーカード・スタックであり、各
々のスタック・カードは、場面に関する重要な情報とそ
の場面の代表的な画像とを保持している。別の応用は早
送り編集装置であり、その場合の機能は次の場面、前の
場面又はその他の任意の所望の場面に移ることである。
三番目の応用は、ビデオ・フレーム源としてビデオ・カ
メラを使う保安装置に対するものである。カメラの視野
の中に人間が入って来ること等により場面変化が検出さ
れた時、警報器がトリガされる。場面変化検出器の応用
は後で更に詳しく説明する。
【００１６】場面検出装置のハードウェアの一実施例が
図１に示されている。ビデオ信号が、任意のビデオ信号
源１０（例えば、ビデオ・カセット・レコーダ（ＶＣ
Ｒ）、ビデオ・ディスク又はビデオ・カメラ）によって
発生される。その信号が、信号を解析して場面変化を検
出するコンピュータ・システムで構成された場面変化検
出器２０に伝達される。場面変化検出器２０では、信号
が最初に量子化器２１によってディジタル表示に変換さ
れ、フレーム・バッファ２５に記憶される。量子化器２
１は、フレーム捕捉ボード又は同等な装置の集成体であ
ってよいが、アナログ／ディジタル変換器、メモリ区域
及び随意選択によってディジタル／アナログ変換器で構
成される。ディジタル／アナログ変換器は、量子化器の
必要な部品ではないが、市販のフレーム捕捉ボードでは
普通は一部分になっている。フレーム・バッファ２５は
ランダムアクセス・メモリであり、イメージ・プロセッ
サ２３が画像にアクセスすることができる様にする。フ
レーム捕捉ボード及びランダムアクセル・メモリの構成
と、フレーム・バッファとしてこう云うメモリを使うこ
とは、周知であると考えられる。
【００１７】イメージ・プロセッサ２３がフレーム・バ
ッファ２５に記憶されたビデオ画像をアクセスし、判断
プロセッサ２６と協調して、場面変化検出計算を実行す
る。更に、イメージ・プロセッサ２３が、列の初めから
現在検出された場面変化までビデオ・フレームを計数す
ることによって、場面変化時間コード数を抽出する。イ
メージ・プロセッサ２３及び判断プロセッサ２６は、テ
キサス・インスツルメンツ社のＴＭＳ３２０Ｃ２５ Ｄ
ＳＰの様な１個のプログラム可能な部品から幾つかの処
理部品まで、システムの条件及びコストの目的に見合っ
た多数の方法で構成することができる。各追加プロセッ
サは、判断プロセッサ２６に特徴又は動きの測定能力を
付け加える。更に、判断プロセッサ２６は、イメージ・
プロセッサ２３がディジタル信号プロセッサの様なプロ
グラム可能なイメージ・プロセッサである場合は、イメ
ージ・プロセッサ２３中に含めることができる。
【００１８】図２は場面変化の解析に関係するモジュー
ルを示す。この方法の初めの工程３０で、フレーム・カ
ウンタを初期設定して、解析しようとする列の最初のフ
レームの直前のフレームを指す様にする。フレーム・カ
ウント・インクレメンタ４０がフレーム・カウンタをイ
ンクレメントする。フレーム・カウンタの初期設定及び
管理は、２つの目的に（即ち、検出された場面変化を時
間コード数に関係づけることができる様にすると共に、
現在処理しているのがどのフレームであるかを追跡する
ことができる様にするのに）役立つ。然し、これから説
明するモジュールが各計算に多数のフレームを同時に使
ってもよいことに注意されたい。
【００１９】物体検出器６０は、物体を検出して、場面
変化判断モジュール８０が場面変化を検出する為に使う
物体のリストを作る。特徴コンピュータ７０が、物体検
出器６０によって作成された物体リスト内にある各々の
物体に対する特徴を計算する。その後、判断モジュール
８０がそう云う特徴を使って、場面変化が起こったかど
うかを決定する。
【００２０】判断モジュール８０が或るフレームが場面
変化を表わすと決定すると、それが出力発生器９０を呼
び出して応用に必要な情報を作り出す。
【００２１】物体検出器６０、特徴コンピュータ７０及
び場面変化判断モジュール８０は、コストの制約と応用
についてなし得る仮定とに応じて、高級化の種々のレベ
ルで構成することができる。例えば、スタジオに於ける
インタビュー、「賞の授与」又は背景が比較的一定でカ
メラの動きが滑らかであるか又は動きがない様な同様な
列の場合、場面変化検出器で使われる物体は、図３に示
す様に、画像内の検出区域である。
【００２２】判断モジュール８０は、場面変化が起こっ
たかどうかを決定する時、空間−時間解析を使うことが
できる。空間−時間解析は、相次ぐフレームに対し、種
々の空間的な解像度で特徴の性質又は動きの性質を計算
し、その性質に対するフレーム間の比較を行なって時間
的な変化を求める。この性質は、１つの検出区域内にあ
る全ての画素に対する画素値の和と云う様に簡単であっ
てもよいし、バート・ピラミッドを作ることを含んでい
てもよい（ＩＥＥＥ １９８３、トランザクションズ・
オン・コミュニケーションズ誌，Ｃｏｍ．３１，Ｎｏ．
４所載のＰ．バート及びＥ．アーデルソンの論文「コン
パクトな像構造としてのラプラース・ピラミッド」）。
バート・ピラミッドの作り方並びに空間−時間解析に於
けるその使い方は周知であると思われる。
【００２３】判断モジュール８０が少数の検出区域を使
う場合、バート・ピラミッドを更に単純にすることによ
り、時間−空間解析の複雑度をコスト効果がある様に下
げることができる。完全なピラミッドを作る代わりに、
選ばれた区域の境界に於ける単純な部分的な畳込み積分
又は平滑作用により、計算が何桁も少なくなる。
【００２４】空間−時間解析をこの発明で使う別の例
は、動きの計算である。相次ぐ２つの画像に於ける検出
区域の画素間の差を求めた後、閾値作用によって、動き
の勾配を求めることにより、場面の解像度の粗い画像の
差分を求める。勾配が大きいことは、物体が動いたこと
を示し、場面変化が検出されたことを表わす。閾値の大
きさは、動きに対する感度を制御する為に使われる調節
自在のパラメータになる。
【００２５】空間的な制約を仮定した安定な場面の用途
（例えば、或る人のインタビュー）では、対象のシルエ
ットの形を追跡しない。その代わりに、その形は、物体
検出器６０が検出区域物体の指定を支持する助けにな
る。図３に示す様に、少なくとも３つの区域を使う。区
域１０及び区域２０が、背景の変化を検出する為に使わ
れる背景区域であり、これに対して、区域３０が、対象
に関係する特徴の変化の為に使われる対象区域である。
各区域の平均特徴値を加算したのち時間的な差をとれ
ば、適当に閾値作用に掛けた時、物体がその区域を離れ
たことが分かるが、これが場面変化を表わす。前に述べ
た動き勾配計算の場合と同じく、閾値は調節自在のパラ
メータであり、この場合は、特徴値の変化に対する感度
を制御する。特徴は、これに限らないが、光の強度、色
及び生地の様な性質である。
【００２６】堅牢性を改善する為に、また、対象又は背
景の多少の動きに対する感度を最小限に抑える為に、２
つの方式が役立つ。図４に見られる様に、動きによって
誘起された強度の突然の変化を試験するだけでなく、急
激な変化の前後の滑らかな変化を探すことにより、場面
変化を検出することができる。場面に於ける劇的な変化
の前後の多数のフレームに亘って、平均は比較的一定の
ままに留まるべきである。考えに入れるフレームの数
は、場面変化検出器の感度を制御するもう１つの調節自
在のパラメータである。
【００２７】判定モジュール８０が全ての画素に亘る特
徴の和又は平均の様な簡単な方の１つの方式を使って場
面変化を解析する時、この発明は、区域の縁に於ける急
な勾配の僅かな標本化誤差に伴う誤差を最小限に抑える
為に、各々の検出区域に対し、縁の平滑作用を含む。境
界の画素の畳込み積分が、その区域をぼかし、従って、
この誤差の源に対する区域の感度を下げる。
【００２８】ビデオ場面変化検出の或る用途では、線及
び隅の密度の様に、物体区域の空間的或いは色彩的な特
性の計算が必要である。ビデオ・テープが既に何らかの
編集を経た時の様に、場面が見掛けの動きを伴わずに他
の対象（例えば、別の人）に移る場合、対象区域のこの
空間的並びに色の情報を使って、場面変化を弁別する。
対象の生地、形、寸法及び色が、時間的な変化を閾値作
用によって検出する為の情報を判断モジュール８０に供
給する。離散的コサイン変換（ＤＣＴ）画像は生地情報
を含む。システムは、原色の代数平均により色を計算す
る。物体の寸法及び形の計算は周知であると思われる。
【００２９】一層広い範囲の場面変化検出を必要とする
応用や、ダイナミックな動きを持つ幾つかの場面を検出
しなければならない様な応用では、更に複雑なアルゴリ
ズムを使わなければならない。物体検出器６０は、物体
を検出するだけでなく、物体セグメントをも計算し、物
体及びセグメントにラベルを付ける。これは、所望の特
徴に対して全ての画素が同じ様な値を持つ画素領域を見
つけることによって行なう。物体検出器６０は、画素が
その隣よりもずっと大きい又はずっと小さい値を持つま
で、隣り合った画素を水平方向および垂直方向に走査す
ることによって画素領域を見つけ、こうして或る領域の
境界を示す。
【００３０】同様に、特徴コンピュータ７０は更に複雑
であることがある。各々の物体に対し、光の強度、色、
生地及び動きを計算する。その後、こう云う特徴が場面
変化判断モジュール８０に送り込まれる。特徴コンピュ
ータ７０は更に、動き情報を判断論理装置８０に供給す
る為に、空間−時間物体追跡装置又は光の流れのデータ
を計算する装置を有する。
【００３１】判断モジュール８０は、物体の挙動を記述
する１組の規則を処理する推測装置を含むことにより、
更に複雑にすることができる。システムは、「カメラは
不動ではない」又は「インタビューは海浜で行なってい
る」という様な関連する規則をユーザが入力することが
できる様にする。こう云う規則は、特徴内の無関係な変
化から関係する変化を濾過し、物体追跡装置を案内し、
物体を正しいセグメントに分割する助けにする為に使う
ことができる。例えば、一連のインタビューが海浜で撮
影されたことが分かっていて、海又は空が背景になって
いれば、青の色合いを持つ物体は無視して、任意の既知
の肌色に対し、肌色の最も大きい物体を優先することが
できる。
【００３２】特徴コンピュータ７０では、選ばれた区域
に於ける動きの評価は、検出区域と新しい画像との直接
的な相関によって行なうことができる。区域内の各々の
画素は、古い区域を新しい区域の上にスライドさせるこ
とによって、新しい区域と相関させ、各々の場所で区域
の差を累算する。区域の前の中心に対して相関の値が最
も大きいものが、速度ベクトルを表わす。
【００３３】場面変化検出器で生地、形及び寸法を使う
別の方法は、特徴コンピュータ７０が、画像全体又は選
ばれた区域の何れかの空間−時間周波数情報を判断モジ
ュール８０に供給することである。高速フーリエ変換又
は離散的コサイン変換の様な変換が、空間周波数情報を
供給する。場面の時間的な変化が、変換された画像の空
間周波数項を変える。この方式は、どれだけ多くの物体
又はどんな物体が映像を構成しているかが分からなくて
も、特徴の時間的な変化を計算するのを非常に容易にす
るので、非常に役立つ。前に述べた他の方式について述
べた様に、場面変化を表わす様な時間的な変化の表示に
は、簡単な閾値作用による差で十分である。
【００３４】或る応用では、実時間で場面変化を検出す
ることが必要であり、他の応用では実時間でなくとも満
足であり、更に、或る応用では、実時間よりも更に早い
検出が望ましい。当業者であれば、この発明が用いるい
くつかの方式は、悉くのビデオ・フレームを解析する場
合、或るコンピュータ・システムでは、実時間では行な
うことができず、実時間より早くには絶対できないこと
が理解されよう。他方、高速ハードウェアは、この発明
のあらゆる面を実時間で行なうことができよう。速い場
面変化の検出は、ビデオ信号源１０によって発生された
フレームの部分信号を解析することによって行なうこと
ができる。ビデオ信号は毎秒３０フレームで発生される
のが普通である。たいていの場面は持続時間がこれより
長いから、場面変化の検出には、悉くのフレームを解析
する必要はない。この発明のこの面では、量子化器２１
は、信号源１０によって発生されたビデオ・フレームの
少ないサンプリングをフレーム・バッファ２５に記憶す
る。実時間が必要ではない応用では、ビデオ源の速度を
下げることにより、実時間では達成することができない
この発明の或る面を達成することができる。
【００３５】応用 この発明はビデオ・フレーム列（ビデオ・フレーム・シ
ーケンス）に於ける場面変化の検出を自動化する。ビデ
オ編集の分野ではこの発明の役に立つ応用が多数あり、
例えば、或るビデオ・ディレクタのタスクをシステムが
自動化することができる。即ち、ビデオ・テープ日誌の
作成を自動化することができる様にし、ビデオ・テープ
を構成する場面の代表的な画像を見ることができる。
【００３６】ビデオ・テープ日誌は、ビデオ・テープに
ある内容の記録である。これは、各々の場面とその場面
が始まるテープ上の場所とに関する情報を含んでいる。
この情報は、場所、人間、動作及びその他の関連するこ
とによって、その場面を記述する。ビデオ編集では、デ
ィレクタはこの日誌にたよって、場面を選び、それから
最終的な製品を作る。
【００３７】ビデオ・テープ日誌の作成を自動化する場
合、場面変化検出器は、応用インターフェース２４を介
して、ハイパーカード形の機能を持つコンピュータ・シ
ステムに接続される。ハイパーカードは、アップル・マ
ッキントッシュ・コンピュータで実行されるコンピュー
タ・プログラムである。ハイパーカードを見る１つの方
法は、例えばノート−カードの電子スタックに対する管
理装置である。
【００３８】イメージ・プロセッサ２３からの出力が、
検出された各々の場面からの代表的な画像である。この
画像が応用インターフェース２４に送られ、ハイパーカ
ード・スタックのカードに入力される。このカードはそ
の場面が始まる時間コード数をも持っている。オペレー
タはカードに追加の情報を入力することができる。図５
は、ビデオ・テープにある場面からの画像の一例のハイ
パーカード・スタックを示す。
【００３９】この発明は、ビデオ・テープ日誌の作成の
点で少なくとも２つの利点がある。第１に、オペレータ
は場面変化を手作業で検出する為にビデオ・テープをも
はや走査しなくてもよい。第２に、今はハイパーカード
・スタックとして入力されている日誌が場面の内容の可
視的な記録を持っている。従って、これは、ビデオ・テ
ープ日誌を作るオペレータの仕事の一部分を自動化する
と共に、各々の場面に入っている映像記録をも持つか
ら、ディレクタに更に役に立つ日誌になる。
【００４０】場面変化検出器の２番目の応用は、ビデオ
・テープの早送り及び巻戻しの装置になることである。
この発明のこの応用は、ビデオ・テープ・レコーダ又は
ビデオ・ディスク装置のユーザが場面から場面へ移動す
るのを一層容易にする。
【００４１】早送りナビゲーション・システムでは、応
用インターフェース２４がビデオ源に対する制御回路２
７に接続される。２つの新しい機能、即ち、「次の場面
へ早送り」及び「前の場面へ巻戻し」がユーザに使える
様になる。ユーザがこう云う機能の１つを選ぶ時、応用
インターフェース２４がビデオ源１０に制御信号を送
る。その信号は、ビデオ源１０に対して、場面変化検出
器２０にビデオ画像を送りながら、早送り／巻戻し動作
を開始する様に知らせる。場面変化検出器２０が場面変
化を感知すると、それが場面の時間コード数を応用イン
ターフェース２４に送り、このインターフェースがビデ
オ信号源１０にこの特定の場面へ行けという指令を送
る。
【００４２】場面変化検出器の３番目の応用は、ビデオ
監視保安装置である。多くの保安装置は、多くの重要な
区域にビデオ・カメラを設け、警護詰所にモニタを設け
ることによって、必要なスタッフを少なくしている。大
部分の時間では、カメラが捉えた場面は変化せず、例え
ば人のいないロビーの眺めになる。警護詰所に座ってい
る警護員が、全てのモニタを操作して、制限された区域
に侵入者が入ったかどうかを調べる。
【００４３】この様な応用では、場面変化検出器がコン
ピュータ・システムと共に、警護員の代わりになる。判
断プロセッサ２３が場面変化を検出すると、イメージ・
プロセッサ２３が応用インターフェース２４に信号を出
力して、警報器をトリガする。
【００４４】動き検出器によってトリガされる警報装置
に比べたこの発明の利点は、場面変化検出器は、場面に
多少の動きがあっても、差し支えない様にすることであ
る。例えば、制限された区域内に番犬がいる場合、この
犬がこの区域内を動き回ると警報器をトリガするので、
動き検出器は役に立たない。然し、場面変化検出器を基
本とした保安装置を使うと、犬は場面の中を動き回る時
にシステムが追跡する物体になるであろう。未知の物体
（例えば、侵入者）が場面に入ると、物体検出器６０が
新しい物体を検出し、判断モジュール８０はその情報を
使って、応用出力に適当な信号を送り、警報器をトリガ
する。
【００４５】この発明を特定の実施例について説明した
が、この説明はこの発明を制約するものと解してはなら
ない。ここに説明した実施例の種々の変更並びにこの発
明のその他の実施例は、以上の説明から、当業者に容易
に考えられよう。従って、特許請求の範囲は、この発明
の範囲内に含まれる全ての変更を包括するものであるこ
とを承知されたい。以上の説明に関連して、この発明は
下記の実施態様を有する。
【００４６】（１）ビデオ画像列に於ける場面変化を検
出するシステムに於いて、ビデオ信号源と、ビデオ入力
源に結合されていて、ビデオ列を解析するコンピュータ
とを有するシステム。
【００４７】（２）（１）項に記載したシステムに於い
て、更にコンピュータが、ビデオ信号源に結合されてい
て、ビデオ信号をディジタル表示に変換する量子化器
と、該量子化器に結合されていて、ビデオ信号のディジ
タル表示を記憶するフレーム・バッファと、ビデオ信号
のディジタル表示を解析して、場面が変化する場所を決
定するイメージ・プロセッサと、フレーム・バッファと
イメージ・プロセッサとの間にあって、ディジタル化さ
れたビデオ・フレームを伝送するディジタル・ビデオ・
ランダムアクセス接続部と、イメージ・プロセッサに結
合された応用インターフェースとを有するシステム。
【００４８】（３）（２）項に記載したシステムに於い
て、イメージ・プロセッサが、場面変化が起こったかど
うかを判断する判断プロセッサを有するシステム。
【００４９】（４）（３）項に記載したシステムに於い
て、判断プロセッサが、場面変化を検出する為に使われ
る区域を選定する検出区域指定発生器と、該検出区域指
定発生器に結合されていて、各々の検出区域内に於ける
フレーム間の特徴の変化を決定する特徴変化計算器と、
特徴変化計算器に結合されていて、検出区域内に於ける
特徴の変化が場面変化を表わす所定の判断基準を満たす
かどうかを判断する場面変化判断モジュールとを有する
システム。
【００５０】（５）（４）項に記載したシステムに於い
て、特徴変化計算器が光強度変化計算器であるシステ
ム。
【００５１】（６）（４）項に記載したシステムに於い
て、判断プロセッサが、特徴の変化を閾値に対して比較
して場面変化が起こったことを決定する比較器を有する
システム。
【００５２】（７）（４）項に記載したシステムに於い
て、或る区域に対する光強度の大きな変化の前に、同じ
区域の光強度の小さな変化の傾向があると共に、その後
に、同じ区域に於ける光強度の小さな変化の傾向がある
とき、判断プロセッサが多数のフレーム及び前記所定の
判断基準を用いるシステム。
【００５３】（８）（３）項に記載したシステムに於い
て、判断プロセッサが、画像を別々の物体に分離すると
共に、該物体にラベルをつける物体検出モジュールと、
該物体検出モジュールに結合されていて、判断基準に基
いて場面変化を検出する場面変化検出モジュールと、該
場面変化検出モジュールに結合されていて、場面変化検
出モジュールに動き情報を供給する動き検出モジュール
とを有するシステム。
【００５４】（９）（７）項に記載したシステムに於い
て、場面変化検出モジュールが、物体の外観の大きな変
化、新しい物体の出現又は存在していた物体の消滅を判
断基準として使うシステム。
【００５５】（１０）（２）項に記載したシステムに於
いて、応用インターフェースがハイパーカード形スタッ
クであるシステム。
【００５６】（１１）（３）項に記載したシステムに於
いて、応用インターフェースが、各々の場面の代表的な
画像と、時間コード数と、場面の内容及び動作の簡単な
記述とをハイパー・カードに記憶するシステム。
【００５７】（１２）（２）項に記載したシステムに於
いて、応用インターフェースが早送り装置であって、ユ
ーザが次の場面、前の場面又はその他の任意の所望の場
面へ自動的に飛び越すことができる様にするシステム。
【００５８】（１３）（２）に記載したシステムに於い
て、応用インターフェースが保安装置であるシステム。
【００５９】（１４）（１）に記載したシステムに於い
て、コンピュータが或る間隔で標本化することにより、
シーケンス内のビデオ画像の部分信号を解析するシステ
ム。
【００６０】（１５）（１）項に記載したシステムに於
いて、ビデオ信号源が画像を発生する速度を、コンピュ
ータ・システムがそのシーケンスを解析することができ
る速度に下げるシステム。
【００６１】（１６）ビデオ列に於ける場面変化を検出
する方法において、（イ）ビデオ・フレームをディジタ
ル化し、（ロ）ディジタル化したビデオ・フレーム内の
物体を検出し、（ハ）工程（ロ）で検出された物体に対
する特徴を計算し、（ニ）前記特徴のフレーム間の差を
決定し、（ホ）前記決定された差が或る判断基準を満た
す時に場面変化を表示する工程を含む方法。
【００６２】（１７）（１６）項に記載した方法に於い
て、工程（ロ）が、（ヘ）ディジタル化されたビデオ・
フレームの複数個の検出区域を選ぶ工程を含む方法。
【００６３】（１８）（１６）項に記載した方法に於い
て、工程（ロ）が（ト）物体をセグメントに分ける工程
を含む方法。
【００６４】（１９）（１８）項に記載した方法に於い
て、工程（ハ）が（チ）各々の物体並びに該物体の各々
の構成セグメントに対する特徴を計算する工程を含む方
法。
【００６５】（２０）（１６）項に記載した方法に於い
て、工程（ハ）が（リ）物体の光強度を計算し、（ヌ）
物体の色を決定し、（ル）物体の生地を見つけ、（ヲ）
物体の動きを検出する工程を含む方法。
【００６６】（２１）（４）に記載したシステムに於い
て、特徴変化計算器が色変化計算器であるシステム。
【００６７】（２２）（４）項に記載したシステムに於
いて、特徴変化計算器が生地変化計算器であるシステ
ム。
【００６８】（２３）（４）項に記載したシステムに於
いて、特徴変化計算器が動き検出器であるシステム。
【００６９】（２４）システムが、ある画像の特徴のフ
レーム毎の突然の変化があるかどうかについてシーケン
スを解析することにより、ビデオ画像列に於ける場面変
化を検出する。システムは信号を量子化器２１に受取
り、それが画像をディジタル化し、フレーム・バッファ
２５に記憶する。システムの部品であるイメージ・プロ
セッサ２３がディジタル化された画像を解析し、判断プ
ロセッサ２６が場面変化を検出する為に使うことができ
る或る特徴を決定する。
【図面の簡単な説明】
【図１】この発明の場面変化検出器、そのビデオ信号源
及びその応用インターフェースのブロック図。
【図２】この発明の場面変化検出装置および方法を構成
する好ましい実施例のフローチャート。
【図３】インタビュー場面に於ける検出区域の配置例。
【図４】場面変化を表わす様な、特徴と時間の関係を示
すグラフの一例。
【図５】各々のカードが１つの場面変化を表わす様な、
自動ビデオ指示装置のハイパーカード・スタックのサン
プルの図。
【符号の説明】
１０ ビデオ信号源 ２０ 場面変化検出器
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−231587（ＪＰ，Ａ) 特開 平２−2486（ＪＰ，Ａ) 特開 昭63−59282（ＪＰ，Ａ) 特開 昭63−224569（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/91 - 5/956 H04N 5/782 - 5/783

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項１】 ビデオ画像列の場面変化を検出するシス
    テムであって、ビデオ信号源と、該ビデオ信号源に結合
    された、前記ビデオ画像列を解析するコンピュータとを
    具備し、該コンピュータが、前記ビデオ信号源に結合さ
    れた、ビデオ信号をディジタル表示に変換する量子化器
    と、該量子化器に結合された、前記ビデオ信号の前記デ
    ィジタル表示を記憶するフレーム・バッファと、前記ビ
    デオ信号の前記ディジタル表示を解析して場面が変化す
    る場所を決定するイメージ・プロセッサと、前記フレー
    ム・バッファと前記イメージ・プロセッサとの間にあっ
    て、ディジタル化されたビデオ・フレームを伝送するデ
    ィジタル・ビデオ・アクセス接続部と、前記イメージ・
    プロセッサに結合された応用インタフェースと、を有
    し、前記イメージ・プロセッサが、場面変化を検出する
    のに使用される区域を選定する検出区域指定発生器と、
    該検出区域指定発生器に結合された、前記選定された区
    域内の前記ディジタル表示内の物体を検出して、該検出
    された物体のフレーム間特徴変化を決定する特徴変化計
    算器と、該特徴変化計算器に結合された、場面変化を表
    す所定の判断基準を前記検出された物体のフレーム間特
    徴変化が満たすか否かを判断する場面変化判断モジュー
    ルとを有する、システム。
  2. 【請求項２】 ビデオ画像列の場面変化を検出する方法
    であって、 （イ）ビデオ・フレームをディジタル化するステップ
    と、 （ロ）ディジタル化されたビデオ・フレーム内の物体を
    検出するステップと、 （ハ）該ステップ（ロ）で検出された前記物体に対する
    特徴を計算するステップ と、 （ニ）前記特徴のフレーム間の差を決定するステップ
    と、 （ホ）該決定された差が或る判断基準を満たすときに場
    面変化を表示するステップと、 を具備する、 方法。
JP03319491A 1990-02-27 1991-02-27 ビデオ画像列の場面変化を検出するシステムおよび方法 Expired - Fee Related JP3154500B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/485,929 US5099322A (en) 1990-02-27 1990-02-27 Scene change detection system and method
US485929 1990-02-27

Publications (2)

Publication Number Publication Date
JPH06121272A JPH06121272A (ja) 1994-04-28
JP3154500B2 true JP3154500B2 (ja) 2001-04-09

Family

ID=23929970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03319491A Expired - Fee Related JP3154500B2 (ja) 1990-02-27 1991-02-27 ビデオ画像列の場面変化を検出するシステムおよび方法

Country Status (2)

Country Link
US (1) US5099322A (ja)
JP (1) JP3154500B2 (ja)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5257209A (en) * 1990-06-26 1993-10-26 Texas Instruments Incorporated Optical flow computation for moving sensors
FR2673745B1 (fr) * 1991-03-07 1995-06-23 Bertin & Cie Procede et dispositif de surveillance d'un espace determine, tel qu'une partie d'un local, une zone de terrain ou une installation industrielle par exemple.
JPH06101018B2 (ja) * 1991-08-29 1994-12-12 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像データベースの検索
GB9206651D0 (en) * 1992-03-26 1992-05-06 Solid State Logic Ltd Video processing
US6678461B1 (en) 1992-04-10 2004-01-13 Avid Technology, Inc. Media recorder for capture and playback of live and prerecorded audio and/or video information
US6058236A (en) * 1992-04-10 2000-05-02 Avid Technology, Inc. System and method for digitally capturing video segments from a video assist of a film camera
US5325203A (en) * 1992-04-16 1994-06-28 Sony Corporation Adaptively controlled noise reduction device for producing a continuous output
US5633958A (en) * 1992-07-31 1997-05-27 Advantest Corp. Basic cell for firing spatio-temporal pulses and pattern recognition unit using the same
EP0590759B1 (en) * 1992-08-12 1998-12-09 International Business Machines Corporation System and method for locating video segment boundaries
JP3315766B2 (ja) * 1992-09-07 2002-08-19 富士通株式会社 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US5456157A (en) * 1992-12-02 1995-10-10 Computing Devices Canada Ltd. Weapon aiming system
DE69419439T2 (de) * 1993-01-11 1999-12-16 Canon Kk Gerät und Verfahren zur Bewegungserfassung
AU676510B2 (en) * 1993-01-11 1997-03-13 Canon Kabushiki Kaisha Motion detection method and apparatus
JP2518503B2 (ja) * 1993-03-08 1996-07-24 日本電気株式会社 画面切り替え検出方法
CA2114052A1 (en) * 1993-07-29 1995-01-30 Monica Medina-Puri Method of detecting scene cuts
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
US5719643A (en) * 1993-08-10 1998-02-17 Kokusai Denshin Denwa Kabushiki Kaisha Scene cut frame detector and scene cut frame group detector
KR970003789B1 (ko) * 1993-11-09 1997-03-21 한국전기통신공사 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법
DE4340844C1 (de) * 1993-11-26 1995-03-02 Lutz Mehlhorn Verfahren und Vorrichtung zum Einblenden von Informationen zur subliminalen Wahrnehmung
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US6055025A (en) * 1993-12-21 2000-04-25 Lucent Technologies, Inc. Method and apparatus for detecting abrupt and gradual scene changes in image sequences
US6211912B1 (en) * 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
US6271892B1 (en) 1994-06-02 2001-08-07 Lucent Technologies Inc. Method and apparatus for compressing a sequence of information-bearing frames having at least two media
US5627765A (en) * 1994-07-25 1997-05-06 Avid Technology, Inc. Method and apparatus for compressing and analyzing video and for creating a reference video
EP1026632B1 (de) * 1994-08-24 2010-04-28 Seisma AG System und Verfahren zur Bildauswertung
US6028626A (en) 1995-01-03 2000-02-22 Arc Incorporated Abnormality detection and surveillance system
US5666157A (en) 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US5508750A (en) * 1995-02-03 1996-04-16 Texas Instruments Incorporated Encoding data converted from film format for progressive display
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
JP3823333B2 (ja) * 1995-02-21 2006-09-20 株式会社日立製作所 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム
US5999406A (en) 1995-02-23 1999-12-07 Avid Technology, Inc. Dockable electronic equipment container
US6977673B1 (en) 1995-02-23 2005-12-20 Avid Technology, Inc. Portable moving picture recording device including switching control for multiple data flow configurations
US7623754B1 (en) * 1995-02-23 2009-11-24 Avid Technology, Inc. Motion picture recording device using digital, computer-readable non-linear media
US7532807B2 (en) * 1995-04-07 2009-05-12 Avid Technology, Inc. Combined editing system and digital moving picture recording system
US5774593A (en) * 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video
US5910909A (en) * 1995-08-28 1999-06-08 C-Cube Microsystems, Inc. Non-linear digital filters for interlaced video signals and method thereof
US6037976A (en) * 1995-10-31 2000-03-14 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence, such as fog, haze or shadows
US5835163A (en) * 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JP3534368B2 (ja) * 1996-04-03 2004-06-07 株式会社東芝 動画像処理方法及び動画像処理装置
US5844607A (en) * 1996-04-03 1998-12-01 International Business Machines Corporation Method and apparatus for scene change detection in digital video compression
US5767922A (en) * 1996-04-05 1998-06-16 Cornell Research Foundation, Inc. Apparatus and process for detecting scene breaks in a sequence of video frames
US8107015B1 (en) 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
EP1453311A3 (en) * 1996-10-31 2004-11-10 Sensormatic Electronics Corporation Intelligent video information management system
CN1110778C (zh) * 1996-10-31 2003-06-04 传感电子公司 视频信息智能管理系统
CN1110779C (zh) * 1996-10-31 2003-06-04 传感电子公司 视频信息智能管理系统
US6122322A (en) * 1996-11-19 2000-09-19 Telefonaktiebolaget Lm Ericsson Subliminal message protection
SE510444C2 (sv) * 1996-11-19 1999-05-25 Ericsson Telefon Ab L M Skydd för subliminala meddelanden
US5974175A (en) * 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
US6760061B1 (en) * 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
US6256046B1 (en) 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6069655A (en) * 1997-08-01 2000-05-30 Wells Fargo Alarm Services, Inc. Advanced video security system
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6081264A (en) * 1998-02-13 2000-06-27 Microsoft Corporation Optimal frame rate selection user interface
US6385345B1 (en) 1998-03-31 2002-05-07 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
US6675189B2 (en) 1998-05-28 2004-01-06 Hewlett-Packard Development Company, L.P. System for learning and applying integrated task and data parallel strategies in dynamic applications
WO2000031706A1 (en) * 1998-11-23 2000-06-02 Nestor, Inc. Traffic light collision avoidance system
US6754663B1 (en) 1998-11-23 2004-06-22 Nestor, Inc. Video-file based citation generation system for traffic light violations
JP4146955B2 (ja) * 1999-02-15 2008-09-10 キヤノン株式会社 画像処理方法及び画像処理装置
JP2000311469A (ja) 1999-02-26 2000-11-07 Matsushita Electric Ind Co Ltd ディスク制御装置及びそれを用いたディスク装置
US6335976B1 (en) 1999-02-26 2002-01-01 Bomarc Surveillance, Inc. System and method for monitoring visible changes
US6587156B1 (en) * 1999-04-16 2003-07-01 Eastman Kodak Company Method for detecting mosaic fades in digitized video
US6993789B1 (en) 1999-04-23 2006-01-31 Sharp Laboratories Of America DTV data service application and receiver mechanism
KR100634671B1 (ko) * 1999-08-13 2006-10-13 주식회사 케이티 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
US6424789B1 (en) 1999-08-17 2002-07-23 Koninklijke Philips Electronics N.V. System and method for performing fast forward and slow motion speed changes in a video stream based on video content
US6801294B2 (en) * 1999-10-19 2004-10-05 Samsung Electronics Co., Ltd. Recording and/or reproducing apparatus and method using key frame
US7010788B1 (en) 2000-05-19 2006-03-07 Hewlett-Packard Development Company, L.P. System for computing the optimal static schedule using the stored task execution costs with recent schedule execution costs
US20020059629A1 (en) * 2000-08-21 2002-05-16 Markel Steven O. Detection and recognition of data receiver to facilitate proper transmission of enhanced data
DK1312209T3 (en) * 2000-08-25 2017-06-26 Opentv Inc Individualized remote control
US7421729B2 (en) * 2000-08-25 2008-09-02 Intellocity Usa Inc. Generation and insertion of indicators using an address signal applied to a database
US20020057286A1 (en) * 2000-08-25 2002-05-16 Markel Steven O. Device independent video enhancement scripting language
US20020065678A1 (en) * 2000-08-25 2002-05-30 Steven Peliotis iSelect video
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
GB0028162D0 (en) * 2000-11-20 2001-01-03 Sentec Ltd Distributed image processing technology and services
EP1364533A1 (en) * 2001-02-20 2003-11-26 Intellocity USA, Inc. Content based video selection
JP2002281311A (ja) * 2001-03-15 2002-09-27 Ricoh Co Ltd 画像処理装置及び画像読取装置
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US20050129274A1 (en) * 2001-05-30 2005-06-16 Farmer Michael E. Motion-based segmentor detecting vehicle occupants using optical flow method to remove effects of illumination
US20040263621A1 (en) * 2001-09-14 2004-12-30 Guo Chun Biao Customer service counter/checkpoint registration system with video/image capturing, indexing, retrieving and black list matching function
CA2364230A1 (en) * 2001-12-03 2003-06-03 Tim Lambert Video security and control system
US6985623B2 (en) * 2002-06-10 2006-01-10 Pts Corporation Scene change detection by segmentation analysis
US20040086152A1 (en) * 2002-10-30 2004-05-06 Ramakrishna Kakarala Event detection for video surveillance systems using transform coefficients of compressed images
EP1480170A1 (en) * 2003-05-20 2004-11-24 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for processing images
IL162740A (en) * 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging
US7627171B2 (en) * 2003-07-03 2009-12-01 Videoiq, Inc. Methods and systems for detecting objects of interest in spatio-temporal signals
US7116374B2 (en) * 2003-08-26 2006-10-03 Koplar Interactive Systems International, L.L.C. Method and system for enhanced modulation of video signals
US20050248576A1 (en) * 2004-05-07 2005-11-10 Sheng-Hung Chen Transformation method and system of computer system for transforming a series of video signals
JP4543761B2 (ja) * 2004-06-03 2010-09-15 ソニー株式会社 コンテンツ共有システム及びコンテンツコンテナ作成方法
US7664175B1 (en) 2004-06-16 2010-02-16 Koplar Interactive Systems International, L.L.C. Mark-based content modulation and detection
TWI247212B (en) * 2004-07-13 2006-01-11 Avermedia Tech Inc Method for searching image differences in recorded video data of surveillance system
GB2432064B (en) * 2005-10-31 2011-01-19 Hewlett Packard Development Co Method of triggering a detector to detect a moving feature within a video stream
EP1874043B1 (en) * 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus
US8566865B2 (en) 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
US8549554B2 (en) 2006-03-07 2013-10-01 Sony Computer Entertainment America Llc Dynamic replacement of cinematic stage props in program content
JP4377887B2 (ja) * 2006-03-30 2009-12-02 株式会社東芝 映像分割装置
CN101443789B (zh) * 2006-04-17 2011-12-28 实物视频影像公司 使用统计像素建模的视频分割
JP4826333B2 (ja) * 2006-05-11 2011-11-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
TWI328201B (en) * 2006-10-30 2010-08-01 Ind Tech Res Inst Method and system for object detection in an image plane
EP1936576B1 (en) * 2006-12-20 2011-08-17 Axis AB Camera tampering detection
JP4976160B2 (ja) * 2007-02-22 2012-07-18 パナソニック株式会社 撮像装置
JP4974704B2 (ja) * 2007-02-22 2012-07-11 パナソニック株式会社 撮像装置
DE102007063635A1 (de) * 2007-03-22 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
US8451380B2 (en) 2007-03-22 2013-05-28 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
WO2009008164A1 (ja) * 2007-07-09 2009-01-15 Panasonic Corporation デジタル一眼レフカメラ
US8798133B2 (en) * 2007-11-29 2014-08-05 Koplar Interactive Systems International L.L.C. Dual channel encoding and detection
GB2491987B (en) 2008-03-03 2013-03-27 Videoiq Inc Method of searching data for objects identified by object detection
US8612286B2 (en) * 2008-10-31 2013-12-17 International Business Machines Corporation Creating a training tool
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US8429016B2 (en) * 2008-10-31 2013-04-23 International Business Machines Corporation Generating an alert based on absence of a given person in a transaction
US20100118147A1 (en) * 2008-11-11 2010-05-13 Honeywell International Inc. Methods and apparatus for adaptively streaming video data based on a triggering event
US10210160B2 (en) 2010-09-07 2019-02-19 Opentv, Inc. Collecting data from different sources
US9699503B2 (en) 2010-09-07 2017-07-04 Opentv, Inc. Smart playlist
US8949871B2 (en) 2010-09-08 2015-02-03 Opentv, Inc. Smart media selection based on viewer user presence
US8670611B2 (en) 2011-10-24 2014-03-11 International Business Machines Corporation Background understanding in video data
US8947600B2 (en) 2011-11-03 2015-02-03 Infosys Technologies, Ltd. Methods, systems, and computer-readable media for detecting scene changes in a video
US9094684B2 (en) 2011-12-19 2015-07-28 Google Technology Holdings LLC Method for dual pass rate control video encoding
CN103428406B (zh) * 2012-05-23 2017-11-07 中兴通讯股份有限公司 监控录像分析方法和装置
CN103543916A (zh) * 2012-07-13 2014-01-29 联想(北京)有限公司 信息处理的方法及电子设备
US20140198845A1 (en) * 2013-01-10 2014-07-17 Florida Atlantic University Video Compression Technique
DE102015013943B4 (de) * 2015-10-28 2020-10-22 Audi Ag Testen eines Navigationssystems eines Kraftfahrzeugs
US11348428B2 (en) 2020-03-12 2022-05-31 Sam Heidari System and methods for identifying a subject through device-free and device-oriented sensing technologies
US11093788B2 (en) * 2018-02-08 2021-08-17 Intel Corporation Scene change detection
US10834462B2 (en) 2018-09-17 2020-11-10 International Business Machines Corporation System and method for context detection of objectionable speech in video
US11042698B2 (en) 2019-08-22 2021-06-22 Paul Bannister System and method of contextually converting a media file into an electronic document

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4257063A (en) * 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
US4774570A (en) * 1986-09-20 1988-09-27 Sony Corporation System for processing video signal for detecting changes in video data and security monitoring system utilizing the same

Also Published As

Publication number Publication date
US5099322A (en) 1992-03-24
JPH06121272A (ja) 1994-04-28

Similar Documents

Publication Publication Date Title
JP3154500B2 (ja) ビデオ画像列の場面変化を検出するシステムおよび方法
US20200265085A1 (en) Searching recorded video
US5805733A (en) Method and system for detecting scenes and summarizing video sequences
AU2004233453B2 (en) Recording a sequence of images
JP4966012B2 (ja) 監視ビデオの変化をサーチするためのシステム及び方法
US6628805B1 (en) Apparatus and a method for detecting motion within an image sequence
US9171075B2 (en) Searching recorded video
US7307652B2 (en) Method and apparatus for object tracking and detection
KR101223424B1 (ko) 비디오 모션 검출
US20050163345A1 (en) Analysing image data
US20060066722A1 (en) View handling in video surveillance systems
JP2007505572A (ja) 複数のイメージセンサ間における視野関係を決定するためのコンピュータ化された方法及び装置
US7843512B2 (en) Identifying key video frames
GB2410391A (en) Capturing an exemplar image of detected activity due to introduction of a foreground object into a monitored scene
US8948245B2 (en) Displaying graphical output representing the activity of a plurality of monitoring detection devices
KR100634671B1 (ko) 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
WO2020236949A1 (en) Forensic video exploitation and analysis tools
KR20110035662A (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
US6606636B1 (en) Method and apparatus for retrieving dynamic images and method of and apparatus for managing images
Kender et al. On the structure and analysis of home videos
US7424167B1 (en) Tide filtering for video surveillance system
Elliot Multiple views of digital video
Kaur Background subtraction in video surveillance
Niessen et al. Spatiotemporal operators and optic flow
EP3945496A1 (en) Keyframe selection for computer vision analysis

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090202

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees