JP2994177B2 - ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法 - Google Patents

ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法

Info

Publication number
JP2994177B2
JP2994177B2 JP5162680A JP16268093A JP2994177B2 JP 2994177 B2 JP2994177 B2 JP 2994177B2 JP 5162680 A JP5162680 A JP 5162680A JP 16268093 A JP16268093 A JP 16268093A JP 2994177 B2 JP2994177 B2 JP 2994177B2
Authority
JP
Japan
Prior art keywords
video
segment
video segment
selecting
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5162680A
Other languages
English (en)
Other versions
JPH06209451A (ja
Inventor
アルバート・デュア・エドガー
スティーブン・クレイグ・ペン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH06209451A publication Critical patent/JPH06209451A/ja
Application granted granted Critical
Publication of JP2994177B2 publication Critical patent/JP2994177B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/60—Solid state media
    • G11B2220/65—Solid state media wherein solid state memory is used for storing indexing information or metadata
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はビデオ編集作業に関し、
より詳しくは、シーン変化即ちビデオのセグメントの間
の境界部の識別と、それに関連した、複数のビデオ・セ
グメントを所望の順序に並べて１つのシーケンスを形成
する作業とに関するものである。
【０００２】
【従来の技術】ビデオ編集作業に関する技術分野は日々
発展を続けており、この技術分野において常に目標とさ
れてきたことのうちの１つに、ビデオ・ソース・マテリ
アルの個々のセグメントのうちから然るべきセグメント
を選択するための好適な方法を提供するということがあ
る。この選択は、後にビデオを視聴する際に都合の良い
ように個々のセグメントを並べ換えるということや、選
択したセグメントだけを視聴できるようにすること等々
を含めた、ビデオ編集作業のために行なうものである。
一方、技術の進歩と共に、大量のビデオ・ソース・マテ
リアルをディジタル化するための様々な技法が案出され
たため、大量のビデオ・ソース・マテリアルに対し、そ
の個々のセグメントをつなぎ合わせる等の編集作業を施
すことが、極めて容易に行なえるようになった。さて、
ビデオ編集機器ないしビデオ編集システムを設計しよう
とするとき、その機器ないしシステムのユーザとして予
定する人々がビデオ技術に関して全くの素人である場合
には、たとえ設計者が熟練した技術者であっても、実に
多くの問題に直面せざるを得ない。ところが実際には、
ビデオ技術に関して全くの素人のユーザこそ、ビデオ産
業にとって非常に重要な人々である。それは、全くの素
人のユーザの方が、ビデオ技術の専門家や、特に高度の
技術を身につけたアマチュアよりも、人数的にはるかに
多いからである。しかしながら、素人ユーザという購買
者層に合わせた実際的なビデオ編集機能を提供すること
は、重要であると同時に、また非常に困難な仕事でもあ
った。なぜならば、この種のユーザは一般に、ビデオ編
集システムに不必要な複雑さが付随していると、その複
雑さに慣れようともしないし、その複雑さを我慢しよう
ともしないからである。
【０００３】ところが、専門家用の編集機器ないし編集
システムには、ビデオ編集技術の発達と共にその種の複
雑さが次第に多く組み込まれてきたというのが一般的な
傾向であり、これは、ビデオ編集作業上の自由度を最大
限にすることが求められていたことが原因となってい
る。それゆえ、一般大衆向けのビデオ編集機器ないしビ
デオ編集システムを設計しようとすると、設計者は、そ
の機器ないしシステムを、単に性能的に優れているばか
りでなく真に容易に使用できるものとせねばならないた
めに、技術上の大きな困難に直面するのが常であった。
一般大衆ユーザにも喜んで受入れられた例外的な例とし
て「カメラ形録画機」ともいうべきビデオ・カメラがあ
る。通常のユーザは、このカメラ形録画機で撮影して得
たビデオ・ソース・マテリアル（即ち、ビデオ・テープ
等）に、編集を施せれば良いと考えているが、残念なこ
とに、そのための編集機器は、価格が高く、複雑であ
り、入手も容易ではないため、カメラ形録画機の所有者
の圧倒的大多数にとっては、ビデオ編集作業を行なうこ
とは全く不可能となっていた。しかしながら、先に触れ
たように、現在ではディジタル・ビデオ技術がごくあた
りまえの技術となったことから、ビデオ編集機器の低コ
スト化という点では、一般大衆向けのビデオ編集機器を
提供し得る可能性がようやく現実のものとなったと言え
る。しかしながら、コストの点が解決されても、ビデオ
編集作業そのものを大衆購買者層のユーザにとって容易
に作業にすることが、尚、非常に困難な事として残され
ている。
【０００４】そのため従来から、ビデオ処理作業ないし
ビデオ編集作業を一般大衆にも容易に行なえるよう簡易
化するためには基本的な枠組みをどのように変えれば良
いかを探究すべく、数多くの試みがなされてきた。しか
しながら、それらの試みはいずれも最も肝要な点を見落
としていたと言わざるを得ず、それらの試みはいずれ
も、ビデオをフレーム単位で（１コマ単位で）取り扱う
ことをユーザに強いていたからである。無論、ビデオの
専門家にとっては、ビデオをフレーム単位で取り扱わね
ばならないということは何ら問題とならず、なぜなら
ば、ビデオの個々の断片は、熟練した専門家のビデオ編
集者の手にかかることによって非常に価値のあるものと
なり、しかもその断片は、しばしば、ほんの僅かなコマ
から成る断片であるからである。従って、熟練した専門
家にとっては、ビデオ・ソース・マテリアルをフレーム
単位で取り扱うために必要とされる費用並びに時間は、
格別問題となるものではなかった。しかしながら、一般
大衆ユーザは、ビデオの個々のセグメントを編集して編
成するための方法として、より無理のない、より簡明な
方法を求めていることが明らかであった。
【０００５】ここで、分かりやすく、しかも実際に応用
し得る可能性のある比喩として、新聞の紙面をざっと眺
める場合について説明する。以前から言われているよう
に、ビデオ・ソース・マテリアルは、１つの点に集中さ
せつつ一定の速度で行なうコミュニケーションに適して
おり、このコミュニケーションは、時間という次元だけ
に沿って、即ち１次元的に展開して行くものである。一
方、印刷物のように２次元的な広がりを持った資料は、
情報の受け手がその資料の全体にざっと目を通したり編
集を加えたりするのに適しているということも以前から
言われている。新聞の読み手は、広い２次元スペースを
与えられている見出し文字に目を走らせることによっ
て、読むべき記事を迅速に選択することができ、それに
よって、新聞に書かれている全ての文字を読まずとも、
自分にとって必要な資料を発見することができる。同様
に書籍には、目次欄や索引が備えられており、それらの
目的とするところも、まさに上と同じであることは明白
である。そこで、ビデオにアクセスするための、これと
同様の容易な手段があれば、即ち、操作に習熟していな
いユーザにも、そのビデオの内容を迅速に見渡して、自
分が必要としているセグメントを特定したり、忘れてい
た内容を思い出したりするための、自動的な手段が提供
されるようにすることができれば、非常に好都合であ
る。従って次のようなシステム及び方法が強く求められ
ており、それは、ビデオの開発者が、基本的な枠組みを
大きく変えて、ビデオの用途を更に進歩させ、且つ大幅
に拡大することのできる、ビデオの利点と印刷物の利点
とを組合せたシステム及び方法である。更に、この種の
システム及び方法を提供することは、教育、ビジネス、
及び娯楽の用途において非常に強力なものとなる新たな
ユーザ・インターフェース・コミュニケーション・ツー
ルを作り出すためにも望まれることである。以上を手短
に述べるならば、現在その解決法が求められている課題
は、ビデオ操作を大幅に簡易化するための基本的枠組み
の適切な変更を可能にする、決定的なコンセプトを提供
することである。
【０００６】ビデオ編集作業の対象となるビデオのセグ
メント（ビデオ・セグメント）は、各々のビデオ・セグ
メントが、一連の複数のフレーム（コマ）によって構成
されている。そこで、所望の複数のビデオ・セグメント
と、それらビデオ・セグメントの内容をユーザないしビ
デオ編集者に思い出させるための手段との間の関連付け
を、より簡明に行なえるようにすることを目指したシス
テムの１つに、あるビデオ・セグメントを、そのビデオ
・セグメントを代表する１つの静止フレームで表わすよ
うにし、そうするために、夫々にビデオ・セグメントに
対応した静止フレームを特定するようにしたシステムが
ある。この方式では、その静止フレームが、ビデオ全体
の中でその静止フレームに対応したビデオ・セグメント
が位置すべき場所を表わす便利な記号としての機能も果
たし、また、ビデオ・ソース・マテリアルのうちの、そ
の静止フレームに対応したビデオ・セグメントの内容を
ビデオ編集者に思い出させるためのヒントを与える画像
としても機能する。
【０００７】
【発明が解決しようとする課題】しかしながら、この種
の従来のシステムでは、静止フレームと、その静止フレ
ームに対応したシーケンス（ビデオ・セグメント）との
間の関連付けがなされたならば、それに続いて行なう編
集作業では、ユーザが、そのビデオの一連のフレームを
連続的にスキャンして行く（即ち、それらフレームを実
際に次々と目で見て行く）必要があった。この種のシス
テムは、関連付けを最初の位置で行なわせるために、そ
のような手動操作による一連のフレームのスキャンを必
要としていたのである。従って、このシステムには、ビ
デオ・セグメント間の境界部を選択する作業を容易にす
るという課題が残っており、また、そのプロセスを簡易
化するための手段が強く求められている。したがって本
発明の目的は、ビデオの編集作業において、従来例の問
題点を解決し、手動操作によるフレームのスキャンを必
要とすることなく、ビデオ・セグメント間の境界部を識
別して該セグメントを所望の順序に並べることができる
ようにすることである。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、本発明においては、まずビデオ・ソース・マテリア
ルの複数のシーケンスの夫々に関連しており、かつ一連
の複数のシーン遷移部（変化部）の夫々を表わしてい
る、複数のフレームをディジタル化する。そのディジタ
ル化した情報を、コンピュータ化したプロセスによって
解析して、そのビデオ・ソース・マテリアルのそれら複
数のフレームのうち、各々のシーン遷移ないしシーケン
スに関連しており、そのシーン遷移部ないしシーケンス
を代表して表わす、１つないし幾つかの代表的フレーム
を特定する。続いて、それら代表的フレームをディスプ
レイする。そのディスプレイ画面から、ある１つの代表
的フレームを選択したならば、その代表的フレームがそ
の中から選択されたところの、対応するビデオ・シーケ
ンスを構成している一連の複数のフレームの、自動的な
選択及び関連付けが行なわれ、後にそのビデオ・シーケ
ンスが再生されるようになる。好適実施例においては、
複数の代表的フレームの全部、ないしはそれら代表的フ
レームのうちの一部を、指定して順序付けるようにして
いる。こうして指定され順序付けられた代表的フレーム
の各々に対応している、複数のフレームから成るビデオ
・セグメントないしビデオ・シーケンスが、これによっ
て自動的に順序付けられる。更にこれによって、各々が
夫々に異なったシーンないしビデオ・シーケンスに関連
付けられている複数の代表的フレームに操作を加えるこ
とにより、簡明なビデオ編集作業が行なえるようになっ
ている。
【０００９】
【実施例】図１には、本発明を実施するための環境を提
供する典型的なシステムの一例を示した。先ず、この図
１に示したシステムについて説明する。図中のコンピュ
ータ１０には、例えば「ＰＳ／２」システム等を使用す
ることができる（「ＰＳ／２」はＩＢＭ社の商標であ
る）。コンピュータ１０には、本発明の好適実施例に係
るプロセスを実施するためのプログラムがロードされ、
コンピュータ１０は、そのプログラムに従って本発明の
様々なステップを実行する。即ち、コンピュータ１０は
先ず、ソース・サブジェクト１４の画像の取り込みを行
ない、その際には、例えばカメラ１２や、或いはスキャ
ナ、或いは更にその他の媒体等の、適当なビデオ・ソー
スを使用する。コンピュータ１０は続いて、その取り込
んだ画像をディジタル化して、後続の処理を行なえるよ
うにする。ただし、以上とは別の方法として、画像ソー
ス１２に、ＶＣＲ（ビデオ・カセット・レコーダ）を使
用し、このＶＣＲ用のカセットに記録してある画像をコ
ンピュータ１０に入力するようにすることも可能であ
る。本発明に従って生成した（ディジタル値に写像し
た）写像後画像は、そのままコンピュータ１０に記憶さ
せておいて、一般的なモニタ装置１６上にディスプレイ
してユーザに観察させることもでき、また、いずれ後に
ディスプレイするために媒体上に一旦格納することもで
きる。
【００１０】コンピュータ１０は更に、一般的なキーボ
ード１８やその他の入出力デバイス、それにユーザ・イ
ンターフェース・デバイスを備えており、それらを介し
て、本発明を実施するための対話操作を行なうことがで
きる。コンピュータ１０はその内部にシステム・バス２
０を備えており、このシステム・バス２０を介して以下
のものが相互に接続されている。即ち、マイクロプロセ
ッサ２２と、上述のプログラム２４（このプログラム２
４は、本発明の様々なステップをどのように実行すべき
かをマイクロプロセッサ２２に命令する）と、作業メモ
リ２６（この作業メモリ２６は、マイクロプロセッサ２
２が、中間結果を格納するために使用する）と、図１に
は全体をまとめて引用符号２８で表わした様々なルック
アップ・テーブルと、カメラ１２等で取り込んだままの
状態で画像を格納しているオリジナル画像格納部３０
と、（ディジタル値へ写像した後の）写像後画像を格納
している写像後画像格納部３２とが、システム・バス２
０によって相互に接続されている。
【００１１】次に図２〜図４を参照しつつ、本発明の操
作法の概要について説明する。この操作法の説明におい
ては特に、外部要素（例えば、ユーザ・インターフェー
スに認識される範囲内でのユーザの対話操作等）に重点
をおいて説明して行く。図１のシステムについての説明
で触れたように、先ず最初にビデオ・ソース・マテリア
ルのディジタル化が行なわれる。続いて、後に説明する
方法が、コンピュータ・システムを用いて実行され、そ
れによって、そのビデオ・ソース・マテリアルの中に存
在している境界部が、所望の特定の仕方で特定される。
一般的に、それら境界部は、ビデオのあるセグメントな
いしシーンが別のセグメントないしシーンへ遷移する遷
移部（変化部）の形を取っており、それらセグメントな
いしシーンの各々は、そのセグメントないしシーンに対
応した１つないし複数の特性フレームによって表わさ
れ、ユーザは、ある特性フレームを見ることによって、
ビデオ・ソース・マテリアルのうちの、その特性フレー
ムに関連したセグメントないしシーンの内容を思い出す
ことができる。
【００１２】図２は、以上のプロセスが完了した時点で
生成されてモニタ上にディスプレイされる画面５０の具
体例を示したものである。この画面５０は、上で説明し
た特性フレームに該当する複数のフレーム５２〜７０に
よって構成されている。ここで説明している用途（即
ち、ビデオ・エディタとしての用途）に関しては、ユー
ザが、編集しようとしているビデオの個々のセグメント
の内容を迅速に把握し、それら個々のセグメントに操作
を加え得るようにすることにある。従って、これこそ
が、複数の静止画像のフレーム５２〜７０（これら静止
画像の各々は、その静止画像に対応する１つのシーンの
中に含まれている複数のフレームを、代表して表わして
いる）を表示する画面５０をユーザに提示することの目
的である。尚、好適実施例においては、それら複数の静
止画像のフレーム（静止フレーム）５２〜７０を画面５
０上に並べる際の空間位置順序が、何らかの自然な順序
となるようにしており、例えば、（ビデオ・ソース・マ
テリアルの中における、個々のセグメントの）時間的順
序に従って、横列の中を一端から他端へ並べ、更に、最
上段の横列から次第に下の横列へと移って行く等の順序
にするようにしている。
【００１３】更に図２について説明を続ける。ディジタ
ル化したビデオから選択したそれら複数の静止フレーム
５２〜７０は、それら静止フレームに対応している夫々
のビデオのセグメントの内容をユーザに明瞭に伝えるこ
とになる。この図２に例示した簡単な具体例において、
それら複数の静止フレームが表わしているものは、３つ
の静止フレーム５２〜５６で表わした休暇のシーケンス
（即ち、休暇のときに撮影したビデオ）、フレーム５８
で表した、家のあちこちを撮影してまわったシーケン
ス、フレーム６０で表した、録音セッションを撮影した
シーケンス、フレーム６２で表したテニスのシーケン
ス、フレーム６４〜６８で表した、徒競走を撮影したシ
ーケンス、そして、最後に、フレーム７０で表した、パ
レードのシーケンスである。本発明のシステムを操作す
る際には、ユーザは、それら複数の静止フレームに対し
て直接に操作を加えれば良く。なおここでは、静止フレ
ーム６４〜６８を選択してそれらに操作を加えるものと
する。そして本発明においては、それら静止フレーム６
４〜６８に対応した、徒競走に関する夫々のビデオ・セ
グメントをコピーして、それらビデオ・セグメントを然
るべき順序に並べることができ、しかもその場合に、そ
れらビデオ・セグメントの境界部特定する作業を行なう
必要がなくなる。この種のユーザの対話操作は、当業界
において周知の多種多様な方法で実行することができ、
例えば、マウス等のポインティング・デバイスを使用す
る方法等がある。
【００１４】更には次のような操作も可能であり、即
ち、ユーザは、複数の静止フレームを選択した後に、そ
れら複数の静止フレームをまとめて１つにする、即ち、
それら複数の静止フレームによって表わされていた一連
のセグメントを、ただ１つの静止フレームによって代表
して表わすようにすることができる。この操作は頻繁に
行なわれるが、それは、本発明に係る編集作業によって
生成されるビデオ・セグメントは、ユーザの視点から見
て何らかの意味を持った集合体であり、そのような集合
体を構成している個々のシーンは、最初に作成されたオ
リジナルのビデオ・ソース・マテリアルの中では、必ず
しも連続しているとは限らないからである。この場合、
ユーザは、本発明によって可能とされているプロセスを
実行する際に、ある１つのシーケンスを成す一群の静止
フレームを選択した後に、そのシーケンスを代表して表
わす１つの静止フレームを選択すれば良い。
【００１５】以上に説明した複数の静止フレームを１つ
にまとめる操作の具体例として、例えばユーザが、静止
フレーム５２〜５６を１つにまとめることによって、休
暇のシーケンスを１つの静止フレームで表わしたいと考
えた場合には、例えば、日没の画像であるフレーム５６
を選択することによって、それら静止フレーム５２、５
４、及び５６が夫々にその中から選択されたビデオ・ソ
ース・マテリアルの夫々のセグメントを合わせた、その
全体のセグメントを、このフレーム５６が代表して表わ
すようにすることができる。同様に、もしユーザが、パ
レードと徒競走とがユーザ自身の考えではひとまとまり
のものであるため、静止フレーム６４〜７０をひとまと
めにしたいと考えたのであれば、例えば、徒競走のスタ
ート時の画像であるフレーム６４を選択して、ビデオ・
ソース・マテリアルのうち、パレードのセグメントと徒
競走のセグメントとを合わせた全体のセグメントを、こ
のフレーム６４が代表して表わすようにすることができ
る。
【００１６】ユーザが以上の２つの具体例の操作（複数
の静止フレームを１つにまとめる操作）を共に実行した
場合には、図１のシステムは、図２の画面に続いて、図
３に示した、次の画面５０を表示するようになる。この
図３の画面５０は、図２の画面５０から選択された静止
フレームから成り、従って、編集後の、編集前とは異な
った組合せで異なった順序の、複数の静止フレームを包
含している。ユーザは、この図３に示した簡易化されま
とめられた、新たなビデオ・シーケンスの表示を利用す
ることによって、ビデオ操作の一環として、各々のシー
ケンスに対応して、そのシーケンスに関係したシーンを
描き出している静止フレームを、ポインティング・デバ
イスで指定し、或いは選択するだけで、そのシーケンス
にアクセスすることができる。
【００１７】図３について更に詳細に説明すると、図２
では静止フレーム５２〜５６が付随していた、休暇のシ
ーケンスのビデオ・セグメントに対応した静止フレーム
として、図３では、静止フレーム５６だけが選択されて
ディスプレイされている。静止フレーム５８、６０、及
び６２は、その順序のままで引き続き表示されており、
これらは夫々が、家のあちこちを撮影してまわったセグ
メント、録音セッションのセグメント、及びテニスのシ
ーケンスを代表して表わしている。また更に、図２では
４つの静止フレーム６４〜７０に関連していたビデオ・
セグメントの全体を表わすために、図３では、ただ１つ
の静止フレーム６４だけが表示されている。従ってユー
ザは、図３の状態では、各々のシーケンスに対応して、
そのシーケンスに関係したシーンを描き出している静止
フレームを、ポインティング・デバイスで指定し、或い
は選択するだけで、そのシーケンスにアクセスすること
ができる。尚、この操作モードを利用しているときも、
ユーザが、フレームのレベルでのビデオへのアクセス
（即ち、特定のフレーム（コマ）へのアクセス）を行な
うことが妨げられることはない。更に、このシステム
は、システム１０が自動的に判定したシーンを、ユーザ
がディスプレイさせることができるようにしてあり、そ
れによって、ユーザが、必要に応じて、選択した境界部
を見たり、その境界部に対して修正を施したりすること
もできるようにしている。このシステムの、以上の形態
の操作並びに構成（この構成には、後に説明するアルゴ
リズムも含まれる）の重要な特徴は、それらによって、
ユーザが、文章で書かれた資料を通常取り扱うときの方
式と同様の方式で、ビデオを取り扱えるようになるとい
うことである。
【００１８】ここで説明している図３の具体例では、ユ
ーザは、静止フレーム５６〜６４のうちのいずれかをポ
インティング・デバイスで指定し、すなわち選択したな
らば、その後に、その選択した静止フレームに対応した
ビデオ・セグメント即ちシーンを、別のビデオ・テープ
或いは別のビデオ・セグメントへコピーすることがで
き、その際にビデオの一連のフレームを１つずつ見て行
く必要はない。それゆえ、例えば、ユーザは単に、カメ
ラ形録画機で撮影したビデオ・テープ等の、ディジタル
録画されているテープを装填し、図３に例示してあるよ
うな、対応したシーンを描き出している複数のフレーム
を表示している何頁かのディスプレイ画面をめくりなが
ら、所望の幾つかのシーンを選択し、選択したそれらシ
ーンを所望の順序に並べ、それにタイトルを付けるとい
う操作を行なうだけで、ユーザが選択したビデオ・セグ
メントだけを含み、それらビデオ・セグメントをユーザ
が指定した順序で並べた、新たなビデオ・テープを作成
することができる。以上の説明からも明らかなように、
ここで「ビデオ編集作業」と呼んでいる作業の中には、
娯楽、教育、或いはビジネス等の目的で、ビデオのシー
ケンス（即ち、一連の複数のビデオ・セグメント）を視
聴する際に、視聴すべきセグメントをリアルタイムで選
択する作業も含まれる。これは、雑誌の読み手が、雑誌
の記事のうちのどれとどれとを読むべきか、そして、そ
れらの記事をどのような順序で読むべきかを選択しつつ
読む場合に、そのことを、雑誌をリアルタイムで「編集
する」と言い表わすのに似ている。
【００１９】次に図４について説明する。本発明が利用
可能な用途は極めて多く、それら多くの用途を例示する
ために、図４では、更に別の実施例として、テレビ放送
の視聴に関係した用途について説明する。本発明は、ビ
デオ機器の機能を強化して、ユーザが見たいセグメント
だけを選択して見ることができるようにする機能を付加
することを含んでおり、このことから、多くのビデオ機
器関係の用途が生じている。この種の用途には、図２及
び図３の実施例で使用していたのと同様のロジックを利
用することができる。この種の用途の具体的な例につい
て説明すると、先ず、画像ソースとして、図１に示した
ビデオ・カセット・レコーダ（ＶＣＲ）１２が備えられ
ているものとする。このＶＣＲ１２に図２及び図３の具
体例のものと同様のロジックを組み込んでおくか、或い
は、コンピュータ１０を、そのロジックを実行できるよ
うにプログラムしておき、ＶＣＲ１２が、コンピュータ
１０との間のインターフェースを介してそのロジックを
利用できるようにしておく。この構成において、ユーザ
或いはコンピュータ１０が、ＶＣＲ１２に、所望のソー
ス・マテリアル（即ち、所望の番組）を録画させるべ
く、録画プログラムを施したものとする。録画させる番
組は、トークショー番組でも、ニュースショー番組でも
何でも良い。システム１０は、ＶＣＲ１２に、その所望
のソース・マテリアルを録画させるだけでなく、更に、
本発明に従って、上で説明したようにして、その録画さ
れたソース・マテリアル（例えば、トークショー番組）
の中の、シーン遷移部を表わしているフレームを自動的
に特定する。
【００２０】この後、録画されたそのソース・マテリア
ルをユーザが視聴しようとしたときに、このシステム
は、図２及び図３のものと同様の画面５０をユーザに提
示して、ユーザがその画面５０を調べることができるよ
うにする。こうして提示された画面は、上の具体例と同
様に、数頁分の静止フレームを含んでいることもある。
それら静止フレームは、録画されたソース・マテリアル
の内容を表わしており、更に詳しくは、それら静止フレ
ームの各々が、録画されたソース・マテリアルの中の、
然るべき境界部、即ちシーン遷移部を表わしている。ユ
ーザは、この具体例の場合にも、個々の静止フレームが
表わしているシーンのうちから、自分が見たいシーン
を、ポインティング・デバイスで指定するか、或いは選
択することができ、またシーンのシーケンスの順序を上
で説明したようにして指定することができ、これらの操
作を行なったならば、ＶＣＲ１２、或いはＶＣＲ１２と
コンピュータ１０とから成る組合せが、ビデオの再生を
行なって、モニタ１６上に、ユーザが選択したセグメン
トだけを、ユーザが指定した順序でディスプレイする。
【００２１】図４に関する以上の説明の具体例として、
あるトークショー番組に、あるスター歌手が出演するこ
とが予告されたため、ユーザが、そのトークショー番組
をテープに録画することにした場合について説明する。
録画したテープの再生開始と共に、ユーザはモニタ上に
画面５０が映し出されるのを見る。その画面５０は、録
画されたソース・マテリアルから、コンピュータが本発
明に従って選択した複数の（例えば先頭から１２個の）
シーン、即ち静止フレームを含んでいる。ここでは、そ
れら１２個のシーンのうちのどの１つにも、目当ての歌
手を含んでいるビデオ・シーケンスであることを思わせ
るものが、含まれてはいなかったものとする。そのため
ユーザが頁をめくって次のディスプレイ画面をを表示さ
せたところ、その表示された画面が、図４に示した画面
であったものとする。
【００２２】ユーザは、目当てのスター歌手の顔が、静
止フレーム７０に映し出されていることに気付き、更
に、静止フレーム７２が、静止フレーム７０に映し出さ
れているスター歌手と一緒に歌っているグループのパフ
ォーマンスのビデオ・シーケンスに対応した静止フレー
ムであることに気付く。そのためユーザは、静止フレー
ム７０及び７２を選択する。この選択が行なわれると、
本発明のシーン選択ロジックを構成しているところの、
ＶＣＲ或いは該ＶＣＲとコンピュータとの組合せが、録
画してあるソース・マテリアルのうちの、静止フレーム
７０に関係したビデオ・セグメントのディスプレイを開
始する。静止フレーム７０に関係したビデオ・セグメン
トのディスプレイが完了したならば、システム１０は、
それに続けて、フレーム７２に関係したビデオ・セグメ
ントのディスプレイをを開始する。こうして、選択され
たフレーム７０及び７２に対応した、ユーザが望んだビ
デオ・シーケンスのディスプレイが完了したならば、シ
ステム１０は、図４の画面５０のディスプレイに戻り、
それ以後のユーザの所望の操作を可能にする。
【００２３】以上から分かるように、上に説明した種々
の機能を好適に実施することのできる形態は１つではな
く、様々なものがある。先ず、上で述べたように、一実
施例として、ＶＣＲ１２に接続したコンピュータ１０に
処理の機能及び格納の機能を担当させるようにしても良
く、また、別実施例として、ＶＣＲ１２それ自体の内部
で、それら機能の一部ないし全てを実行させるようにし
ても良い。更に、一実施例として、例えば図４に示した
静止フレーム６０〜７４等の、シーンの画像、即ち静止
フレームを、ＶＣＲ１２の内部メモリに格納するように
しても良く、そうする場合には、ＶＣＲ１２を、デジタ
イザ及びプロセッサを備えたものとしておくことが好ま
しい。加えて、更に別の実施例として、これまでに説明
した種々の機能を、ＶＣＲがそのとき記録している信号
をインターセプトするようにしたスタンド・アローン形
のボックスとして構成しても良く、またそのボックスが
更に、認識した各々のシーンの位置を表わす位置情報
（例えば、そのシーン即ちビデオ・セグメントの開始及
び終了の時刻等）を提供できるようにしておいても良
い。以上で、本発明の操作法の全体の概要についての説
明を終了する。これより、図６を参照しつつ、システム
１０の中で実行する方法について更に詳細に説明すると
共に、本発明によって提供される情報の詳細についても
説明する。
【００２４】図１のコンピュータ１０をプログラムし
て、ディジタル形式に変換した後のビデオ・ソース・マ
テリアルを構成している複数のビデオ・フレームを調べ
るための上述の方法を実行させるようにするためには、
そのメモリの中に格納してある機能を用いてプログラム
することが好ましい。また、上述の方法を実施するため
には、個々のフレームに固有の複数種類の変数値を算出
した上で、それら変数値に基づいて所定のロジックを実
行することにより、シーン遷移が存在している可能性が
高いか否かを判定するようにする。１つの実施例におい
ては、上述の方法を実行する上で、連続する幾つかのフ
レームに関して、それら各フレームの変数値の集合をセ
ーブすることによって、このシーン境界部の判定を行な
うようにしている。尚、図１のシステムには、シーン境
界部の判定のためだけの専用のディジタル化のプロセス
を実行させるようにすることもでき、そうした場合に
は、本発明のロジックを、予めディジタル化してあるビ
デオ・ソース・マテリアルに対してばかりでなく、アナ
ログ形式のビデオに対しても、リアルタイムで適用する
ことが可能になる。従って本発明は、ディジタル・ビデ
オのビデオ情報に対してだけ適用されるものではなく、
アナログ・ビデオに対しても同様に適用可能なものであ
る。
【００２５】好適実施例においては、シーン遷移部を識
別する方法を、ユーザが任意に調節制御を加えることに
よって、その識別の感度を調節できるものにしている。
具体的には、このシーン遷移部を識別する方法において
は、識別されて取り出されるシーンの個数や望ましい正
確度等についての、ユーザが見積もって入力する値を受
け入れ、その後にプロセスの結果としての、然るべき順
序の静止フレームのシーケンスを提示するようにしてあ
る。好適実施例においては、このシーケンスに含まれる
静止フレーム（例えば図３に示したもの）は、幾つかの
特質を備えている。それら特質の第１は、既述の如く、
処理後の（即ちディジタル化した）ビデオから、１つの
ビデオ・セグメント即ちシーンに対応すべき１つの（或
いは幾つかの）静止フレームが自動的に選択されるとい
うことである。更に、このシーケンスの中の各々の静止
フレームは、その静止フレームに対応したビデオ・セグ
メントを構成している複数のフレームのうちから選択さ
れるのであるが、その際の選択方法にも幾つかの種類が
あり、それら選択方法の中には、コンピュータ１０が容
易に実行することのできる比較的簡明な方法であるとい
う理由で、ある種の場合に最適な方法とされるものもあ
る。具体的には、対応したビデオ・セグメントを構成し
ている複数のフレームのうちの先頭フレームを選択する
という方法もあり、或いは、対応したビデオ・セグメン
トを構成している複数のフレームのうちの丁度中央に位
置しているフレームを選択するという方法もあり、更に
は、対応したビデオ・セグメントを構成している複数の
フレームのうちに、同じ画像のフレームが多数ある場合
に、最も枚数の多い画像のフレームを選択するという方
法もある。
【００２６】続いて、画面５０のディスプレイの仕方に
ついて説明する。図１のシステムは、個々の静止フレー
ムに対応したシーン（ビデオ・セグメント）の開始フレ
ームが、ディジタル化したビデオのシーケンスの中の何
番目のフレームであるのかを表わす開始フレーム番号
と、それと同様の、そのシーンの終了フレーム番号と
を、表示できるようにしておくことが好ましい。更にこ
のシステムは、その１つの実施態様として、個々の静止
フレームが真正のシーン境界部に実際に対応している確
率を表わす値を算出するようにしておいても良い。この
ようにしておけば、識別されて取り出された幾つものシ
ーン（ビデオ・セグメント）及びそれらを表わす静止フ
レームに対して、ユーザが（或いは自動的に実行される
選択プロセスが）、それらのうちのあるものを削除した
り、それらのうちの幾つかを組合せたりする処理を行な
う際に、判断基準となる情報を与えられた上で、その処
理のための判断を下すことができるようになる。また用
途によっては、シーン（ビデオ・セグメント）の識別の
ための感度レベルを調節可能にしておくことが非常な重
要なこともある。即ち、場合によっては、１本のテープ
の内容を、できれば１頁のディスプレイ画面５０から、
そしてそれが無理ならば、多くともせいぜい数頁程度の
ディスプレイ画面５０から把握できるようにしたいこと
があり、そのためには、シーンのうちの幾つかを見逃す
ことがあっても構わないという場合もある。
【００２７】次に、図５〜図７、及び図８〜図１５を参
照しつつ、シーンの解析を実行するための好適実施例に
係る方法を開示する。この方法では、図８に示す画像シ
ーケンス１００の中の個々の画像１０２の各々につい
て、所定の複数種類の特性値を算出する。ある画像のそ
れら特性値の集合を、その画像の「指紋」、或いは、そ
の画像の「シグニチャ」と呼ぶ。指紋の算出が完了した
ならば、各々の画像１０２の指紋を、画像シーケンス１
００の中のその他の複数の画像１０２の指紋と比較する
ことによって、シーン遷移が存在している点を判定す
る。
【００２８】この方法では先ず最初に、処理を容易にす
るための工夫として、各画像１０２（図８）の解像度を
１Ｋピクセルに低下させる（ブロック８０）。続いて、
それらピクセルの各々に、予め、重み付け係数を与えて
おく（ブロック８１）。この重み付け係数は、画像の中
央領域が重視され、周辺領域が軽視されるように定めて
あり、これによって、サブジェクトがフレーム（被写
界）からゆっくりと出て行くときに、急激な変化が生じ
ることのないようにしている。続いて、解像度を低下さ
せた画像１０４の中の全てのピクセル１０６に亙っての
（所定の複数種類の）合算値を求める。それら複数種類
の合算値は、下の表１に列挙した通りである。続いて、
それら合算値の全てを、重み付け係数の合算値で割っ
て、夫々の商を求め、これによって、その画像の全ピク
セルに亙る特性値の平均値を算出する（ブロック８
２）。具体的には、例えば、第４番目の「Ｒ２」という
名の特性値は赤色の値の二乗平均値に対応している。こ
うして様々な合算値を使用して、その画像の所定の複数
種類の特性値を導出するようにしており、それら特性値
については、下の表１の中では「意図」と書かれている
欄に、説明してある。
【表１】
【００２９】各画像について、その画像における複数種
類の合算値を算出したならば、更に下の表２に示した夫
々に式に従って、それら合算値から複数種類の固有の特
性値を算出することにより、それら固有の特性値を分離
する（ブロック８３）。具体的な例を挙げるならば、例
えば、輝度だけが変化した場合には、特性値Ｐ１はその
影響を受けるが、その他の特性値はいずれも、正規化に
よってその影響が排除されるため、その影響を受けな
い。各々の特性値によって表わされている特性について
の説明は、下の表２の中の「特性」と書かれている欄に
記入してある。表２に示した１６種類の特性値から成る
特性値集合を、その画像の指紋と呼んでいる。
【表２】
【００３０】このようにして得た夫々の画像の指紋に基
づいて、図９に示したように、２つの画像の間の差分値
ＤABを算出する（ブロック８４）。図９の例では、画像
シーケンス３００から「画像Ａ」３０２と「画像Ｂ」３
０４とを選択しており、式３０６に従って、それら２つ
の画像の間の差分値を算出している。この差分値は、２
つの画像の指紋の中に含まれている、個々の特性値どう
しの間の差の２乗値をすべて合算した値である。このシ
ステムの最も基本的な形態として、この段階で、隣接す
る（即ち連続する）画像どうしの間の差分値を調べ、そ
の差分値の大きさが所定のスレショルド値を超えていた
ならば、そこにシーン遷移部であることを示すマーキン
グを施すようにする（ブロック８５）ことも考えられ
る。ただし、このような簡単な方法では、急速に発生す
るが一時的なものでしかないシーンの変化（例えば、カ
メラの前を人が横切ったり、フラッシュがたかれたりし
たときの変化）によって、たちまち誤った判定を下すこ
とになる一方で、ゆっくりとしたシーン遷移（例えば、
フェードインやフェードアウト等の場合）は、見逃して
しまうおそれがある。そこで、図１０には、この種の不
都合を矯正することを意図した好適実施例を示してい
る。
【００３１】図１０の好適実施例では、システムは、時
刻Ｚにおける変化値ＣZを、次のようにして算出するよ
うにしている。過去の重み付け領域４０２の関数と、未
来の重み付け領域４０４の関数との、２つの重み付け関
数を、時刻Ｚを中心として（即ち、時刻Ｚを現在時刻と
して）定める（図６のブロック８６）。過去の重み付け
領域の幅は２０秒とするのが好ましく、未来の重み付け
領域の幅は３秒とするのが好ましく、更に、過去の重み
付け領域４０２と未来の重み付け領域４０４との間には
空白域４１２を設けてあり、この空白域の幅は、０．５
秒とするのが好ましい。尚、これらの領域幅の大きさ
は、ユーザが変更できるようにしている。一時的なもの
でしかないシーンの変化（例えば、フラッシュがたかれ
たり、カメラの前を人が横切ったり、或いは、水に浮か
んでいるボートが急に揺れたりしたときの変化）が発生
した場合には、このシステムは、その変化に対し、ディ
スプレイ上に（静止フレームによって）表示すべき事象
であることを示すマーキングを施す前に、しばらくの
間、その変化が止んで元の状態に復するのを待つことに
なるが、この待ち時間の長さは、未来の重み付け領域４
０４の幅によって決まる。
【００３２】一方、過去の重み付け領域４０２の幅は、
システムが過去と未来との間の類似性を発見するため
に、どれほど前までを考慮すべきかを定めている。この
過去の重み付け領域４０２の幅を小さくすれば、シーン
遷移部がより良く捕捉されてディスプレイされるように
することができ、一方、この過去の重み付け領域４０２
の幅を大きくすれば、比較的大きなシーン変化が発生し
たときに限って、そのシーン遷移部が捕捉されてディス
プレイされるようにすることができる。後者は、通常、
かなり長いストーリの中の主要な出来事にのみ、予めざ
っと目を通しておきたいという場合に優れている。現在
時点に設けた空白領域４１２の幅は、遷移の速度に対す
る感度を定めるものである。即ち、この空白領域４１２
の幅をゼロにすれば、ビデオ操作に関連した急激な遷移
だけが正確に発見されるようになり、これは、編集を施
していないマスター・テープをスキャンして、カメラの
撮影開始点を捜し出す場合等に適している。一方、この
空白領域４１２の幅を大きくするにつれて、フェードイ
ンやフェードアウト、それにサブジェクトの変化が強調
されるようになる。ユーザがこの種の遷移を解析して発
見したいと考えるのは、通常、ユーザが、市販のビデオ
・ソフトをスキャンして、その中のサブジェクトの変化
を捜し出そうとしている場合である。
【００３３】更に図１０に関連して説明を続ける。この
システムは、現在時刻Ｚを基準とした相対的未来の中の
各々のシーンと、相対的過去の中の各々のシーンとの間
の差分値ＣZを算出する（ブロック８７）。この差分値
は、過去重み付けの関数値と未来重み付けの関数値との
積によって重み付けされており、それら重み付け関数の
値の具体例としては、図中には、画像Ａ（すなわち時刻
Ａ）における値を直線４０６の長さで表わし、画像Ｂ
（すなわち時刻Ｂ）における値を直線４０８の長さで表
わしてある。このシステムは、画像どうしの間の相違を
検出するというよりは、むしろ、画像どうしの間の類似
性を検出するようにしているのであり、それゆえ、大ま
かに言えば、大きな相違よりも、小さな相違の方が強調
されるようにすることが重要である。この方法では、こ
れを達成するために、「ＤAB」の逆数の平均値の逆数を
算出するようにしており、この計算は、図１０の式４１
０に従って行なう（ブロック９０）。なお、図１０の式
４１０において、Ａは過去を、Ｂは未来を示し、すべて
の過去及び未来の重み付け関数値に関しての合算値を求
めている。
【００３４】過去及び現在の全ての画像の間の差分値を
求めることは、それほど面倒なことではない。考慮対象
とすべき時間領域の幅は、上述の２つの重み付け関数の
値のいずれかが「０」でない値を取っている時間領域の
中に限られている。２つの画像の間の差分値を求めたな
らば、その差分値を格納しておき（ブロック８８）、未
来の時刻Ｚに関して差分値を求める際には、再度計算し
直すのではなく、単に、ここで格納したおいた差分値を
読み出すようにすれば良い。重み付け領域の幅を上に例
示した値とし、また、コマおくり速度を毎秒３０画像と
いう速度にした場合には、このシステムが１つのフレー
ムについて算出する必要のある差分値は６００個にな
る。尚、これに関して、処理を容易にするための工夫と
して、このシステムはみずからが処理すべきフレーム
を、３０分の１秒ごとのフレーム（即ち、全てのフレー
ム）ではなく、５分の１秒ごとのフレームに限ることが
できるようにしてあり、こうしても特に不都合が生じる
ことはなく、これによって処理すべきフレームの数は６
分の１に、また、必要な計算処理の回数は３６分の１に
減じることができる。
【００３５】各々の画像について、その画像の、画像シ
ーケンスの中における差分値を算出したならば、続いて
このシステムは、図１１に示すように、その差分値の変
化をグラフにすることによって、曲線５０２を得る（ブ
ロック９１）。このシステムでは、更に精度を向上させ
るための工夫として、５分間の幅のウィンドウを用い
て、この曲線５０２の変化値の平均値を算出し、こうし
て得られた５分間平均値をグラフにすることによって、
より緩やかに変化する平均変化値曲線５０４を生成する
ようにしている（９２）。続いて、変化値曲線５０２の
中の各サンプル値を、そのサンプル値に対応する平均変
化値曲線５０４の平方根で割ることによって、関数曲線
５１０を算出し（即ち、変化値曲線５０２を正規化して
関数曲線５１０とし）、この方法では、この関数曲線５
１０を以後の処理において使用する。この正規化のステ
ップ（ブロック９３）は、画像中のアクションが緩やか
なものであるときには小さなシーン遷移を強調して、細
かな変化が見過ごされることがないようにする一方で、
大きなアクションのシーンでは、余りにも多くのシーン
変化が検出されてシステムに過大な負担がかかることが
ないようにするためのステップである。尚、この正規化
のステップにおいて、変化値曲線５０２の平均値を平均
変化値曲線５０４の平均変化値そのもので割るのではな
く、平均変化値の平方根で割るようにしているのは、大
きなアクションのシーンに対しては、この正規化のステ
ップの効果を半減させるためであり、これによって、実
際に、大きなアクションのシーンの方が、小さなアクシ
ョンのシーンよりも、多くのシーン遷移部が検出される
ようにしているのである。
【００３６】以上のように変化値曲線を正規化して図１
２の関数曲線５１０を生成したならば、システム１０は
続いて、この関数曲線５１０の中の最大変化値の点５１
２を選択し、この点５１２に対して、それが第１遷移部
であることを示すマーキングを施す（ブロック９４）。
続いてシステムは、関数曲線５１０の値にデジッタ重み
付け関数５１４の値を乗じることによって、この選択し
た点５１２の近傍における変化値に抑制を施す（ブロッ
ク９５）。デジッタ重み付け関数５１４は、その中心点
から有効域の一方の端部までの長さを、上述の未来重み
付けの関数（４０４）の領域幅に対応した長さとするこ
とが好ましい。それゆえ図示例では、デジッタ重み付け
関数５１４のその中心点から有効領域の一方の端部まで
の好適な長さは３秒であり、従って、このデジッタ重み
付け関数５１４の有効領域の全幅は６秒である。この変
化値の抑制のステップは、特殊効果を用いた場合等に発
生する短時間のうちの頻繁な画面の変化によって、シス
テムに過大な負担がかかるのを防止している。
【００３７】続いて図１３について説明する。システム
１０は、以前の関数曲線５１０の値に、直前に発見した
第１遷移部に位置を合わせたデジッタ重み付け関数５１
４の値を乗じて得た修正後関数曲線５２０を対象として
サーチを行なう（図７のブロック９６）。そして、この
修正後関数曲線５２０の中の最高値５２２に、それが第
２遷移部であることを示すマーキングを施す（ブロック
９７）。これ以後、以上のプロセスを反復して実行し
て、全ての遷移部を検出する（ブロック９８）。この反
復実行によって最終的には、修正後関数曲線が、主要な
遷移部を全て取り出された状態になる。そして、図１４
に示すように、残っている最大変化値がスレショルド値
５３２よりも小さくなったならば、システム１０は、全
てのシーン変化部の検出が完了したことを宣言する。こ
のスレショルド値は固定した値としても良いが、これを
可変値とするのも１つの方法である。即ち、このスレシ
ョルド値を、処理の初めは小さな値にしておき、処理が
進んで、検出されたシーン変化部の個数が増えるにつれ
て、次第に大きな値にするようにしても良い。このよう
にすれば、とりわけ変化の少ない単調なシーケンスで
は、変化部がほんの僅かな個数しか検出されないためス
レショルド値が小さな値に保たれ、その結果、小さな変
化でも検出されてマーキングされ易くなり、一方、長い
アクション映画の解析を行なっているときには、大きな
出来事しか、システムによって選択されなくなるため、
その映画の概略的なストーリーを１頁の画面に包含し得
る枚数の静止画像だけで一覧できるようになる。
【００３８】システム１０は、検出すべきシーン変化部
の全ての検出を完了したならば、続いて、各々のシーン
・シーケンスの中から、そのシーン・シーケンスを代表
して表わすのに最も適した１つの画像を選択する処理に
取りかかる。この代表的画像の選択を行なうための方法
について、図１５を参照しつつ説明する。先ず、第１遷
移部６０４と第２遷移部６０６との間に存在しているシ
ーケンス６０２の中のある１つの画像６００について、
その画像６００と、このシーケンス６０２の中のその他
全ての画像の夫々との間の差分値を算出する（ブロック
９９）。それら差分値の平均値が、その画像６００が、
そのシーンの全体をどれ程良く代表しているかの指標と
なる（ブロック１０１）。以上のプロセスをこのシーケ
ンス６０２の中のその他全ての画像について反復して実
行する（ブロック１０３）。そして、差分値の平均値が
最も小さい画像を、そのシーンを最も良く代表する画像
とする（ブロック１０５）。図示例では、システムは、
画像６００をもって、シーン（シーケンス）６０２を最
も良く代表する画像として特定しており、また、第２遷
移部より後に存在している最後のシーン（シーケンス）
６１２については、例えば、チェシャー・キャット
（「不思議の国のアリス」に出てくる猫）の顔の画像６
１０をもって、そのシーン（シーケンス）６１２を最も
良く代表する画像として特定している。
【００３９】
【発明の効果】本発明は以上のように構成されているの
で、ビデオの編集作業において、一連のビデオ・セグメ
ントの間の境界部を明瞭に識別することができ、フラッ
シュがたかれたりカメラの前を人が横切ったりしたこと
によって生じる一時的なシーンの変化と、セグメント間
の境界部とを、識別することができる。したがってシー
ンの変化を確実に検出でき、ビデオ・セグメントの統
合、及び該セグメントの並び替え等の編集作業を容易に
行うことができる。
【図面の簡単な説明】
【図１】本発明のシステム及び方法を実施するために使
用することのできる典型的なコンピュータ・システムを
示したブロック図である。
【図２】図１に示したモニタに映し出されたディスプレ
イ画面であって、各々が対応するビデオ・シーン即ちビ
デオ・セグメントを代表している複数の静止フレームを
表示しているディスプレイ画面の模式図である。
【図３】図１に示したモニタに映し出されたディスプレ
イ画面の一例であって、図２の複数の静止フレームのう
ちの一部の順序を並べ換え、それによって得られたディ
スプレイ画面の模式図である。
【図４】図１に示したモニタに映し出される可能性のあ
る、更に別のディスプレイ画面の一例であって、テレビ
放送番組や、ビデオ・テープ等のソース・マテリアルの
視聴を行なうのに適するようにした、複数のビデオ・セ
グメントに個々の静止フレームが対応している、ディス
プレイ画面の模式図である。
【図５】図１に示したコンピュータ・システムが、ビデ
オ・セグメント間の境界部（遷移部）を検出するために
実行するコンピュータ・プログラムのフローチャートの
一部であり、図６及び図７とつながるフローチャートで
ある。
【図６】図５に示したステップに続いて実行されるコン
ピュータ・プログラムのフローチャートである。
【図７】図６に示したステップに続いて実行されるコン
ピュータ・プログラムのフローチャートである。
【図８】解析すべき複数のシーン画像からなる画像シー
ケンスの一例を示した説明図である。
【図９】図８の画像シーケンスに関して、画像の差分値
を導出する処理の一例を説明する説明図である。
【図１０】時刻Ｚにおける差分値Ｃz を算出する処理を
例示した説明図である。
【図１１】各々の画像の、図８の画像シーケンスにおけ
る差分値から成る、変化値曲線を示したグラフである。
【図１２】図１１の変化値曲線に対応した、正規化した
変化値曲線（関数曲線）のグラフである。
【図１３】修正後の関数曲線をサーチして、その中の遷
移部の位置を特定する処理を例示した説明図である。
【図１４】最大変化値の位置に対応したシーン遷移部の
位置を特定する処理が完了し、残っている最大変化値
が、スレショルド値より小さくなっている状態を示した
説明図である。
【図１５】各々の画像シーケンスの中から、その一連の
シーンを最も良く代表して表わす画像を選択してその位
置を特定する処理を例示した説明図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 スティーブン・クレイグ・ペン アメリカ合衆国78628、テキサス州 ジ ョージタウン、トンカワ・トレイル 6005番地 (56)参考文献 特開 平１−133481（ＪＰ，Ａ) 特開 平２−73587（ＪＰ，Ａ) 特開 平２−184181（ＪＰ，Ａ) 特開 平４−207878（ＪＰ，Ａ) 特開 昭64−68084（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 5/91 H04N 5/262 H04N 5/78 H04N 5/782 G06T 13/00

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】一連のビデオ・セグメントを有するビデオ
    を編集するためのコンピュータ・システムにおいて使用
    する方法であって、 前記ビデオの内容を前記コンピュータ・システムで自動
    的に分析するステップであって、該分析するステップ
    は、パレット及び構図に応じて、前記ビデオ・セグメン
    トの異なるイメージから特性を検出するステップと、前
    記異なるイメージに応じた指紋を生成するステップと、
    を含む分析するステップと、 前記分析するステップに応答して、前記ビデオ・セグメ
    ント間のビデオ・セグメント・フレーム境界を自動的に
    選択するステップであって、該選択するステップは、或
    る時刻を境にそれ以前のビデオ・セグメントと関連付け
    られる過去の重み付け関数と、前記或る時刻以降のビデ
    オ・セグメントと関連付けられる未来の重み付け関数を
    生成するステップと、前記過去の重み付け関数と前記未
    来の重み付け関数の差分値を決定するステップと、前記
    差分値の変化値を正規化するステップと、前記正規化す
    るステップにより生成される関数曲線の最大変化値に基
    づいて前記セグメント・フレームの境界部を選択するス
    テップと、前記セグメント・フレームの境界部を表す指
    標を表示するステップと、を含むビデオ・セグメント・
    フレーム境界を自動的に選択するステップと、 前記セグメント・フレームの境界部を自動的に選択する
    ステップに応じて、前記ビデオ・セグメントの異なるイ
    メージから前記ビデオ・セグメントの代表的なイメージ
    を自動的に検出するステップであって、前記ビデオ・セ
    グメント間のイメージの変化の違いを決定するステップ
    と、前記イメージ間の前記変化の違いの平均値を算出す
    るステップと、前記平均値が一番低いイメージを選択す
    るステップとを含む、前記ビデオ・セグメントの代表的
    なイメージを自動的に検出するステップと、を具備する
    方法。
  2. 【請求項２】前記指標を選択するステップと、 選択した前記指標の順番に、前記指標に対応する前記ビ
    デオの一連のフレームを有する前記ビデオ・セグメント
    を表示するステップと、をさらに含むことを特徴とする
    請求項１に記載の方法。
  3. 【請求項３】一連のビデオ・セグメントを有するビデオ
    を編集するためのコンピュータ・システムであって、 前記ビデオの内容を前記コンピュータ・システムで自動
    的に分析する手段であって、該分析する手段は、パレッ
    ト及び構図に応じて、前記ビデオ・セグメントの異なる
    イメージから特性を検出する手段と、前記異なるイメー
    ジに応じた指紋を生成する手段と、を含む分析する手段
    と、 前記分析する手段に応答して、前記ビデオ・セグメント
    間のビデオ・セグメント・フレーム境界を自動的に選択
    する手段であって、該選択する手段は、或る時刻を境に
    それ以前のビデオ・セグメントと関連付けられる過去の
    重み付け関数と、前記或る時刻以降のビデオ・セグメン
    トと関連付けられる未来の重み付け関数を生成する手段
    と、前記過去の重み付け関数と前記未来の重み付け関数
    の差分値を決定する手段と、前記差分値の変化値を正規
    化する手段と、前記正規化する手段により生成される関
    数曲線の最大変化値に基づいて前記セグメント・フレー
    ムの境界部を選択する手段と、前記セグメント・フレー
    ムの境界部を表す指標を表示する手段と、を含むビデオ
    ・セグメント・フレーム境界を自動的に選択する手段
    と、 前記セグメント・フレームの境界部を自動的に選択する
    手段に応じて、前記ビデオ・セグメントの異なるイメー
    ジから前記ビデオ・セグメントの代表的なイメージを自
    動的に検出する手段であって、前記ビデオ・セグメント
    間のイメージの変化の違いを決定する手段と、前記イメ
    ージ間の前記変化の違いの平均値を算出する手段と、前
    記平均値が一番低いイメージを選択する手段とを含む、
    前記ビデオ・セグメントの代表的なイメージを自動的に
    検出する手段と、を具備するコンピュータ・システム。
  4. 【請求項４】前記指標を選択する手段と、 選択した前記指標の順番に、前記指標に対応する前記ビ
    デオの一連のフレームを有する前記ビデオ・セグメント
    を表示する手段と、をさらに含むことを特徴とする請求
    項３に記載のコンピュータ・システム。
JP5162680A 1992-08-12 1993-06-30 ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法 Expired - Fee Related JP2994177B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US92906392A 1992-08-12 1992-08-12
US929063 1992-08-12

Publications (2)

Publication Number Publication Date
JPH06209451A JPH06209451A (ja) 1994-07-26
JP2994177B2 true JP2994177B2 (ja) 1999-12-27

Family

ID=25457266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5162680A Expired - Fee Related JP2994177B2 (ja) 1992-08-12 1993-06-30 ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法

Country Status (4)

Country Link
US (1) US5537530A (ja)
EP (1) EP0590759B1 (ja)
JP (1) JP2994177B2 (ja)
DE (1) DE69322470T2 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3823333B2 (ja) * 1995-02-21 2006-09-20 株式会社日立製作所 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム
JPH11506575A (ja) 1995-03-07 1999-06-08 インターバル リサーチ コーポレイション 情報の選択記憶システム及び方法
AU7673896A (en) * 1995-11-09 1997-05-29 Omni Rehab Systems, Inc. Interactive touchscreen workstation for generating patient-specific physical therapy videotapes
US6118925A (en) * 1995-11-14 2000-09-12 Hitachi Denshi Kabushiki Kaisha Method of and system for confirming program materials to be broadcasted and then broadcasting the program materials, and recording medium having recorded therein a procedure for implementing the method
US5758181A (en) * 1996-01-22 1998-05-26 International Business Machines Corporation Method and system for accelerated presentation of segmented data
JP3432348B2 (ja) * 1996-01-30 2003-08-04 三菱電機株式会社 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置
GB2312078B (en) * 1996-04-12 1999-12-15 Sony Corp Cataloguing video information
US6084581A (en) * 1996-05-10 2000-07-04 Custom Communications, Inc. Method of creating individually customized videos
US5740388A (en) * 1996-05-10 1998-04-14 Custom Communications, Inc. Apparatus for creating individually customized videos
JP3620146B2 (ja) * 1996-05-15 2005-02-16 カシオ計算機株式会社 デジタルカメラ
JP3377677B2 (ja) * 1996-05-30 2003-02-17 日本電信電話株式会社 映像編集装置
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6263507B1 (en) 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
USRE38401E1 (en) * 1997-01-16 2004-01-27 Obvious Technology, Inc. Interactive video icon with designated viewing position
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6340971B1 (en) * 1997-02-03 2002-01-22 U.S. Philips Corporation Method and device for keyframe-based video displaying using a video cursor frame in a multikeyframe screen
WO1998037558A2 (en) * 1997-02-21 1998-08-27 Koninklijke Philips Electronics N.V. Method of and arrangement for recording and reproducing video images
US5973734A (en) 1997-07-09 1999-10-26 Flashpoint Technology, Inc. Method and apparatus for correcting aspect ratio in a camera graphical user interface
WO1999005865A1 (en) * 1997-07-22 1999-02-04 The Board Of Trustees Of The University Of Illinois Content-based video access
JP3276596B2 (ja) * 1997-11-04 2002-04-22 松下電器産業株式会社 動画像編集装置
US6628824B1 (en) 1998-03-20 2003-09-30 Ken Belanger Method and apparatus for image identification and comparison
GB9817421D0 (en) * 1998-08-11 1998-10-07 Danmere Limited Interactive television control/operating system
JP3453312B2 (ja) * 1998-09-03 2003-10-06 株式会社リコー 映像ストリームの構造解析過程表示方法
US6658202B1 (en) * 1998-09-09 2003-12-02 Smartdisk Portable data transfer and mass storage device for removable memory modules
US6987927B1 (en) * 1998-09-09 2006-01-17 Smartdisk Corporation Enhanced digital data collector for removable memory modules
DE19859087A1 (de) 1998-12-10 2000-06-15 Arnold & Richter Kg Verfahren zur Trennung von auf Medien wie Laufbildfilmen, Videobändern o. dgl. gespeicherten Bildfolgen in Einzelsequenzen
US6317141B1 (en) 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
US7075683B1 (en) * 1999-02-15 2006-07-11 Canon Kabushiki Kaisha Dynamic image digest automatic editing system and dynamic image digest automatic editing method
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US7242847B1 (en) * 1999-06-18 2007-07-10 Intel Corporation Systems and methods for editing video streams using a grid-based representation
AU6515400A (en) * 1999-08-03 2001-02-19 Videoshare, Inc. Method and system for sharing video over a network
US8464302B1 (en) 1999-08-03 2013-06-11 Videoshare, Llc Method and system for sharing video with advertisements over a network
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US6801294B2 (en) * 1999-10-19 2004-10-05 Samsung Electronics Co., Ltd. Recording and/or reproducing apparatus and method using key frame
US7702014B1 (en) 1999-12-16 2010-04-20 Muvee Technologies Pte. Ltd. System and method for video production
US6636220B1 (en) * 2000-01-05 2003-10-21 Microsoft Corporation Video-based rendering
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
US20080147786A1 (en) * 2000-02-03 2008-06-19 Gad Liwerant Method and system for sharing video over a network
WO2001067772A2 (en) 2000-03-09 2001-09-13 Videoshare, Inc. Sharing a streaming video
US6901110B1 (en) 2000-03-10 2005-05-31 Obvious Technology Systems and methods for tracking objects in video sequences
US7334191B1 (en) * 2000-05-09 2008-02-19 International Business Machines Corporation Segmentation and detection of representative frames in video sequences
KR100694238B1 (ko) * 2000-09-28 2007-03-14 가부시키가이샤 리코 구조편집방법, 영상구조편집방법, 오브젝트의 내용구조관리방법, 오브젝트의 내용구조표시방법, 컨텐츠관리방법 및 기록매체
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
EP1227417A3 (en) * 2001-01-25 2005-06-01 Ensequence, Inc. Selective viewing of video based on one or more themes
US20020108112A1 (en) * 2001-02-02 2002-08-08 Ensequence, Inc. System and method for thematically analyzing and annotating an audio-visual sequence
US7280738B2 (en) 2001-04-09 2007-10-09 International Business Machines Corporation Method and system for specifying a selection of content segments stored in different formats
JP2004520674A (ja) * 2001-04-25 2004-07-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーディオビジュアル情報をコピー及び処理する方法及び装置
FR2824690B1 (fr) * 2001-05-10 2003-12-12 Sagem Decodeur de television numerique avec moyens de sequencage d'informations video et procede associe
WO2003001788A2 (en) * 2001-06-25 2003-01-03 Redhawk Vision Inc. Video event capture, storage and processing method and apparatus
US20030030852A1 (en) * 2001-07-17 2003-02-13 Yesvideo, Inc. Digital visual recording content indexing and packaging
GB2406737B (en) * 2001-07-20 2005-10-05 Hewlett Packard Co System and method for detecting the border of recorded video data
US7391436B2 (en) * 2001-08-28 2008-06-24 Canon Kabushiki Kaisha Image processing apparatus with comparing of difference of camera operation information between image data of plural sections in input image data
US7242809B2 (en) * 2003-06-25 2007-07-10 Microsoft Corporation Digital video segmentation and dynamic segment labeling
JP4166707B2 (ja) * 2004-01-20 2008-10-15 パイオニア株式会社 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム
US7197013B2 (en) * 2004-03-01 2007-03-27 Cisco Technology, Inc. Quality evaluation for wireless communication networks
KR101011134B1 (ko) * 2004-06-07 2011-01-26 슬링 미디어 인코퍼레이티드 퍼스널 미디어 브로드캐스팅 시스템
US7975062B2 (en) * 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US9998802B2 (en) * 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7769756B2 (en) * 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US7769189B1 (en) 2005-04-12 2010-08-03 Apple Inc. Preserving noise during editing of a signal
US7669130B2 (en) * 2005-04-15 2010-02-23 Apple Inc. Dynamic real-time playback
US8295682B1 (en) * 2005-07-13 2012-10-23 Apple Inc. Selecting previously-selected segments of a signal
US8538761B1 (en) 2005-08-01 2013-09-17 Apple Inc. Stretching/shrinking selected portions of a signal
US8364294B1 (en) 2005-08-01 2013-01-29 Apple Inc. Two-phase editing of signal data
JP4732067B2 (ja) * 2005-08-11 2011-07-27 キヤノン株式会社 コンピュータ装置及びその制御方法、プログラム
AT505041B1 (de) * 2006-04-24 2008-10-15 Mueller Heimo Dr Ein verfahren für die interaktive manipulation von bildsequenzen
US9224145B1 (en) 2006-08-30 2015-12-29 Qurio Holdings, Inc. Venue based digital rights using capture device with digital watermarking capability
US7787679B2 (en) * 2006-11-22 2010-08-31 Agfa Healthcare Inc. Study navigation system and method
US8250490B2 (en) 2006-12-18 2012-08-21 Canon Kabushiki Kaisha Display image control apparatus
US8020100B2 (en) 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
US7992097B2 (en) 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US8943410B2 (en) 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
US20090132339A1 (en) * 2007-11-21 2009-05-21 Microsoft Corporation Signature-Based Advertisement Scheduling
US8621099B2 (en) * 2009-09-21 2013-12-31 Sling Media, Inc. Systems and methods for formatting media content for distribution
EP2604031B1 (en) * 2010-08-10 2017-03-08 Google Technology Holdings LLC Method and apparatus for streaming media content using variable duration media segments
JP5854232B2 (ja) * 2011-02-10 2016-02-09 日本電気株式会社 映像間対応関係表示システム及び映像間対応関係表示方法
US9728230B2 (en) * 2014-02-20 2017-08-08 International Business Machines Corporation Techniques to bias video thumbnail selection using frequently viewed segments
US10284790B1 (en) * 2014-03-28 2019-05-07 Google Llc Encoding segment boundary information of a video for improved video processing
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1490070A (en) * 1974-01-31 1977-10-26 Metals Res Ltd Electrical circuit and apparatus and method of operating same for making measurements on differently coloured features
US4120003A (en) * 1977-01-21 1978-10-10 Idr, Inc. Multiple channel CATV system utilizing row grabber interface as CATV input
US4100607A (en) * 1977-02-07 1978-07-11 Convergence Corporation Computer for video tape editing system
US4259661A (en) * 1978-09-01 1981-03-31 Burroughs Corporation Apparatus and method for recognizing a pattern
US4231061A (en) * 1979-04-09 1980-10-28 Samuel Freeman Instant color slide recorder of CRT image
US4937685A (en) * 1983-12-02 1990-06-26 Lex Computer And Management Corporation Method of display presentation for video editing
JPS60172892A (ja) * 1984-02-17 1985-09-06 Toshiba Corp インデツクス画像作成装置
US4823184A (en) * 1984-04-09 1989-04-18 Corporate Communications Consultants, Inc. Color correction system and method with scene-change detection
US4694329A (en) * 1984-04-09 1987-09-15 Corporate Communications Consultants, Inc. Color correction system and method with scene-change detection
EP0250533B1 (en) * 1985-12-24 1993-01-27 British Broadcasting Corporation Method of coding a video signal for transmission in a restricted bandwidth
EP0272886A3 (en) * 1986-12-19 1990-12-19 Pfu Limited Image information processing system
US5081592A (en) * 1987-08-05 1992-01-14 Tektronix, Inc. Test system for acquiring, calculating and displaying representations of data sequences
US4876597A (en) * 1987-09-04 1989-10-24 Adt Security Systems, Inc. Video observation systems
JPH01133481A (ja) * 1987-11-19 1989-05-25 Sony Corp ビデオディスク再生装置
US4855813A (en) * 1987-12-11 1989-08-08 Russell David P Television image processing system having capture, merge and display capability
JP2914975B2 (ja) * 1988-02-05 1999-07-05 株式会社日立製作所 画像符号化方法及び装置
JPH0273587A (ja) * 1988-09-09 1990-03-13 Hitachi Ltd ビデオテープレコーダ
DE68928895T2 (de) * 1988-10-11 1999-05-27 Oyo Keisoku Kenkyusho Kk Verfahren und Gerät für universelle adaptiv lernende Bildmessung und -erkennung
US5065345A (en) * 1988-11-04 1991-11-12 Dyned International, Inc. Interactive audiovisual control mechanism
JP2977829B2 (ja) * 1989-01-11 1999-11-15 株式会社東芝 動画像再生装置および動画像再生方法
US5109482A (en) * 1989-01-11 1992-04-28 David Bohrman Interactive video control system for displaying user-selectable clips
US5134472A (en) * 1989-02-08 1992-07-28 Kabushiki Kaisha Toshiba Moving object detection apparatus and method
JP2861249B2 (ja) * 1989-05-11 1999-02-24 日本電気株式会社 画像変化検出方法および画像変化検出装置
US5111409A (en) * 1989-07-21 1992-05-05 Elon Gasper Authoring and use systems for sound synchronized animation
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
US5237648A (en) * 1990-06-08 1993-08-17 Apple Computer, Inc. Apparatus and method for editing a video recording by selecting and displaying video clips
US5202961A (en) * 1990-06-08 1993-04-13 Apple Computer, Inc. Sequential information controller
JP2863818B2 (ja) * 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
JP3037383B2 (ja) * 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
JPH04207878A (ja) * 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
US5307456A (en) * 1990-12-04 1994-04-26 Sony Electronics, Inc. Integrated multi-media production and authoring system
JP2677312B2 (ja) * 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
US5262865A (en) * 1991-06-14 1993-11-16 Sony Electronics Inc. Virtual control apparatus for automating video editing stations
US5459830A (en) * 1991-07-22 1995-10-17 Sony Corporation Animation data index creation drawn from image data sampling composites
EP0526064B1 (en) * 1991-08-02 1997-09-10 The Grass Valley Group, Inc. Video editing system operator interface for visualization and interactive control of video material

Also Published As

Publication number Publication date
DE69322470T2 (de) 1999-07-15
EP0590759A1 (en) 1994-04-06
US5537530A (en) 1996-07-16
JPH06209451A (ja) 1994-07-26
EP0590759B1 (en) 1998-12-09
DE69322470D1 (de) 1999-01-21

Similar Documents

Publication Publication Date Title
JP2994177B2 (ja) ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法
EP0729117B1 (en) Method and apparatus for detecting a point of change in moving images
Girgensohn et al. A semi-automatic approach to home video editing
US8200669B1 (en) Management of smart tags via hierarchy
US5982979A (en) Video retrieving method and apparatus
US6014183A (en) Method and apparatus for detecting scene changes in a digital video stream
US6584463B2 (en) Video searching method, apparatus, and program product, producing a group image file from images extracted at predetermined intervals
JP4125140B2 (ja) 情報処理装置、情報処理方法ならびにプログラム
JP3361587B2 (ja) 動画像検索装置及び方法
US20090158323A1 (en) Method and apparatus for video navigation
US9313444B2 (en) Relational display of images
JP2010518673A (ja) ビデオの索引付けとビデオシノプシスのための、方法およびシステム
US20020111939A1 (en) Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database
JP2000276484A (ja) 画像検索装置、画像検索方法及び画像表示装置
EP0636994B1 (en) Method of and apparatus for retrieving dynamic images and method of and apparatus for managing images
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
JP4613569B2 (ja) キーフレーム識別選択方法、この方法をコンピュータに実行させるプログラム、およびキーフレーム識別選択システム
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP3547950B2 (ja) 画像入出力装置
JPH05183863A (ja) 動画像編集装置
JP4334898B2 (ja) データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置
JP3334949B2 (ja) 画像処理装置及びその方法
CA2095754C (en) System and method for locating video segment boundaries
JP2000251450A (ja) 画像検出方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees