JPH0778804B2 - シーン情報入力システムおよび方法 - Google Patents
シーン情報入力システムおよび方法Info
- Publication number
- JPH0778804B2 JPH0778804B2 JP4160034A JP16003492A JPH0778804B2 JP H0778804 B2 JPH0778804 B2 JP H0778804B2 JP 4160034 A JP4160034 A JP 4160034A JP 16003492 A JP16003492 A JP 16003492A JP H0778804 B2 JPH0778804 B2 JP H0778804B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- information
- moving image
- file
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000008859 change Effects 0.000 claims description 141
- 230000004044 response Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims 4
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 25
- 230000002829 reductive effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 8
- 239000010410 layer Substances 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000792912 Diuris virus A Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2587—Laser Discs; Optical disc using analog recording
Description
【０００１】
【産業上の利用分野】本発明は、動画像の一部であると
ころのシーンに関する情報（以下、シーン情報と言う）
を入力するためのユーザ・インターフェースに関する。
本発明はまた、そのようなシーン情報を蓄積するファイ
ル（以下、シーン情報ファイルと言う）の作成を経由し
て、動画像データベースにシーン情報を登録するシステ
ムおよび方法に関する。
ころのシーンに関する情報（以下、シーン情報と言う）
を入力するためのユーザ・インターフェースに関する。
本発明はまた、そのようなシーン情報を蓄積するファイ
ル（以下、シーン情報ファイルと言う）の作成を経由し
て、動画像データベースにシーン情報を登録するシステ
ムおよび方法に関する。
【０００２】
【従来の技術】従来技術を説明する前に、本明細書で用
いる言葉を定義しておく。動画像は静止フレームの列で
構成されると考えることができる。本明細書では、動画
像全体の一部を構成する任意のフレーム列をシーンと呼
ぶ。シーン情報とは、シーンのフレーム画像そのものと
は区別されて、ユーザまたはアプリケーション・プログ
ラムによって個々のシーンに対して与えられる情報を言
う。具体的には、シーンの動画像中での位置（例えば開
始・終了フレーム番号、タイム・コード）、シーンの意
味内容（例えばキーワード、属性、代表フレーム）、シ
ーン相互の関係（例えば親または子のシーンの識別
子）、シーン変化の情報（例えば変化点の動画像中での
位置、変化のタイプ、確からしさ）などである。
いる言葉を定義しておく。動画像は静止フレームの列で
構成されると考えることができる。本明細書では、動画
像全体の一部を構成する任意のフレーム列をシーンと呼
ぶ。シーン情報とは、シーンのフレーム画像そのものと
は区別されて、ユーザまたはアプリケーション・プログ
ラムによって個々のシーンに対して与えられる情報を言
う。具体的には、シーンの動画像中での位置（例えば開
始・終了フレーム番号、タイム・コード）、シーンの意
味内容（例えばキーワード、属性、代表フレーム）、シ
ーン相互の関係（例えば親または子のシーンの識別
子）、シーン変化の情報（例えば変化点の動画像中での
位置、変化のタイプ、確からしさ）などである。
【０００３】今日、動画像を記録した媒体、例えばレー
ザー・ディスク、ＶＴＲ、８ｍｍビデオなどのための映
像機器類が普及し、放送局や広告代理店などのメディア
産業をはじめとして、博物館や美術館、映像フィルムを
扱う映画産業、さらに一般家庭においても映像の蓄積量
が著しく増大してきている。ユーザが長時間の映像から
特定のオブジェクトや事象を含んだシーンを捜す場合、
映像を順次再生しながら捜すとするなら、それは冗長で
あり、かつ目的のシーンを短時間で捜しあてることは困
難である。
ザー・ディスク、ＶＴＲ、８ｍｍビデオなどのための映
像機器類が普及し、放送局や広告代理店などのメディア
産業をはじめとして、博物館や美術館、映像フィルムを
扱う映画産業、さらに一般家庭においても映像の蓄積量
が著しく増大してきている。ユーザが長時間の映像から
特定のオブジェクトや事象を含んだシーンを捜す場合、
映像を順次再生しながら捜すとするなら、それは冗長で
あり、かつ目的のシーンを短時間で捜しあてることは困
難である。
【０００４】一般に、動画像は連続する複数のシーンが
まとまって上位の１つのシーンとして意味をもつことか
ら、動画像全体ではシーンが階層を成すという構造的な
特徴がある。また、シーンの検索キーとなり得る人や
物、背景などのオブジェクトは、複数のフレームにわた
って連続して出現するという時間的な特徴がある。本出
願人の先願である特願平４−２１４４３号では、動画像
のこのような特徴にもとづいて、オリジナルの動画像を
より短時間のシーンに分割し、シーンの階層情報や各シ
ーンの意味内容の記述、あるいはシーンを代表するフレ
ームの静止画像を索引情報として記憶媒体に蓄積してお
き、シーンをランダムに検索する動画像管理装置が開示
されている。
まとまって上位の１つのシーンとして意味をもつことか
ら、動画像全体ではシーンが階層を成すという構造的な
特徴がある。また、シーンの検索キーとなり得る人や
物、背景などのオブジェクトは、複数のフレームにわた
って連続して出現するという時間的な特徴がある。本出
願人の先願である特願平４−２１４４３号では、動画像
のこのような特徴にもとづいて、オリジナルの動画像を
より短時間のシーンに分割し、シーンの階層情報や各シ
ーンの意味内容の記述、あるいはシーンを代表するフレ
ームの静止画像を索引情報として記憶媒体に蓄積してお
き、シーンをランダムに検索する動画像管理装置が開示
されている。
【０００５】図１に、上記先願における動画像管理の概
念を示す。多数（例えば、毎秒３０個）のフレームｆ１
〜ｆｎからなる動画像２は、図の（ａ）に示すように、
カットやカメラアングルの切換などのフレームの物理的
な変化や意味内容の変化によって、オリジナルの動画像
２よりも短時間の、複数のシーン４に区切られる。各シ
ーン４の区切りは相対的なものであり、かつ任意的であ
る。たとえば、あるシーンはさらに短時間のシーンの集
まりに分割されうるし、逆に、複数の連続するシーンは
併合して意味的により上位のシーンとみなすことができ
る。このような包含関係にもとづいたシーンの論理構造
を記述するために、図の（ｂ）に示すような階層木１を
作成する。動画像全体２が階層木１の根ノード（Ｒ）５
に対応し、分割・併合されたシーン４が中間ノード６お
よび葉ノード７に対応する。また、ノードの上下の隣接
関係で表されるアーク３がシーンの親子関係を表す。階
層木１の各ノードに対応したシーンに関して、そのシー
ンを代表する一つまたは複数のフレーム（ｒｆ）すなわ
ち代表フレーム８を任意に定めてその静止画像データ
（代表フレーム画像データ）を生成する。そして、階層
木の各ノードに、シーンの検索キーとなるタイトルや説
明文などの属性データ（Ａｔ）９を、代表フレーム画像
（ｒｆ）への参照ポインタとともに格納する。
念を示す。多数（例えば、毎秒３０個）のフレームｆ１
〜ｆｎからなる動画像２は、図の（ａ）に示すように、
カットやカメラアングルの切換などのフレームの物理的
な変化や意味内容の変化によって、オリジナルの動画像
２よりも短時間の、複数のシーン４に区切られる。各シ
ーン４の区切りは相対的なものであり、かつ任意的であ
る。たとえば、あるシーンはさらに短時間のシーンの集
まりに分割されうるし、逆に、複数の連続するシーンは
併合して意味的により上位のシーンとみなすことができ
る。このような包含関係にもとづいたシーンの論理構造
を記述するために、図の（ｂ）に示すような階層木１を
作成する。動画像全体２が階層木１の根ノード（Ｒ）５
に対応し、分割・併合されたシーン４が中間ノード６お
よび葉ノード７に対応する。また、ノードの上下の隣接
関係で表されるアーク３がシーンの親子関係を表す。階
層木１の各ノードに対応したシーンに関して、そのシー
ンを代表する一つまたは複数のフレーム（ｒｆ）すなわ
ち代表フレーム８を任意に定めてその静止画像データ
（代表フレーム画像データ）を生成する。そして、階層
木の各ノードに、シーンの検索キーとなるタイトルや説
明文などの属性データ（Ａｔ）９を、代表フレーム画像
（ｒｆ）への参照ポインタとともに格納する。
【０００６】この階層木は、図１の（ａ）に示すよう
に、まず、オリジナルの動画像２におけるフレームｆ１
〜ｆｎの変化点を自動的に検出して動画像２をＡ１１、
Ａ１２のような最小単位のシーン（カット・シーン）に
分割して一階層の木構造を生成し、次にこれらのカット
・シーンから、ユーザが内容の関連する隣接シーンを、
例えばＡ１１とＡ１２からＡ１を作るように、適宜併合
していくことで、ボトムアップ的に多階層の木構造を作
成する。あるいは図２に示すように、蓄積されたオリジ
ナルの動画像２をユーザの判断でＡ、Ｂ、Ｃのごとく任
意のシーン４に分割し、さらに各シーンをより短時間の
任意のシーン（例えばＡをＡ１、Ａ２、Ａ３）に分割す
ることを繰り返すことによってトップダウン的に木構造
を作成する。このいずれの場合でも、シーンをシーンの
意味内容に基づいて編集（再分割・再併合）しながら多
階層の木構造１を作成する。
に、まず、オリジナルの動画像２におけるフレームｆ１
〜ｆｎの変化点を自動的に検出して動画像２をＡ１１、
Ａ１２のような最小単位のシーン（カット・シーン）に
分割して一階層の木構造を生成し、次にこれらのカット
・シーンから、ユーザが内容の関連する隣接シーンを、
例えばＡ１１とＡ１２からＡ１を作るように、適宜併合
していくことで、ボトムアップ的に多階層の木構造を作
成する。あるいは図２に示すように、蓄積されたオリジ
ナルの動画像２をユーザの判断でＡ、Ｂ、Ｃのごとく任
意のシーン４に分割し、さらに各シーンをより短時間の
任意のシーン（例えばＡをＡ１、Ａ２、Ａ３）に分割す
ることを繰り返すことによってトップダウン的に木構造
を作成する。このいずれの場合でも、シーンをシーンの
意味内容に基づいて編集（再分割・再併合）しながら多
階層の木構造１を作成する。
【０００７】シーンの検索は、シーン情報、ここでは各
シーンの開始・終了フレーム番号、階層、属性、並びに
代表フレーム画像データおよびそれへの参照ポインタを
用いて、階層木１におけるノード（５，６，７）の属性
データ９の照合およびアーク３に沿ったノードの巡回に
基づいて行う。すなわち、検索条件としては、シーンの
属性（Ａｔ）を指定するか、または階層木１における指
定ノードの親・子・兄弟などのノードに対応したシーン
を捜すなど、階層木をたどる条件を指定する。検索結果
としてシーンの代表フレーム８の静止画像と属性データ
９を表示し、その中からユーザが選択したシーン４につ
いて動画像データをアクセスし、再生する。
シーンの開始・終了フレーム番号、階層、属性、並びに
代表フレーム画像データおよびそれへの参照ポインタを
用いて、階層木１におけるノード（５，６，７）の属性
データ９の照合およびアーク３に沿ったノードの巡回に
基づいて行う。すなわち、検索条件としては、シーンの
属性（Ａｔ）を指定するか、または階層木１における指
定ノードの親・子・兄弟などのノードに対応したシーン
を捜すなど、階層木をたどる条件を指定する。検索結果
としてシーンの代表フレーム８の静止画像と属性データ
９を表示し、その中からユーザが選択したシーン４につ
いて動画像データをアクセスし、再生する。
【０００８】図３は、上記先願で開示されたシーン情報
ファイルの構造を示す。（ａ）は、シーンの属性データ
を格納する第一のファイルの構造であり、階層木のノー
ドとなる各シーン４に対して１レコードを割り当て、シ
ーンの識別子８０、開始フレーム番号８１、終了フレー
ム番号８２を記述する。さらに、シーンの内容などを記
述する属性（Ａｔ１１，Ａｔ１２...）の値８３、代表
フレームのフレーム番号８４、および代表フレームの静
止画像ファイル８６への参照ポインター８５を同じレコ
ードに格納する。シーンの識別子８０には、たとえば開
始フレーム番号８１と終了フレーム番号８２の組などか
らシーンを一意に識別する値を割当てる。シーンの階層
関係については、（ｂ）に示すように、親シーンの識別
子８７と子シーンの識別子８８を組としたレコードを第
二のファイルに格納する。
ファイルの構造を示す。（ａ）は、シーンの属性データ
を格納する第一のファイルの構造であり、階層木のノー
ドとなる各シーン４に対して１レコードを割り当て、シ
ーンの識別子８０、開始フレーム番号８１、終了フレー
ム番号８２を記述する。さらに、シーンの内容などを記
述する属性（Ａｔ１１，Ａｔ１２...）の値８３、代表
フレームのフレーム番号８４、および代表フレームの静
止画像ファイル８６への参照ポインター８５を同じレコ
ードに格納する。シーンの識別子８０には、たとえば開
始フレーム番号８１と終了フレーム番号８２の組などか
らシーンを一意に識別する値を割当てる。シーンの階層
関係については、（ｂ）に示すように、親シーンの識別
子８７と子シーンの識別子８８を組としたレコードを第
二のファイルに格納する。
【０００９】しかしながら、このようなシーン情報は、
人間が実時間性をもった動画像を実際に見ながら内容を
記述することによってコンピュータ・システムに入力さ
れるため、動画像データベースの構築において大きなボ
トルネックになっているのが現状である。
人間が実時間性をもった動画像を実際に見ながら内容を
記述することによってコンピュータ・システムに入力さ
れるため、動画像データベースの構築において大きなボ
トルネックになっているのが現状である。
【００１０】以下、従来のシーン情報の入力における問
題点を列挙する。第一の問題は、シーン変化点を検出
し、シーンの開始・終了フレーム番号を特定する作業に
係わる。シーンの物理的変化を自動的に検出する手法と
しては、例えばIoka, M. "A Method of Detecting Scen
e Changes in Moving Pictures," IBM TDB Vol.34, No.
10A, pp.284-286, March 1992に示される技術が知られ
ている。一般に、シーン変化検出手法は、連続するフレ
ーム間の信号レベルの変化、すなわち画素値の変化の度
合としきい値との比較を含む。このため、しきい値の設
定値によって精度が変化するという側面を持っている。
しきい値を低く設定すると検出ミス（シーン変化点であ
るのに検出できなかったもの）は減少するが、誤検出
（シーン変化点でないのにシーン変化点であるとしてし
まったもの）を増加させることになり、しきい値を高く
設定すると、その逆になる。一般に、検出ミスと誤検出
を皆無となるようにしきい値を設定することは困難であ
る。したがって、シーン変化点は、ユーザが実際に動画
像を見ることによって確認・修正されなければらならな
い。それにもかかわらず、従来、シーン変化点の確認・
修正を効率よく行うためのユーザ・インターフェースは
知られていなかった。そのため、ユーザが動画像の再生
・停止などの制御を指示するのが繁雑であり、かつ、ミ
スをしやすいという問題点があった。
題点を列挙する。第一の問題は、シーン変化点を検出
し、シーンの開始・終了フレーム番号を特定する作業に
係わる。シーンの物理的変化を自動的に検出する手法と
しては、例えばIoka, M. "A Method of Detecting Scen
e Changes in Moving Pictures," IBM TDB Vol.34, No.
10A, pp.284-286, March 1992に示される技術が知られ
ている。一般に、シーン変化検出手法は、連続するフレ
ーム間の信号レベルの変化、すなわち画素値の変化の度
合としきい値との比較を含む。このため、しきい値の設
定値によって精度が変化するという側面を持っている。
しきい値を低く設定すると検出ミス（シーン変化点であ
るのに検出できなかったもの）は減少するが、誤検出
（シーン変化点でないのにシーン変化点であるとしてし
まったもの）を増加させることになり、しきい値を高く
設定すると、その逆になる。一般に、検出ミスと誤検出
を皆無となるようにしきい値を設定することは困難であ
る。したがって、シーン変化点は、ユーザが実際に動画
像を見ることによって確認・修正されなければらならな
い。それにもかかわらず、従来、シーン変化点の確認・
修正を効率よく行うためのユーザ・インターフェースは
知られていなかった。そのため、ユーザが動画像の再生
・停止などの制御を指示するのが繁雑であり、かつ、ミ
スをしやすいという問題点があった。
【００１１】第二の問題は、シーン内容の記述手順に係
わる。シーン内容を記述するファイルの作成には、通
常、テキスト・エディタなどが用いられるが、効率のよ
いデータ入力の手順は未だ提唱されていない。このた
め、主として同じシーン情報を異なるファイルにそれぞ
れ書き込むときに、ユーザが不必要な作業ファイル、作
業領域を作成することがあった。また、一つのファイル
を更新するときにそれと相互に関連するファイルとの整
合性をユーザ自らが検査するなどの煩雑な手順を必要と
していた。また、シーン記述にあたって相互に関連する
情報を参照できないため、同一シーンを繰り返して再生
し、同一のフレーム番号を重複して入力するなどの冗長
な操作が必要とされていた。
わる。シーン内容を記述するファイルの作成には、通
常、テキスト・エディタなどが用いられるが、効率のよ
いデータ入力の手順は未だ提唱されていない。このた
め、主として同じシーン情報を異なるファイルにそれぞ
れ書き込むときに、ユーザが不必要な作業ファイル、作
業領域を作成することがあった。また、一つのファイル
を更新するときにそれと相互に関連するファイルとの整
合性をユーザ自らが検査するなどの煩雑な手順を必要と
していた。また、シーン記述にあたって相互に関連する
情報を参照できないため、同一シーンを繰り返して再生
し、同一のフレーム番号を重複して入力するなどの冗長
な操作が必要とされていた。
【００１２】第三の問題は、入力作業全般の操作性に係
わる。従来は、ユーザがキーボードなどの入力装置から
フレーム番号などの文字・数値データを直接入力しなけ
ればならず、煩雑であった。また、入力したシーン情報
を効果的にフィードバックし、入力の誤りをその場で発
見して修正することが困難であった。
わる。従来は、ユーザがキーボードなどの入力装置から
フレーム番号などの文字・数値データを直接入力しなけ
ればならず、煩雑であった。また、入力したシーン情報
を効果的にフィードバックし、入力の誤りをその場で発
見して修正することが困難であった。
【００１３】上田博唯他、「認識技術を応用した対話型
映像編集方式の提案」、電子通信情報学会論文誌 D-I
I, Vol.J75-D-II, No.2, PP.216-225, 1992年2月、で
は、オリジナルの動画像をシーンに自動的に分割し、そ
れぞれのシーンの先頭フレームの画像をディスプレイ装
置に表示して編集（オーサリング）の対象となるシーン
を概覧する手法が開示されている。また、MACLIFE No.4
5, May 1992, pp.242-245に紹介された、DiVA社が発表
したVideoShopという商品名のソフトウェアも、シーン
を選択し所望の順に並べる機能を提供する。その編集画
面では、オリジナルのシーンを並べ替えた新たなシーン
の系列を時間軸とともに表示する。しかしながら、これ
らの手法は、ユーザが幾つかのシーンを選択し並べ替え
てオリジナルとは別の動画像を作成するためのものであ
り、シーン情報入力の効率化に向けられたものではな
い。
映像編集方式の提案」、電子通信情報学会論文誌 D-I
I, Vol.J75-D-II, No.2, PP.216-225, 1992年2月、で
は、オリジナルの動画像をシーンに自動的に分割し、そ
れぞれのシーンの先頭フレームの画像をディスプレイ装
置に表示して編集（オーサリング）の対象となるシーン
を概覧する手法が開示されている。また、MACLIFE No.4
5, May 1992, pp.242-245に紹介された、DiVA社が発表
したVideoShopという商品名のソフトウェアも、シーン
を選択し所望の順に並べる機能を提供する。その編集画
面では、オリジナルのシーンを並べ替えた新たなシーン
の系列を時間軸とともに表示する。しかしながら、これ
らの手法は、ユーザが幾つかのシーンを選択し並べ替え
てオリジナルとは別の動画像を作成するためのものであ
り、シーン情報入力の効率化に向けられたものではな
い。
【００１４】オリジナルの動画像がカット・シーンに正
しく分割されていること、および個々のシーンに必要な
シーン情報が付与されていることが、後で動画像の編集
を効率よく行うことの前提になるが、上記シーン情報入
力の段階での問題の解決に向けられた先行技術は知られ
ていない。
しく分割されていること、および個々のシーンに必要な
シーン情報が付与されていることが、後で動画像の編集
を効率よく行うことの前提になるが、上記シーン情報入
力の段階での問題の解決に向けられた先行技術は知られ
ていない。
【００１５】
【発明が解決しようとする課題】したがって、本発明の
目的は、上記問題を解決し、ユーザに優しいシーン情報
入力インターフェースを提供することにある。
目的は、上記問題を解決し、ユーザに優しいシーン情報
入力インターフェースを提供することにある。
【００１６】本発明の他の目的は、自動的に検出された
シーン変化点を、ユーザが効率よく確認・修正できるよ
うにすることにある。
シーン変化点を、ユーザが効率よく確認・修正できるよ
うにすることにある。
【００１７】本発明のさらに他の目的は、ユーザが個々
のシーンの意味内容およびシーン相互の関係の情報を持
つ動画像データベースを容易に構築できるようにするこ
とにある。
のシーンの意味内容およびシーン相互の関係の情報を持
つ動画像データベースを容易に構築できるようにするこ
とにある。
【００１８】
【課題を解決するための手段】図４は、時間的に連続す
るフレーム列で構成される動画像を部分フレーム列であ
るところのシーンに分割し、シーンへの分割を確認・修
正し、シーン情報を入力し、入力した情報を動画像デー
タベースに登録するまでの処理の流れを示す。本出願に
含まれる発明は、ａ）シーン変化点を検出するステッ
プ、ｂ）検出されたシーン変化点に基づいてシーン情報
を生成し、シーン情報ファイルに格納するステップ、
ｃ）シーン情報をディスプレイに図形的に表示するステ
ップ、ｄ）ユーザによって入力手段を使って指示された
編集コマンドを実行して、シーン情報ファイルを編集す
るステップ、およびｅ）シーン情報ファイルのシーン情
報をデータベース手段に登録するステップを含む。
るフレーム列で構成される動画像を部分フレーム列であ
るところのシーンに分割し、シーンへの分割を確認・修
正し、シーン情報を入力し、入力した情報を動画像デー
タベースに登録するまでの処理の流れを示す。本出願に
含まれる発明は、ａ）シーン変化点を検出するステッ
プ、ｂ）検出されたシーン変化点に基づいてシーン情報
を生成し、シーン情報ファイルに格納するステップ、
ｃ）シーン情報をディスプレイに図形的に表示するステ
ップ、ｄ）ユーザによって入力手段を使って指示された
編集コマンドを実行して、シーン情報ファイルを編集す
るステップ、およびｅ）シーン情報ファイルのシーン情
報をデータベース手段に登録するステップを含む。
【００１９】上記ステップａ）では、検出されたシーン
変化点の動画像中での位置とともに、変化の確からしさ
を含むシーン変化情報を生成する。好ましくは、シーン
変化のタイプに応じた方法でシーン変化の確からしさを
算定し、シーン変化情報にはシーン変化のタイプの情報
を含める。
変化点の動画像中での位置とともに、変化の確からしさ
を含むシーン変化情報を生成する。好ましくは、シーン
変化のタイプに応じた方法でシーン変化の確からしさを
算定し、シーン変化情報にはシーン変化のタイプの情報
を含める。
【００２０】上記ステップｂ）は、シーン変化情報に基
づいて動画像を論理的に分割することにより定まる各シ
ーンについて、代表フレームの静止画像データを格納す
る代表フレーム・ファイルを作成するステップと、シー
ンの開始・終了フレーム番号、シーン変化のタイプと確
からしさ、代表フレーム番号、および代表フレーム画像
データの格納アドレスを含むシーン情報ファイルを作成
するステップを含む。
づいて動画像を論理的に分割することにより定まる各シ
ーンについて、代表フレームの静止画像データを格納す
る代表フレーム・ファイルを作成するステップと、シー
ンの開始・終了フレーム番号、シーン変化のタイプと確
からしさ、代表フレーム番号、および代表フレーム画像
データの格納アドレスを含むシーン情報ファイルを作成
するステップを含む。
【００２１】上記ステップｃ）では、シーン情報を図形
的に提示する一つまたは複数のチャートを表示する。チ
ャートの種類には、図５乃至図７に例示するシーン・チ
ャート３０、シーン階層チャート３１、およびシーン・
キーワード・チャート３２がある。ユーザの選択によっ
て表示するチャートが決定される。
的に提示する一つまたは複数のチャートを表示する。チ
ャートの種類には、図５乃至図７に例示するシーン・チ
ャート３０、シーン階層チャート３１、およびシーン・
キーワード・チャート３２がある。ユーザの選択によっ
て表示するチャートが決定される。
【００２２】図５に例示するシーン・チャート３０は、
シーンごとに選ばれた代表フレームの縮小画３３を、時
間軸を表すオブジェクトであるところのタイム・バー３
４に沿って時間順に並べて表示する。このチャートは、
シーン変化点、つまりシーンの先頭フレームにおけるシ
ーン変化のタイプと確からしさを表示する領域３５をも
つ。
シーンごとに選ばれた代表フレームの縮小画３３を、時
間軸を表すオブジェクトであるところのタイム・バー３
４に沿って時間順に並べて表示する。このチャートは、
シーン変化点、つまりシーンの先頭フレームにおけるシ
ーン変化のタイプと確からしさを表示する領域３５をも
つ。
【００２３】図６に例示するシーン階層チャート３１
は、シーン・チャート３０と同時に表示され、タイム・
バー３４からの距離でシーンの階層の深さを表す。具体
的には、タイム・バー３４と直交する方向にボックス３
６を並べ、ボックスの順番を階層の深さに対応させる。
シーンの階層情報を表すオブジェクトは、タイム・バー
３４上での当該シーンに対応する区間とボックス３６と
でその位置が決まる領域３７に表示する。
は、シーン・チャート３０と同時に表示され、タイム・
バー３４からの距離でシーンの階層の深さを表す。具体
的には、タイム・バー３４と直交する方向にボックス３
６を並べ、ボックスの順番を階層の深さに対応させる。
シーンの階層情報を表すオブジェクトは、タイム・バー
３４上での当該シーンに対応する区間とボックス３６と
でその位置が決まる領域３７に表示する。
【００２４】図７に例示するシーン・キーワード・チャ
ート３２は、シーン・チャート３０のタイム・バー３４
と直交する方向にキーワードを表すボックス３８を並
べ、シーンにキーワードが付与されている場合に、その
情報を表すオブジェクトを、タイム・バー３４上での当
該シーンに対応する区間と当該キーワードのボックス３
８とでその位置が決まる領域３９に表示する。好ましく
は、キーワードにはアイコンなど意味を象徴する静止画
像を関連付け、その表示には静止画像を用いる。あるい
は、静止画像にキーワードの識別子を関連付けることに
よって、静止画像自体をキーワードと同様に扱う。本明
細書において、キーワードはこれらのいずれの場合をも
含む概念である。
ート３２は、シーン・チャート３０のタイム・バー３４
と直交する方向にキーワードを表すボックス３８を並
べ、シーンにキーワードが付与されている場合に、その
情報を表すオブジェクトを、タイム・バー３４上での当
該シーンに対応する区間と当該キーワードのボックス３
８とでその位置が決まる領域３９に表示する。好ましく
は、キーワードにはアイコンなど意味を象徴する静止画
像を関連付け、その表示には静止画像を用いる。あるい
は、静止画像にキーワードの識別子を関連付けることに
よって、静止画像自体をキーワードと同様に扱う。本明
細書において、キーワードはこれらのいずれの場合をも
含む概念である。
【００２５】上記ステップｄ）では、上記ステップｃ）
で表示された画面上のオブジェクトの指示・移動・複写
などの直接操作の形式でユーザから指定される編集コマ
ンドを受け付ける。該ステップは、上記各チャートにお
いて、ユーザからの代表フレームの縮小画３３の指示に
応答して、該代表フレームに対応するシーンを再生し、
あるいは、上記タイム・バー３４上の区間が指示された
場合には、該指示された区間に対応する動画を再生する
サブ・ステップを含む。
で表示された画面上のオブジェクトの指示・移動・複写
などの直接操作の形式でユーザから指定される編集コマ
ンドを受け付ける。該ステップは、上記各チャートにお
いて、ユーザからの代表フレームの縮小画３３の指示に
応答して、該代表フレームに対応するシーンを再生し、
あるいは、上記タイム・バー３４上の区間が指示された
場合には、該指示された区間に対応する動画を再生する
サブ・ステップを含む。
【００２６】上記ステップｃ）においてシーン・チャー
トが選択された場合、第一のモードではシーン変化点の
追加または削除のコマンド、第二のモードでは代表フレ
ームを変更するコマンド、第三のモードではシーン属性
情報を更新するコマンドを受け付け、シーン情報ファイ
ルを編集し、多くの場合、代表フレーム・ファイルも編
集する。シーン階層チャートが選択された場合は、シー
ンの分割コマンド、併合コマンド、階層の深さの変更コ
マンドを受け付け、シーン情報ファイルを編集する。ま
た、シーン・キーワード・チャートが選択された場合
は、シーンへのキーワードの付与コマンド、取消コマン
ドを受け付け、シーン情報ファイルを編集する。
トが選択された場合、第一のモードではシーン変化点の
追加または削除のコマンド、第二のモードでは代表フレ
ームを変更するコマンド、第三のモードではシーン属性
情報を更新するコマンドを受け付け、シーン情報ファイ
ルを編集し、多くの場合、代表フレーム・ファイルも編
集する。シーン階層チャートが選択された場合は、シー
ンの分割コマンド、併合コマンド、階層の深さの変更コ
マンドを受け付け、シーン情報ファイルを編集する。ま
た、シーン・キーワード・チャートが選択された場合
は、シーンへのキーワードの付与コマンド、取消コマン
ドを受け付け、シーン情報ファイルを編集する。
【００２７】あるいは、上記ステップｃ）において、シ
ーン階層チャートとシーン・キーワード・チャートが同
時に選択された場合、両チャートを同時に表示する。こ
の場合、第一のモードでは、一方のチャート上のオブジ
ェクトの操作に応答して、当該チャートに対応するシー
ン情報を更新する。第二のモードでは、一方のチャート
上のオブジェクトの操作に応答して、他方のチャートに
対応するシーン情報を更新する。第三のモードでは、一
方のチャート上のオブジェクトの操作に応答して、各チ
ャートに対応するシーン情報を同時に更新する。
ーン階層チャートとシーン・キーワード・チャートが同
時に選択された場合、両チャートを同時に表示する。こ
の場合、第一のモードでは、一方のチャート上のオブジ
ェクトの操作に応答して、当該チャートに対応するシー
ン情報を更新する。第二のモードでは、一方のチャート
上のオブジェクトの操作に応答して、他方のチャートに
対応するシーン情報を更新する。第三のモードでは、一
方のチャート上のオブジェクトの操作に応答して、各チ
ャートに対応するシーン情報を同時に更新する。
【００２８】上記ステップｄ）を繰り返し、入力操作の
終了が指示されると、上記ステップｅ）において、シー
ン情報ファイルと、場合によっては代表フレーム画像の
ファイルを登録するコマンドを生成し、データベース手
段に送る。
終了が指示されると、上記ステップｅ）において、シー
ン情報ファイルと、場合によっては代表フレーム画像の
ファイルを登録するコマンドを生成し、データベース手
段に送る。
【００２９】
【実施例】図８は、本発明を具体化するシーン情報入力
システムの一構成例を示したものであり、動画像蓄積・
表示装置１０、シーン変化検出装置１１、シーン情報エ
ディタ１２、登録処理装置１３、ディスプレイ１４、お
よび入力装置１５から構成される。
システムの一構成例を示したものであり、動画像蓄積・
表示装置１０、シーン変化検出装置１１、シーン情報エ
ディタ１２、登録処理装置１３、ディスプレイ１４、お
よび入力装置１５から構成される。
【００３０】動画像蓄積・表示装置１０は、動画像をア
ナログ画像として格納したレーザー・ディスク（ＬＤ）
１６、レーザー・ディスク・プレーヤー（ＬＤプレーヤ
ー）１７、ＴＶモニター１８、およびビデオ信号変換器
１９を含む。ＬＤプレーヤー１７は、シーン情報エディ
タ１２などの外部からの制御信号に応答して、ＬＤ１６
のアナログ動画像をＴＶモニター１８またはビデオ信号
変換器１９に送るインターフェースを具備する。ＬＤプ
レーヤー１７はまた、外部からの制御信号に応答して、
現時点の再生フレームのフレーム番号などのデータを返
すインターフェースも具備する。ビデオ信号変換器１９
は、ＬＤプレーヤー１７よりアナログ画像を入力し、ア
ナログ／ディジタル変換をおこなってディジタル画像を
出力する。
ナログ画像として格納したレーザー・ディスク（ＬＤ）
１６、レーザー・ディスク・プレーヤー（ＬＤプレーヤ
ー）１７、ＴＶモニター１８、およびビデオ信号変換器
１９を含む。ＬＤプレーヤー１７は、シーン情報エディ
タ１２などの外部からの制御信号に応答して、ＬＤ１６
のアナログ動画像をＴＶモニター１８またはビデオ信号
変換器１９に送るインターフェースを具備する。ＬＤプ
レーヤー１７はまた、外部からの制御信号に応答して、
現時点の再生フレームのフレーム番号などのデータを返
すインターフェースも具備する。ビデオ信号変換器１９
は、ＬＤプレーヤー１７よりアナログ画像を入力し、ア
ナログ／ディジタル変換をおこなってディジタル画像を
出力する。
【００３１】シーン変化検出装置１１は、ＬＤプレーヤ
ー１７に対して制御信号を出力して、連続するフレーム
の画像データを順次取得し、シーン変化点の検出処理お
よび変化の確からしさの算定処理を行う。検出の結果と
して、シーン変化が発生したフレームの番号、変化のタ
イプと確からしさ、およびシーンを代表するフレーム
（たとえば先頭フレーム）のフレーム番号を記録したシ
ーン変化情報ファイル２０を作成する。図９は、シーン
変化情報ファイル２０の一例であり、変化フレーム番号
９０１、代表フレーム番号９０２、変化の確からしさ９
０３、および変化のタイプ９０４が１レコードとして格
納される。フィールド９０４の値のうち、"１"はノーマ
ルを表し、"２"はデゾルブを表す。その意味するところ
は、後でシーン変化検出処理の詳細とともに述べる。
ー１７に対して制御信号を出力して、連続するフレーム
の画像データを順次取得し、シーン変化点の検出処理お
よび変化の確からしさの算定処理を行う。検出の結果と
して、シーン変化が発生したフレームの番号、変化のタ
イプと確からしさ、およびシーンを代表するフレーム
（たとえば先頭フレーム）のフレーム番号を記録したシ
ーン変化情報ファイル２０を作成する。図９は、シーン
変化情報ファイル２０の一例であり、変化フレーム番号
９０１、代表フレーム番号９０２、変化の確からしさ９
０３、および変化のタイプ９０４が１レコードとして格
納される。フィールド９０４の値のうち、"１"はノーマ
ルを表し、"２"はデゾルブを表す。その意味するところ
は、後でシーン変化検出処理の詳細とともに述べる。
【００３２】シーン情報エディタ１２は、シーン・エデ
ィタ・モジュール、シーン階層エディタ・モジュール、
シーン・キーワード・エディタ・モジュール、およびク
ロス・エディタ・モジュールで構成される。いずれのモ
ジュールもシーン情報ファイル２１および代表フレーム
・ファイル２２に格納されたシーン情報をディスプレイ
１４に表示し、入力手段１５を介したユーザの指示に応
答して、シーン情報ファイル２１および代表フレーム・
ファイル２２を更新する。特に、シーン・エデイタは、
シーン変化情報ファイル２０を入力し、シーン情報ファ
イル２１および代表フレーム・ファイル２２を新規作成
する。
ィタ・モジュール、シーン階層エディタ・モジュール、
シーン・キーワード・エディタ・モジュール、およびク
ロス・エディタ・モジュールで構成される。いずれのモ
ジュールもシーン情報ファイル２１および代表フレーム
・ファイル２２に格納されたシーン情報をディスプレイ
１４に表示し、入力手段１５を介したユーザの指示に応
答して、シーン情報ファイル２１および代表フレーム・
ファイル２２を更新する。特に、シーン・エデイタは、
シーン変化情報ファイル２０を入力し、シーン情報ファ
イル２１および代表フレーム・ファイル２２を新規作成
する。
【００３３】図１０は、シーン情報ファイル２１および
代表フレーム・ファイル２２の構造を示す。シーン情報
ファイル２１は、ファイル（ａ）、（ｂ）、（ｃ）によ
って構成されるが、このうちファイル（ａ）と（ｂ）は
図３に示したものと同じなので、同じ要素は同じ番号で
参照することにし、説明を省略する。本実施例では、登
場人物や背景などのキーワードによるシーン検索を実行
する動画像データベースの構築も考慮して、各シーンに
対して、識別子８９、開始フレーム番号９１、終了フレ
ーム番号９２、およびそこに割当てられたキーワード９
０を１レコードとして第三のファイル（ｃ）に格納す
る。そのような動画像データベースの例は、Oomoto, E.
and Tanaka, K. "A Video Object Model and Its Appl
ication toa Video Dabatase System", IEICE Tech. Re
p. Vol.89, No.466, 1990, pp.33-40や本出願人の先願
である特願平４−６５６２０号に開示されるている。シ
ーン情報エディタ１２のモジュールは、ファイル
（ａ），（ｂ），（ｃ）のシーン識別子８０、８７、８
８、８９によってレコードを特定し、シーン情報を参照
・更新する。図示しないが、ファイル（ａ）にはシーン
変化のタイプ、確からしさのフィールドがあってもよ
い。代表フレーム・ファイル２２は、シーンごとに作ら
れる静止画像ファイル８６の集まりである。
代表フレーム・ファイル２２の構造を示す。シーン情報
ファイル２１は、ファイル（ａ）、（ｂ）、（ｃ）によ
って構成されるが、このうちファイル（ａ）と（ｂ）は
図３に示したものと同じなので、同じ要素は同じ番号で
参照することにし、説明を省略する。本実施例では、登
場人物や背景などのキーワードによるシーン検索を実行
する動画像データベースの構築も考慮して、各シーンに
対して、識別子８９、開始フレーム番号９１、終了フレ
ーム番号９２、およびそこに割当てられたキーワード９
０を１レコードとして第三のファイル（ｃ）に格納す
る。そのような動画像データベースの例は、Oomoto, E.
and Tanaka, K. "A Video Object Model and Its Appl
ication toa Video Dabatase System", IEICE Tech. Re
p. Vol.89, No.466, 1990, pp.33-40や本出願人の先願
である特願平４−６５６２０号に開示されるている。シ
ーン情報エディタ１２のモジュールは、ファイル
（ａ），（ｂ），（ｃ）のシーン識別子８０、８７、８
８、８９によってレコードを特定し、シーン情報を参照
・更新する。図示しないが、ファイル（ａ）にはシーン
変化のタイプ、確からしさのフィールドがあってもよ
い。代表フレーム・ファイル２２は、シーンごとに作ら
れる静止画像ファイル８６の集まりである。
【００３４】シーン情報エディタ１２は、入力装置１５
を通じて行われるユーザの指示に応答して、ＬＤプレー
ヤー１７に対して映像再生の休止およびフレーム番号獲
得のための制御信号を出す。それに応答して、ＬＤプレ
ーヤー１７は、映像再生を休止し、現時点の静止フレー
ムをＴＶモニター１８に表示する一方、その静止フレー
ムの番号をシーン情報エディタ１２に供給する。入力装
置１５は、典型的にはキーボード、マウス、タッチ・パ
ネルなどの文字・数値入力装置である。
を通じて行われるユーザの指示に応答して、ＬＤプレー
ヤー１７に対して映像再生の休止およびフレーム番号獲
得のための制御信号を出す。それに応答して、ＬＤプレ
ーヤー１７は、映像再生を休止し、現時点の静止フレー
ムをＴＶモニター１８に表示する一方、その静止フレー
ムの番号をシーン情報エディタ１２に供給する。入力装
置１５は、典型的にはキーボード、マウス、タッチ・パ
ネルなどの文字・数値入力装置である。
【００３５】登録処理装置１３は、シーン情報ファイル
２１と、場合によっては代表フレーム・ファイル２２を
データベース２４に格納するためのコマンドを生成し、
データベース管理装置２３へ送る。
２１と、場合によっては代表フレーム・ファイル２２を
データベース２４に格納するためのコマンドを生成し、
データベース管理装置２３へ送る。
【００３６】図８にはキーワード情報ファイル２５およ
びキーワード画像ファイル２６も示されているが、これ
らのファイルについての説明は後でシーン・キーワード
・エディタと一緒に説明する。
びキーワード画像ファイル２６も示されているが、これ
らのファイルについての説明は後でシーン・キーワード
・エディタと一緒に説明する。
【００３７】上記の構成において、シーン変化検出装置
１１、シーン情報エディタ１２、登録処理装置１３、お
よびデータベース管理装置２３は、それらの機能を実現
するためのプログラムおよびプログラムを実行するコン
ピュータによって具現化される。一般的に、これらプロ
グラムは、磁気ディスク、光ディスク、磁気テープなど
の媒体に格納される。
１１、シーン情報エディタ１２、登録処理装置１３、お
よびデータベース管理装置２３は、それらの機能を実現
するためのプログラムおよびプログラムを実行するコン
ピュータによって具現化される。一般的に、これらプロ
グラムは、磁気ディスク、光ディスク、磁気テープなど
の媒体に格納される。
【００３８】シーン変化情報ファイル２０、シーン情報
ファイル２１、代表フレーム・ファイル２２、キーワー
ド情報ファイル２５、およびキーワード画像ファイル２
６は、コンピュータの主記憶または外部記憶装置に格納
されるのが一般的である。図１０に既に示したが、これ
らのファイルは複数のサブ・ファイルの集まりであって
よい。
ファイル２１、代表フレーム・ファイル２２、キーワー
ド情報ファイル２５、およびキーワード画像ファイル２
６は、コンピュータの主記憶または外部記憶装置に格納
されるのが一般的である。図１０に既に示したが、これ
らのファイルは複数のサブ・ファイルの集まりであって
よい。
【００３９】上記の説明で、動画像蓄積・表示装置１０
を、特開平１−２２４８７５号公報に開示されるような
ディジタル動画像データベース装置に置き換えることが
可能である。その場合、アナログ／ディジタル変換が不
要であり、かつ、動画像をディスプレイに表示できるの
で、ビデオ信号変換器１９とＴＶモニター１８を省略す
ることができる。また、ディジタル動画像データベース
装置では、ＬＤプレーヤー１７の代わりに、データベー
ス管理プログラムとそれを実行するコンピュータが用い
られる。
を、特開平１−２２４８７５号公報に開示されるような
ディジタル動画像データベース装置に置き換えることが
可能である。その場合、アナログ／ディジタル変換が不
要であり、かつ、動画像をディスプレイに表示できるの
で、ビデオ信号変換器１９とＴＶモニター１８を省略す
ることができる。また、ディジタル動画像データベース
装置では、ＬＤプレーヤー１７の代わりに、データベー
ス管理プログラムとそれを実行するコンピュータが用い
られる。
【００４０】ここで、シーン変化検出装置１１について
詳述する。この装置は、異なるタイプのシーン変化点を
それぞれ検出するために、フレームごとにタイプに応じ
た方法で変化の度合いを計算する。変化の度合いは、直
前のフレームとの画素値の変化の度合いである。
詳述する。この装置は、異なるタイプのシーン変化点を
それぞれ検出するために、フレームごとにタイプに応じ
た方法で変化の度合いを計算する。変化の度合いは、直
前のフレームとの画素値の変化の度合いである。
【００４１】シーン変化のタイプの代表例はノーマルと
デゾルブであり、以下では、その検出方法を説明する。
ここで、ノーマルとは、フレームとその次のフレームと
で、カメラの視点が全く切り替わること、あるいは映像
における時間の隔たりに起因するシーン変化のことであ
る。また、デゾルブとは、フェード・インとフェード・
アウトが同時に起こることによって生じるシーン変化の
ことである。ノーマルのシーン変化が直ちに終了するの
に対し、デゾルブのシーン変化は数十フレームを要す
る。
デゾルブであり、以下では、その検出方法を説明する。
ここで、ノーマルとは、フレームとその次のフレームと
で、カメラの視点が全く切り替わること、あるいは映像
における時間の隔たりに起因するシーン変化のことであ
る。また、デゾルブとは、フェード・インとフェード・
アウトが同時に起こることによって生じるシーン変化の
ことである。ノーマルのシーン変化が直ちに終了するの
に対し、デゾルブのシーン変化は数十フレームを要す
る。
【００４２】ノーマル・タイプのシーン変化検出処理の
一例の詳細が、従来の技術の説明で参照した文献で開示
されている。要点を述べると、各フレームについて、現
フレーム(j)と前フレーム(j-1)の間での画素値の差分の
絶対値の平均値FDM(j)を計算し、さらに前々フレーム(j
-2)と前フレーム(j-1)の間で計算された差分の平均値FD
M(j-1)と今回計算された差分の平均値FDM(j)の差分DFDM
(j)を計算する。続いて、計算された平均値の差分DFDM
(j)と前回計算された平均値の差分DFDM(j-1)の間でゼロ
・クロスが生じているかをチェックする。ゼロ・クロス
が生じていれば、DFDM(j)とDFDM(j-1)の差の絶対値を予
め設定されたしきい値と比較する。差の方が大きけれ
ば、ノーマル・タイプのシーン変化が起こったものとし
て、フレーム番号j を変化フレーム番号９０１（図９）
としてシーン変化情報ファイル２０に記録する。そし
て、このDFTM(j)とDFTM(j-1)の差を、当該検出されたシ
ーン変化の変化の度合いＣとして、後で述べる方法で変
化の確からしさ９０３を計算し、計算結果をシーン情報
ファイル２０に記録する。フィールド９０４には、ノー
マルを示す値をセットする。代表フレーム番号９０２と
しては、変化フレーム番号９０１に所定値を加算した結
果値をシーン情報変化ファイル２０に記録する。
一例の詳細が、従来の技術の説明で参照した文献で開示
されている。要点を述べると、各フレームについて、現
フレーム(j)と前フレーム(j-1)の間での画素値の差分の
絶対値の平均値FDM(j)を計算し、さらに前々フレーム(j
-2)と前フレーム(j-1)の間で計算された差分の平均値FD
M(j-1)と今回計算された差分の平均値FDM(j)の差分DFDM
(j)を計算する。続いて、計算された平均値の差分DFDM
(j)と前回計算された平均値の差分DFDM(j-1)の間でゼロ
・クロスが生じているかをチェックする。ゼロ・クロス
が生じていれば、DFDM(j)とDFDM(j-1)の差の絶対値を予
め設定されたしきい値と比較する。差の方が大きけれ
ば、ノーマル・タイプのシーン変化が起こったものとし
て、フレーム番号j を変化フレーム番号９０１（図９）
としてシーン変化情報ファイル２０に記録する。そし
て、このDFTM(j)とDFTM(j-1)の差を、当該検出されたシ
ーン変化の変化の度合いＣとして、後で述べる方法で変
化の確からしさ９０３を計算し、計算結果をシーン情報
ファイル２０に記録する。フィールド９０４には、ノー
マルを示す値をセットする。代表フレーム番号９０２と
しては、変化フレーム番号９０１に所定値を加算した結
果値をシーン情報変化ファイル２０に記録する。
【００４３】次に、図１１を参照して、デゾルブの検出
処理の流れを説明する。 １）１フレーム分の画像をビデオ信号変換器１９から取
り込む。 ２）フレームが最後であれば処理を終了する。 ３）取り込まれた画像を縮小する。つまり、画素をサブ
・サンプリングする。 ４）取り込まれる画像が色画像であるならば、色画像を
濃淡画像に変換する。画像がＮＴＳＣ信号などの輝度情
報として取り込まれる場合は、このステップは不要であ
る。 ５）現フレームと前フレームとの間での差分をサブ・サ
ンプルした画素ごとに計算する。ここまでは、上述のノ
ーマル・タイプのシーン変化点の検出にも共通するステ
ップである。
処理の流れを説明する。 １）１フレーム分の画像をビデオ信号変換器１９から取
り込む。 ２）フレームが最後であれば処理を終了する。 ３）取り込まれた画像を縮小する。つまり、画素をサブ
・サンプリングする。 ４）取り込まれる画像が色画像であるならば、色画像を
濃淡画像に変換する。画像がＮＴＳＣ信号などの輝度情
報として取り込まれる場合は、このステップは不要であ
る。 ５）現フレームと前フレームとの間での差分をサブ・サ
ンプルした画素ごとに計算する。ここまでは、上述のノ
ーマル・タイプのシーン変化点の検出にも共通するステ
ップである。
【００４４】６）今回計算された差分と前回計算された
差分（前フレームと前々フレームとの差分）の比をサブ
・サンプルした画素ごとに計算する。さらに、その比が
正になる画素のサブ・サンプル画素全体に占める割合を
求める。 ７）求められた割合に対してメディアンフィルタをかけ
る。 ８）現フレームがフィルタをかけた割合に関して局所的
な極大点または極小点であるかを判断する。極大であっ
た場合、その割合を Lmax として記録し、極小であった
場合は、Lmin として記録する。現フレームが極大でも
極小でもなかった場合は１）に戻る。
差分（前フレームと前々フレームとの差分）の比をサブ
・サンプルした画素ごとに計算する。さらに、その比が
正になる画素のサブ・サンプル画素全体に占める割合を
求める。 ７）求められた割合に対してメディアンフィルタをかけ
る。 ８）現フレームがフィルタをかけた割合に関して局所的
な極大点または極小点であるかを判断する。極大であっ
た場合、その割合を Lmax として記録し、極小であった
場合は、Lmin として記録する。現フレームが極大でも
極小でもなかった場合は１）に戻る。
【００４５】９）極大または極小であった場合は、１つ
前の極大、極小（現フレームが極大であった場合は極
小、極大であった場合は極小）との割合の差を計算す
る。差が予め設定されたしきい値よりも大きければ、１
０) へ進む。しきい値より小さければ、１）に戻る。 １０) 現フレームが極大であれば １１) に進む。極小
であれば、１２) に進む。 １１) 現フレームがデゾルブの開始点である可能性があ
るので、変数サーチ・スイッチにオンを示す値を代入
し、現フレームの番号 ( ST とする）を記録する。 １２) 変数サーチ・スイッチがオンであれば、現フレー
ムがデゾルブの終了点である可能性があるので、１３)
に進む。オンでなければ、１）へ戻る。
前の極大、極小（現フレームが極大であった場合は極
小、極大であった場合は極小）との割合の差を計算す
る。差が予め設定されたしきい値よりも大きければ、１
０) へ進む。しきい値より小さければ、１）に戻る。 １０) 現フレームが極大であれば １１) に進む。極小
であれば、１２) に進む。 １１) 現フレームがデゾルブの開始点である可能性があ
るので、変数サーチ・スイッチにオンを示す値を代入
し、現フレームの番号 ( ST とする）を記録する。 １２) 変数サーチ・スイッチがオンであれば、現フレー
ムがデゾルブの終了点である可能性があるので、１３)
に進む。オンでなければ、１）へ戻る。
【００４６】１３) 現フレームの番号（ CT とする）と
探索を開始したフレームの番号（ ST) との差が探索範
囲内であれば、デゾルブであるとする。探索範囲外であ
れば、デゾルブではないとする。この探索範囲はシーン
変化検出処理全体の開始時点でパラメータとして与えら
れる。通常、３秒程度の時間に相当する値を与える。 １４) デゾルブではないので、変数サーチ・スイッチに
オフを示す値を代入して、１）に戻る。 １５) デゾルブであるので、極小を示したフレームをデ
ゾルブ終了点としてそのフレーム番号を記録し、１）に
戻る。
探索を開始したフレームの番号（ ST) との差が探索範
囲内であれば、デゾルブであるとする。探索範囲外であ
れば、デゾルブではないとする。この探索範囲はシーン
変化検出処理全体の開始時点でパラメータとして与えら
れる。通常、３秒程度の時間に相当する値を与える。 １４) デゾルブではないので、変数サーチ・スイッチに
オフを示す値を代入して、１）に戻る。 １５) デゾルブであるので、極小を示したフレームをデ
ゾルブ終了点としてそのフレーム番号を記録し、１）に
戻る。
【００４７】変化フレーム番号９０１としては、フレー
ム番号STが変化情報ファイル２０に記録される。フィー
ルド９０４には、デゾルブを示す値をセットする。代表
フレーム番号９０２としては、変化フレーム番号９０１
に所定値を加算した結果値がシーン情報変化ファイル２
０に記録される。シーン変化の度合いＣとしては、デゾ
ルブ開始フレームについてステップ９）で計算された極
大と極小の差を正規化した値を用いる。
ム番号STが変化情報ファイル２０に記録される。フィー
ルド９０４には、デゾルブを示す値をセットする。代表
フレーム番号９０２としては、変化フレーム番号９０１
に所定値を加算した結果値がシーン情報変化ファイル２
０に記録される。シーン変化の度合いＣとしては、デゾ
ルブ開始フレームについてステップ９）で計算された極
大と極小の差を正規化した値を用いる。
【００４８】次に、シーン変化点の確からしさの算定処
理を説明する。この処理はシーン変化のタイプに依存せ
ず共通して適用される。まず、検出ミスまたは誤検出が
発生する変化の度合いの上限ＣＨおよび下限ＣＬを予め
入力しておく。確からしさＰは、値ＣがＣＬとＣＨの範
囲にある場合はＰ＝（Ｃ−ＣＬ）／（ＣＨ−ＣＬ）、こ
の範囲を越える場合はＰ＝１、この範囲を越えない場合
はＰ＝０とする。このようにして求めた値Ｐを、シーン
情報変化ファイル２０のフィールド９０３に記録する。
理を説明する。この処理はシーン変化のタイプに依存せ
ず共通して適用される。まず、検出ミスまたは誤検出が
発生する変化の度合いの上限ＣＨおよび下限ＣＬを予め
入力しておく。確からしさＰは、値ＣがＣＬとＣＨの範
囲にある場合はＰ＝（Ｃ−ＣＬ）／（ＣＨ−ＣＬ）、こ
の範囲を越える場合はＰ＝１、この範囲を越えない場合
はＰ＝０とする。このようにして求めた値Ｐを、シーン
情報変化ファイル２０のフィールド９０３に記録する。
【００４９】シーン情報エディタ１２は、本発明の要部
であり、以下では、まずシーン情報の表示方式を説明
し、次に、入力操作の手順および各エディタの動作の詳
細を説明する。
であり、以下では、まずシーン情報の表示方式を説明
し、次に、入力操作の手順および各エディタの動作の詳
細を説明する。
【００５０】シーン情報エディタ１２は、ディスプレイ
１４の画面に、図１２に示すように、フレーム情報表示
部４０、処理モード表示部４１、映像再生ボタン４２、
代表フレーム表示部４３、タイム・バー表示部４４、入
力編集部４５、編集コマンド部４６、および表示画面／
操作モード切換部４７を配置する。図５乃至図７で示し
たシーン・チャート３０は、代表フレーム表示部４３と
タイム・バー表示部４４によって構成される。また、シ
ーン階層チャート３１、シーン・キーワード・チャート
３２は、入力編集部４５に表示される。
１４の画面に、図１２に示すように、フレーム情報表示
部４０、処理モード表示部４１、映像再生ボタン４２、
代表フレーム表示部４３、タイム・バー表示部４４、入
力編集部４５、編集コマンド部４６、および表示画面／
操作モード切換部４７を配置する。図５乃至図７で示し
たシーン・チャート３０は、代表フレーム表示部４３と
タイム・バー表示部４４によって構成される。また、シ
ーン階層チャート３１、シーン・キーワード・チャート
３２は、入力編集部４５に表示される。
【００５１】代表フレーム表示部４３は、図１３に例示
するように、複数のシーンについて、それらの代表フレ
ームの縮小画３３を列挙するとともに、シーン変化点ご
とにシーン変化のタイプ５１と確からしさ５２を表示す
る領域である。最後に、代表フレーム表示ページ戻し・
送りボタン５３は、代表フレームのスクロールを指示す
る領域である。
するように、複数のシーンについて、それらの代表フレ
ームの縮小画３３を列挙するとともに、シーン変化点ご
とにシーン変化のタイプ５１と確からしさ５２を表示す
る領域である。最後に、代表フレーム表示ページ戻し・
送りボタン５３は、代表フレームのスクロールを指示す
る領域である。
【００５２】カット・シーンについてシーン情報の編集
を行う場合には、一つのシーンが一つの代表フレームを
持つので、縮小画３３もシーンごとに一枚ずつ配置され
る。図１３はそのような配置の例である。しかしなが
ら、階層木の上位では、一つのシーンが複数の代表フレ
ームを持つこともある。そのような場合には、そのシー
ンの縮小画３３すべてを時間順に列挙することも可能で
ある。あるいは、例えば時間的に最も前の代表フレーム
を自動的に選ぶようにするなら、上位のシーンの場合で
も代表フレーム表示部４３の外観は図１３と同じにな
る。
を行う場合には、一つのシーンが一つの代表フレームを
持つので、縮小画３３もシーンごとに一枚ずつ配置され
る。図１３はそのような配置の例である。しかしなが
ら、階層木の上位では、一つのシーンが複数の代表フレ
ームを持つこともある。そのような場合には、そのシー
ンの縮小画３３すべてを時間順に列挙することも可能で
ある。あるいは、例えば時間的に最も前の代表フレーム
を自動的に選ぶようにするなら、上位のシーンの場合で
も代表フレーム表示部４３の外観は図１３と同じにな
る。
【００５３】タイム・バー表示部４４は、図１４に例示
するように、時間軸を表すタイム・バー３４上にカーソ
ル５５、５６、５７を表示する領域である。作業フレー
ム・カーソル５５はフレームを、またフレーム区間カー
ソル５６はフレーム区間の開始位置および終了位置を、
それぞれ指示する。カソール５５、５６は、問題点を解
決するための手段の欄で述べたステップｄ）において、
ユーザがフレームあるいはフレーム区間を操作対象に設
定するためのものである。これらカーソルの移動は、ユ
ーザが入力手段１５を用いて対話式に、例えば、マウス
・カーソル（図示せず）でドラッグすることによって行
う。カーソル５５、５６に関しては、マウス・カーソル
を使ってタイム・バー３４をクリックすることによっ
て、それらが表示されている状態と表示されていない状
態を切り換えることができる。表示フレーム・カーソル
５７はＴＶモニター１８で表示されている動画像の現在
のフレーム位置を示す。
するように、時間軸を表すタイム・バー３４上にカーソ
ル５５、５６、５７を表示する領域である。作業フレー
ム・カーソル５５はフレームを、またフレーム区間カー
ソル５６はフレーム区間の開始位置および終了位置を、
それぞれ指示する。カソール５５、５６は、問題点を解
決するための手段の欄で述べたステップｄ）において、
ユーザがフレームあるいはフレーム区間を操作対象に設
定するためのものである。これらカーソルの移動は、ユ
ーザが入力手段１５を用いて対話式に、例えば、マウス
・カーソル（図示せず）でドラッグすることによって行
う。カーソル５５、５６に関しては、マウス・カーソル
を使ってタイム・バー３４をクリックすることによっ
て、それらが表示されている状態と表示されていない状
態を切り換えることができる。表示フレーム・カーソル
５７はＴＶモニター１８で表示されている動画像の現在
のフレーム位置を示す。
【００５４】図１４では、どのシーンに対してもタイム
・バー３４上で等しい長さ（Ｌ０）の区間が割当てられ
る。長さＬ０に対応するフレーム数はシーンによって異
なるけれども、カーソル５５、５６、５７の位置とそれ
らが指示するフレームの番号は次のようにして対応づけ
られる。即ち、図１４のシーンＩを例にとって述べる
と、タイム・バー３４上でのシーン開始点とカーソル５
５が指示する点の距離をＬＣ、シーンＩの開始フレーム
番号と終了フレーム番号をそれぞれＳｉ、Ｅｉとすれ
ば、カーソル５５の指示するフレーム番号Ｆは次の式で
計算される。 Ｆ＝Ｓｉ＋ＬＣ＊（Ｅｉ−Ｓｉ）／ＬＯ
・バー３４上で等しい長さ（Ｌ０）の区間が割当てられ
る。長さＬ０に対応するフレーム数はシーンによって異
なるけれども、カーソル５５、５６、５７の位置とそれ
らが指示するフレームの番号は次のようにして対応づけ
られる。即ち、図１４のシーンＩを例にとって述べる
と、タイム・バー３４上でのシーン開始点とカーソル５
５が指示する点の距離をＬＣ、シーンＩの開始フレーム
番号と終了フレーム番号をそれぞれＳｉ、Ｅｉとすれ
ば、カーソル５５の指示するフレーム番号Ｆは次の式で
計算される。 Ｆ＝Ｓｉ＋ＬＣ＊（Ｅｉ−Ｓｉ）／ＬＯ
【００５５】カーソル５６の指示するフレーム区間の開
始および終了フレーム番号も同様にして計算される。ま
た、カーソル５７を表示する場所は、上の式を使って、
再生中のフレームの番号（Ｆ）をタイム・バー３４上の
位置（ＬＣ）に変換することによって求められる。
始および終了フレーム番号も同様にして計算される。ま
た、カーソル５７を表示する場所は、上の式を使って、
再生中のフレームの番号（Ｆ）をタイム・バー３４上の
位置（ＬＣ）に変換することによって求められる。
【００５６】これから説明するすべてのエディタおよび
モードにおいて、ユーザが入力装置１５を操作して代表
フレームの縮小画３３を指示したか、またはタイム・バ
ー表示部４４においてフレーム区間を設定したこと、お
よびこれに続いて映像再生ボタン４２を操作したことに
応答して、指示された期間の動画像を再生する。例え
ば、図１４において、シーンＩの縮小画３３がクリック
された場合には、フレームＳｉからフレームＥｉまでの
動画像を、ＴＶモニター１８に表示する。また、フレー
ム区間カーソル５６による指示がなされたときは、フレ
ームＳＳからフレームＥＥまでの動画像を、ＴＶモニタ
ー１８に表示する。あるいは、シーン情報表示画面の一
部にウィンドウを設けてそこで動画像を表示してもよい
し、対応する縮小画３３の場所でシーンを再生してもよ
い。
モードにおいて、ユーザが入力装置１５を操作して代表
フレームの縮小画３３を指示したか、またはタイム・バ
ー表示部４４においてフレーム区間を設定したこと、お
よびこれに続いて映像再生ボタン４２を操作したことに
応答して、指示された期間の動画像を再生する。例え
ば、図１４において、シーンＩの縮小画３３がクリック
された場合には、フレームＳｉからフレームＥｉまでの
動画像を、ＴＶモニター１８に表示する。また、フレー
ム区間カーソル５６による指示がなされたときは、フレ
ームＳＳからフレームＥＥまでの動画像を、ＴＶモニタ
ー１８に表示する。あるいは、シーン情報表示画面の一
部にウィンドウを設けてそこで動画像を表示してもよい
し、対応する縮小画３３の場所でシーンを再生してもよ
い。
【００５７】再び図１２を参照するに、フレーム情報表
示部４０は、オリジナル動画像全体における作業フレー
ムの位置など、操作対象であるフレームに関する情報を
表示する領域である。表示画面／操作モード切換部４７
は、表示画面の切換、および各画面における処理モード
の選択を指示する領域（図１５などに示すモード切換ボ
タン５８、エディタ切換ボタン５９）と登録処理装置２
３の起動を指示する領域（図１５の登録ボタン６０）を
有する。そこで選択された入力編集のモードは処理モー
ド表示部４１に表示される一方、現在の処理モードで選
択可能な編集コマンドは編集コマンド部４６にメニュー
として表示される。映像再生ボタン４２は、動画像蓄積
・表示装置１０に対して映像再生のための制御信号を送
ることをシーン情報エディタ１２に指示するための領域
である。入力編集部４５では、シーン情報エディタ１２
が、シーン・チャート、シーン階層チャート、またはシ
ーン・キーワード・チャートの形式でシーン情報を表示
する。ユーザは、チャートに表示されたオブジェクトの
指示・移動・複写、タイム・バーでのカーソル設定、お
よび編集コマンドの選択によって入力編集操作を指示
し、シーン情報エディタ１２は指示されたコマンドを実
行する。
示部４０は、オリジナル動画像全体における作業フレー
ムの位置など、操作対象であるフレームに関する情報を
表示する領域である。表示画面／操作モード切換部４７
は、表示画面の切換、および各画面における処理モード
の選択を指示する領域（図１５などに示すモード切換ボ
タン５８、エディタ切換ボタン５９）と登録処理装置２
３の起動を指示する領域（図１５の登録ボタン６０）を
有する。そこで選択された入力編集のモードは処理モー
ド表示部４１に表示される一方、現在の処理モードで選
択可能な編集コマンドは編集コマンド部４６にメニュー
として表示される。映像再生ボタン４２は、動画像蓄積
・表示装置１０に対して映像再生のための制御信号を送
ることをシーン情報エディタ１２に指示するための領域
である。入力編集部４５では、シーン情報エディタ１２
が、シーン・チャート、シーン階層チャート、またはシ
ーン・キーワード・チャートの形式でシーン情報を表示
する。ユーザは、チャートに表示されたオブジェクトの
指示・移動・複写、タイム・バーでのカーソル設定、お
よび編集コマンドの選択によって入力編集操作を指示
し、シーン情報エディタ１２は指示されたコマンドを実
行する。
【００５８】次に、シーン・エディタ、シーン階層エデ
ィタ、シーン・キーワード・エディタ、およびクロス・
エディタそれぞれの動作の詳細を説明する。
ィタ、シーン・キーワード・エディタ、およびクロス・
エディタそれぞれの動作の詳細を説明する。
【００５９】（１）シーン・エディタ シーン・エディタは、ユーザがシーンの代表フレームや
シーンに対応する動画像を見ながら、シーン変化点を確
認してシーン変化検出装置１１の誤りを修正すること、
シーンの属性情報を入力編集すること、および代表フレ
ームを変更することのためのエディタである。
シーンに対応する動画像を見ながら、シーン変化点を確
認してシーン変化検出装置１１の誤りを修正すること、
シーンの属性情報を入力編集すること、および代表フレ
ームを変更することのためのエディタである。
【００６０】まず、シーン・エディタは、シーン変化情
報ファイル２０を読み込み、代表フレームのフレーム番
号を動画像蓄積・表示装置１０に送り、そのフレームの
画像データを動画像蓄積・表示装置１０から獲得し、画
素をサブ・サンプリングすることによって静止画像ファ
イル８６を作り、代表フレーム・ファイル２２に追加す
る。次に、シーン変化の発生したフレームの番号をシー
ン変化情報ファイル２０より獲得し、そのフレーム番号
からシーンの開始・終了フレーム番号を計算し、図１０
に示すようなシーン情報ファイル２１を新規作成する。
報ファイル２０を読み込み、代表フレームのフレーム番
号を動画像蓄積・表示装置１０に送り、そのフレームの
画像データを動画像蓄積・表示装置１０から獲得し、画
素をサブ・サンプリングすることによって静止画像ファ
イル８６を作り、代表フレーム・ファイル２２に追加す
る。次に、シーン変化の発生したフレームの番号をシー
ン変化情報ファイル２０より獲得し、そのフレーム番号
からシーンの開始・終了フレーム番号を計算し、図１０
に示すようなシーン情報ファイル２１を新規作成する。
【００６１】次に、シーン・エディタは、図１５乃至図
１７に例示するように、シーン情報ファイル２１にアク
セスし、そこに格納されたデータに基づいて、シーン・
チャート３０を用いたシーン情報の提示を行う。シーン
・エディタは、ユーザの指示によって、シーン変化検出
装置１１によって区切られた全シーンについて代表フレ
ームを時間順に表示するか、または、確からしさが予め
指定された一定範囲に含まれるシーン変化点を含むシー
ンを場合によっては直前のシーンも含めて表示する。後
者の場合、さらにユーザの指示によって、条件に合致す
るシーンすべてを時間順に表示するか、または検出誤り
の可能性Ｑの高いシーン変化点から順に選択して表示す
る。ここで、検出誤りの可能性Ｑは、例えば｜０．５−
Ｐ｜で与えられる。ここで、Ｐはシーン変化点の確から
しさである。なお、シーンを選ぶ条件として確からしさ
の代わりにシーン変化のタイプを指定してもよいし、両
者を同時に指定してもよい。
１７に例示するように、シーン情報ファイル２１にアク
セスし、そこに格納されたデータに基づいて、シーン・
チャート３０を用いたシーン情報の提示を行う。シーン
・エディタは、ユーザの指示によって、シーン変化検出
装置１１によって区切られた全シーンについて代表フレ
ームを時間順に表示するか、または、確からしさが予め
指定された一定範囲に含まれるシーン変化点を含むシー
ンを場合によっては直前のシーンも含めて表示する。後
者の場合、さらにユーザの指示によって、条件に合致す
るシーンすべてを時間順に表示するか、または検出誤り
の可能性Ｑの高いシーン変化点から順に選択して表示す
る。ここで、検出誤りの可能性Ｑは、例えば｜０．５−
Ｐ｜で与えられる。ここで、Ｐはシーン変化点の確から
しさである。なお、シーンを選ぶ条件として確からしさ
の代わりにシーン変化のタイプを指定してもよいし、両
者を同時に指定してもよい。
【００６２】表示される縮小画３３は、代表フレーム画
像８６の画像を縮小することによって作られる。記憶装
置のコスト、再生画の品質および再生速度を考慮して、
代表フレーム・ファイル２２に蓄積する１フレームの画
像サイズは、オリジナルのフレーム・サイズと縮小画３
３のサイズの中間にしておくのが好ましい。
像８６の画像を縮小することによって作られる。記憶装
置のコスト、再生画の品質および再生速度を考慮して、
代表フレーム・ファイル２２に蓄積する１フレームの画
像サイズは、オリジナルのフレーム・サイズと縮小画３
３のサイズの中間にしておくのが好ましい。
【００６３】所望の代表フレームを表示させるために、
代表フレーム表示ページ戻し／送りボタン５３が用意さ
れていることは既に述べた。この他、図１５に示す画面
で、最後尾、つまり右下の隅のボタン５３をクリックし
たときには、一画面分、つまりこの例では４８シーン
分、の代表フレームがスクロールされる。さらに、編集
コマンド部４６でタイプされる任意のシーンへのジャン
プのためのコマンドも用意されている。
代表フレーム表示ページ戻し／送りボタン５３が用意さ
れていることは既に述べた。この他、図１５に示す画面
で、最後尾、つまり右下の隅のボタン５３をクリックし
たときには、一画面分、つまりこの例では４８シーン
分、の代表フレームがスクロールされる。さらに、編集
コマンド部４６でタイプされる任意のシーンへのジャン
プのためのコマンドも用意されている。
【００６４】シーン・エディタは、シーン変化点の確認
・修正モード、シーン属性の入力編集モード、および代
表フレームの変更モードにおいて動作する。作業フレー
ム・カーソル５５が表示されている場合には、マウス・
カーソル（図示せず）を使ったモード切換ボタン５８の
選択に応答して、図１５乃至図１７に例示する画面を循
環的に表示し、モードを変更する。作業フレーム・カー
ソル５５が表示されていない場合には、シーンの確認・
修正モード（図１５）からシーン属性の入力編集モード
（図１６）あるいは代表フレームの変更モード（図１
７）へのモード変更に際して、対象となるシーンの指示
をユーザから受ける。その指示は、シーン変化点の確認
・修正モードにおいて、縮小画３３のうちの一つをクリ
ックすることにより行われる。カーソル５５による指示
とマウス・カーソルによる指示が競合した場合には、予
め定められた優先順位の高い方の指示が優先される。
・修正モード、シーン属性の入力編集モード、および代
表フレームの変更モードにおいて動作する。作業フレー
ム・カーソル５５が表示されている場合には、マウス・
カーソル（図示せず）を使ったモード切換ボタン５８の
選択に応答して、図１５乃至図１７に例示する画面を循
環的に表示し、モードを変更する。作業フレーム・カー
ソル５５が表示されていない場合には、シーンの確認・
修正モード（図１５）からシーン属性の入力編集モード
（図１６）あるいは代表フレームの変更モード（図１
７）へのモード変更に際して、対象となるシーンの指示
をユーザから受ける。その指示は、シーン変化点の確認
・修正モードにおいて、縮小画３３のうちの一つをクリ
ックすることにより行われる。カーソル５５による指示
とマウス・カーソルによる指示が競合した場合には、予
め定められた優先順位の高い方の指示が優先される。
【００６５】以下、シーン・エディタの三つのモードで
の動作を詳しく述べる。まず、シーン変化点の確認・修
正モードでは、図１５に示すように、入力編集部４５に
もシーン・チャート３０が表示される。このモードで
は、シーン変化の確からしさを基準にして、確からしさ
の高いシーン変化の前後では高速再生、また低いところ
の前後ではスロー再生する制御信号をＬＤプレーヤー１
７に送り、動画像の再生速度を制御する。
の動作を詳しく述べる。まず、シーン変化点の確認・修
正モードでは、図１５に示すように、入力編集部４５に
もシーン・チャート３０が表示される。このモードで
は、シーン変化の確からしさを基準にして、確からしさ
の高いシーン変化の前後では高速再生、また低いところ
の前後ではスロー再生する制御信号をＬＤプレーヤー１
７に送り、動画像の再生速度を制御する。
【００６６】シーン・エディタは、シーン変化点を修正
するための、シーン変化検出装置１１によって検出され
なかったシーン変化点を追加するコマンドと、誤って検
出されたシーン変化点を取り消すコマンドを受け付け
る。
するための、シーン変化検出装置１１によって検出され
なかったシーン変化点を追加するコマンドと、誤って検
出されたシーン変化点を取り消すコマンドを受け付け
る。
【００６７】シーン変化点を追加する場合、ユーザは、
入力装置１５を使って、シーンが変化したと判断するフ
レームにおいて動画像を静止させることを指示し、続い
て編集コマンド部４６に示されるシーン変化点追加コマ
ンドを選択する。これに応じて、シーン・エディタは、
指示されたフレームをシーン変化点としてシーンを分け
る。今、シーンＴがシーン変化点追加操作でシーンＴ
１，Ｔ２に分けられ、シーンＴ１の方が時間的に前であ
るとする。シーンＴ１にシーンＴの代表フレームが含ま
れていない場合には、例えば先頭フレームを省略時の代
表フレームとし、そのフレームの画像ファイル８６を新
たに作成する。シーンＴの静止画像ファイル８６はその
ままシーンＴ２の画像ファイルとなる。また、シーンＴ
２にシーンＴの代表フレームが含まれていない場合に
は、その先頭フレーム、つまりユーザが静止させたフレ
ームを省略時の代表フレームとし、そのフレームの静止
画像ファイル８６を新たに作成する。シーンＴの静止画
像ファイル８６はそのままシーンＴ１の画像ファイルと
なる。どちらの場合も、シーンＴ１，Ｔ２のレコードを
図１０に示すシーン情報ファイル２１（ａ）と（ｃ）に
挿入し、元のシーンＴのレコードを削除するとともに、
更新後のシーン情報ファイル２１（ａ）に基づいてシー
ン・チャート３０を更新する。
入力装置１５を使って、シーンが変化したと判断するフ
レームにおいて動画像を静止させることを指示し、続い
て編集コマンド部４６に示されるシーン変化点追加コマ
ンドを選択する。これに応じて、シーン・エディタは、
指示されたフレームをシーン変化点としてシーンを分け
る。今、シーンＴがシーン変化点追加操作でシーンＴ
１，Ｔ２に分けられ、シーンＴ１の方が時間的に前であ
るとする。シーンＴ１にシーンＴの代表フレームが含ま
れていない場合には、例えば先頭フレームを省略時の代
表フレームとし、そのフレームの画像ファイル８６を新
たに作成する。シーンＴの静止画像ファイル８６はその
ままシーンＴ２の画像ファイルとなる。また、シーンＴ
２にシーンＴの代表フレームが含まれていない場合に
は、その先頭フレーム、つまりユーザが静止させたフレ
ームを省略時の代表フレームとし、そのフレームの静止
画像ファイル８６を新たに作成する。シーンＴの静止画
像ファイル８６はそのままシーンＴ１の画像ファイルと
なる。どちらの場合も、シーンＴ１，Ｔ２のレコードを
図１０に示すシーン情報ファイル２１（ａ）と（ｃ）に
挿入し、元のシーンＴのレコードを削除するとともに、
更新後のシーン情報ファイル２１（ａ）に基づいてシー
ン・チャート３０を更新する。
【００６８】シーン変化点を取り消す場合、ユーザは、
連続する複数のシーンをクリックするか、またはフレー
ム区間カーソル５６によって先頭のシーンと最後尾のシ
ーンを指示することによって、１シーンに併合するシー
ンの範囲を指示する。続いて、ユーザは、新しいシーン
の代表フレームを指示する。その指示は、併合されるシ
ーンのどれかの代表フレームの縮小画３３をクリックす
るか、またはモニター１８に再生される映像を所望のフ
レームにおいて静止させること、およびこれに続いて編
集コマンド部４６に示されるシーン変化点取消コマンド
を選択することによって行われる。それらの指示に応答
して、シーン・エディタは、指示されたシーンを１シー
ンとして併合し、その代表フレームを指示されたフレー
ムに定める。代表フレームの指示のない場合は、併合対
象区間に含まれる代表フレームのうち時間的に最初のも
のを選ぶ。この場合も、新しいシーンのレコードをシー
ン情報ファイル２１（ａ）に挿入し、併合されたシーン
のレコードを削除する一方、更新後のシーン情報ファイ
ル２１（ａ）の内容に基づいてシーン・チャート３０を
更新する。
連続する複数のシーンをクリックするか、またはフレー
ム区間カーソル５６によって先頭のシーンと最後尾のシ
ーンを指示することによって、１シーンに併合するシー
ンの範囲を指示する。続いて、ユーザは、新しいシーン
の代表フレームを指示する。その指示は、併合されるシ
ーンのどれかの代表フレームの縮小画３３をクリックす
るか、またはモニター１８に再生される映像を所望のフ
レームにおいて静止させること、およびこれに続いて編
集コマンド部４６に示されるシーン変化点取消コマンド
を選択することによって行われる。それらの指示に応答
して、シーン・エディタは、指示されたシーンを１シー
ンとして併合し、その代表フレームを指示されたフレー
ムに定める。代表フレームの指示のない場合は、併合対
象区間に含まれる代表フレームのうち時間的に最初のも
のを選ぶ。この場合も、新しいシーンのレコードをシー
ン情報ファイル２１（ａ）に挿入し、併合されたシーン
のレコードを削除する一方、更新後のシーン情報ファイ
ル２１（ａ）の内容に基づいてシーン・チャート３０を
更新する。
【００６９】このように、シーン変化点の確認・修正モ
ードは、検出ミスまたは誤検出が発生する変化の度合い
の範囲を設定し、その範囲に含まれるシーン変化点の前
後のフレームを再度目視検査することによって、シーン
変化点の検出精度を大幅に向上させることができる。さ
らに、このような範囲を限定することによって、全ての
シーン変化点を目視検査する場合に比べ、労力を大幅に
削減することができる。また、シーン変化の確からしさ
に応じて動画再生速度を制御することによって、ユーザ
による繁雑な再生制御操作を軽減し、確認・修正作業を
効率化する。
ードは、検出ミスまたは誤検出が発生する変化の度合い
の範囲を設定し、その範囲に含まれるシーン変化点の前
後のフレームを再度目視検査することによって、シーン
変化点の検出精度を大幅に向上させることができる。さ
らに、このような範囲を限定することによって、全ての
シーン変化点を目視検査する場合に比べ、労力を大幅に
削減することができる。また、シーン変化の確からしさ
に応じて動画再生速度を制御することによって、ユーザ
による繁雑な再生制御操作を軽減し、確認・修正作業を
効率化する。
【００７０】次に、シーン属性の入力編集モードについ
て述べる。このモードでは、図１６に例示するシーン属
性編集画面を表示する。この画面では、入力編集部４５
がシーン階層表示部６０とシーン属性入力部６１によっ
て構成される。ユーザは、シーン・チャート３０でのカ
ーソル５５による代表フレームの指示あるいはシーン階
層表示部６０に表示するシーン階層木のノードの指示に
よって属性を記述したいシーンを指定し、続いて指定し
たシーンについて、シーン属性入力部６１にタイトルや
内容の説明文などのシーン属性をキー・インし、編集コ
マンド部４６で属性記録コマンドを選択する。シーン・
エディタはこのコマンドを実行し、シーン情報ファイル
２１（ｃ）の、指示されたシーンのレコードの属性フィ
ールドに属性データを格納する。
て述べる。このモードでは、図１６に例示するシーン属
性編集画面を表示する。この画面では、入力編集部４５
がシーン階層表示部６０とシーン属性入力部６１によっ
て構成される。ユーザは、シーン・チャート３０でのカ
ーソル５５による代表フレームの指示あるいはシーン階
層表示部６０に表示するシーン階層木のノードの指示に
よって属性を記述したいシーンを指定し、続いて指定し
たシーンについて、シーン属性入力部６１にタイトルや
内容の説明文などのシーン属性をキー・インし、編集コ
マンド部４６で属性記録コマンドを選択する。シーン・
エディタはこのコマンドを実行し、シーン情報ファイル
２１（ｃ）の、指示されたシーンのレコードの属性フィ
ールドに属性データを格納する。
【００７１】最後に、代表フレームの変更モードについ
て述べる。このモードでは、図１７に例示する属性・代
表フレーム変更画面を表示する。この画面の入力編集部
４５には、候補画像表示部６２、取り込みボタン６３、
登録ボタン６４が含まれる。このモードで、ユーザは、
シーンの現時点の代表フレームを、そのシーンの他のフ
レームに変更することを指示する。指示操作は、ユーザ
が、モニター１８での動画像の再生を所望のフレームで
静止する指示を出すこと、およびこれに続いてフレーム
取込みボタン６３をクリックすることを含む。シーン・
エディタは、指示に応答して、動画像蓄積・表示装置１
０から映像を入力し、代表フレームの静止画像ファイル
を例えば主記憶に用意したバッファに作成し、その画像
を候補画像表示部６２に表示する。これに続いて登録ボ
タン６４がクリックされたことに応答して、新たな代表
フレームの静止画像ファイル８６を代表フレーム・ファ
イル２２に追加し、シーン情報ファイル２１（ａ）を更
新して当該シーンの代表フレーム番号８４を変更し、新
たな代表フレームの静止画像を代表フレーム表示部３０
の対応する位置に表示する。
て述べる。このモードでは、図１７に例示する属性・代
表フレーム変更画面を表示する。この画面の入力編集部
４５には、候補画像表示部６２、取り込みボタン６３、
登録ボタン６４が含まれる。このモードで、ユーザは、
シーンの現時点の代表フレームを、そのシーンの他のフ
レームに変更することを指示する。指示操作は、ユーザ
が、モニター１８での動画像の再生を所望のフレームで
静止する指示を出すこと、およびこれに続いてフレーム
取込みボタン６３をクリックすることを含む。シーン・
エディタは、指示に応答して、動画像蓄積・表示装置１
０から映像を入力し、代表フレームの静止画像ファイル
を例えば主記憶に用意したバッファに作成し、その画像
を候補画像表示部６２に表示する。これに続いて登録ボ
タン６４がクリックされたことに応答して、新たな代表
フレームの静止画像ファイル８６を代表フレーム・ファ
イル２２に追加し、シーン情報ファイル２１（ａ）を更
新して当該シーンの代表フレーム番号８４を変更し、新
たな代表フレームの静止画像を代表フレーム表示部３０
の対応する位置に表示する。
【００７２】あるシーンの代表フレームの変更は、シー
ンの階層に沿ってその親シーンと子シーンの双方に波及
する。図１８の例は、子シーンをもつシーンの代表フレ
ームを変更する前後の様子を示す。シーンＡの代表フレ
ームｆ1をｆ2（＜ｆ1）に変更したとき、Ａの子シーン
Ａ１は、フレームｆ２を含むので、Ａ１の代表フレーム
もＡに連動してｆ２に変更される。これとともに、Ａ1
の画像ファイルへのポインター１９１は、Ａのポインタ
ー１９０と同じアドレスを指すようになる。この親シー
ンの代表フレームの変更は、葉ノードとなるシーンまで
同様に子シーンへ波及する。同時に、シーンＡの代表フ
レームの変更はＡの親となるシーンの代表フレームがＡ
に含まれる場合には、その親シーンに波及する。この子
シーンの代表フレームの変更は、根ノードのシーンまで
同様に親シーンへ波及する。
ンの階層に沿ってその親シーンと子シーンの双方に波及
する。図１８の例は、子シーンをもつシーンの代表フレ
ームを変更する前後の様子を示す。シーンＡの代表フレ
ームｆ1をｆ2（＜ｆ1）に変更したとき、Ａの子シーン
Ａ１は、フレームｆ２を含むので、Ａ１の代表フレーム
もＡに連動してｆ２に変更される。これとともに、Ａ1
の画像ファイルへのポインター１９１は、Ａのポインタ
ー１９０と同じアドレスを指すようになる。この親シー
ンの代表フレームの変更は、葉ノードとなるシーンまで
同様に子シーンへ波及する。同時に、シーンＡの代表フ
レームの変更はＡの親となるシーンの代表フレームがＡ
に含まれる場合には、その親シーンに波及する。この子
シーンの代表フレームの変更は、根ノードのシーンまで
同様に親シーンへ波及する。
【００７３】（２）シーン階層エディタ 図１５乃至図１７に示した画面でユーザがエディタ切換
ボタン５９を押すと、シーン階層エディタが起動され、
図１９に例示するように、画面上部の第一の領域にシー
ン・チャート３０、下部の第二の領域にシーンの階層情
報を示す階層チャート３１を表示する。省略時には全シ
ーンが表示の対象となるが、予めユーザが葉となるシー
ンのみまたは指定階層のシーンのみに限定する指示を行
うこともできる。図１９では、葉となるシーンのみを表
示している。階層チャートの初期状態では、動画像全体
を親シーンとし、シーン変化検出装置１１が分割した各
シーンを子シーンとする一階層が示される。この初期状
態の階層から、ユーザが入力するシーンの分割・併合な
どのシーン階層変更コマンドを実行してシーンを複雑に
階層化する。図２０は、図１９に対応する階層関係を図
２と同じ態様で示したものである。図１９で代表フレー
ムの縮小画３３が表示されているシーンＡ乃至Ｌは、そ
れぞれ、図２０に示すシーンＳ１，Ｓ２，Ｓ３１，Ｓ３
２，Ｓ３３１，Ｓ３３２１，Ｓ３３２２，Ｓ３３３，Ｓ
３３４，Ｓ３３５１，Ｓ３３６，Ｓ３３７に対応する。
ボタン５９を押すと、シーン階層エディタが起動され、
図１９に例示するように、画面上部の第一の領域にシー
ン・チャート３０、下部の第二の領域にシーンの階層情
報を示す階層チャート３１を表示する。省略時には全シ
ーンが表示の対象となるが、予めユーザが葉となるシー
ンのみまたは指定階層のシーンのみに限定する指示を行
うこともできる。図１９では、葉となるシーンのみを表
示している。階層チャートの初期状態では、動画像全体
を親シーンとし、シーン変化検出装置１１が分割した各
シーンを子シーンとする一階層が示される。この初期状
態の階層から、ユーザが入力するシーンの分割・併合な
どのシーン階層変更コマンドを実行してシーンを複雑に
階層化する。図２０は、図１９に対応する階層関係を図
２と同じ態様で示したものである。図１９で代表フレー
ムの縮小画３３が表示されているシーンＡ乃至Ｌは、そ
れぞれ、図２０に示すシーンＳ１，Ｓ２，Ｓ３１，Ｓ３
２，Ｓ３３１，Ｓ３３２１，Ｓ３３２２，Ｓ３３３，Ｓ
３３４，Ｓ３３５１，Ｓ３３６，Ｓ３３７に対応する。
【００７４】シーン階層変更コマンドの入力は、ユーザ
が表示画面上のオブジェクトを直接操作することにより
行う。具体的には、ユーザは次のような操作を行う。ま
ず、操作の対象となるシーンを、タイム・バー３４上で
のカーソル５５または５６の設定もしくは縮小画３３の
クリックにより指示する。これに続いて、以下の操作の
どれかを行う。
が表示画面上のオブジェクトを直接操作することにより
行う。具体的には、ユーザは次のような操作を行う。ま
ず、操作の対象となるシーンを、タイム・バー３４上で
のカーソル５５または５６の設定もしくは縮小画３３の
クリックにより指示する。これに続いて、以下の操作の
どれかを行う。
【００７５】ａ）シーンの階層の深さを示すボックス３
６をクリックすることにより、階層バー６５をその深さ
へ移動させる。 ｂ）階層チャート３１上で、階層バー６５の位置３７を
直接指示することにより、階層バー６５をその位置３７
へ移動させる。
６をクリックすることにより、階層バー６５をその深さ
へ移動させる。 ｂ）階層チャート３１上で、階層バー６５の位置３７を
直接指示することにより、階層バー６５をその位置３７
へ移動させる。
【００７６】ｃ）編集コマンド部４６で分割コマンドを
選択する。この場合、分割点は、タイム・バー３４上の
作業フレーム・カーソル５５で示される。 ｄ）編集コマンド部４６で、併合コマンドを選択する。 ｅ）階層バー６５をマウスでドラッグすることにより直
接上下に移動させる。
選択する。この場合、分割点は、タイム・バー３４上の
作業フレーム・カーソル５５で示される。 ｄ）編集コマンド部４６で、併合コマンドを選択する。 ｅ）階層バー６５をマウスでドラッグすることにより直
接上下に移動させる。
【００７７】図１９に示すシーンＦ，Ｇについてその階
層バー６５を矢印で示すように一階層分持ち上げ、シー
ンＬについてその階層バー６５を矢印で示すように一階
層分下げた場合、階層関係は図２１に示されるように変
更される。
層バー６５を矢印で示すように一階層分持ち上げ、シー
ンＬについてその階層バー６５を矢印で示すように一階
層分下げた場合、階層関係は図２１に示されるように変
更される。
【００７８】シーン階層関係の変更により新たなシーン
が作成された場合、図１１に示すシーン情報ファイル２
１（ａ）と（ｃ）に、そのシーンについてのレコードが
追加される。また、新たな親子関係が作成された場合、
ファイル２１（ｂ）において、その親と子のシーンの識
別子の組が追加される。
が作成された場合、図１１に示すシーン情報ファイル２
１（ａ）と（ｃ）に、そのシーンについてのレコードが
追加される。また、新たな親子関係が作成された場合、
ファイル２１（ｂ）において、その親と子のシーンの識
別子の組が追加される。
【００７９】シーンを分割したときに新たに作成される
子シーンの代表フレームは、親シーンの代表フレームを
もとにして自動的に設定される。図２２に示す例では、
フレームｆ１を代表フレームにもつシーンＡをフレーム
ｆ２（＜ｆ１）において分割したときに、分割により作
成される子シーンＡ１およびＡ２の代表フレーム番号と
画像ファイルへのポインターが設定される前後の様子を
示している。Ａの代表フレームはｆ１で、画像ファイル
Ｉ１への参照ポインター２２０をもっている。分割する
フレームｆ２は、ｆ１よりも前方のフレーム番号になっ
ているので、Ａ１の代表フレームは省略時の設定で先頭
フレームｆ３となり、Ａ２の代表フレームはＡと同じｆ
１となる。また、Ａ２の画像ファイルへのポインター２
２１は、Ａのポインター２２２と同じアドレスを指す。
Ａ１については空ポインタ２２３となるが、フレームｆ
３の画像ファイルを作成したときに、そのファイルのア
ドレスに置き換える。逆に、シーンＡ１とＡ２をＡに併
合した場合は、Ａ１、Ａ２それぞれの代表フレームのう
ちユーザが選択した方がＡの代表フレームｒｆとなる。
子シーンの代表フレームは、親シーンの代表フレームを
もとにして自動的に設定される。図２２に示す例では、
フレームｆ１を代表フレームにもつシーンＡをフレーム
ｆ２（＜ｆ１）において分割したときに、分割により作
成される子シーンＡ１およびＡ２の代表フレーム番号と
画像ファイルへのポインターが設定される前後の様子を
示している。Ａの代表フレームはｆ１で、画像ファイル
Ｉ１への参照ポインター２２０をもっている。分割する
フレームｆ２は、ｆ１よりも前方のフレーム番号になっ
ているので、Ａ１の代表フレームは省略時の設定で先頭
フレームｆ３となり、Ａ２の代表フレームはＡと同じｆ
１となる。また、Ａ２の画像ファイルへのポインター２
２１は、Ａのポインター２２２と同じアドレスを指す。
Ａ１については空ポインタ２２３となるが、フレームｆ
３の画像ファイルを作成したときに、そのファイルのア
ドレスに置き換える。逆に、シーンＡ１とＡ２をＡに併
合した場合は、Ａ１、Ａ２それぞれの代表フレームのう
ちユーザが選択した方がＡの代表フレームｒｆとなる。
【００８０】（３）シーン・キーワード・エディタ シーン・キーワード・エディタは、シーン・キーワード
付与モードとキーワード属性・画像入力モードにおいて
動作する。モード切換のコマンド５８を選択する指示に
応答してモードを変更し、図２３および図２４に例示す
る画面を表示する。シーン・キーワード付与モードから
キーワード属性・画像入力モードへのモード変更に際し
ては、対象とするキーワードの指示をユーザから受け
る。
付与モードとキーワード属性・画像入力モードにおいて
動作する。モード切換のコマンド５８を選択する指示に
応答してモードを変更し、図２３および図２４に例示す
る画面を表示する。シーン・キーワード付与モードから
キーワード属性・画像入力モードへのモード変更に際し
ては、対象とするキーワードの指示をユーザから受け
る。
【００８１】まず、シーン・キーワード付与モードにつ
いて説明する、このモードでは、図２３に例示するよう
に、画面の上部の第一の領域にシーン・チャート３０、
下部の第二の領域にキーワード・チャート３２を配置す
る。ユーザは、表示画面上のオブジェクトを直接操作し
てキーワード・バー６６を描くことにより、シーンにキ
ーワードを付与するコマンドを入力する。具体的には、
次の作業の何れかを行う。
いて説明する、このモードでは、図２３に例示するよう
に、画面の上部の第一の領域にシーン・チャート３０、
下部の第二の領域にキーワード・チャート３２を配置す
る。ユーザは、表示画面上のオブジェクトを直接操作し
てキーワード・バー６６を描くことにより、シーンにキ
ーワードを付与するコマンドを入力する。具体的には、
次の作業の何れかを行う。
【００８２】ａ）フレーム区間またはシーンをシーン・
チャート３０上で指示する。続いて、所望のキーワード
を表すボックス３８をクリックする。エディタは、指示
されたキーワードが指示されたシーンに既に付与されて
いた場合には、キーワード付与の取消コマンドであると
解釈し、そうでなければ、キーワード付与のコマンドで
あると解釈する。
チャート３０上で指示する。続いて、所望のキーワード
を表すボックス３８をクリックする。エディタは、指示
されたキーワードが指示されたシーンに既に付与されて
いた場合には、キーワード付与の取消コマンドであると
解釈し、そうでなければ、キーワード付与のコマンドで
あると解釈する。
【００８３】ｂ）キーワード・チャート３２上で、新し
く描きたいキーワード・バー６６の両端の位置３７を直
接指示する。 ｃ）シーン・チャート３０において二つのフレーム区間
を設定する。続いて、編集コマンド部４６で、一方の区
間のキーワード・バー６６をカットし、これを他方にペ
ーストするコマンドを選択する。
く描きたいキーワード・バー６６の両端の位置３７を直
接指示する。 ｃ）シーン・チャート３０において二つのフレーム区間
を設定する。続いて、編集コマンド部４６で、一方の区
間のキーワード・バー６６をカットし、これを他方にペ
ーストするコマンドを選択する。
【００８４】ｄ）シーン・チャート３０において二つの
ボックス３８を指示して二つのキーワードを指示する。
続いて、編集コマンド部４６で、一方のキーワードが付
与されている区間すべてについて他方のキーワードをコ
ピーするコマンドを選択する。 ｅ）既存のキーワード・バー６６の端点を移動させてバ
ーの長さを変える。
ボックス３８を指示して二つのキーワードを指示する。
続いて、編集コマンド部４６で、一方のキーワードが付
与されている区間すべてについて他方のキーワードをコ
ピーするコマンドを選択する。 ｅ）既存のキーワード・バー６６の端点を移動させてバ
ーの長さを変える。
【００８５】このようにして、キーワードの付与または
取消コマンドが入力されると、シーン・キーワード・エ
ディタはそれを実行して、図１０に示すシーン情報ファ
イル２１（ｃ）を更新する。注意すべきことであるが、
このエディタを使えば、シーンの階層木（ファイル２１
（ｂ））において識別されていないシーンを指示するこ
とができる。図２３のキーワード・バー６６Ａはそのよ
うなシーンに対応している。シーンの階層木で識別され
ていないシーンが初めて指示されたきには、シーン・キ
ーワード・エディタは、シーン情報ファイル２１（ｃ）
に新しいレコードを追加する。
取消コマンドが入力されると、シーン・キーワード・エ
ディタはそれを実行して、図１０に示すシーン情報ファ
イル２１（ｃ）を更新する。注意すべきことであるが、
このエディタを使えば、シーンの階層木（ファイル２１
（ｂ））において識別されていないシーンを指示するこ
とができる。図２３のキーワード・バー６６Ａはそのよ
うなシーンに対応している。シーンの階層木で識別され
ていないシーンが初めて指示されたきには、シーン・キ
ーワード・エディタは、シーン情報ファイル２１（ｃ）
に新しいレコードを追加する。
【００８６】次に、キーワード属性・画像入力モードに
ついて説明する。このモードでは、図２４に例示するキ
ーワード属性・画像入力画面を表示する。入力編集部４
５には、シーン属性入力部６１、候補画像表示部６２、
取り込みボタン６３、登録ボタン６４が配置される。
ついて説明する。このモードでは、図２４に例示するキ
ーワード属性・画像入力画面を表示する。入力編集部４
５には、シーン属性入力部６１、候補画像表示部６２、
取り込みボタン６３、登録ボタン６４が配置される。
【００８７】このモードでシーン・キーワード・エディ
タが編集するファイルは、図８に示したキーワード情報
ファイル２５と代表フレーム・ファイル２６である。キ
ーワード情報ファイル２５は、キーワードごとにその識
別子、属性、および静止画像ファイルの格納アドレスを
１レコードに格納する。キーワード画像ファイル２６
は、キーワードごとに作られる静止画像ファイルの集ま
りである。ユーザがキーワードに属性を与えたい場合
は、図１７のシーン属性編集画面におけると同様の操作
で、属性をキー・インし、入力コマンドを選択する。ま
た、キーワード画像を映像フレームから選択する場合、
ユーザは、代表フレーム変更画面におけると同様の操作
で、キーワード画像とするフレームの取り込み・登録の
コマンドを入力する。エディタは、それらのコマンドを
実行し、ファイル２５、２６を編集する。
タが編集するファイルは、図８に示したキーワード情報
ファイル２５と代表フレーム・ファイル２６である。キ
ーワード情報ファイル２５は、キーワードごとにその識
別子、属性、および静止画像ファイルの格納アドレスを
１レコードに格納する。キーワード画像ファイル２６
は、キーワードごとに作られる静止画像ファイルの集ま
りである。ユーザがキーワードに属性を与えたい場合
は、図１７のシーン属性編集画面におけると同様の操作
で、属性をキー・インし、入力コマンドを選択する。ま
た、キーワード画像を映像フレームから選択する場合、
ユーザは、代表フレーム変更画面におけると同様の操作
で、キーワード画像とするフレームの取り込み・登録の
コマンドを入力する。エディタは、それらのコマンドを
実行し、ファイル２５、２６を編集する。
【００８８】（４）クロス・エディタ クロス・エディタは、図２５に例示するように、シーン
・チャート３０とともに階層チャート３１とキーワード
・チャート３２を同一画面に配置し、階層チャート３１
またはキーワード・チャート３２上のオブジェクトの直
接操作を受け付ける。このエディタは、相互参照モー
ド、相互指示モード、または連動モードにおいて動作
し、それそれのモードの中にさらに階層チャート上のオ
ブジェクトを操作対象とするモードとキーワード・チャ
ート上のオブジェクトを操作対象とするモードがある。
つまり、クロス・エディタの動作モードは実質的に６つ
であり、モード切換ボタン５８を選択する指示に応答し
て、それらのモードが循環的に切り換わる。
・チャート３０とともに階層チャート３１とキーワード
・チャート３２を同一画面に配置し、階層チャート３１
またはキーワード・チャート３２上のオブジェクトの直
接操作を受け付ける。このエディタは、相互参照モー
ド、相互指示モード、または連動モードにおいて動作
し、それそれのモードの中にさらに階層チャート上のオ
ブジェクトを操作対象とするモードとキーワード・チャ
ート上のオブジェクトを操作対象とするモードがある。
つまり、クロス・エディタの動作モードは実質的に６つ
であり、モード切換ボタン５８を選択する指示に応答し
て、それらのモードが循環的に切り換わる。
【００８９】相互参照モードにおいては、ユーザがシー
ン階層とシーン・キーワードを相互に参照し、シーン階
層エディタやシーン・キーワード・エディタのときと同
様の操作で入力編集を指示する。クロス・エディタは、
オブジェクトが操作された方のチャートを更新し、それ
に対応するシーン情報を更新する。
ン階層とシーン・キーワードを相互に参照し、シーン階
層エディタやシーン・キーワード・エディタのときと同
様の操作で入力編集を指示する。クロス・エディタは、
オブジェクトが操作された方のチャートを更新し、それ
に対応するシーン情報を更新する。
【００９０】相互指示モードにおいては、キーワード・
チャート３２上のオブジェクトの直接操作に応答して、
階層チャート３１を更新し、シーン情報ファイル２１を
編集する。あるいは逆に、階層チャート３１上のオブジ
ェクトの直接操作に応答して、キーワード・チャート３
２を更新し、シーン情報ファイル２１を編集する。例え
ば、図２６に下向きの矢印で示す操作は前者の例であ
り、階層チャート３１の階層バー６５Ｘの指示を、キー
ワード・チャート３２におけるキーワード・バー６６Ｘ
の指示として受け付ける。つまり、ユーザがキーワード
・チャート３２でボックス３８Ａ、３８Ｂを指示した
後、階層チャート３１で階層バー６５Ｘを指示すれば、
キーワード・チャート３２にキーワード・バー６６Ｘを
表示し、それに応じてシーン情報ファイル２１（ｃ）を
更新する。あるいは、バー６５Ｘを直接ドラッグしてバ
ーを描く。また、図２６に上向きの矢印で示す操作は後
者の例であり、キーワード・チャート３２上のキーワー
ド・バー６６Ｙの指示を、階層チャート３１において対
応する区間の開始フレームＳＹ，終了フレームＥＹでそ
れぞれシーンを分割するコマンドとして受け付ける。
チャート３２上のオブジェクトの直接操作に応答して、
階層チャート３１を更新し、シーン情報ファイル２１を
編集する。あるいは逆に、階層チャート３１上のオブジ
ェクトの直接操作に応答して、キーワード・チャート３
２を更新し、シーン情報ファイル２１を編集する。例え
ば、図２６に下向きの矢印で示す操作は前者の例であ
り、階層チャート３１の階層バー６５Ｘの指示を、キー
ワード・チャート３２におけるキーワード・バー６６Ｘ
の指示として受け付ける。つまり、ユーザがキーワード
・チャート３２でボックス３８Ａ、３８Ｂを指示した
後、階層チャート３１で階層バー６５Ｘを指示すれば、
キーワード・チャート３２にキーワード・バー６６Ｘを
表示し、それに応じてシーン情報ファイル２１（ｃ）を
更新する。あるいは、バー６５Ｘを直接ドラッグしてバ
ーを描く。また、図２６に上向きの矢印で示す操作は後
者の例であり、キーワード・チャート３２上のキーワー
ド・バー６６Ｙの指示を、階層チャート３１において対
応する区間の開始フレームＳＹ，終了フレームＥＹでそ
れぞれシーンを分割するコマンドとして受け付ける。
【００９１】連動モードにおいては、一方のチャートの
オブジェクトの操作に応答してシーンの階層情報とキー
ワード付与情報を同時に更新する。例えば、キーワード
・チャート３２の入力編集時に、キーワード・チャート
３２のオブジェクトの操作に連動して、キーワードを付
与した区間の開始・終了フレームにおいてシーンが分割
されるように階層チャート３１を更新し、図１０のシー
ン情報ファイル２１（ａ）、（ｂ）、（ｃ）を更新す
る。
オブジェクトの操作に応答してシーンの階層情報とキー
ワード付与情報を同時に更新する。例えば、キーワード
・チャート３２の入力編集時に、キーワード・チャート
３２のオブジェクトの操作に連動して、キーワードを付
与した区間の開始・終了フレームにおいてシーンが分割
されるように階層チャート３１を更新し、図１０のシー
ン情報ファイル２１（ａ）、（ｂ）、（ｃ）を更新す
る。
【００９２】このように、シーン情報の入力において、
シーン情報を代表フレームの静止画像とともに階層チャ
ート、およびキーワード・チャートとして視覚的に表示
するユーザ・インターフェースが提供されるので、ユー
ザがシーン情報を直感的に把握しやすく、誤入力が直ち
にフィードバックされる。また、表示されたチャートの
オブジェクトを直接操作するインターフェースによっ
て、入力時のキー・インの回数と誤操作を減らし、入力
の操作性が増す。シーン変化点の確認・修正、シーン階
層の変更、およびシーン・キーワード入力のためのコマ
ンド入力操作において、シーン情報を相互に参照するイ
ンターフェースによって、作業の見通しがよくなる。ま
た、１回のコマンド入力操作を複数種類のシーン情報フ
ァイルに対する編集コマンドと解釈するインターフェー
スを使うことにより、それらファイル間のデータの整合
性をユーザが検査する手間が省けるから、ユーザによる
入力情報の確認作業の負担が軽くなる。
シーン情報を代表フレームの静止画像とともに階層チャ
ート、およびキーワード・チャートとして視覚的に表示
するユーザ・インターフェースが提供されるので、ユー
ザがシーン情報を直感的に把握しやすく、誤入力が直ち
にフィードバックされる。また、表示されたチャートの
オブジェクトを直接操作するインターフェースによっ
て、入力時のキー・インの回数と誤操作を減らし、入力
の操作性が増す。シーン変化点の確認・修正、シーン階
層の変更、およびシーン・キーワード入力のためのコマ
ンド入力操作において、シーン情報を相互に参照するイ
ンターフェースによって、作業の見通しがよくなる。ま
た、１回のコマンド入力操作を複数種類のシーン情報フ
ァイルに対する編集コマンドと解釈するインターフェー
スを使うことにより、それらファイル間のデータの整合
性をユーザが検査する手間が省けるから、ユーザによる
入力情報の確認作業の負担が軽くなる。
【００９３】最後に、図８に示す登録処理装置１３の動
作について説明する。登録処理装置１３は、エディタ／
モード切換部４７の登録ボタン６８がクリックされるこ
とによって起動する。例えば、データベース装置２３
が、ＩＢＭ社のＤＢ２（商標）などの関係型データベー
スを管理するものである場合を想定する。その場合、ユ
ーザが動画像データベース２４の持つ関係表の項目およ
びデータ型を指定しておけば、装置１３は、その指定と
シーン情報ファイル２１の該当する項目の値に基づい
て、シーン情報ファイル２１を関係表にロードするコマ
ンドを生成し、データベース装置２３に送る。装置２３
はそのコマンドを実行し、データベース２４に関係表を
ロードする。あるいは、シーン情報ファイルのレコード
ごとにデータベース２４の関係表に挿入するためのコマ
ンドを生成し、装置２３に実行させる。
作について説明する。登録処理装置１３は、エディタ／
モード切換部４７の登録ボタン６８がクリックされるこ
とによって起動する。例えば、データベース装置２３
が、ＩＢＭ社のＤＢ２（商標）などの関係型データベー
スを管理するものである場合を想定する。その場合、ユ
ーザが動画像データベース２４の持つ関係表の項目およ
びデータ型を指定しておけば、装置１３は、その指定と
シーン情報ファイル２１の該当する項目の値に基づい
て、シーン情報ファイル２１を関係表にロードするコマ
ンドを生成し、データベース装置２３に送る。装置２３
はそのコマンドを実行し、データベース２４に関係表を
ロードする。あるいは、シーン情報ファイルのレコード
ごとにデータベース２４の関係表に挿入するためのコマ
ンドを生成し、装置２３に実行させる。
【００９４】上記先願特願平４−２１４４３号のよう
に、代表フレームの静止画像を使った動画像検索を行う
場合には、装置２３に対して静止画像ファイル８６にア
クセスするための情報を渡すとともに、その情報を使っ
て静止画像ファイルをロードするためのコマンドを生成
し、装置２３に渡して実行させる。あるいは、上記先願
特願平４−６５６２０号のように、キーワードを使った
動画像検索を行う場合には、動画像データベース２４が
キーワード情報とキーワード画像を持つのが好都合であ
る。そのような場合には、シーン情報ファイル２１、代
表フレーム・ファイル２２についてと同様にして、ファ
イル２５、２６をロードするコマンドを生成して装置２
３に送る。
に、代表フレームの静止画像を使った動画像検索を行う
場合には、装置２３に対して静止画像ファイル８６にア
クセスするための情報を渡すとともに、その情報を使っ
て静止画像ファイルをロードするためのコマンドを生成
し、装置２３に渡して実行させる。あるいは、上記先願
特願平４−６５６２０号のように、キーワードを使った
動画像検索を行う場合には、動画像データベース２４が
キーワード情報とキーワード画像を持つのが好都合であ
る。そのような場合には、シーン情報ファイル２１、代
表フレーム・ファイル２２についてと同様にして、ファ
イル２５、２６をロードするコマンドを生成して装置２
３に送る。
【００９５】このように、本発明によるシーン情報の入
力手法は、登録の対象として特定のデータベース装置に
限定されることなく広く適応可能であり、また登録デー
タベースのファイル構造の変更に対しても柔軟性が高
い。
力手法は、登録の対象として特定のデータベース装置に
限定されることなく広く適応可能であり、また登録デー
タベースのファイル構造の変更に対しても柔軟性が高
い。
【００９６】
【発明の効果】本発明によれば、今後需要の増大が期待
される動画像を中心とするマルチメディア・データベー
スの構築が容易になる。
される動画像を中心とするマルチメディア・データベー
スの構築が容易になる。
【図１】動画像管理の概念の一例（ボトムアップ）を示
す図である。
す図である。
【図２】動画像管理の概念の他の例（トップダウン）を
示す図である。
示す図である。
【図３】シーン情報ファイルおよび代表フレーム・ファ
イルの一例を示す図である。
イルの一例を示す図である。
【図４】この発明のシーン情報入力の手順を示す流れ図
である。
である。
【図５】シーン・チャートの例を示す図である。
【図６】シーン階層チャートの例を示す図である。
【図７】シーン・キーワード・チャートの例を示す図で
ある。
ある。
【図８】この発明によるシーン情報入力システムを示す
構成図である。
構成図である。
【図９】シーン変化情報ファイルの一例を示す図であ
る。
る。
【図１０】実施例のシーン情報ファイルおよび代表フレ
ーム・ファイルを示す図である。
ーム・ファイルを示す図である。
【図１１】デゾルブ・タイプのシーン変化点検出処理の
流れを示す図である。
流れを示す図である。
【図１２】シーン情報エディタの表示画面の基本構成を
説明する図である。
説明する図である。
【図１３】シーン情報エディタの表示画面における代表
フレーム表示部の例を示す図である。
フレーム表示部の例を示す図である。
【図１４】シーン情報エディタの表示画面におけるタイ
ム・バー表示部の例を示す図である。
ム・バー表示部の例を示す図である。
【図１５】シーン・エディタのシーン確認・修正モード
での画面表示例を示す図である。
での画面表示例を示す図である。
【図１６】シーン・エディタのシーン属性の入力編集モ
ードでの画面表示例を示す図である。
ードでの画面表示例を示す図である。
【図１７】シーン・エディタの代表フレーム変更モード
での画面表示例を示す図である。
での画面表示例を示す図である。
【図１８】代表フレームの変更とその波及を説明する図
である。
である。
【図１９】シーン階層エディタの画面表示例を示す図で
ある。
ある。
【図２０】図１９に対応するシーンの階層木を示す図で
ある。
ある。
【図２１】図２０の階層木の変更後の様子を示す図であ
る。
る。
【図２２】階層木の変更とその波及を説明する図であ
る。
る。
【図２３】シーン・キーワード・エディタのシーン・キ
ーワード付与モードでの画面表示例を示す図である。
ーワード付与モードでの画面表示例を示す図である。
【図２４】シーン・キーワード・エディタのキーワード
属性・画像入力モードでの画面表示例を示す図である。
属性・画像入力モードでの画面表示例を示す図である。
【図２５】クロス・エディタの画面表示例を示す図であ
る。
る。
【図２６】クロス・エディタでのオブジェクト操作によ
る編集コマンド入力の例を示す図である。
る編集コマンド入力の例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−273363（ＪＰ，Ａ) 特開 平２−77886（ＪＰ，Ａ) 特開 平３−52070（ＪＰ，Ａ) 特開 平３−292571（ＪＰ，Ａ) 特開 平２−214980（ＪＰ，Ａ)
Claims (24)
- 【請求項１】動画像の一部であるところのシーンに関す
る情報を入力するためのユーザ・インターフェースを提
供するコンピュータ・システムであって、 （ａ）動画像データを蓄積する手段と、 （ｂ）上記動画像のシーンごとに選ばれた代表フレーム
の静止画像データを蓄積する手段と、 （ｃ）入力手段と、 （ｄ）表示面を備えた少なくとも一つの表示手段と、 （ｅ）複数のシーンについて、代表フレームの静止画像
データを上記手段（ｂ）から取り出し、それら代表フレ
ームの静止画像を、時間軸とともにかつこの時間軸に沿
って並べて上記表示手段の表示面に表示させる手段と、 （ｆ）ユーザが上記入力手段を操作して指示したところ
の上記時間軸の一部に対応する期間について、動画像デ
ータを上記手段（ａ）から取り出し、該期間の動画像
を、上記代表フレーム静止画像を表示する表示手段また
はこれと異なる表示手段の表示面に表示させる手段を具
備するシステム。 - 【請求項２】上記手段（ｆ）は、上記時間軸上での期間
の開始点と終了点の指示に応答し、該期間に対応する動
画像を順次表示させることを特徴とする請求項１記載の
コンピュータ・システム。 - 【請求項３】上記手段（ｆ）は、上記表示された代表フ
レームの少なくとも一つが指示されたことに応答して、
該代表フレームを含むシーンを表示させることを特徴と
する請求項１記載のコンピュータ・システム。 - 【請求項４】上記手段（ｅ）は、上記代表フレームの静
止画像を時間順に並べて表示させることを特徴とする請
求項１記載のコンピュータ・システム。 - 【請求項５】上記手段（ｅ）は表示される代表フレーム
の各々について上記手段（ｂ）の静止画像データの一部
を使って当該代表フレームの静止画像を上記表示面に表
示させることを特徴とする請求項１記載のコンピュータ
・システム。 - 【請求項６】上記シーンがオリジナルの動画像から自動
的に検出されたシーン変化の位置に基づいて該動画像を
論理的に分割することにより得られたものであるとき
に、上記手段（ｅ）は、シーン変化のタイプを上記代表
フレームの静止画像と同時に表示させることを特徴とす
る、請求項１記載のコンピュータ・システム。 - 【請求項７】上記シーンがオリジナルの動画像から自動
的に検出されたシーン変化の位置に基づいて該動画像を
分割することにより得られたものであるときに、上記手
段（ｅ）は、シーン変化の確からしさを上記代表フレー
ムの静止画像と同時に表示させることを特徴とする請求
項１記載のコンピュータ・システム。 - 【請求項８】上記シーンがオリジナルの動画像から自動
的に検出されたシーン変化の位置に基づいて該動画像を
分割することにより得られたものであるときに、上記手
段（ｅ）は、予め指定された条件に合致するタイプまた
は確からしさを有するシーン変化に関係するシーンを選
び、選ばれたシーンについて代表フレーム静止画像を表
示させることを特徴とする請求項１記載のコンピュータ
・システム。 - 【請求項９】上記シーンがオリジナルの動画像から自動
的に検出されたシーン変化の位置に基づいて該動画像を
分割することにより得られたものであるときに、上記手
段（ｆ）は、シーン変化のタイプまたは確からしさに応
じてそのシーン変化を含む期間の動画像の表示速度を変
えることを特徴とする請求項１記載のコンピュータ・シ
ステム。 - 【請求項１０】ユーザが上記入力手段を操作してシーン
変化の追加または削除を指示した結果、新しく代表フレ
ームとなるフレームがあることに応答して、上記手段
（ａ）にアクセスし、該フレームの静止画像データを生
成して上記手段（ｂ）に蓄積させる手段を具備すること
を特徴とする請求項１記載のコンピュータ・システム。 - 【請求項１１】ユーザが上記入力手段を操作して特定の
シーンとその中に含まれる現在の代表フレームと異なる
フレームを指示したことに応答して、上記手段（ａ）に
アクセスし、該フレームの静止画像データを生成して上
記手段（ｂ）に蓄積させる手段を具備することを特徴と
する請求項１記載のコンピュータ・システム。 - 【請求項１２】動画像データを蓄積する手段と、上記動
画像の一部であるところのシーンごとに選ばれた代表フ
レームの静止画像データを蓄積する手段と、入力手段
と、表示面を備えた少なくとも一つの表示手段とを備え
たコンピュータ・システムにおいて、上記動画像のシー
ンに関する情報を入力するためのユーザ・インターフェ
ースを提供する方法であって、 複数のシーンについて、代表フレームの静止画像データ
を上記静止画像蓄積手段から取り出し、それら代表フレ
ームの静止画像を、時間軸とともにかつこの時間軸に沿
って並べて上記表示手段の表示面に表示させるステップ
と、 ユーザが上記入力手段を操作して指示したところの上記
時間軸の一部に対応する期間について、動画像データを
上記動画像蓄積手段から取り出し、該期間の動画像を、
上記代表フレーム静止画像を表示する表示手段またはこ
れと異なる表示手段の表示面に表示させるステップを含
む方法。 - 【請求項１３】動画像の一部であるところのシーンに関
する情報を入力するためのコンピュータ・システムであ
って、 （ａ）データ蓄積手段と、 （ｂ）上記データ蓄積手段に格納された、上記動画像の
シーンごとに選ばれた代表フレームの静止画像データを
蓄積する代表フレーム・ファイルと、 （ｃ）上記データ蓄積手段に格納された、上記シーンに
与えられた情報を蓄積するシーン情報ファイルと、 （ｄ）入力手段と、 （ｅ）表示面を備えた表示手段と、 （ｆ）複数のシーンについて、代表フレームの静止画像
データを上記代表フレーム・ファイルから取り出し、そ
れら代表フレームの静止画像を一方向に並べて上記表示
手段の表示面の第一の領域に表示させる手段と、 （ｇ）上記複数のシーンに関係するシーン情報を上記シ
ーン情報ファイルから取り出して上記表示面の第二の領
域に表示させる手段と、 （ｈ）ユーザが上記入力手段を用いて入力した編集コマ
ンドを実行して上記シーン情報ファイルを編集する手段
を具備するシステム。 - 【請求項１４】上記シーン情報は、シーンの属性を示す
情報であり、 上記手段（ｇ）は、ユーザが上記入力手段（ｄ）を用い
て上記第一の領域に表示された代表フレームを指示した
ことに応答して、指示された代表フレームを含むシーン
の属性を上記第二の領域に表示させることを特徴とする
請求項１４記載のコンピュータ・システム。 - 【請求項１５】上記シーン情報は、シーンの階層関係を
示す情報であり、 上記手段（ｇ）は、上記シーンの階層関係を図形的に表
示させることを特徴とする請求項１４記載のコンピュー
タ・システム。 - 【請求項１６】上記手段（ｆ）は、予め指定された条件
に合致するシーン情報を持つシーンの代表フレームを表
示させることを特徴とする請求項１４記載のコンピュー
タ・システム。 - 【請求項１７】上記シーン情報は、シーンに付与される
キーワードを示す情報であり、 上記手段（ｆ）は、上記代表フレームの静止画像の列に
沿って時間軸を上記第一の領域に表示させ、 上記手段（ｇ）は、上記時間軸の一部に対応するシーン
へのキーワードの付与の様子を図形的に表示させること
を特徴とする請求項１４記載のコンピュータ・システ
ム。 - 【請求項１８】（ｉ）上記データ蓄積手段に格納され
た、シーンに付与されたキーワードに関する情報を蓄積
するキーワード情報ファイルと、 （ｋ）上記キーワードに関する情報を上記キーワード情
報ファイルから取り出して、上記表示面の第二の領域に
表示させる手段と、 （ｌ）ユーザが上記入力手段を用いて入力した編集コマ
ンドを実行して上記シーン情報ファイルを編集する手段
を具備し、 上記入力手段を用いたユーザの指示によって、上記手段
（ｇ）と（ｈ）が動作するモードと上記手段（ｋ）と
（ｌ）が動作するモードが切り換わることを特徴とする
請求項１８記載のコンピュータ・システム。 - 【請求項１９】動画像の一部であるところのシーンごと
に選ばれた代表フレームの静止画像データのファイルを
格納する手段と、上記シーンに与えられた情報を蓄積す
るシーン情報ファイルを格納する手段と、入力手段と、
表示面とを備えた表示手段を備えたコンピュータ・シス
テムにおいて、上記動画像のシーンに関する情報を入力
するための方法であって、 複数のシーンについて、代表フレームの静止画像データ
を上記代表フレーム・ファイルから取り出し、それら代
表フレームの静止画像を一方向に並べて上記表示手段の
表示面の第一の領域に表示させるステップと、 上記複数のシーンに関係するシーン情報を上記シーン情
報ファイルから取り出して上記表示面の第二の領域に表
示させるステップと、 ユーザが上記入力手段を用いて入力した編集コマンドを
実行して上記シーン情報ファイルを編集するステップを
含む方法。 - 【請求項２０】動画像の一部であるところのシーンに関
する情報を入力するためのコンピュータ・システムであ
って、 （ａ）上記シーンに与えられた第一の種類の情報のため
の第一のファイルと第二の種類の情報のための第二のフ
ァイルを蓄積する手段と、 （ｂ）入力手段と、 （ｃ）表示面を備えた表示手段と、 （ｄ）複数のシーンに関係する第一および第二の種類の
シーン情報を上記手段（ａ）から取り出し、上記第一の
種類の情報を表すオブジェクトを上記表示面の第一の領
域に表示させ、上記第二の種類の情報を表すオブジェク
トを上記表示面の第二の領域に表示させる手段と、 （ｅ）ユーザが上記入力手段を用いて上記第一の領域の
オブジェクトを操作したことに応答して、上記第二のフ
ァイルを編集する手段を具備するシステム。 - 【請求項２１】動画像の一部であるところのシーンに関
する情報を入力するためのコンピュータ・システムであ
って、 （ａ）上記シーンに与えられた第一の種類の情報のため
の第一のファイルと第二の種類の情報のための第二のフ
ァイルを蓄積する手段と、 （ｂ）入力手段と、 （ｃ）表示面を備えた表示手段と、 （ｄ）複数のシーンに関係する第一および第二の種類の
シーン情報を上記手段（ａ）から取り出し、上記第一の
種類の情報を表すオブジェクトを上記表示面の第一の領
域に表示させ、上記第二の種類の情報を表すオブジェク
トを上記表示面の第二の領域に表示させる手段と、 （ｅ）ユーザが上記入力手段（ｂ）を用いて上記第一の
領域のオブジェクトを操作したことに応答して、上記第
一および第二のファイルを編集する手段を具備するシス
テム。 - 【請求項２２】動画像の一部であるところのシーンに関
する情報を入力するためのコンピュータ・システムであ
って、 （ａ）動画像データを蓄積する手段と、 （ｂ）上記動画像のシーンごとに選ばれた代表フレーム
の静止画像データを蓄積する手段と、 （ｃ）上記シーンに与えられた情報を蓄積する手段と、 （ｄ）入力手段と、 （ｅ）表示面を備えた表示手段と、 （ｆ）複数のシーンについて、代表フレームの静止画像
データを上記手段（ａ）から取り出し、それら代表フレ
ームの静止画像を一方向に並べて上記表示手段の表示面
の第一の領域に表示させる手段と、 （ｇ）上記複数のシーンに関係するシーン情報を上記手
段（ｂ）から取り出して上記表示面の第二の領域に表示
させる手段と、 （ｈ）ユーザが上記入力手段を操作して入力したコマン
ドを実行し、上記手段（ｃ）に蓄積されたシーン情報を
更新する手段を具備するシステム。 - 【請求項２３】動画像の一部であるところのシーンに関
する情報を入力するためのコンピュータ・システムであ
って、 （ａ）動画像データを蓄積する手段と、 （ｂ）入力手段と、 （ｃ）表示面を備えた表示手段と、 （ｄ）データベース手段と、 （ｅ）上記手段（ａ）から動画像データを取り出してシ
ーン変化を検出する手段と、 （ｆ）検出されたシーン変化に基づいてシーン情報を生
成し、シーン情報ファイルに格納する手段と、 （ｇ）シーン情報を上記表示手段の表示面に図形的に表
示させる手段と、 （ｈ）ユーザが上記入力手段を用いて入力した編集コマ
ンドを実行して、上記シーン情報ファイルを編集する手
段と、 （ｉ）上記データベース手段によって実行可能な、上記
シーン情報ファイルのシーン情報を登録するためのコマ
ンドを生成し、生成したコマンドを上記データベース手
段に送る手段を具備するシステム。 - 【請求項２４】動画像データを蓄積する手段と、入力手
段と、表示面を備えた表示手段と、データベース手段を
結合した動画像処理システムにおいて、動画像の一部で
あるところのシーンに情報を与え、データベース手段に
登録するための方法であって、 (ａ）上記動画像データ蓄積手段から動画像データを取
り出してシーン変化を検出するステップ、 (ｂ）検出されたシーン変化に基づいてシーン情報を生
成し、シーン情報ファイルに格納するステップ、 (ｃ）シーン情報を表すオブジェクトを上記表示手段の
表示面に表示するステップ、 (ｄ）ユーザが上記入力手段を用いて行った上記オブジ
ェクトの操作を解釈して、シーン情報ファイルを更新す
るステップ、 (ｅ）シーン情報ファイルのシーン情報をデータベース
に登録するステップを含む方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4160034A JPH0778804B2 (ja) | 1992-05-28 | 1992-05-28 | シーン情報入力システムおよび方法 |
| US08/017,939 US5537528A (en) | 1992-05-28 | 1993-02-16 | System and method for inputting scene information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4160034A JPH0778804B2 (ja) | 1992-05-28 | 1992-05-28 | シーン情報入力システムおよび方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05334374A JPH05334374A (ja) | 1993-12-17 |
| JPH0778804B2 true JPH0778804B2 (ja) | 1995-08-23 |
Family
ID=15706519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4160034A Expired - Fee Related JPH0778804B2 (ja) | 1992-05-28 | 1992-05-28 | シーン情報入力システムおよび方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5537528A (ja) |
| JP (1) | JPH0778804B2 (ja) |
Families Citing this family (166)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US6418424B1 (en) | 1991-12-23 | 2002-07-09 | Steven M. Hoffberg | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
| JP3163784B2 (ja) * | 1992-09-30 | 2001-05-08 | ソニー株式会社 | 画像表示方法 |
| US5845088A (en) * | 1992-11-16 | 1998-12-01 | Multimedia Systems Corporation | Method for the production and transmission of enhanced interactive multimedia information |
| US5982364A (en) * | 1993-03-12 | 1999-11-09 | Quantel, Ltd. | Video processing system including frame position indicators |
| US5712964A (en) * | 1993-09-29 | 1998-01-27 | Fujitsu Limited | Computer graphics data display device and method based on a high-speed generation of a changed image |
| JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| JP2914170B2 (ja) * | 1994-04-18 | 1999-06-28 | 松下電器産業株式会社 | 映像変化点検出方法 |
| JP3320197B2 (ja) * | 1994-05-09 | 2002-09-03 | キヤノン株式会社 | 画像編集装置及びその方法 |
| JPH08137904A (ja) * | 1994-11-14 | 1996-05-31 | Daikin Ind Ltd | 動画ｃｄｒｏｍソフト制作支援方法およびその装置 |
| US5805733A (en) * | 1994-12-12 | 1998-09-08 | Apple Computer, Inc. | Method and system for detecting scenes and summarizing video sequences |
| JP3565228B2 (ja) * | 1994-12-21 | 2004-09-15 | 日本電信電話株式会社 | 音可視化方法および装置 |
| US5659790A (en) * | 1995-02-23 | 1997-08-19 | International Business Machines Corporation | System and method for globally scheduling multimedia stories |
| JPH08255166A (ja) * | 1995-03-17 | 1996-10-01 | Canon Inc | データ管理方法及びそのシステム |
| JP3507176B2 (ja) * | 1995-03-20 | 2004-03-15 | 富士通株式会社 | マルチメディアシステム動的連動方式 |
| JP3497018B2 (ja) * | 1995-06-21 | 2004-02-16 | 松下電器産業株式会社 | シナリオ編集素材検索装置 |
| JP3728775B2 (ja) * | 1995-08-18 | 2005-12-21 | 株式会社日立製作所 | 動画像の特徴場面検出方法及び装置 |
| US5786814A (en) * | 1995-11-03 | 1998-07-28 | Xerox Corporation | Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities |
| US5717869A (en) * | 1995-11-03 | 1998-02-10 | Xerox Corporation | Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities |
| US6118925A (en) * | 1995-11-14 | 2000-09-12 | Hitachi Denshi Kabushiki Kaisha | Method of and system for confirming program materials to be broadcasted and then broadcasting the program materials, and recording medium having recorded therein a procedure for implementing the method |
| US5751280A (en) * | 1995-12-11 | 1998-05-12 | Silicon Graphics, Inc. | System and method for media stream synchronization with a base atom index file and an auxiliary atom index file |
| US5841432A (en) | 1996-02-09 | 1998-11-24 | Carmel; Sharon | Method and system of building and transmitting a data file for real time play of multimedia, particularly animation, and a data file for real time play of multimedia applications |
| GB2312138B (en) * | 1996-04-12 | 2000-09-20 | Sony Uk Ltd | Editing of recorded material |
| US8107015B1 (en) | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
| US5781188A (en) * | 1996-06-27 | 1998-07-14 | Softimage | Indicating activeness of clips and applying effects to clips and tracks in a timeline of a multimedia work |
| KR100206804B1 (ko) * | 1996-08-29 | 1999-07-01 | 구자홍 | 하일라이트 부분 자동 선택 녹화 방법 |
| JP3590826B2 (ja) * | 1996-09-18 | 2004-11-17 | 株式会社ニコン | ビデオ装置 |
| US20010033732A1 (en) * | 1996-09-20 | 2001-10-25 | Masahiro Juen | Image reproduction apparatus for reproducing multiple image files |
| US5963204A (en) * | 1996-09-20 | 1999-10-05 | Nikon Corporation | Electronic camera with reproduction and display of images at the same timing |
| US7055100B2 (en) * | 1996-09-20 | 2006-05-30 | Sony Corporation | Editing system, editing method, clip management apparatus, and clip management method |
| JPH10108122A (ja) * | 1996-09-26 | 1998-04-24 | Nikon Corp | 画像再生装置 |
| JPH10161837A (ja) * | 1996-10-03 | 1998-06-19 | Nikon Corp | 表示装置、表示方法、および、記録媒体 |
| US6577807B1 (en) * | 1996-11-15 | 2003-06-10 | Hitachi Denshi Kabushiki Kaisha | Editing method and apparatus for moving pictures |
| JP3045087B2 (ja) * | 1996-12-27 | 2000-05-22 | 日本電気株式会社 | 画像合成装置 |
| US6052740A (en) * | 1997-03-31 | 2000-04-18 | Compaq Computer Corporation | System for multi-modal display functionality responsive to a convergence functionality module to select between computer functionality mode and non-computer functionality mode |
| US6654933B1 (en) | 1999-09-21 | 2003-11-25 | Kasenna, Inc. | System and method for media stream indexing |
| JP3409834B2 (ja) * | 1997-07-10 | 2003-05-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| US20050039177A1 (en) * | 1997-07-12 | 2005-02-17 | Trevor Burke Technology Limited | Method and apparatus for programme generation and presentation |
| GB9714624D0 (en) * | 1997-07-12 | 1997-09-17 | Trevor Burke Technology Limite | Visual programme distribution system |
| GB0225339D0 (en) * | 2002-10-31 | 2002-12-11 | Trevor Burke Technology Ltd | Method and apparatus for programme generation and classification |
| US20040070594A1 (en) * | 1997-07-12 | 2004-04-15 | Burke Trevor John | Method and apparatus for programme generation and classification |
| US6297851B1 (en) * | 1997-07-17 | 2001-10-02 | Hewlett-Packard Co | Analog video frame capture and preview |
| JPH11146325A (ja) | 1997-11-10 | 1999-05-28 | Hitachi Ltd | 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体 |
| JP3613543B2 (ja) * | 1997-11-11 | 2005-01-26 | 株式会社日立国際電気 | 動画像編集装置 |
| US6317739B1 (en) * | 1997-11-20 | 2001-11-13 | Sharp Kabushiki Kaisha | Method and apparatus for data retrieval and modification utilizing graphical drag-and-drop iconic interface |
| US5956026A (en) * | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| SG90027A1 (en) * | 1998-03-03 | 2002-07-23 | Sony Kihara Res Ct Inc | Image editing device and method |
| JPH11289515A (ja) * | 1998-04-01 | 1999-10-19 | Sony Corp | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 |
| US6518978B1 (en) * | 1998-05-29 | 2003-02-11 | Hitachi, Ltd. | Image-display edit processing method, image editing apparatus and storage medium |
| US6359643B1 (en) * | 1998-08-31 | 2002-03-19 | Intel Corporation | Method and apparatus for signaling a still image capture during video capture |
| ES2195488T3 (es) * | 1998-09-03 | 2003-12-01 | Ricoh Kk | Medios de registro con informaciones de indice video y respectivamente audio, metodos de gestion y de recuperacion de informaciones de video, respectivamente audio y sistema de recuperacion de video. |
| JP3453312B2 (ja) * | 1998-09-03 | 2003-10-06 | 株式会社リコー | 映像ストリームの構造解析過程表示方法 |
| WO2000018117A1 (fr) | 1998-09-08 | 2000-03-30 | Sharp Kabushiki Kaisha | Procede d'edition d'images a variation temporelle et dispositif d'edition d'images a variation temporelle |
| US6492998B1 (en) * | 1998-12-05 | 2002-12-10 | Lg Electronics Inc. | Contents-based video story browsing system |
| US6342904B1 (en) | 1998-12-17 | 2002-01-29 | Newstakes, Inc. | Creating a slide presentation from full motion video |
| US6892351B2 (en) * | 1998-12-17 | 2005-05-10 | Newstakes, Inc. | Creating a multimedia presentation from full motion video using significance measures |
| US7134074B2 (en) * | 1998-12-25 | 2006-11-07 | Matsushita Electric Industrial Co., Ltd. | Data processing method and storage medium, and program for causing computer to execute the data processing method |
| AU2217700A (en) * | 1998-12-30 | 2000-07-31 | Earthnoise.Com Inc. | Creating and editing digital video movies |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| DE60025406T2 (de) * | 1999-03-02 | 2006-09-21 | Hitachi Denshi K.K. | Laufbilderinformationsanzeigeverfahren und -gerät |
| US7188353B1 (en) | 1999-04-06 | 2007-03-06 | Sharp Laboratories Of America, Inc. | System for presenting synchronized HTML documents in digital television receivers |
| JP4227241B2 (ja) * | 1999-04-13 | 2009-02-18 | キヤノン株式会社 | 画像処理装置及び方法 |
| JP3284542B2 (ja) * | 1999-04-23 | 2002-05-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム格納媒体 |
| JP3284546B2 (ja) * | 1999-04-26 | 2002-05-20 | ソニー株式会社 | 画像編集装置、画像編集方法、およびプログラム格納媒体 |
| JP3695217B2 (ja) | 1999-04-30 | 2005-09-14 | オムロン株式会社 | 画像処理装置及び画像入力装置 |
| JP2001008136A (ja) * | 1999-06-21 | 2001-01-12 | Victor Co Of Japan Ltd | マルチメディアデータのオーサリング装置 |
| JP2001014052A (ja) | 1999-06-25 | 2001-01-19 | Toshiba Corp | コンピュータシステムの個人認証方法、コンピュータシステム、及び記録媒体 |
| JP3721867B2 (ja) * | 1999-07-07 | 2005-11-30 | 日本電気株式会社 | 映像表示装置及び表示方法 |
| US6720979B1 (en) | 1999-07-15 | 2004-04-13 | International Business Machines Corporation | Dynamic manipulation of animated graphics in a web browser |
| US7075591B1 (en) * | 1999-09-22 | 2006-07-11 | Lg Electronics Inc. | Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same |
| JP2000099743A (ja) * | 1999-09-28 | 2000-04-07 | Hitachi Ltd | 動画像の表示装置およびそのためのプログラムを格納した記録媒体 |
| CN101383909B (zh) * | 2000-01-26 | 2013-03-20 | 索尼公司 | 信息处理设备和信息处理方法 |
| US7085995B2 (en) * | 2000-01-26 | 2006-08-01 | Sony Corporation | Information processing apparatus and processing method and program storage medium |
| JP3583970B2 (ja) * | 2000-02-23 | 2004-11-04 | 株式会社リコー | 映像構造編集装置、構造要素再構成装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| GB2359917B (en) * | 2000-02-29 | 2003-10-15 | Sony Uk Ltd | Media editing |
| KR100795255B1 (ko) * | 2000-04-21 | 2008-01-15 | 소니 가부시끼 가이샤 | 정보 처리 장치 및 방법, 프로그램과 기록 매체 |
| JP2001320667A (ja) * | 2000-05-12 | 2001-11-16 | Sony Corp | サービス提供装置および方法、受信端末装置および方法、サービス提供システム |
| US7277956B2 (en) * | 2000-07-28 | 2007-10-02 | Kasenna, Inc. | System and method for improved utilization of bandwidth in a computer system serving multiple users |
| US7310678B2 (en) * | 2000-07-28 | 2007-12-18 | Kasenna, Inc. | System, server, and method for variable bit rate multimedia streaming |
| US6756994B1 (en) * | 2000-08-07 | 2004-06-29 | Canon Kabushiki Kaisha | Method and apparatus for handling secondary dependencies |
| US6476826B1 (en) * | 2000-08-22 | 2002-11-05 | Vastvideo, Inc. | Integrated system and method for processing video |
| JP2002077723A (ja) * | 2000-09-01 | 2002-03-15 | Minolta Co Ltd | 動画像処理装置、動画像処理方法および記録媒体 |
| KR100694238B1 (ko) * | 2000-09-28 | 2007-03-14 | 가부시키가이샤 리코 | 구조편집방법, 영상구조편집방법, 오브젝트의 내용구조관리방법, 오브젝트의 내용구조표시방법, 컨텐츠관리방법 및 기록매체 |
| US7751683B1 (en) * | 2000-11-10 | 2010-07-06 | International Business Machines Corporation | Scene change marking for thumbnail extraction |
| NO20020417L (no) * | 2001-01-25 | 2002-07-26 | Ensequence Inc | Selektiv visning av video basert på ett eller flere temaer |
| US8176425B2 (en) * | 2001-02-02 | 2012-05-08 | Ensequence, Inc. | Animated screen object for annotation and selection of video sequences |
| US20030018978A1 (en) * | 2001-03-02 | 2003-01-23 | Singal Sanjay S. | Transfer file format and system and method for distributing media content |
| AU2002247257A1 (en) * | 2001-03-02 | 2002-09-19 | Kasenna, Inc. | Metadata enabled push-pull model for efficient low-latency video-content distribution over a network |
| US7203693B2 (en) * | 2001-06-12 | 2007-04-10 | Lucent Technologies Inc. | Instantly indexed databases for multimedia content analysis and retrieval |
| JP3690313B2 (ja) * | 2001-07-19 | 2005-08-31 | 松下電器産業株式会社 | 動画像管理装置、情報入力方法および動画像検索方法 |
| US7085844B2 (en) * | 2001-08-31 | 2006-08-01 | Thompson Kerry A | Method and apparatus for random play technology |
| KR100438703B1 (ko) * | 2001-09-27 | 2004-07-05 | 삼성전자주식회사 | 계층적 이미지 인덱싱 방법 및 그 장치 |
| US20030219232A1 (en) * | 2001-10-01 | 2003-11-27 | Shu Lin | System and method for identifying data on a storage medium |
| US8239759B1 (en) * | 2001-11-27 | 2012-08-07 | Adobe Systems, Inc. | System and method for editing documents using stored commands |
| JP4061458B2 (ja) * | 2001-12-05 | 2008-03-19 | ソニー株式会社 | ビデオデータ検索方法およびビデオデータ検索システムおよびビデオデータ編集方法およびビデオデータ編集システム |
| CN1500345B (zh) * | 2001-12-28 | 2010-06-02 | 索尼公司 | 显示设备和控制方法 |
| US20040063109A2 (en) * | 2002-01-25 | 2004-04-01 | Applera Corporation | Single-tube, ready-to-use assay kits, and methods using same |
| FR2838906A1 (fr) * | 2002-04-19 | 2003-10-24 | Avivias | Systeme de navigation pour acceder a des documents audiovisuels enrichis |
| JP4065142B2 (ja) * | 2002-05-31 | 2008-03-19 | 松下電器産業株式会社 | オーサリング装置およびオーサリング方法 |
| US20040034869A1 (en) * | 2002-07-12 | 2004-02-19 | Wallace Michael W. | Method and system for display and manipulation of thematic segmentation in the analysis and presentation of film and video |
| US7231630B2 (en) * | 2002-07-12 | 2007-06-12 | Ensequence Inc. | Method and system automatic control of graphical computer application appearance and execution |
| US6993716B2 (en) | 2002-09-20 | 2006-01-31 | International Business Machines Corporation | Frame rearrangement to support bidirectional languages in a Web application |
| JP4114720B2 (ja) * | 2002-10-25 | 2008-07-09 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成方法および画像生成装置 |
| US20040199650A1 (en) * | 2002-11-14 | 2004-10-07 | Howe John E. | System and methods for accelerating data delivery |
| US7152209B2 (en) * | 2003-03-28 | 2006-12-19 | Microsoft Corporation | User interface for adaptive video fast forward |
| US20060098941A1 (en) * | 2003-04-04 | 2006-05-11 | Sony Corporation 7-35 Kitashinagawa | Video editor and editing method, recording medium, and program |
| US20040237101A1 (en) * | 2003-05-22 | 2004-11-25 | Davis Robert L. | Interactive promotional content management system and article of manufacture thereof |
| US7761795B2 (en) * | 2003-05-22 | 2010-07-20 | Davis Robert L | Interactive promotional content management system and article of manufacture thereof |
| US7840892B2 (en) * | 2003-08-29 | 2010-11-23 | Nokia Corporation | Organization and maintenance of images using metadata |
| JP3816488B2 (ja) * | 2003-12-26 | 2006-08-30 | 株式会社リコー | 情報記録装置と情報記録媒体と情報記録方法とプログラム |
| US7882436B2 (en) | 2004-03-10 | 2011-02-01 | Trevor Burke Technology Limited | Distribution of video data |
| US20050262245A1 (en) * | 2004-04-19 | 2005-11-24 | Satish Menon | Scalable cluster-based architecture for streaming media |
| US7464110B2 (en) * | 2004-06-30 | 2008-12-09 | Nokia Corporation | Automated grouping of image and other user data |
| TW200632691A (en) * | 2005-03-03 | 2006-09-16 | Ulead Systems Inc | System and method for extracting data from a storage medium |
| KR100712481B1 (ko) * | 2005-03-28 | 2007-04-30 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| CN1866264A (zh) * | 2005-05-21 | 2006-11-22 | 华为技术有限公司 | 一种移动游戏的场景生成方法及系统 |
| US7793329B2 (en) * | 2006-02-06 | 2010-09-07 | Kasenna, Inc. | Method and system for reducing switching delays between digital video feeds using multicast slotted transmission technique |
| JP2007208874A (ja) * | 2006-02-06 | 2007-08-16 | Nec Electronics Corp | 変化点検出装置及び変化点検出方法、並びに記録装置及び記録再生装置 |
| US7459624B2 (en) | 2006-03-29 | 2008-12-02 | Harmonix Music Systems, Inc. | Game controller simulating a musical instrument |
| US20080109557A1 (en) * | 2006-11-02 | 2008-05-08 | Vinay Joshi | Method and system for reducing switching delays between digital video feeds using personalized unicast transmission techniques |
| US8125457B2 (en) * | 2007-04-27 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | Switching display mode of electronic device |
| US8678896B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for asynchronous band interaction in a rhythm action game |
| US8690670B2 (en) | 2007-06-14 | 2014-04-08 | Harmonix Music Systems, Inc. | Systems and methods for simulating a rock band experience |
| DE102007028175A1 (de) * | 2007-06-20 | 2009-01-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Automatisiertes Verfahren zur zeitlichen Segmentierung eines Videos in Szenen unter Berücksichtigung verschiedener Typen von Übergängen zwischen Bildfolgen |
| US20090094113A1 (en) * | 2007-09-07 | 2009-04-09 | Digitalsmiths Corporation | Systems and Methods For Using Video Metadata to Associate Advertisements Therewith |
| US8380045B2 (en) * | 2007-10-09 | 2013-02-19 | Matthew G. BERRY | Systems and methods for robust video signature with area augmented matching |
| US8170280B2 (en) * | 2007-12-03 | 2012-05-01 | Digital Smiths, Inc. | Integrated systems and methods for video-based object modeling, recognition, and tracking |
| US8311344B2 (en) * | 2008-02-15 | 2012-11-13 | Digitalsmiths, Inc. | Systems and methods for semantically classifying shots in video |
| US9690786B2 (en) * | 2008-03-17 | 2017-06-27 | Tivo Solutions Inc. | Systems and methods for dynamically creating hyperlinks associated with relevant multimedia content |
| US8311390B2 (en) * | 2008-05-14 | 2012-11-13 | Digitalsmiths, Inc. | Systems and methods for identifying pre-inserted and/or potential advertisement breaks in a video sequence |
| US9117007B2 (en) * | 2008-05-14 | 2015-08-25 | Microsoft Technology Licensing, Llc | Visualization of streaming real-time data |
| CN102027467A (zh) * | 2008-05-27 | 2011-04-20 | 多基有限公司 | 视频数据的非线性表征 |
| WO2010006054A1 (en) | 2008-07-08 | 2010-01-14 | Harmonix Music Systems, Inc. | Systems and methods for simulating a rock and band experience |
| KR101495079B1 (ko) * | 2008-11-18 | 2015-02-24 | 삼성전자주식회사 | 장면 정보 표시 방법 및 장치, 및 이를 이용한 디지털 촬영장치 |
| US8465366B2 (en) | 2009-05-29 | 2013-06-18 | Harmonix Music Systems, Inc. | Biasing a musical performance input to a part |
| KR101643602B1 (ko) * | 2009-06-24 | 2016-07-29 | 삼성전자주식회사 | 구도 가이드 방법 및 장치, 및 디지털 촬영 장치 |
| US8502862B2 (en) | 2009-09-30 | 2013-08-06 | Disney Enterprises, Inc. | Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image |
| US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| WO2011056657A2 (en) | 2009-10-27 | 2011-05-12 | Harmonix Music Systems, Inc. | Gesture-based user interface |
| US20110157155A1 (en) * | 2009-12-31 | 2011-06-30 | Disney Enterprises, Inc. | Layer management system for choreographing stereoscopic depth |
| US8636572B2 (en) | 2010-03-16 | 2014-01-28 | Harmonix Music Systems, Inc. | Simulating musical instruments |
| JP2011223326A (ja) | 2010-04-09 | 2011-11-04 | Sony Corp | コンテンツ処理装置および方法、並びにプログラム |
| JP5471749B2 (ja) * | 2010-04-09 | 2014-04-16 | ソニー株式会社 | コンテンツ検索装置および方法、並びにプログラム |
| US8773490B2 (en) * | 2010-05-28 | 2014-07-08 | Avaya Inc. | Systems, methods, and media for identifying and selecting data images in a video stream |
| US8562403B2 (en) | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
| US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
| WO2011155958A1 (en) | 2010-06-11 | 2011-12-15 | Harmonix Music Systems, Inc. | Dance game and tutorial |
| US20120174006A1 (en) * | 2010-07-02 | 2012-07-05 | Scenemachine, Llc | System, method, apparatus and computer program for generating and modeling a scene |
| US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
| US10095367B1 (en) * | 2010-10-15 | 2018-10-09 | Tivo Solutions Inc. | Time-based metadata management system for digital media |
| USD745882S1 (en) * | 2012-12-07 | 2015-12-22 | Hitachi, Ltd. | Display screen with graphical user interface |
| US10220303B1 (en) | 2013-03-15 | 2019-03-05 | Harmonix Music Systems, Inc. | Gesture-based music game |
| KR102135347B1 (ko) * | 2013-05-21 | 2020-07-17 | 엘지전자 주식회사 | 디지털 영상 녹화 장치 및 이의 동작방법 |
| US10122992B2 (en) | 2014-05-22 | 2018-11-06 | Disney Enterprises, Inc. | Parallax based monoscopic rendering |
| USD794050S1 (en) | 2014-08-19 | 2017-08-08 | Fujifilm Corporation | Display screen for digital camera with transitional graphical user interface |
| DE102014216511A1 (de) * | 2014-08-20 | 2016-02-25 | Carl Zeiss Meditec Ag | Erstellen von Kapitelstrukturen für Videodaten mit Bildern aus einem Operationsmikroskop-Objektbereich |
| JP6904871B2 (ja) * | 2017-10-03 | 2021-07-21 | キヤノン株式会社 | プログラム、情報処理装置、および情報処理方法 |
| JP2019185726A (ja) * | 2018-10-25 | 2019-10-24 | 株式会社ミルプラトー | 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム |
| USD938461S1 (en) * | 2019-11-26 | 2021-12-14 | Express Scripts Strategic Development, Inc. | Display screen with a graphical user interface |
| CN112668463B (zh) * | 2020-12-25 | 2022-12-02 | 株洲手之声信息科技有限公司 | 一种基于场景识别的中文手语翻译方法及系统 |
| CN112668464B (zh) * | 2020-12-25 | 2022-12-02 | 株洲手之声信息科技有限公司 | 一种融合场景匹配的中文手语翻译模型构建方法及装置 |
| CN112717414B (zh) * | 2021-01-25 | 2022-11-08 | 腾讯科技（深圳）有限公司 | 游戏场景编辑方法、装置、电子设备以及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0277886A (ja) * | 1988-09-14 | 1990-03-16 | Hitachi Ltd | 画像検索装置 |
| JP2977829B2 (ja) * | 1989-01-11 | 1999-11-15 | 株式会社東芝 | 動画像再生装置および動画像再生方法 |
| US5109482A (en) * | 1989-01-11 | 1992-04-28 | David Bohrman | Interactive video control system for displaying user-selectable clips |
| JPH02214980A (ja) * | 1989-02-16 | 1990-08-27 | Matsushita Electric Ind Co Ltd | 映像情報検索装置 |
| JPH0352070A (ja) * | 1989-07-20 | 1991-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の関連情報参照方式 |
| JP2789723B2 (ja) * | 1989-10-20 | 1998-08-20 | ソニー株式会社 | 画像検索装置 |
| US5218672A (en) * | 1990-01-19 | 1993-06-08 | Sony Corporation Of America | Offline editing system with user interface for controlling edit list generation |
| US5101364A (en) * | 1990-02-09 | 1992-03-31 | Massachusetts Institute Of Technology | Method and facility for dynamic video composition and viewing |
| JPH03273363A (ja) * | 1990-03-22 | 1991-12-04 | Nec Corp | 動画像の内容一覧表示方式 |
| JPH03292571A (ja) * | 1990-04-11 | 1991-12-24 | Matsushita Electric Ind Co Ltd | 画像操作情報設定方式 |
| US5237648A (en) * | 1990-06-08 | 1993-08-17 | Apple Computer, Inc. | Apparatus and method for editing a video recording by selecting and displaying video clips |
| US5189630A (en) * | 1991-01-15 | 1993-02-23 | Barstow David R | Method for encoding and broadcasting information about live events using computer pattern matching techniques |
| US5321396A (en) * | 1991-02-07 | 1994-06-14 | Xerox Corporation | Indexing of audio/video data |
| US5191645A (en) * | 1991-02-28 | 1993-03-02 | Sony Corporation Of America | Digital signal processing system employing icon displays |
| DE69222102T2 (de) * | 1991-08-02 | 1998-03-26 | Grass Valley Group | Bedienerschnittstelle für Videoschnittsystem zur Anzeige und interaktive Steuerung von Videomaterial |
| US5404316A (en) * | 1992-08-03 | 1995-04-04 | Spectra Group Ltd., Inc. | Desktop digital video processing system |
-
1992
- 1992-05-28 JP JP4160034A patent/JPH0778804B2/ja not_active Expired - Fee Related
-
1993
- 1993-02-16 US US08/017,939 patent/US5537528A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5537528A (en) | 1996-07-16 |
| JPH05334374A (ja) | 1993-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0778804B2 (ja) | シーン情報入力システムおよび方法 | |
| US8250490B2 (en) | Display image control apparatus | |
| US5956453A (en) | Method of editing moving image and apparatus of editing the same | |
| US6332147B1 (en) | Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities | |
| US6469711B2 (en) | Graphical user interface for a video editing system | |
| US5513306A (en) | Temporal event viewing and editing system | |
| US6400378B1 (en) | Home movie maker | |
| US5532833A (en) | Method and system for displaying selected portions of a motion video image | |
| US7636090B2 (en) | Apparatus and method for storing a movie within a movie | |
| US6154218A (en) | Method for generating, managing and displaying information retrieval data on information processing system | |
| US20040125124A1 (en) | Techniques for constructing and browsing a hierarchical video structure | |
| US6487360B1 (en) | Method, apparatus, and computer program product for editing moving image and displaying selected groups of representative images of cuts of the moving image such that representative images having a predetermined feature can be distinguished from representative images not having the predetermined feature | |
| EP0555028A2 (en) | An apparatus and method for manipulating digital data relating to motion video images | |
| US20090022474A1 (en) | Content Editing and Generating System | |
| US20040046801A1 (en) | System and method for constructing an interactive video menu | |
| JPH06187379A (ja) | 動画像のフレーム列の検索 | |
| JP2001202754A (ja) | 編集装置及び編集方法及び媒体 | |
| JP3574606B2 (ja) | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 | |
| EP0916136B1 (en) | Graphical user interface for a motion video planning and editing system for a computer | |
| JPH1051733A (ja) | 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体 | |
| JPH1013773A (ja) | デジタル画像管理検索システム及びデジタルカメラシステム | |
| JP3092496B2 (ja) | シナリオ編集装置 | |
| JPH07175816A (ja) | 映像の連想検索装置及び方法 | |
| JPH06309381A (ja) | 動画像処理装置 | |
| JPH05183863A (ja) | 動画像編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |