JPH1097399A - 記録された素材の編集制御装置及び編集制御方法 - Google Patents

記録された素材の編集制御装置及び編集制御方法

Info

Publication number
JPH1097399A
JPH1097399A JP9088036A JP8803697A JPH1097399A JP H1097399 A JPH1097399 A JP H1097399A JP 9088036 A JP9088036 A JP 9088036A JP 8803697 A JP8803697 A JP 8803697A JP H1097399 A JPH1097399 A JP H1097399A
Authority
JP
Japan
Prior art keywords
icon
display
clip
closest
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9088036A
Other languages
English (en)
Other versions
JP3857380B2 (ja
Inventor
Mark John Mcgrath
ジョン マグラス マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH1097399A publication Critical patent/JPH1097399A/ja
Application granted granted Critical
Publication of JP3857380B2 publication Critical patent/JP3857380B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36Monitoring, i.e. supervising the progress of recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525Magneto-optical [MO] discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 ビデオ及び/又はオーディオ・マテリアル
(素材、データ)の再生を制御する。 【解決手段】 編集された出力素材シーケンスの時間的
に連続する複数の素材切り抜きが、その素材切り抜きの
再生時間順序に対応する表示順序で表示された対応する
クリップアイコンによって表され、クリップアイコンの
表示位置が動いている間、その動いているクリップアイ
コンの現在の表示位置に最も近いクリップアイコンを検
出する手段と、動いているクリップアイコンの現在の表
示位置が複数の素材切り抜き時間順序に対応する表示順
序における検出された最も近いアイコンの前にあるか後
にあるかを検出する手段と、最も近いアイコンの前にあ
るか後にあるかを示す方向インジケータを表示スクリー
ン上に発生し表示する手段とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、(オーディオ又は
ビデオ素材等の)記録された素材の編集に関し、オーデ
ィオ及び/又はビデオ編集制御装置等の編集制御装置に
関する。
【0002】
【従来の技術】一例として、ビデオ編集制御装置は、多
数の生のソースビデオシーケンスを編集して最終プログ
ラム又はプログラムの一部にするのに使われる。例え
ば、短いニュースストーリでも沢山の異なったビデオシ
ーケンスからなる簡単な抄録を含む。そのニューススト
ーりの異なった観点を図解するために新しく獲得したか
古い保管されたシーケンスを含むことも可能である。
【0003】各シーケンスの関連部分又はクリップが選
ばれる必要があり、選択された部分はお互いにリンクさ
れて複合出力シーケンスを作る。
【0004】
【発明が解決しようとする課題】最近コンピュータベー
スの非線形編集制御装置が使われるようになった。これ
らによって、ユーザはコンピュータスクリーン上にソー
スシーケンスを見ることが出来、コンピュータキーボー
ド又はマウスやトラックボール等のカーソル制御デバイ
スを使って各要求されたシーケンスに対する入点および
出点を選択できる。
【0005】図11を参照すると、そのような編集制御
装置のための表示スクリーンが図示されている。
【0006】図1において、ビデオテープ上又はハード
ディスク等のコンピュータベース蓄積装置に、多数のソ
ース・ビデオシーケンスが蓄積される。(本実施の形態
においては、これらのビデオシーケンスは磁気光学ディ
スク上に蓄積されるが、これについては、下記にもっと
詳しく説明する)。
【0007】ソースシーケンスは、編集制御装置を使っ
て登録される。例えば、ビデオテープ上のそのソースシ
ーケンスが見つかった場所をユーザが示すことによっ
て、又はコンピュータベース蓄積装置にコピーされるシ
ーケンスの動作によって登録される。
【0008】このソースビデオシーケンスは、表示スク
リーンの上方領域のソースアイコン20によって表され
る。これらのソースビデオシーケンスは、全てユーザに
よって編集するために適用できる。
【0009】現在選択されたソース(又は出力)ビデオ
シーケンスを見るためにビューアウインドウ10が設け
られている。ソースビデオシーケンスを見るには、ユー
ザは単に対応するソースアイコンを選択すればよい。例
えば、(マウスカーソル制御デバイスを使って)そのア
イコンの上でダブルクリックすればよい。
【0010】そうすれば、プレー、ストップ、巻き戻し
等のシミュレートされたビデオテープレコーダ制御装置
の制御の下で、そのソースシーケンスはビューアウイン
ドウの中に見ることができる。
【0011】その再生動作は、そのビューアウインドウ
内でマウスを一回クリックすることにより停止すること
ができる。このビューアウインドウは、更に下に説明さ
れた方法でシャトル動作を制御するためにも使える。
【0012】ソースビデオシーケンスの一部はユーザが
入点と出点を規定することによって選択され、その部分
はクリップアイコン30によってスクリーンの下方の出
力エリアに表される。
【0013】ソースシーケンスが登録され又はロードさ
れる順序に表示器上の表示順序が単純に関係している上
述のソースアイコンに比べて、出力アイコン30の順序
は重要である。特に、スクリーン上のアイコンの(左か
ら右への)順序は、ビデオシーケンスの対応する部分が
出力の編集されたシーケンスに対して置き換えられる順
序を表す。
【0014】編集された出力ビデオシーケンスにそのク
リップが表示されるべき順序を並べ変えるためにユーザ
はそのクリップアイコンの順序を変えることが可能であ
る。この例に於いては、マイクロソフト・ウンンドウズ
3.1動作システムに対する標準に類似のドラッグ・ア
ンド・ドロップ手法を使って達成できる。
【0015】この手法を使えば、動かすべきクリップア
イコンの上に表示スクリーンカーソルを位置させること
ができる。マウスボタンが押されてそのまま保持されて
いる間にカーソルが動けば、アイコンはそのカーソルと
ともにドラッグされて新しい位置に行く。マウスボタン
が解放されてクリップアイコンをその新しい位置にドロ
ップする。
【0016】例えば、クリップアイコン30Bは、クリ
ップアイコン30Cと30Dの間の位置にドラッグし、
ドロップすることができる。従って、表示スクリーン上
のクリップアイコンの順序はACBDとなり、出力の編
集されたシーケンスはクリップC、クリップB、そして
最後にクリップDを従えたクリップAを含む。
【0017】しばしばマイクロソフト・ウインドウズ
3.1プログラムを使った更に他の特色はドラッグ・ア
ンド・ドロップ動作の後に表示スクリーンをきちんと保
つ助けとなる。これは、アイコンが新しい位置に動いた
ときに、全てのアイコンが新しい位置に移り、同じ表示
順序を維持するが、スクリーン上に同等にスペースをと
って並べられる。
【0018】(この動作は、「自動配列」を可能化し
て、ウインドウ3.1のプログラムマネージャの下でプ
ログラムグループウインドウ内でアプリケーションアイ
コンを再配列するときに見ることができる。)
【0019】本発明は、上述のドラッグ・アンド・ドロ
ップ型の特色を構築する。ドラッグされているアイコン
が他の存在するアイコンに非常に近いときには、それを
確認することにより、ドラッグされたアイコンがもしそ
こで解放されたら、現在のアイコンのどちらの側に当て
はまるかをユーザが知ることは(不可能ではないにして
も)非常に困難である。
【0020】このドラッグ・アンド・ドロップの特色を
普通に使う場合には、これは問題ではない。しかしなが
ら、上記のような編集装置の場合は、重要な技術上の問
題を与えることができる。なぜならば、ドラッグ・アン
ド・ドロップ動作(オーディオ及び/又はビデオ素材に
対応する再生順序を規定する)の後のアイコンの表示順
序は非常に重要である。
【0021】
【課題を解決するための手段】本発明は、次の技術手段
によりこの問題に取り込む。第1に、ドラッグされたア
イコンは(マウスボタン又は他の制御が解放される前
に)動かされているので、ドラッグされたアイコンの現
在アイコンとの関係は、(a)どちらがより近い現存ア
イコンであるか、(b)もし今解放されると、そのアイ
コンのどちらの側にドラッグされたアイコンが当てはま
るかを決めるために評価される。
【0022】第2に、この検出のユーザに警告するその
検出に応答してインジケータ表示が発生される。これは
普通のドラッグ・アンド・ドロップ動作に対して全く異
なっており、マウスボタンを解放することによりドラッ
グ・アンド・ドロップ動作を終えるまで、現在のカーソ
ル位置でドロップしたらそうなるであろうアイコンの順
序を評価することすら必要ない。
【0023】ドラッグン・アンド・ドロップ動作の期間
にアイコンの結果としての順序を繰り返し検出する直感
に反したステップにより、それから、その検出ユーザに
通信することにより、編集制御装置の動作はユーザにと
ってもっとずっと効率的にできる。
【0024】これは、新しい集まり等の編集環境におい
て特に重要であり、そこでは、編集制御装置のユーザ動
作の速度が特に重要である。
【0025】この技術は特にマイクロソフト・ウインド
ウズ等のグラフィカル・ユーザ・インターフェースを走
らせる汎用コンピュータベースで動作する編集制御装置
に使うのに適用できる。
【0026】編集制御装置のキーボード上の方向制御キ
ーによって等の、アイコンの動きを制御する他の多くの
方法が考えられるが、アイコン制御手段は(例えば、マ
ウス、トラックボール、ジョイスティック等の)表示ス
クリーンカーソル制御手段及び(マウスボタン、トラッ
クボールボタン、ジョイスティックボタン等の)選択制
御手段を含む。
【0027】例えば、上述のタイプのドラッグ・アンド
・ドロップ動作を使ってもよく、その場合には、カーソ
ルは第1に動かすべきアイコンの上に位置決めされ選択
制御手段がアクティブ化されるが解放されない。それか
ら、その選択制御手段がその最初のアクティブ化から連
続して動作状態に留まる限り、そのカーソルの動きはそ
のアイコンの対応する動きも作り出す。
【0028】その方向インジケータ(指示)は、そのス
クリーン上の何処にでも表示できるが、(a)検出され
た最も近いアイコンに実質的にオーバーラップするか、
(b)そのカーソルの現在のスクリーン位置で現れるよ
うにするのが都合が良い。
【0029】好ましくは、連続する再生順序に対応する
表示順序はスクリーン上の予め定められた方向(例え
ば、左から右)の線形配列である。
【0030】上述の諸観点から本発明は、記録されたオ
ーディオ及び/又はビデオ素材の編集を制御する編集制
御装置であって、編集された出力素材シーケンスの時間
的に連続する複数の素材切り抜きが、その素材切り抜き
の再生時間順序に対応する表示順序で表示スクリーン上
に表示された対応するクリップアイコンによって表さ
れ、表示スクリーン上のアイコンの表示位置のユーザ制
御によって動きを与えるユーザ操作可能アイコン制御手
段と、表示スクリーン上のクリップアイコンの表示位置
が動いている間、その動いているクリップアイコンの現
在の表示位置にスクリーン上で最も近いクリップアイコ
ンを検出する手段と、動いているクリップアイコンの現
在の表示位置が複数の素材切り抜きの時間順序に対応す
る表示手段における検出された最も近いアイコンの前に
あるか後にあるかを検出する手段と、動いているクリッ
プアイコンの現在の表示位置が素材切り抜きの時間順序
に対応する表示順序における検出された最も近いアイコ
ンの前にあるか後にあるかを示す方向インジケータを表
示スクリーン上に発生し表示する手段とを備えた編集制
御装置を提供する。
【0031】
【発明の実施の形態】再び図1を参照して、本発明の一
実施の形態について説明する。図1の表示スクリーンに
おいて、ビューアウインドウ内の再生動作は、前に説明
したとおり、そのビューアウインドウ内でマウスを1回
クリックすることにより停止できる。このビューアウイ
ンドウは、下記に更に説明する方法で、シャトル動作を
制御するのにも使える。出力の編集したシーケンスは下
記のようにユーザによって見ることが出来る。ユーザが
クリップアイコン30Aをダブルクリックすると、部分
Aの全部が表示され、そのすぐ後に続けて部分B,Cそ
して最後にDの全部が表示される。複合シーケンスAB
CDは編集された出力プログラムを形成する。
【0032】もし、ユーザが編集された出力プログラム
の後の部分だけをプレビューしたければ、クリップアイ
コン30Cをダブルクリックすることができ、その場合
再生はクリップCの最初から開始し、そのすぐ後にクリ
ップDが続く。
【0033】出力シーケンスをプレビューする他の技術
について下記に説明する。図2は、編集制御装置及びそ
れに関連した蓄積装置のブロック図である。
【0034】この編集制御装置は、マイクロソフト・ウ
インドウズ3.1オペレーティング・システムで動作す
るパソコンPC100を備えている。このPCは、カー
ソル制御デバイス110(例えばマウス)、表示スクリ
ーンメモリ120、及び表示スクリーン130を有して
いる。
【0035】本実施形態のPCはノートパソコンであ
り、IBM“Thinkpad 760C"であり、このPC100、
カーソル制御デバイス110、ビデオ表示スクリーンメ
モリ120及び表示スクリーン130は全て単一ポータ
ブルダブルユニットにまとめられている。
【0036】(実際に、IBM Thinkpad におけるカー
ソル制御デバイス110はジョイスティック制御デバイ
スであるが、マウスの動作を真似してセットアップされ
ており、外部マウスポートはこのPCにも使えるので、
下記の説明においてカーソル制御デバイスに対する一般
用語として、便宜上マウスという用語を使う)。
【0037】PC100はビデオ蓄積器140と通信
し、磁気光学ディスク150に蓄積されたビデオ及びオ
ーディオにアクセスする。本実施の形態においては、ビ
デオ蓄積制御装置及びMOディスク150は「ドッキン
グ・ステーション」、即ち、IBM Thinkpad と類似の
寸法のボックスでなり、その上にThinkpadがある「ドッ
キング・ステーション」内に設けられている。
【0038】動作においては、そのビデオ蓄積制御装置
の入力ポート160にビデオ信号が供給され、MOディ
スク150上に蓄積するために高度のピクチャ内部デー
タ圧縮が行われる。
【0039】ソースビデオの1以上のセクションがMO
ディスク150上に蓄積されたとき、それらは、出力の
編集されたビデオシーケンスの連続する部分に対するソ
ースマテリアルの「入点」及び「出点」を規定するタイ
ムコードのリストである編集決定リストを発生するため
にユーザが編集制御装置を操作することによって取り扱
うことができる。
【0040】編集決定リストは、放送又は配布のため
に、ビデオ蓄積制御装置140に供給されると、その編
集決定リストが元のビデオデータに適用出来る。図3の
A〜Cはソースビデオファイルを図示しており、Dは編
集された出力ビデオシーケンスを図示している。A〜D
の全てにおいて、左から右への水平軸上に時間が表され
ている。
【0041】図3のDの出力ビデオシーケンスは、B,
A及びCのソースファイルの連続する部分又はクリップ
で形成されている。これらは、「カット」編集によって
隣接して一緒に結びつけられる。
【0042】用途において、或ソースファイルからクリ
ップの1つを発生するためには、ユーザはビューアウイ
ンドウの中でそのソースファイルを、適正な入点tin
位置付けされるまで再生する。ユーザは、(図示してな
い)スクリーン上のカーソル制御クリックするか特定の
キーを操作する。ユーザは、適正な出点が見つかるまで
ソースファイルの再生を続け、その出点を規定するため
適正な制御装置を操作する。
【0043】対応するクリップアイコンと一緒に編集決
定リスト(下記参照)の中に見出しが作られる(下記参
照)。新たに作られたEDL見出し及びクリップアイコ
ンは、既に準備されたクリップのシーケンスに新しく時
間的に続くアイテムとして置かれる。しかしながら、こ
の時間的順序は、下記のように、簡単に変えることがで
きる。
【0044】図4のA〜Cは、クリップアイコン30、
編集決定リスト(B参照)、及びソースビデオファイル
(A参照)を表すデータの間の論理関係を図示してい
る。図4Aはボックス200の各々が、ソースビデオの
或セクションに対応するMOディスク150上のファイ
ルに対するファイルヘッダ又はディレクトリ・エントリ
を表す。
【0045】このディレクトリ・エントリは、タイト
ル、開始タイムコード、終了タイムコード等のファイル
情報を含む。各そのようなディレクトリ・エントリは図
1の表示スクリーン上の単一ソースアイコン20と関連
している。
【0046】図4のBのボックス210は編集決定リス
ト中のエントリを図解している。各そのようなエントリ
は、そのソースビデオファイルの1つから導出された出
力ビデオシーケンスの1つの隣接する部分に関係してい
る。
【0047】このエントリは、ソースビデオファイル1
つを規定する情報、及びそのソースファイルの元を規定
する対応するリールID(例えば、ビデオテープのリー
ル)、そのソースビデオファイルから取られるべきその
シーケンスの第1ピクチャを規定するオフセットスター
ト変数、ソースビデオファイルから使われるべき部分の
持続期間を規定する持続期間変数、及び2つの圧縮され
たピクチャ(入力ピクチャ及び出力ピクチャ)を含んで
いる。
【0048】これらの圧縮されたピクチャは、DELア
イテムが最初に作られた時に、MOディスク150上に
蓄積されているソースファイルに対応したデータからア
クセスされる。
【0049】入点、出点、オフセット及び持続期間に関
係するアイテムの全てが標準ビデオタイムコードフォー
マットHH:MM:SS:FF(時間:分:秒:フレー
ム)で表される。
【0050】従って、図3A〜Dの例に対する編集決定
リストは下記のデータを蓄積する。
【0051】
【表1】 ここで、持続期間(A)は(tout (A)−t
in(A))に等しい。
【0052】出力の編集されたシーケンスに応答して、
ディスク上の蓄積位置のリンクされたリストは、PCに
よって作られ、ビデオ蓄積制御装置に伝送され、その出
力の編集されたシーケンスに対して必要なフレームを規
定する。このリンクされたリストもディスク上に蓄積さ
れるので、後の編集セッションに置いても、もし要求さ
れればアクセスできる。
【0053】ソースファイルに応答するには同じ応答メ
カニズムが使われる。そこでは、MOディスク上の蓄積
位置のリンクされたリストはソースファイルヘッダを参
照してPC100によって導出され、ビデオ蓄積制御装
置に伝送され、応答のため適正な順序で、それらの蓄積
された位置でフレームを読む。
【0054】シャトル応答は、フレームを高速で再生す
ること又は所望のシャトル速度を達成するためにnフレ
ームの中の1つだけに応答することによって、可能であ
る。出力の編集されたシーケンスに対する蓄積位置のリ
ンクされたリストを作る為には、先ずファイルBに対す
るディレクトリエントリがアクセスされ、そのディレク
トリエントリからファイルBの開始タイムコードが読み
出される。
【0055】このクリップの入点を計算するために、こ
のオフセット変数、オフセット(B)が開始タイムコー
ドに加えられる。このクリップの出点を計算するため
に、持続期間変数、持続期間(B)が入点のタイムコー
ドに加算される。
【0056】このディレクトリエントリに蓄積されたフ
ァイルアドレス情報(基本的にはデータアイテムのリン
クされたリスト又はMOディスク150上の「クラス
タ」)がアクセスされて、どのクラスタが要求された入
点に対応するピクチャを保有しているかを決める。
【0057】入点ピクチャに対する適正なクラスタは現
在クリップに対する第1クタスタとして規定され、ディ
レクトリエントリによって規定されたクラスタの現在の
リンクされたリストに続いて、そのクリップの出点に達
するまで後続の蓄積位置が規定される。
【0058】ファイルBに対する出点に達した時、(こ
の例におけるファイルAから)次のクリップのために処
理が繰り返される。出力の編集されたシーケンスに対応
する蓄積アドレスのリンクされたリストが「実際上の」
ファイルとして参照され、ソースファイルへのディレク
トリエントリをそれ以上参照せずに再生できる。
【0059】蓄積位置のリンクされたリストに沿って適
正数のフレームを単に待つことにより実際上のファイル
内部の一点で再生を開始できる。
【0060】図4A〜Cを参照すると、ディレクトリエ
ントリ200の各々はソースビデオファイルのMOディ
スク150上のその位置に対応しそれを規定する。ED
Lアイテム210の各々は、そのクリップを含むソース
ファイルに対するディレクトリエントリ200を参照し
て、或出力クリップに対応しそれを規定する。
【0061】それに加えて、各EDLアイテム210
は、夫々のクリップアイコン30(図4のC参照)に対
応する左から右への(及びもし要求があれば左から右へ
第2及びそれ以降の行へ)クリップアイコン30の表示
順序は、EDLアイテムのリンクされたリストにおける
EDLアイテムの順序を規定する。これが達成される方
法は下記に説明する。
【0062】上に述べたように、クリップアイコンはド
ラッグ・アンド・ドロップ・メカニズムによって再配列
出来る。これをやるには、ユーザはカーソルをクリップ
アイコンの1つの上に動かしてから押し、そのマウスボ
タンを保持する。
【0063】それから、マウスボタンが下げられた状態
にある限り、クリップアイコン(又は、少なくともその
代表的なアウトライン)がカーソルを使ってドラッグさ
れる。マウスボタンが解放された時にドラッグされたア
イコンがスクリーン上にある場合は、そのクリップアイ
コンの新しい位置を規定する。
【0064】事実、ドラッグ・アンド・ドロップ・メカ
ニズムの多くの現在の使用に共通に、このシステムのド
ラッグされたアイコンは、そのスクリーンの出力エリア
の任意の位置にドロップすることは許されない。
【0065】その代わりに、可能な位置の中の規定され
たグリッド上の一つの位置に強制的にあてはめるので、
その結果のアイコンのパターンは等しい間隔がとられ失
われるアイコンはなく、水平行に頂部左から底部右に並
べられる。(付勢された「自動整列アイコン」オプショ
ンを使って、マイクロソフト・ウインドウズ3.1のプ
ログラムマネージャの下で1プログラムグループ内でプ
ログラムアイコンが動かされる時この様子をみることが
できる。
【0066】ドラッグ・アンド・ドロップの終りに、ク
リップアイコンの順序が変わると、子ウインドウとED
Lアイテムの間の割り当てが相応して変えられる。上記
の特色は、マイクロソフト・ウインドウズ3.1・オペ
レーティングシステムの下で動作するようにコンピュー
タプログラムが書かれた方法で達成される。
【0067】これを理解するために必要な基本的な技術
の多くは、「Programming Windows3.1 」Charles Petzo
ld, Microsoft Press, third edition, 1992 に説明さ
れている。
【0068】EDLアイテム及びディレクトリエントリ
は、従来の方法で、通常の変数構造として維持される。
事実、ディレクトリエントリはリンクされたリストを形
成するが、これは現在の技術に重要ではない。
【0069】出力エリアはウインドウであり、クリップ
アイコンは出力エリアの親ウインドウの下で動作するい
わゆの「子ウインドウ」である。従って、クリップアイ
コンは丁度小さなアイコンのようなグラフィカル・イメ
ージとして現れるが、子ウインドウ自身として或付加的
機能を持っている。
【0070】そこで、この説明において、アイコンとい
う用語は広い意味で使われており、ウインドウズ・プロ
グラムのグラフィカル表現及び/又は一部のオーディオ
又はビデオマテリアルを意味し、選択に関するかぎり、
アイコンをクリップするかスクリーン上に動かすことで
対応するプログラム又はオーディオ又はビデオマテリア
ルの片に効果がある。
【0071】EDLの各エントリに対して1つのそのよ
うな子ウインドウ(クリップアイコン)が存在する。そ
の子ウインドウがウインドウズ・オペレーティング・シ
ステムによってペイント又は再ペイントされる時、ED
Lアイテムからイン・ピクチャ又はアウト・ピクチャの
どちらかを表示する。
【0072】この2つのピクチャのどちらかを表示する
かの選択はユーザにまかされており、(図示しない)子
ウインドウ上のカーソルボタンを通して行われる。ユー
ザが或子ウインドウ上をクリック又はダブルクリックす
ると、ウインドウズはその子ウインドウにメッセージを
送る。
【0073】再生動作の場合には、子ウインドウをダブ
ルクリックすると、その子ウインドウプログラムが親ウ
インドウにそのクリック又はダブルクリックの位置を通
信し、親ウインドウで、選択された子ウインドウに対応
するビデオマテリアルの再生を開始する。
【0074】図5は、図1の表示スクリーンの出力エリ
ア内のカーソルマッピングを図解している。クリップア
イコンに囲まれた出力エリアは、各クリップアイコンの
中央エリア上を覆う第1領域250と第2領域260に
概念的に分けられる。
【0075】マウスボタンのダブルクリックが検出され
た時、その時のマウスカーソルの座標(直接又は子ウイ
ンドウを介して親ウインドウに送られ、そのマウスカー
ソルがその時の子ウインドウ内にあるかどうかにより)
第1及び第2領域250及び260を規定する座標領域
と比較される。
【0076】もし、カーソル座標が第1領域の1つ内に
あれば、その第1領域250の下にあるクリップアイコ
ンに対応するクリップのスタートから親ウインドウによ
って再生が開始される。
【0077】もし、カーソル座標が第2領域260内に
あれば、親ウインドウは、選択された領域260のすぐ
右のクリップからビデオ再生を開始するが、そのクリッ
プの終り前の予め定められた時間からである。
【0078】例えば、その予め定められた時間はそのク
リップの終り前3秒かもしれないが、この期間はユーザ
によって設定されるのが好ましい。このことは、そのク
リップとユーザによって見直されるべき次のものの間の
編集遷移を許す。
【0079】再生を開始(又は待つ)時間は次のように
計算される。 再生開始タイムコード=出力(実質)ファイルのための
スタートTC+(もしあれば)先行クリップの長さ+現
在クリップの持続期間−予め定めた期間
【0080】しかしながら、クリップの持続時間が予め
定めた期間よりも短ければ、再生はそのクリップのスタ
ートから開始される。
【0081】図6は、図1の表示スクリーンの出力エリ
ア内のカーソルマッピングの第2タイプを図示してい
る。ここで、他の領域はドラッグ・アンド・ドロップの
間に使うために、カーソル座標の領域によって概念的に
規定されている。
【0082】そのような動作の間に、(親ウインドウ
の)カーソル座標は、各クリップアイコンについて左領
域及び右領域280を規定する座標領域に対抗して続け
て(繰り返し)チェックされる。
【0083】示された例においては、1つの左領域及び
1つの右領域が各クリップアイコンに重なっており、ド
ラッグ・アンド・ドロップ動作の間、これら2つの領域
のどちらかにカーソルが検出されると、それが現在のカ
ーソル位置に最も近いアイコンであることがそれによて
検出される。
【0084】もし解放されると、その検出された最も近
いアイコンのどちらの側にドラッグされたアイコンが落
ちるかを検出し指示するためにその左及び右領域が使え
る。基本的には、もしカーソルが左領域にあれば、ドラ
ッグされたアイコンは検出された最も近いアイコンの左
に落ちるであろう。もしカーソルが右領域にあれば、ド
ラッグされたアイコンは検出された最も近いアイコンの
右に落ちるであろう。
【0085】この検出は、検出された最寄りのアイコン
のどちらかの側にそのドラッグされたアイコンが落ちる
かの指示を表示するのに使える。
【0086】図7A〜Cはドラッグ・アンド・ドロップ
動作の間の異なったカーソルタイプを図解する。カーソ
ルが左領域270にある時、そのカーソルは、(標準の
ウインドウカーソル変化ルーチンを使って)図7Aのカ
ーソルに変えられる。
【0087】同様にして、カーソルが右領域にある時
は、そのカーソルは図7Bのカーソルに変えられる。図
7Cのカーソルは、そのカーソルが左領域にも右領域に
もないことを示し、(事実親ウインドウの外にある)こ
とを示すと、それはドラッグされたアイコンを落とす有
効な場所ではない。
【0088】もしアイコンがそこに落とされると、(ま
た現在のウインドウ内にあれば)現存のアイコン順序の
終りでドロップするか、(もし親ウインドウの外なら
ば)親ウインドウ内のアイコンの順序は変わらない。
【0089】図8A及びBは、異なったカーソルタイプ
の使用を図示する。図8Aにおいて、カーソルは基礎と
なるクリップアイコン30の左にわずかに動くので、左
矢印カーソルは、ドラッグされたアイコンが基礎となる
アイコンの左に落ちることを、ユーザに対して明白に示
すために表示される。
【0090】同様に、図8Bでは状況は反転する。従っ
て、ドラッグされたアイコンがどちらの側に当てはまる
かをユーザにたいして明確な指示が与えられる。これに
代わる実施の形態においては、カーソル自身の変更を使
うよりもむしろ検出された最も近いアイコン上に矢印の
ような指示をおくようにすることができる。
【0091】図9は図1の表示スクリーンのビューアウ
インドウ中のシャトル制御動作を図示している。図10
はカーソル変位に対するシャトル速度を示す。カーソル
がビューアウインドウ内に置かれ、マウスボタンがクリ
ックされ保持された時、(ユーザによって最後に選ばれ
たアイコンに依存して、これは出力クリップ又はソース
ファイルでありうる)ビューアウインドウはそのビュー
アウインドウと現在関係しているビューアマテリアルの
シャトル再生を開始する。
【0092】事実、これは2段階処理として定義されて
いる。ビューアウインドウ内でマウスボタンが最初に押
された時、(それが引き続き押されたままになっている
か否かにかかわらず)、ウインドウズ「マウスダウン」
メッセージに因ってビューアウインドウが再生を停止す
るためにストップ命令を出す。
【0093】それから、もしマウスボタンが予め定めら
れた時間(例えば0.5秒)内に解放されなかったなら
ば、最初のマウス押し下げメッセージの時にウインドウ
タイマを記録することにより検出されるので、シャトル
動作が選ばれる。それに代えて、もしダブルクリックが
検出されたら、(即ち、リリース及びそれから予め定め
られた時間内の第2のクリック)、ビューアウインドウ
によってノーマル速度再生が開始される。
【0094】このビューアウインドウは、ボタンが下が
っている限り、一時的にマウスを捕獲する。‥‥‥一標
準ウインドウ技術。マウスボタンが最初にクリックされ
た点(xI,yI)のビューアウインドウの座標は蓄積
され、その後の間隔でのカーソルの座標(xC,yC)
は(xI,yI)と比較される。
【0095】シャトル速度は、現在の値|xC−xI|
に依存して設定される。即ち、最初のアクティブ化点か
ら現在のカーソル位置への距離300の水平成分302
に依存する。
【0096】しかしながら、この値は、それ自身シャト
ル速度を規定するものではない。そのかわり、図10に
図解したように、水平変位成分と最高シャトル速度まで
のシャトル速度の間に一般に指数的関係がある。
【0097】この関係は、異なった水平変位成分値に応
答してシャトル速度値を規定する(例えば、読み出し専
用メモリにおいて)ルックアップテーブルに実際にイン
デックスを準備する値|xC−xI|によって達成され
る。
【0098】このルックアップテーブル値は、ビューア
ウインドウの幅に等しい距離が、制御されている再生装
置に対する適用できるシャトル速度の最大値でシャトル
動作をさせるように選びまたは目盛り付けすることがで
きる。
【0099】他のチェックとして、もしxC>xIなら
ば、カーソルは今初期位置の右にあり、順方向シャトル
動作が選ばれている。従って|xC−xI|の符号はシ
ャトル動作の方向を示している。
【0100】マウスボタンが解放されると、シャトル動
作が現在選択されているシャトル速度及び方向で維持さ
れる。シャトル動作はそのビューアウインドウ内でマウ
スを1回クリックすること(これは、上記のとおりスト
ップ命令を作る)によって止めることができる。
【図面の簡単な説明】
【図1】編集制御装置の表示スクリーンを示すブロック
図である。
【図2】編集制御装置及びそれに関連したビデオ蓄積装
置のブロック図である。
【図3】(A)〜(C)はソースビデオファイル、
(D)は編集された出力ビデオシーケンスを示す線図で
ある。
【図4】クリップアイコン、編集決定リスト、及びソー
スビデオファイルを表すデータの間の論理関係を図示し
た線図である。
【図5】図1の表示スクリーンの出力エリア内のカーソ
ルマッピングを図解した線図である。
【図6】図1の表示スクリーンの出力エリア内のカーソ
ルマョンピングの第2の型を図解した線図である。
【図7】A〜Cは、ドラッグ・アンド・ドロップ動作の
間の異なったカーソル・タイプを示す模式図てある。
【図8】異なったカーソル・タイプの使用を図解した模
式図である。
【図9】図1の表示スクリーンのビューアウインドウ中
のシャトル制御動作を図解した線図である。
【図10】カーソル変位に対抗するシャトル速度のグラ
フである。
【符号の説明】
A,B,C アイコン

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 記録されたオーディオ及び/又はビデオ
    素材の編集を制御する編集制御装置であって、編集され
    た出力素材シーケンスの一時的に連続する複数の素材切
    り抜きが、その素材切り抜きの再生時間順序に対応する
    表示順序で表示スクリーン上に表示された対応するクリ
    ップアイコンによって表され、 表示スクリーン上のアイコンの表示位置のユーザ制御に
    よる動きを与えるユーザ操作可能アイコン制御手段と、 表示スクリーン上のクリップアイコンの表示位置が動い
    ている間、その動いているクリップアイコンの現在の表
    示位置にスクリーン上で最も近いクリップアイコンを検
    出する手段と、 動いているクリップアイコンの現在の表示位置が複数の
    素材切り抜きの時間順序に対応する表示順序における検
    出された最も近いアイコンの前にあるか後にあるかを検
    出する手段と、 動いているクリップアイコンの現在の表示位置が素材切
    り抜きの時間順序に対応する表示順序における検出され
    た最も近いアイコンの前にあるか後にあるかを示す方向
    インジケータを表示スクリーン上に発生し表示する手段
    とを備えた編集制御装置。
  2. 【請求項2】 請求項1に記載の装置において、 前記発生及び表示する手段が、検出された最も近いアイ
    コンに実質的にオーバーラップする方向指示を表示する
    ように動作する編集制御装置。
  3. 【請求項3】 請求項1に記載の装置において、 前記発生及び表示する手段が、実質的にカーソルの現在
    のスクリーン位置で方向指示を表示するように動作する
    編集制御装置。
  4. 【請求項4】 請求項1乃至3の何れか1つに記載の装
    置において、連続する再生順序に対応する表示順序がス
    クリーン上で予め定められた方向に線形配列された編集
    制御装置。
  5. 【請求項5】 前記何れか1つの請求項に記載の装置に
    おいて、前記カーソル制御手段がマウス、トラッカボー
    ル、又はジョイスティックを含み、前記選択制御手段が
    マウスボタン、トラッカボールボタン、又はジョンステ
    ィックボタンを含む編集制御装置。
  6. 【請求項6】 記録されたオーディオ及び/又はビデオ
    素材の編集を制御する編集制御装置の動作方法であっ
    て、編集された出力素材シーケンスの一時的に連続する
    複数の素材切り抜きが、その素材切り抜きの再生時間順
    序に対応する表示順序で表示スクリーン上に表示された
    対応するクリップアイコンによって表され、 表示スクリーン上のクリップアイコンの表示位置が動い
    ている間、その動いているクリップアイコンの現在の表
    示位置にスクリーン上で最も近いクリップアイコンを検
    出するステップと、 動いているクリップアイコンの現在の表示位置が複数の
    素材切り抜きの時間順序に対応する表示順序における検
    出された最も近いアイコンの前にあるか後にあるかを検
    出するステップと、 動いているクリップアイコンの現在の表示位置が素材切
    り抜きの時間順序に対応する表示順序における検出され
    た最も近いアイコンの前にあるか後にあるかを示す方向
    インジケータを表示スクリーン上に発生し表示するステ
    ップとを含む編集制御方法。
  7. 【請求項7】 添付図面を参照して明細書中に実質的に
    説明された編集制御装置。
  8. 【請求項8】 添付図面を参照して明細書中に実質的に
    説明された編集制御装置の操作方法。
JP08803697A 1996-04-12 1997-04-07 編集制御装置及び編集制御方法 Expired - Lifetime JP3857380B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9607641:9 1996-04-12
GB9607641A GB2312139B (en) 1996-04-12 1996-04-12 Editing of recorded material

Publications (2)

Publication Number Publication Date
JPH1097399A true JPH1097399A (ja) 1998-04-14
JP3857380B2 JP3857380B2 (ja) 2006-12-13

Family

ID=10791985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08803697A Expired - Lifetime JP3857380B2 (ja) 1996-04-12 1997-04-07 編集制御装置及び編集制御方法

Country Status (6)

Country Link
US (1) US6137945A (ja)
EP (1) EP0801390B1 (ja)
JP (1) JP3857380B2 (ja)
KR (1) KR100477407B1 (ja)
DE (1) DE69727002T2 (ja)
GB (1) GB2312139B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998012702A1 (fr) * 1996-09-20 1998-03-26 Sony Corporation Systeme et procede d'edition, et dispositif et procede de gestion de sequences video
JP3276596B2 (ja) 1997-11-04 2002-04-22 松下電器産業株式会社 動画像編集装置
US6442329B1 (en) * 1998-02-28 2002-08-27 Michael L. Gough Method and apparatus for traversing a multiplexed data packet stream
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
TW465235B (en) 1998-09-17 2001-11-21 United Video Properties Inc Electronic program guide with digital storage
AU2012200590B2 (en) * 1998-09-17 2014-05-22 Rovi Guides, Inc. A Method for Use in an Interactive Television Program Guide System
US7362946B1 (en) * 1999-04-12 2008-04-22 Canon Kabushiki Kaisha Automated visual image editing system
US7242847B1 (en) * 1999-06-18 2007-07-10 Intel Corporation Systems and methods for editing video streams using a grid-based representation
GB2356733B (en) * 1999-11-26 2003-12-10 Sony Uk Ltd Editing of recorded material
GB2356732B (en) * 1999-11-26 2003-12-10 Sony Uk Ltd Editing of recorded material
GB2356734B (en) * 1999-11-26 2003-11-05 Sony Uk Ltd Editing of recorded material
US7650621B2 (en) 2000-10-11 2010-01-19 United Video Properties, Inc. Systems and methods for providing storage of data on servers in an on-demand media delivery system
US20020127001A1 (en) * 2000-11-08 2002-09-12 Masanori Gunji Recording/reproducing apparatus
JP3631430B2 (ja) * 2000-11-08 2005-03-23 株式会社東芝 自動チャプタ作成機能付き記録再生装置
WO2002052565A1 (en) * 2000-12-22 2002-07-04 Muvee Technologies Pte Ltd System and method for media production
US7493646B2 (en) 2003-01-30 2009-02-17 United Video Properties, Inc. Interactive television systems with digital video recording and adjustable reminders
US20060235550A1 (en) * 2003-04-24 2006-10-19 Csicsatka Tibor G Creation of playlists using audio identification
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US9142253B2 (en) * 2006-12-22 2015-09-22 Apple Inc. Associating keywords to media
US9208821B2 (en) * 2007-08-06 2015-12-08 Apple Inc. Method and system to process digital audio data
KR101526963B1 (ko) 2007-09-19 2015-06-11 엘지전자 주식회사 이동 단말기, 이동 단말기의 데이터 표시 방법, 및 이동단말기의 데이터 편집 방법
US10063934B2 (en) 2008-11-25 2018-08-28 Rovi Technologies Corporation Reducing unicast session duration with restart TV
US8805418B2 (en) 2011-12-23 2014-08-12 United Video Properties, Inc. Methods and systems for performing actions based on location-based rules
CN106341717A (zh) * 2016-09-28 2017-01-18 天脉聚源(北京)传媒科技有限公司 一种光标移动方法及系统
US10783926B1 (en) * 2020-03-24 2020-09-22 Steve S Rhee Editing and tracking changes in visual effects
CN111880693A (zh) * 2020-07-03 2020-11-03 芜湖雄狮汽车科技有限公司 一种汽车显示屏应用程序列表位置编辑方法和系统
JP2022061287A (ja) * 2020-10-06 2022-04-18 キヤノン株式会社 プログラム及び情報処理装置
US11568897B1 (en) * 2021-06-10 2023-01-31 Gopro, Inc. Interface for changing a media sequence

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU601671B2 (en) * 1982-12-22 1990-09-20 Lex Computer And Management Corporation Video composition method and apparatus
US5237648A (en) * 1990-06-08 1993-08-17 Apple Computer, Inc. Apparatus and method for editing a video recording by selecting and displaying video clips
JP3024012B2 (ja) * 1990-07-27 2000-03-21 インターナショナル・ビジネス・マシーンズ・コーポレイション 直接入力操作方法
GB2266037B (en) * 1992-03-13 1996-02-14 Quantel Ltd An electronic video processing system
US5442744A (en) * 1992-04-03 1995-08-15 Sun Microsystems, Inc. Methods and apparatus for displaying and editing multimedia information
US5999173A (en) * 1992-04-03 1999-12-07 Adobe Systems Incorporated Method and apparatus for video editing with video clip representations displayed along a time line
KR940012112A (ko) * 1992-11-23 1994-06-22 강진구 멀티미디어 편집방식
JP3121194B2 (ja) * 1994-02-07 2000-12-25 株式会社日立製作所 マルチメディアデータの編集処理方法及び装置
US5870552A (en) * 1995-03-28 1999-02-09 America Online, Inc. Method and apparatus for publishing hypermedia documents over wide area networks

Also Published As

Publication number Publication date
KR970071235A (ko) 1997-11-07
KR100477407B1 (ko) 2005-07-18
GB9607641D0 (en) 1996-06-12
EP0801390A3 (en) 1999-03-03
EP0801390B1 (en) 2004-01-02
GB2312139A (en) 1997-10-15
DE69727002T2 (de) 2004-11-25
JP3857380B2 (ja) 2006-12-13
DE69727002D1 (de) 2004-02-05
GB2312139B (en) 2000-09-20
EP0801390A2 (en) 1997-10-15
US6137945A (en) 2000-10-24

Similar Documents

Publication Publication Date Title
US6034679A (en) Method and apparatus for controlling editing of recorded audio and/or video material
US6137945A (en) Apparatus and method for editing recorded material
KR100493489B1 (ko) 비디오자료또는오디오및비디오자료재생제어장치및방법
US5760767A (en) Method and apparatus for displaying in and out points during video editing
US5237648A (en) Apparatus and method for editing a video recording by selecting and displaying video clips
JP3393497B2 (ja) 編集に使用可能な素材を画面に表示させる方法及び装置
US6400378B1 (en) Home movie maker
US6330004B1 (en) Multimedia program editing and presenting system with flexible layout capability by simplified input operations
US6115037A (en) Motion image control method and apparatus
JP4364190B2 (ja) マルチメディアデータストリームの非線形的再生制御方法及びその装置
JP2775127B2 (ja) ビデオ編集操作インタフェース方法
US6327420B1 (en) Image displaying method and editing apparatus to efficiently edit recorded materials on a medium
JPH11146325A (ja) 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体
US7165219B1 (en) Media composition system with keyboard-based editing controls
JP2001202754A (ja) 編集装置及び編集方法及び媒体
JPH1175150A (ja) 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体
JP3773229B2 (ja) 動画像表示方法及び装置
JPH0793371A (ja) コンピュータ制御編集システム及びそのデータベース表示方法
US5781435A (en) Edit-to-it
JP4108086B2 (ja) 動画像表示方法及び装置
JP2002247504A (ja) 編集装置及び記録媒体
JP2001057660A (ja) 動画像編集装置
JP4038888B2 (ja) 映像編集装置
JPH09182007A (ja) 編集システム
JP2001155468A (ja) 動画像編集方法及び動画像編集を実行するプログラムを記録した機械読み取り可能な記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060914

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term