JP4554716B2 - オーディオ/ビデオデータの編集システム及び編集方法 - Google Patents

オーディオ/ビデオデータの編集システム及び編集方法 Download PDF

Info

Publication number
JP4554716B2
JP4554716B2 JP2009050296A JP2009050296A JP4554716B2 JP 4554716 B2 JP4554716 B2 JP 4554716B2 JP 2009050296 A JP2009050296 A JP 2009050296A JP 2009050296 A JP2009050296 A JP 2009050296A JP 4554716 B2 JP4554716 B2 JP 4554716B2
Authority
JP
Japan
Prior art keywords
editing
video data
digital audio
stations
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2009050296A
Other languages
English (en)
Other versions
JP2009118539A (ja
Inventor
エム デュバル ロジャー
ジョセフ オリバー リチャード
マーク クラー ジェフリー
Original Assignee
ソニー ピクチャーズ エンターテインメント インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー ピクチャーズ エンターテインメント インコーポレイテッド filed Critical ソニー ピクチャーズ エンターテインメント インコーポレイテッド
Publication of JP2009118539A publication Critical patent/JP2009118539A/ja
Application granted granted Critical
Publication of JP4554716B2 publication Critical patent/JP4554716B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508Magnetic discs
    • G11B2220/2516Hard disks
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/90Tape-like record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、オーディオ/ビデオデータの編集システム及び編集方法に関する。具体的には、ネットワークを介してデジタルオーディオ/ビデオデータを編集するシステム及び方法に関する。
図13は、オーディオ/ビデオデータの編集に多く用いられている一般的な編集装置のブロック図である。この編集装置900は、オーディオ/ビデオデータが格納されたローカルディスク901を備えている。ユーザは、表示装置902の表示画面を確認しながらコントローラ903を用いて編集作業を行うことができるが、この編集装置900により編集できるデータは、ローカルディスク900に記録されたローカルデータに限られる。すなわち、このような編集装置では、多数のワークステーションに記憶された大量のオーディオ/ビデオデータを編集することができない。
上述のように、近年のオーディオ/ビデオデータ編集に用いられているワークステーションは、ワークステーション毎の境界を越えたネットワーク上での編集作業を行うことができないという点で不十分なものでる。ユーザは、各ワークステーションにおけるオーディオ/ビデオデータをそれぞれ個々に編集しなければならず、そのようにして編集されたデータを各オーディオステーションからミキシングコンソールに出力し、最終的なオーディオ/ビデオ出力データを作成する。このようにして作成された最終的なオーディオ/ビデオ出力データに問題がある等の理由により編集をやり直す場合、再び各ワークステーションに属するそれぞれのオーディオ/ビデオデータトラックを編集するという煩雑な作業を繰り返す必要がある。このような作業は、最終的な出力データが完成するまで繰り返される。
本発明は上述の実状に鑑みてなされたものであり、ネットワークを介して複数のワークステーションに格納されたそれぞれのオーディオ/ビデオデータを一括して編集できる編集システム及び編集方法を提供することを目的とする。
本発明に係る編集システムは、デジタルオーディオ/ビデオデータを格納する複数のステーションと、複数のステーションとネットワークを介して通信可能に接続された編集ステーションとを備える。編集ステーションは、グラフィカルユーザインターフェイスを備え、複数のステーションに格納されたデジタルオーディオ/ビデオデータに対して行われる編集処理を指定する入力を、グラフィカルユーザインターフェイスを介して受信する。グラフィカルユーザインターフェイスは、複数のステーションに格納されているデジタルオーディオ/ビデオデータを視覚化して表示する。
また、本発明に係る編集方法は、グラフィカルユーザインターフェイスを介し編集ステーションに対して編集処理を指定するステップと、編集ステーションに通信可能に接続された、デジタルオーディオ/ビデオデータを格納する複数のステーションに対して、編集処理を実行するステップとを有する。グラフィカルユーザインターフェイスは、複数のステーションに格納されているデジタルオーディオ/ビデオデータを表示する。
また、本発明に係る記録媒体は、コンピュータ装置により実行される一連の命令を記録し、この一連の命令は、編集ステーションにて、グラフィカルユーザインターフェイスを介して編集処理が指定され、編集ステーションと通信可能に接続された、デジタルオーディオ/ビデオデータを格納する複数のステーションが編集操作を実行する命令である。コンピュータ装置は、複数のステーションに格納されたデジタルオーディオ/ビデオデータを、グラフィカルユーザインターフェイスに表示させる。
本発明に係る編集システム、編集方法及び記録媒体によれば、ネットワークを介して接続された複数のステーションにそれぞれ格納されたオーディオ/ビデオデータを一括で編集処理することができる。
本発明を適用した編集システムのブロック図である。 編集システムのソフトウェアモジュールを示す図である。 トラックを定義するデータ構造を示す図である。 クリア編集操作を説明する図である。 貼付編集操作を説明する図である。 挿入編集操作を説明する図である。 切取編集操作を示す図である。 コピー編集操作を示す図である。 編集用のGUIの表示例を示す図である。 ユーザによって構成可能なGUIを生成するシステムのブロック図である。 ダビング等の作業用のGUIの表示例を示す図である。 ゲイン調整用のポップアップウィンドウが重ねて表示されたGUIを示す図である。 従来のオーディオデータ編集装置のブロック図である。
以下、本発明に係る編集システム及び編集方法について図面を参照して説明する。
なお、以下では、具体例を用いて本発明を説明するが、本発明の技術的範囲は、添付の図面により限定されるものではない。また、添付の図面では、同様の構成要素に対しては、同じ参照符号を付している。本発明は、ネットワークを介してデジタルオーディオ/ビデオデータを編集することができるシステム及び方法を提供する。以下の説明において、本発明の理解を容易にするために、多数の具体的な詳細事項を記載するが、本発明の実施にあたり、これら具体的な詳細事項を必ずしも満たす必要がないことは、当該分野の技術者にとって明らかである。また、本発明の主旨を簡潔に説明するために、周知の構造、インターフェイス、手順については、詳細な説明を省略する。
図1は、本発明を適用した編集システムを概略的に示すブロック図である。ここでは、オーディオ編集作業について説明するが、ここで説明する手法は、ビデオ編集作業に適用することもできる。本発明に係る編集システムは、図1に示すように、少なくとも1台の編集ステーション200と、この編集ステーション200に接続された複数のリモートステーション#1〜#Nとを備える。リモートステーション#1〜#Nは、それぞれ1又は複数のディスク状記録媒体を備え、それぞれのディスク状記録媒体には、オーディオ/ビデオデータが記録されている。この実施の形態によれば、例えば音響技師(sound engineer)等のユーザは、1箇所から、すなわち、編集ステーション200を用いて、リモートステーション#1〜#Nのそれぞれに格納されたデジタルデータに対する編集作業を行うことができる。すなわち、ユーザは、複数のリモートステーション#1〜#Nにおけるデジタルデータを一括して編集することができ、例えば、あるリモートステーションのオーディオデータのあるトラックからデータを切り取り、その切り取ったデータを他のリモートステーションのトラックに貼り付けるといった作業を行うことができる。複数のリモートステーションに対する編集作業について、後に詳細に説明する。
編集ステーション200は、パーソナルコンピュータ(PC)であってもよく、また、グラフィカルユーザインターフェイスを表示し、そのグラフィカルユーザインターフェイスを介したリモート入力を受信することができるその他の装置であってもよい。リモートステーション#1〜#Nも同様に、パーソナルコンピュータであってもよく、また、例えばソニー(登録商標)株式会社のプレーヤ/レコーダシステム等の専用のオーディオ/ビデオ信号記録/編集装置を用いてもよい。さらに、リモートステーション#1〜#Nは、例えばアイオメガ社(Iomega)のジャズディスク(Jaz Disks)等の種々の取り外し可能な記録媒体に対応するスロットが設けられた装置であってもよく、これにより、リモートステーションが利用できる記録媒体が増加するとともに、データの移動も容易なものとなる。
図2は、本発明を適用した編集システムのソフトウェアモジュールを示す図である。編集ステーション200は、編集アプリケーション302と、ダイナミックリンクライブラリ(以下、DLLという。)304と、遠隔手順呼出(以下、RPCという。)モジュール306とを備えている。編集アプリケーション302により、ユーザは、グラフィカルユーザインターフェイス(GUI)を介して編集作業を行うことができる。RPCモジュール306は、編集ステーションと図1に示すリモートステーション#1〜#Nとの通信を確立するためのものである。この実施例においては、RPCモジュール306は、マイクロソフト社のウィンドウズNT(登録商標)に準拠している。また、ここで他のRPCモジュールや、他の遠隔通信用ネットワークモジュールを用いてもよい。
また、図2は、本発明を適用したリモートステーションのソフトウェアモジュールも示している。このリモートステーションは、編集ステーション200のRPCモジュール306に対応するRPCモジュール308と、DLL310と、ドライバ312とを備え、ドライバ312は、バスを介してデジタルシグナルプロセッサ(DSP)ソフトウェア314に接続されている。ユーザは、GUIを介して編集ステーション200からリモートステーション#1〜#Nを制御し、すなわちユーザはGUIを用いて所望の作業を指定し、指定された作業を示す信号がDLL304、RPC306及びRPC308を介して必要なリモートステーション#1〜#Nに送信され、DLL310及びDSPソフトウェア314が、指定された作業対応する処理を行う。
図3は、本発明を適用したリモートステーションに格納されているオーディオデータのオーディオトラックのデータ構造を示す図である。オーディオトラックとは、オーディオデータを視覚化して表示するものであり、ディスク状記録媒体におけるオーディオデータの位置や、オーディオデータの正確な再生に必要な構成データや、オーディオデータに関連する種々のパラメータを特定するものである。この実施例においては、オーディオデータに関連する種々のパラメータの値は、それぞれのリストにおいて特定されている。
すなわち、図3に示す複数のリストは、単一のオーディオトラックに対応している。また、このオーディオトラックは、全リストを論理的に関連づける(リンクさせる)データ構造により表される。このように、本実施例では、全リストをリンクさせる単一のデータ構造を用いることにより、ユーザは、オーディオのある特定のトラックにリンクする全てのデータを共通の編集インターフェイスを用いて一括編集することができる。したがって、例えば、従来のシステムではトラックの各部をそれぞれ別個に編集しなければならないのに対し、本発明によれば、ユーザがオーディオトラックのある部分を編集しようとする場合、そのオーディオトラックの部分にリンクする全リストを一括して編集することができる。
図3に示すトラックデータ構造に対する編集作業を行うモジュールは、いくつかのコンポーネントからなる。この実施例では、各コンポーネントは、C++プログラミング言語により実現されている。主要なコンポーネントは、トラックと、イベントリストと、イベントである。図3に示す各コンポーネントについて、以下に詳細に説明する。以下の説明ではC++による実現を前提としているが、他のプログラミング環境で同様の機能を実現してもよい。
「トラック」は、オーディオアプリケーションにおいて用いられ、オーディオやその他の時間軸上のデータを静的に示したパブリックオブジェクトである。トラックには、トラック名が付され、すなわちトラックはストリング名を有しており、後述するイベントリストを集合的に管理する。トラックは、各イベントリストに対応する編集インターフェイスを示している。この実施例では、トラックは、図3に示すように、少なくとも1つのイベントリスト、すなわち、サウンドリストを管理する。
「イベントリスト」は、2種類のイベントを管理する二重にリンクされたデータ構造である。2種類のイベントのうちデフォルトイベントは「無音」イベントと呼ばれ、他方のイベントは「有音」イベントと呼ばれる。無音イベント及び有音イベントは、イベントリストとしてそれぞれ異なる形式で表示される。例えば、図3に示すように、オーディオデータの時間軸に沿って配置された黒丸は有音を表し、白丸は無音を表す。また、他のリストも考えられる。例えば、図3に示すように、ゲインリストは、オーディオトラックの特定部分にどれだけのゲインが適用されるかを示す。例えば、黒丸は、あるスカラ値のゲインが適用されることを示し、一方白丸は、均一のゲインが適用されることを示す。また、図3には、他のリストも示されている。他のリストとは、当該分野の技術者にとって明らかであるが、ビデオや他の編集作業に関するパラメータを含む種々のパラメータにより構成される。各タイプのイベントは、少なくともイベントの振る舞いを定義するのに必要なサンプルや他のデータにおいて測定される長さを管理する。この実施例では、実質的にすべてのイベントリストの編集作業は、C++等のプログラミング言語によって実現されている。
各タイプのイベントは、スライドスタート機能SlideStart(...)とスライドエンド機能SlideEnd(...)といった2つの重要な仮想機能を管理する。新たな有音イベントが作成されると、各イベントは、これらの仮想機能を再び実行する必要がある。これは、編集操作の開始時刻及び/又は終了時刻がイベントの開始に合致しない場合、時間的な継ぎ目(seam)を作成する必要があるためである。この継ぎ目の作成は、適切なイベントをコピーし、ソースイベントの終了時刻をスライドさせ、コピーされたイベントの開始時刻をスライドさせることによりなされる。このスライド機能については、図6を用いて後述する。
イベントリストは、それぞれに関連付けられたイベントを含む時間軸上のデータ構造を有し、各イベントは、少なくともサンプルにおいて測定される長さを管理する。全イベントの長さの総和に後述するスタートオフセットを加えた値が、イベントリストの長さである。デフォルトでは、最初のイベントは、スタートオフセットがない限り、ゼロサンプルの絶対時刻に開始される。スタートオフセットがある場合、最初のイベントはスタートオフセットの値が示す時刻から開始される。サンプルにおけるイベントの絶対開始時刻は、スタートオフセットを含むそれ以前の全イベントの長さの総和により求められる。
説明の便宜上、トラックとイベントリストとを互いに言い換え可能なものとして扱う。トラックは、複数のイベントリストを表す。動作イベントリストは、具体的なオーディオデータの振る舞いを決定するためのイベントを含むリストである。動作イベントリストは、デフォルトでは、非常に大きい無音イベントととして作成されている。動作イベントリストが一旦作成されると、その動作イベントに対して編集処理を施すことができる。適切な付加機能Add(...)を呼び出すことにより、単一イベントをそれぞれ動作イベントリストに付加することができる。また、本発明の実施例によれば、6つの基本的な編集処理を行うことができる。基本的な編集処理とは、以下のとおりである。
クリア Clear()
カット Cut()
コピー Copy()
ペースト Paste()
インサート Insert()
インサートスペース Insert()(space)
トラックや、イベントリストや、編集を具体化する他の事項は、編集インターフェイスを定義する際に上記の用語を使用する。動作イベントリストに施される編集操作について、図4〜図8を用いて詳細に説明する。もちろん、この実施例を用いて説明する編集操作以外の編集操作を行うこともできる。
図4に示す消去(クリア:Clear)操作によれば、終了時刻後のイベントの時刻に影響を与えずに、イベントのある部分が無音に置き換えられる。クリアは、実質上、無音を上書きする処理である。図5に示す貼付(ペースト:Paste)処理では、ソースリストが動作イベントリストであるデスティネーションリストに貼り付けられる。貼付の開始及び終了時刻は、ソースリストにより決定される。貼付操作では上書きを行い、したがって、図5に示すように、終了時刻後のイベントの相対的な発生時刻は変化しない。
図6に示す挿入(インサート:Insert)操作によれば、ソースリストがデスティネーションリストに挿入される。挿入点は、ソースリストの開始時刻により決定される。挿入点及びその後の全イベントの発生時刻は、ソースリストの長さ分だけ移動する。また、スペース挿入(インサートスペース:Insert space)操作では、単に、ソースリストの代わりに特定の長さの無音イベントリストをデスティネーションリストに挿入する。図7に示す切取(カット:Cut)操作では、イベントリストからイベントの ある部分を除去する。この図7に示すように、終了時刻後の全イベントの発生時刻は、切り取られた部分の長さ分だけ時間的に前に移動する。図8に示すコピー(Copy)操作では、ソースリストに影響を与えずに、イベントリストのある部分がコピーされる。
編集ステーション200における編集アプリケーション302により生成されるGUI画面の表示例を図9に示す。このGUIを用いて、ユーザは、オーディオデータの範囲を指定して編集作業を行うことができる。例えば、図9のGUIには、7つの独立したトラック、FXL676、FXC675、FXR674、FXS673、FoleyL672、FoleyC672、FoleyR670が表示されている。これら7つのトラックは、単一のリモートステーションに格納されているデータのデータトラックであってもよく、あるいは、ネットワーク上の別々のリモートステーションに格納されているデータのデータトラックであってもよい。このようにユーザは、ネットワークに接続された複数のステーションにアクセスして一括編集を行うことができる。この点が、本発明の従来のオーディオ/ビデオ編集方法からの重要な改善点である。すなわち、本発明によれば、ユーザは、所望の複数のリモートステーションに対して同時的に編集作業を行うことができるので、大量のオーディオデータを非常に簡単かつ柔軟に編集することができる。したがって、例えば、ユーザは、画面上で強調された部分に対して、上述の全ての編集操作を行うことができる。強調された部分は、複数トラック上のオーディオデータのうち一部のオーディオデータに相当し、各トラックは、複数のリストからなる。
このようにオーディオデータを視覚化して表示することにより、ユーザは、柔軟に編集作業を行うことができる。例えば、ユーザは、画面の所望の部分を強調して表示させ、その強調された領域に対して行うべき編集処理を指定することができる。この強調された領域は、図9に示すように、各トラックの有効オーディオ部(有音)を示す影付きの部分と、無音を示す影無しの部分の両方を含む。ユーザが特定の編集操作を行うと、必要な処理が複数のトラックに対して実行され、これにより、ユーザは複数のトラックを一括して編集することができる。さらに、従来の編集ステーションでは、ローカルステーションに属するデータのみしか編集できなかったのに対し、この編集システムでは、ネットワークを介して接続された複数のリモートステーションに格納されたデータのトラックに対する編集操作を行うことができる。
このように単一の編集ステーションからネットワークを介したデジタルオーディオ/ビデオデータの編集作業を可能にすることにより、単なる作業の効率化のみならず、様々な有意義で実用的な利点が得られる。例えば、現在のフィルム編集作業においては、種々の編集スタジオは、オーディオ/ビデオデータの様々な部分を編集する多数の編集ステーションを備え、全編集ステーションの出力をミキシングコンソールに入力している。ある機器が他のスタジオに割り当て直された場合、編集ステーション全体を新たな場所に物理的に移動させなければならない。これに対し、本発明を適用した編集ステーションを用いれば、リモートステーションを物理的に移動させる必要はない。すなわち、リモートステーションは、いかなる場所にあっても良く、各スタジオには、単に所定のリモートステーションの組を割り当てればよい。このように、日毎、あるいは時間毎に1つのスタジオに割り当てるリモートステーションの数を変えても、特に大きな問題は生じない。
他の実施例において、それぞれ異なる複数のユーザ用にカスタマイズされた種々のGUIをサポートするデータ構造を用いることもできる。例えば映画業界では、それぞれ異なる作業者がサウンドプロダクション、作曲、音楽編集、サウンド編集の作業を行う。異なる作業者により行われる作業とは、例えば図3に例示するデータ構造に対する全般的あるいは部分的なアクセス及びそれに対する編集処理等である。しかしながら、これら異なる作業者は、それぞれ異なるユーザインターフェイスに馴染んでいる場合が多い。例えば、音響制作や作曲を担当する者は、処理に関連する部分を、楽譜における小節や拍により特定することが多い。ミキシングエンジニア等の音響編集者は、主にSMPTEコードを用いる。また、非ビデオアプリケーションのオーディオデータがMIDIデータであり、MIDIコードを用いて処理される場合もある。この変形実施例においては、編集システムは、図10に示すように、データ記述エンジン710を備える。オーディオ/ビデオデータを視覚化して表示するGUI705は、オーディオ/ビデオデータベースが格納されたA/Vファイル装置715にアクセス可能に接続されたデータ記述エンジン710により生成される。データ記述エンジン710は、既存の処理装置あるいは他の処理装置上で起動されるソフトウェアプログラムとして実現することができる。あるいは、ハードウェア又はソフトウェアにより構成される専用装置として実現してもよい。生成されるGUI705は、使用するユーザの種類に応じて変更できる。データ記述エンジン710は、例えばユーザの操作開始時に、例えばサウンド編集用GUIやサウンド制作用GUI等の種々のGUIから所望のGUIのタイプをユーザに選択させる。あるいは、ユーザのログオンに対し、又はユーザのIDに基づいて所定のGUIを自動的に決定するようにしてもよい。
データ記述エンジン710は、A/Vファイル装置715にアクセスし、表示発生器720は、ユーザが選択した、あるいはユーザに適合するGUI、例えば図9及び図11に示すようなGUIを表示させる。上述のように、図9は、サウンド編集者用に作成されたGUIを示す。一方、図11は、追加録音や、吹き替え、ダビング等を行う作業者用のGUIを示す。なお、異なるトラックのデータは、異なる形式で表示される。例えば、図9に示す領域655には、アクセス中のデータの識別子及び各トラックが示されており、編集者は、この領域655において現在アクセス中のデータを視覚的に確認することができる。一方、ダビング作業等のための、例えば図11に示すGUIは、アクセス中のオーディオデータを表示するために、トラックを識別するトラック名を領域805に示しているが、オーディオデータ自体の視覚的な表示は行われていない。さらに、ダビング作業では、例えばミキシング等を行うために異なるトラックのオフセット情報必要とすることが多く、そのため、領域810にオフセット情報を表示している。このようなオフセット情報は、編集作業ではあまり必要とされないものであるので、図9に示すGUIは、領域810のようなオフセット情報を表示していない。もちろん、図9のGUIにおいてオフセット情報が必要であれば、これを呼び出すことができる。
上述のGUIを表示するためのデータは、記述データ、あるいは例えばジャバスクリプト(Java script(登録商標))等の実行可能コードとして予め作成され、例えば図10に示す参照データファイル735、あるいはその他のメモリ又は記録媒体に格納されている。なお、上では図9及び図11にそれぞれ示すGUIの相違について説明したが、図9及び図11に共通する表示もある。例えば、図9の領域686〜689及び図11の領域830〜836は、どちらもインポイントやアウトポイント等を示すタイムコード、MIDIコード、小節及び拍等をユーザに応じて表示する領域であり、ユーザの種類が同じであれば、同じ情報を表示する。
図7に示すメニュー構成器725は、ユーザが選択可能な特性、オプション表示、操作ボタン等を所定のGUIに表示させる。上述のオーディオデータを表示するための画像データと同様、このメニュー表示用のデータも、記述データ、あるいは例えばジャバスクリプト(Java script(登録商標))等の実行可能コードとして予め作成され、参照データファイル735あるいはその他のメモリ又は記録媒体に格納されている。図9及び図11に示すGUIには、このユーザが選択可能な特性、オプション表示、操作ボタン等が示されている。例えばダビング作業等に用いる図11のGUIでは、保護(s:safety)アイコン812、記録(R:record)アイコン814,入力(I:input)アイコン816、ソロ(S:solo)アイコン818、ミュート(M:mute)アイコン822等のオプション操作アイコンが表示されている。これらは、ボタン型のアイコンであり、例えばマウスやトラックボール等の入力装置により制御されるポインタをこれらのアイコン上に移動させ、クリックすることにより、各アイコンに対応する処理が実行される。例えば、保護アイコン812をクリックすると、選択中のトラックが書込禁止となる。記録アイコン814をクリックすると、入力されるオーディオデータが選択されたトラックに記録される。通常、ユーザは、出力オーディオを聴きながら作業を進めるが、入力アイコン816をクリックすると、ユーザは入力中のオーディオを聴くことができる。また、ミュートアイコン822をクリックすると選択中のトラックが消音され、逆にソロアイコン818をクリックすると選択中のトラック以外の全トラックが消音される。
図9に示すGUIも、同様の機能を有しているが、想定されているユーザの作業が異なるために、それらの機能の表示方法は、図11に示すものとは異なっている。例えば、図9のGUIはソロアイコン678、ミュートアイコン680、入力アイコン682、記録アイコン684を備えている。この図9に示すGUIは、編集作業用に構成されたGUIであるため、ここで行われる記録作業は、ダビング作業とは異なり、マルチトラックのテープを媒体として用いる。そのため、ユーザが記録アイコン684を選択すると、記録アイコン684が点滅し、対応するトラックが記録待機の状態となる。そして、ユーザがマスター記録アイコン691をクリックすると記録処理が開始され、記録アイコン684の色は、記録中を示す色に変化する。また、マスター記録アイコン691がクリックされた後は、各トラックに対応する記録アイコンをクリックすることで記録トラックを随時追加することができる。ここでマスター記録アイコン691を再度クリックすると、記録中のトラックは記録待機の状態となり、例えば記録アイコン684等の記録アイコンは点滅し、対応するトラックが記録待機状態であることを表示する。
また、図9及び図11に示すGUIは、テープ記録再生装置等のテープ制御機能、例えば早送り、巻き戻し、再生、停止等の機能を、それぞれ制御アイコン690、840によって実現している。また、それぞれのGUIは、図9のタイムコード表示領域699、図11のタイムコード表示領域835に示されるタイムコードをスクロール制御できるスクロールバー692,842を備えている。さらに、各GUIは、それぞれの用途に応じて特有の機能を備えている。例えば、図11に示すGUIは、処理を行うトラックを選択する選択アイコン844、全てのトラックを一括に選択する全選択(All)アイコン845、全てのトラックの解除を行う全解除(None)アイコン846を備えている。全選択アイコン845及び全解除アイコン846は、主にダビング作業時に用いられる。さらに各機能の表示形式は、図10に示すメニュー構成器725の指示に応じて変更される。例えば、図9に示す編集用のGUIでは、ゲインをスライダアイコンによって示し、図11に示すダビング用のGUIでは、ゲインを数値で示している。また、図11に示すGUIでは、ゲインの数値を示す欄又はアイコンをクリックすると、図12に示すように、ゲイン調整用のポップアップウィンドウが表示される。ユーザは、このポップアップウィンドウ内に表示されるグラフィカルスライダを用いてゲインを調整することができる。なお、図12は、ダビング作業用のGUIの変形表示例を示している。ユーザは、作業に合わせて、GUIの一部の表示形式を変更させることができる。例えば、この図12は、オーディオ情報の表示をより簡単なものにするために、入力と出力をそれぞれ別個に識別するトラックを表示している。もちろん、この他にも様々な表示例がある。
上述のように、データ及び各アイコンが表示されると、ユーザは、GUIを介して種々の操作を行うことにより、編集システムに所望の処理を行わせることができる。ユーザの操作に応じた入力信号は、例えば図10に示す操作エンジン730に供給され、操作エンジン730は、この入力信号に基づき、編集システムを制御する制御信号を生成する。このような構成により、ユーザは特定の術語又はリンゴ("lingo")を用いて編集システムに対し、実行すべき処理及び処理の実行方法を特定することができる。したがって、特定の種類のユーザのみに利用される機能もあれば、呼び方が違っても結果的に同じ処理を行う機能もある。例えば、音響制作では、「スワップ(swap)」と呼ばれる処理を音楽編集では「バース(verse)」と呼び、音響編集では「テイク(take)」と呼ぶ。この処理は、いずれも所定のポイントからタイムスタンピング処理を行い、1つのサウンドに対して複数のバージョンを記録する作業を意味する。このように、編集作業によっては、ユーザの種類によって呼び方が異なっても、処理内容は同一であることがある。操作エンジン730の実施例は様々に変形することができる。ある実施例では、ユーザが実行可能な機能及びそれに対応する編集システム内部の機能に関する辞書を生成し、この辞書を参照データ735等の記憶装置に格納する。操作エンジンは、この辞書を利用して特定の機能を検索し、編集システム内部で実行すべき処理を特定することができる。
以上では、オーディオデータの編集に用いる編集システムを説明したが、本発明に係る編集システムは、オーディオデータのみならず、ビデオテープに記録されたオーディオデータや、ビデオデータ等の編集にも適用することができる。また、本発明に係る編集システムは、特定のユーザ専用の特殊なハードウェアを必要とすることなく、様々なユーザに対応することができる。
以上、ネットワーク上でデジタルオーディオ/ビデオを編集する編集システム、編集方法を説明してきたが、ここに記載した具体的な構成や手法は、本発明の原理を例示的に説明するためのものに過ぎない。当業者は、ここで説明した具体例の詳細事項を様々に変更することができるが、これらの変更は、本発明の技術範囲内にある。すなわち、本発明は、ここで説明した好適な実施の形態に限定されるものではなく、添付の請求の範囲によって特定されるものである。
本発明は、デジタルオーディオ/ビデオデータを格納する複数のステーションとネットワークを介して通信可能に接続された編集ステーションにグラフィカルユーザインターフェイスを設け、複数のステーションに格納されたデジタルオーディオ/ビデオデータに対して行われる編集処理を指定する入力を、グラフィカルユーザインターフェイスを介して送信する。グラフィカルユーザインターフェイスは、複数のステーションに格納されているデジタルオーディオ/ビデオデータを視覚化して表示する。
このような構成により、本発明によれば、ユーザは、ネットワークを介して接続された複数のステーションにそれぞれ格納されたオーディオ/ビデオデータを一括で編集処理することができる。
200 編集ステーション
302 編集アプリケーション
304 ダイナミックリンクライブラリ
306 RPC
308 RPC
310 ダイナミックリンクライブラリ
312 ドライバ
314 DSPソフトウェア

Claims (19)

  1. デジタルオーディオ又はビデオデータを編集する編集システムにおいて、
    デジタルオーディオ又はビデオデータを格納する複数のステーションと、
    上記複数のステーションから遠隔に位置し、上記複数のステーションとネットワークを介して通信可能に接続された編集ステーションであって、前記編集ステーションは、前記複数のステーションにあるデジタルオーディオ又はビデオデータに関して実行されることになる編集処理を指定する入力を受信するためにグラフィカルユーザインターフェイスを含んでおり、前記編集処理は、同時に編集されることになるデジタルオーディオ又はビデオデータと関連したサウンドリスト及びゲインリストの少なくとも1つを含んでいる複数のリストを生じさせる編集ステーションとを備える編集システム。
  2. 上記複数のステーションに格納されたデジタルオーディオ又はビデオデータに関連する複数のリストが互いにリンクされることを特徴とする請求項1記載の編集システム。
  3. 上記グラフィカルユーザインターフェイスは、上記複数のステーションに格納されているデジタルオーディオ又はビデオデータを視覚化して表示することを特徴する請求項2記載の編集システム。
  4. 上記複数のステーションは、それぞれ少なくとも1つの記録媒体を備えることを特徴とする請求項1記載のシステム。
  5. 上記デジタルオーディオ又はビデオデータは、トラック部とデータ部とを有することを特徴とする請求項2記載の編集システム。
  6. 上記デジタルオーディオ又はビデオデータのトラック部は、オーディオ又はビデオを静的に示したストリームを表すことを特徴とする請求項5記載の編集システム。
  7. 上記グラフィカルユーザインターフェイスを介した入力は、上記複数のステーションに属するデジタルオーディオ又はビデオデータのトラック部に対して行われる編集処理を指定し、上記トラック部は、各イベントリストが特定の動作を定義するイベントリストのコレクションである複数のリストを保持することを特徴とする請求項5記載の編集システム。
  8. コンピュータを用いたデジタルオーディオ又はビデオデータの編集作業を支援するシステムの制御方法において、
    グラフィカルユーザインターフェイスを介し編集ステーションに対して編集処理を指定するステップと、
    上記編集ステーションから遠隔に位置し、上記編集ステーションに通信可能に接続された、デジタルオーディオ又はビデオデータを格納する複数のステーションに対して、上記編集処理を実行し、同時に編集されることになるデジタルオーディオ又はビデオデータと関連したサウンドリスト及びゲインリストの少なくとも1つを含む複数のリストを生じさせるステップとを有する制御方法。
  9. 上記グラフィカルユーザインターフェイスは、上記複数のステーションに格納されているデジタルオーディオ又はビデオデータを表示することを特徴とする請求項8記載の制御方法。
  10. 上記複数のステーションは、それぞれ、少なくとも1つの記録媒体を備えることを特徴とする請求項8記載の制御方法。
  11. 上記デジタルオーディオ又はビデオデータは、トラック部とデータ部とを有することを特徴とする請求項9記載の制御方法。
  12. 上記デジタルオーディオ又はビデオデータのトラック部は、オーディオ又はビデオを静的に示したストリームを表すことを特徴とする請求項11記載の制御方法。
  13. 上記編集操作を実行するステップは、上記デジタルオーディオ又はビデオデータのトラック部を編集するステップを有することを特徴とする請求項11記載の制御方法。
  14. 編集ステーションにおいて、グラフィカルユーザインターフェイスを介して編集操作を指定する入力を編集ステーションに受け付けさせるステップと、
    デジタルオーディオ又はビデオデータを格納する複数のステーションであって、上記編集ステーションから遠隔に位置しており、上記編集ステーションと通信可能に接続される複数のステーション上で複数のステーションに上記編集操作を実行させ、同時に編集されることになるデジタルオーディオ又はビデオデータと関連したサウンドリスト及びゲインリストの少なくとも1つを含む複数のリストを生じさせるステップと
    コンピュータ装置に実行させる一連の命令を表すデータを記憶した記憶媒体。
  15. 上記コンピュータ装置は、上記複数のステーションに格納されたデジタルオーディオ又はビデオデータを、グラフィカルユーザインターフェイスに表示させることを特徴とする請求項14記載の記録媒体。
  16. 上記複数のステーションは、それぞれ、少なくとも1つのディスク状記録媒体を備えることを特徴とする請求項14記載の記録媒体。
  17. 上記デジタルオーディオ又はビデオデータは、トラック部とデータ部とを有することを特徴とする請求項15記載の記録媒体。
  18. 上記デジタルオーディオ又はビデオデータのトラック部は、オーディオ又はビデオを静的に示したストリームを表すことを特徴とする請求項17記載の記録媒体。
  19. 上記編集操作を実行するコンピュータ装置は、上記デジタルオーディオ又はビデオデータのトラック部を編集することを特徴とする請求項17記載の記録媒体。
JP2009050296A 1997-09-24 2009-03-04 オーディオ/ビデオデータの編集システム及び編集方法 Expired - Lifetime JP4554716B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US08/936,847 US6166731A (en) 1997-09-24 1997-09-24 Editing digitized audio/video data across a network

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP27037398A Division JP4721480B2 (ja) 1997-09-24 1998-09-24 オーディオ/ビデオデータの編集システム及び編集方法

Publications (2)

Publication Number Publication Date
JP2009118539A JP2009118539A (ja) 2009-05-28
JP4554716B2 true JP4554716B2 (ja) 2010-09-29

Family

ID=25469153

Family Applications (2)

Application Number Title Priority Date Filing Date
JP27037398A Expired - Lifetime JP4721480B2 (ja) 1997-09-24 1998-09-24 オーディオ/ビデオデータの編集システム及び編集方法
JP2009050296A Expired - Lifetime JP4554716B2 (ja) 1997-09-24 2009-03-04 オーディオ/ビデオデータの編集システム及び編集方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP27037398A Expired - Lifetime JP4721480B2 (ja) 1997-09-24 1998-09-24 オーディオ/ビデオデータの編集システム及び編集方法

Country Status (6)

Country Link
US (1) US6166731A (ja)
JP (2) JP4721480B2 (ja)
CN (1) CN1133319C (ja)
DE (1) DE19843702A1 (ja)
FR (1) FR2768878B1 (ja)
GB (1) GB2329750B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2329812B (en) * 1997-09-24 2002-04-10 Sony Pictures Entertainment User interface systems and methods
US7167763B2 (en) * 1997-09-24 2007-01-23 Sony Corporation Method and apparatus for providing a graphical user interface for a player/recorder system
US20020056119A1 (en) * 1999-12-23 2002-05-09 Moynihan Michael W. Personal video channel system
JP2002124022A (ja) * 2000-10-18 2002-04-26 Yamaha Corp オーディオデータ記録再生装置
US20040237032A1 (en) * 2001-09-27 2004-11-25 David Miele Method and system for annotating audio/video data files
US20030088875A1 (en) * 2001-11-08 2003-05-08 Gay Lance J Simultaneous viewing of video files on networked computer systems
US7320137B1 (en) 2001-12-06 2008-01-15 Digeo, Inc. Method and system for distributing personalized editions of media programs using bookmarks
US7032177B2 (en) * 2001-12-27 2006-04-18 Digeo, Inc. Method and system for distributing personalized editions of media programs using bookmarks
DE10204575A1 (de) * 2002-02-04 2003-08-14 Agir Werbe Gmbh & Co Kg Verfahren und Vorrichtung zum automatischen Erstellen von Beiträgen für Kommunikationsmedien
DE10215160A1 (de) * 2002-04-05 2003-10-16 Bts Media Solutions Gmbh Vorrichtung zur Programmierung eines Videomischers
US8009966B2 (en) * 2002-11-01 2011-08-30 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
JP4546331B2 (ja) * 2004-07-23 2010-09-15 キヤノン株式会社 ビデオカメラ
US8577204B2 (en) * 2006-11-13 2013-11-05 Cyberlink Corp. System and methods for remote manipulation of video over a network
US8103150B2 (en) * 2007-06-07 2012-01-24 Cyberlink Corp. System and method for video editing based on semantic data
JP5483888B2 (ja) * 2009-01-09 2014-05-07 キヤノン株式会社 映像再生装置、映像再生方法、及び映像再生プログラム
DE102012103248A1 (de) * 2012-04-13 2013-10-17 Cinepostproduction Gmbh Verfahren, Computerprogrammprodukt und Endgerät zur Wiedergabe von Filmen
US10380722B2 (en) * 2017-10-30 2019-08-13 Adobe Inc. Editing a graphic object in a vector representation to improve crisp property in raster representation
US11200910B2 (en) 2019-06-28 2021-12-14 International Business Machines Corporation Resolution of edit conflicts in audio-file development

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03274974A (ja) * 1990-03-26 1991-12-05 Sony Corp 編集装置
JPH06302157A (ja) * 1993-04-14 1994-10-28 Sony Corp 編集装置
JPH08130521A (ja) * 1994-10-31 1996-05-21 Sony Corp 映像信号記録再生装置
JPH08279963A (ja) * 1995-04-07 1996-10-22 Sony Corp 放送設備運用システムおよび方法
JPH08289246A (ja) * 1995-04-14 1996-11-01 Sony Corp 映像素材編集システム
JPH0918753A (ja) * 1995-04-28 1997-01-17 Mitsubishi Electric Corp 映像素材登録システム、映像素材オンエアシステム及び番組送出管理システム
JPH0934912A (ja) * 1995-07-20 1997-02-07 Sony Corp 映像音声素材記録装置
JPH0944524A (ja) * 1995-07-31 1997-02-14 Sony Corp 画像音声蓄積装置および画像音声蓄積方法
JPH0991463A (ja) * 1995-07-14 1997-04-04 Matsushita Electric Ind Co Ltd 画像編集装置
JPH09233387A (ja) * 1996-02-20 1997-09-05 Sony Tektronix Corp 放送用録画再生システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU540275B2 (en) * 1979-09-27 1984-11-08 Sony Corporation V.t.r. synchronizing system
JPS5870474A (ja) * 1981-10-20 1983-04-26 Sony Corp 編集装置
GB2187324B (en) * 1986-02-28 1989-11-08 Sony Corp Tape recorder synchronizer apparatus
JPH023134A (ja) * 1988-06-09 1990-01-08 Sony Corp 編集装置
CA2121682A1 (en) * 1991-10-21 1993-04-29 Ian Craven On-line video editing system
GB2273220B (en) * 1992-12-07 1997-01-08 Quantel Ltd A video processing system
DE69424896T2 (de) * 1993-04-13 2000-12-14 Sony Corp., Tokio/Tokyo Editiergerät
GB2306750B (en) * 1995-10-23 1999-11-10 Quantel Ltd An audio editing system
GB2312078B (en) * 1996-04-12 1999-12-15 Sony Corp Cataloguing video information
WO1997039411A1 (en) * 1996-04-12 1997-10-23 Avid Technology, Inc. A multimedia system with improved data management mechanisms
FR2753329B1 (fr) * 1996-09-10 1998-10-30 Netia Sarl Dispositif de mixage d'une sequence son avec une sequence video
US6449422B1 (en) * 1996-11-22 2002-09-10 Sony Corporation Editor, editing system, and editing method
EP0972260A2 (en) * 1997-04-04 2000-01-19 Avid Technology, Inc. A digital multimedia editing and data management system
GB2328550B (en) * 1997-08-01 2000-02-09 Discreet Logic Inc Editing image data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03274974A (ja) * 1990-03-26 1991-12-05 Sony Corp 編集装置
JPH06302157A (ja) * 1993-04-14 1994-10-28 Sony Corp 編集装置
JPH08130521A (ja) * 1994-10-31 1996-05-21 Sony Corp 映像信号記録再生装置
JPH08279963A (ja) * 1995-04-07 1996-10-22 Sony Corp 放送設備運用システムおよび方法
JPH08289246A (ja) * 1995-04-14 1996-11-01 Sony Corp 映像素材編集システム
JPH0918753A (ja) * 1995-04-28 1997-01-17 Mitsubishi Electric Corp 映像素材登録システム、映像素材オンエアシステム及び番組送出管理システム
JPH0991463A (ja) * 1995-07-14 1997-04-04 Matsushita Electric Ind Co Ltd 画像編集装置
JPH0934912A (ja) * 1995-07-20 1997-02-07 Sony Corp 映像音声素材記録装置
JPH0944524A (ja) * 1995-07-31 1997-02-14 Sony Corp 画像音声蓄積装置および画像音声蓄積方法
JPH09233387A (ja) * 1996-02-20 1997-09-05 Sony Tektronix Corp 放送用録画再生システム

Also Published As

Publication number Publication date
JP2009118539A (ja) 2009-05-28
DE19843702A1 (de) 1999-06-17
JP4721480B2 (ja) 2011-07-13
FR2768878B1 (fr) 2004-03-12
CN1133319C (zh) 2003-12-31
GB2329750B (en) 2002-04-10
FR2768878A1 (fr) 1999-03-26
US6166731A (en) 2000-12-26
GB2329750A (en) 1999-03-31
GB9820542D0 (en) 1998-11-11
JPH11168442A (ja) 1999-06-22
CN1218349A (zh) 1999-06-02

Similar Documents

Publication Publication Date Title
JP4554716B2 (ja) オーディオ/ビデオデータの編集システム及び編集方法
US5467288A (en) Digital audio workstations providing digital storage and display of video information
US5760767A (en) Method and apparatus for displaying in and out points during video editing
US6400378B1 (en) Home movie maker
US7212873B1 (en) Audio/video transcription system
US20060180007A1 (en) Music and audio composition system
JP3943636B2 (ja) コンピュータ制御型ディスプレイシステム
US6327420B1 (en) Image displaying method and editing apparatus to efficiently edit recorded materials on a medium
US20090132075A1 (en) interactive multimedia apparatus
US7827489B2 (en) Edit to tape
JP4035822B2 (ja) 音声データ編集装置、音声データ編集方法及び音声データ編集プログラム
JPH01172900A (ja) 音声データ処理装置
GB2235815A (en) Digital dialog editor
US6441830B1 (en) Storing digitized audio/video tracks
EP0877378A2 (en) Method of and apparatus for editing audio or audio-visual recordings
JP4168310B2 (ja) データ信号処理装置および方法、並びに記録媒体
US20060218504A1 (en) Method and program for managing a plurality of windows
JPH11163815A (ja) ユーザインターフェイスシステム
JPH10191248A (ja) 映像編集方法およびその方法の手順を記録した記録媒体
US7031479B2 (en) Automation of signal processing apparatus
GB2294355A (en) Voice or text labelling system for a digital audiovisual workstation
JP2002247504A (ja) 編集装置及び記録媒体
JP2005150993A (ja) オーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラム
JP2880254B2 (ja) 映像・音声編集装置
Dambly Pro Tools 8 for MAC OS X and Windows: Visual Quickstart Guide

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090825

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100315

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100318

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100414

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term