JP4267244B2 - コンテンツ生成及び編集システム、コンテンツ生成及び編集方法、並びに該方法を実行するコンピュータ・プログラム - Google Patents

コンテンツ生成及び編集システム、コンテンツ生成及び編集方法、並びに該方法を実行するコンピュータ・プログラム Download PDF

Info

Publication number
JP4267244B2
JP4267244B2 JP2002104858A JP2002104858A JP4267244B2 JP 4267244 B2 JP4267244 B2 JP 4267244B2 JP 2002104858 A JP2002104858 A JP 2002104858A JP 2002104858 A JP2002104858 A JP 2002104858A JP 4267244 B2 JP4267244 B2 JP 4267244B2
Authority
JP
Japan
Prior art keywords
content
resolution content
format
low resolution
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002104858A
Other languages
English (en)
Other versions
JP2003037804A (ja
Inventor
スティーブン・ブイ・カフマン
ライナー・リチター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2003037804A publication Critical patent/JP2003037804A/ja
Application granted granted Critical
Publication of JP4267244B2 publication Critical patent/JP4267244B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/40Combinations of multiple record carriers
    • G11B2220/41Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は一般にディジタル・アーカイブに関し、特に、ビデオ・データなどのコンテンツのディジタル化、カタログ作成、記憶、アクセス、検索及び編集に関する。
【0002】
【従来の技術】
ニュースや娯楽番組の制作者などのマルチメディア業界の関係者は、何千時間ものビデオ・コンテンツを自由に扱うことができる。例えば、ある周知のテレビ娯楽番組は、100000時間ものビデオ・コンテンツを保有する旨報告されており、1週につき約60時間が追加される。
【0003】
こうした番組制作においては、しばしば、非常に短い時間枠内のビデオ・コンテンツが編集のために使用可能となることを要求する。例えば、娯楽テレビ番組の第1セグメントは、既に放送されているが、第2セグメントはまだ制作中かもしれない。このテンポの速い環境において、情報の即時アクセスが重要となる。
【0004】
しかしながら、ビデオ・コンテンツは現在、ビデオ・テープ上にアナログ形式またはシリアル・ディジタル形式で存在し、このことがビデオ・コンテンツの効率的なアクセス及び検討を妨げている。オリジナル・アナログ記録の劣化が更に大きな問題である。ディジタル・アーカイブ形式での情報の記憶は、情報への高速アクセスを可能にし、劣化問題を軽減する。
【0005】
【発明が解決しようとする課題】
制作品質を満足するために、情報は高解像度で、またはブロードキャスト解像度でディジタル化されなければならない。高解像度では、アーカイブから情報を検索するためにより多くの帯域幅が要求され、結果的に、低速の若しくは高価な検索システムとなってしまう。従って、編集のためにコンテンツへの高速アクセスを可能にする一方で、テレビ放送のために、高品質コンテンツ・ストリームを提供するディジタル・ベースのビデオ編集システムが必要とされる。
【0006】
現在、既存のビデオ・コンテンツを編集するのに必要な機能を提供するために、様々な解決法が使用可能である。しかしながら、単一の解決法では、例えば保存のために、既存のビデオ・アーカイブをディジタル化したり、検討用のストーリボードを作成するためにビデオを区分化したり、閲覧及び選択目的のためにコンテンツを効率的にアクセスしたり、ビデオ・ソースの編集決定リストを作成したり、作成されたリストから、制作品質コンテンツを生成するような機能を提供することができない。追加の所望の機能には、コンテンツの既存の記述情報の増補、及び効率的な検索のための記述情報(メタデータとしても知られる)の記憶が含まれる。
【0007】
また、ユーザが容易にアクセス可能なWebベースのビデオ編集システムを提供することが所望される。
【0008】
【課題を解決するための手段】
本発明は既存のビデオ・コンテンツをディジタル化し、それを編集してテレビ番組などを制作するためのエンドツーエンド(end-to-end)ソリューションを提供する。図1を参照すると、システムが3つの主要部分、すなわち、インジェスト(ingest)10、記憶20及び検索30を含む。編集のための高速アクセス、及び制作目的のための高品質コンテンツを提供するために、データが2つの並列パスを通じて流れる。一方のパスは、図の右側に示される高解像度形式(フォーマット)パス8であり、これはブロードキャスト品質向けに"フル"解像度データを記憶する。他のパスは、図の左側に示される低解像度形式/メタデータ・パス6であり、アクセス及び選択プロセスを容易にするために、圧縮ビデオ・サマリ及びテキスト記述を記憶する。これらの2つのパスは実質的に独立であり、ビデオ・ソース11により開始時に、また検索プロセスの間に、編集決定リスト(EDL:Edit Decision List)31を介してリンクされる。
【0009】
インジェスト(ingest):
インジェスト・ステージ10は、既存のビデオ・テープ・コンテンツからの着信データのディジタル化を扱う。ビデオをセグメント化し、既にコンテンツに関連付けられた記述情報を増補する機構を提供するようにしてもよい。ビデオは、インジェスト・ステーション12内に存在する低解像度エンコーダ(図示せず)、及び高解像度エンコーダ13により、低解像度形式及び高解像度形式の両方にエンコードされる。低解像度コンテンツ及び高解像度コンテンツが別々のファイルに記憶される。本実施例では、低解像度形式としてMPEG1が、高解像度形式としてMPEG2がそれぞれ使用される。再フォーマットされるビデオは、メタデータにより注釈付け(アノテーション)され、こうしたメタデータには、ユーザ入力、レガシー・データ、ストーリボード、及びオーディオ・ストリームの音声−テキスト変換処理などが含まれる。音声−テキスト変換は、オーディオ・ストリームに注釈付けするためにサポートされるが、オーディオ・ストリーム内の記録音声が処理されるときに、初期インジェストとは別のステップとして実行されてもよい。
【0010】
MPEG1及びメタデータは、プロキシ編集のために、すなわち、ビデオ・データを探索及びブラウズして選択するために使用され、MPEG2は、最終編集及びブロードキャストのために使用される。その結果、MPEG1とMPEG2との間のタイムコードが合成される。
【0011】
インジェスト操作への入力は、1)2つのオーディオ入力パスを含む、ビデオ・テープ・レコーダ(VTR)などのビデオ・ソース11の出力14と、2)タイムコード発生器(この場合、高解像度エンコーダ13内に存在する)の出力15と、3)任意の既存の、すなわちレガシー記述データとを含む。本実施例では、レガシー記述データは、DOS Xベース・レガシー・データベースからIBM DB2データベースにバッチ・インポートされる。これは例えば、既に使用されているプロプラエタリまたは標準のアーカイブ・システムなどの、任意の既存のカスタマ・アーカイブから提供される。
【0012】
インジェスト操作からの出力は、1)MPEG2パスを提供する、例えば公称48MbpsのMPEG2 Iフレーム専用データ・ストリーム16と、2)MPEG1/メタデータ・パスを提供する、例えば1.5MbpsのMPEG1データ・ストリームと、3)同様に、MPEG1/メタデータ・パスを提供する、テキスト・ファイル、属性及びサムネールを含む記述データとを含み、後者2つは矢印17で示される。
【0013】
記憶:
一旦、ビデオがディジタル化され、記述データが収集され、生成されると、データは記憶20システムに転送され、2つの主領域に記憶される。MPEG2データは、容量及びアクセス可能性の点で最適化された、アーカイブ高解像度記憶システム21に送られる。これは例えば、磁気テープ・ベースのシステムから成る。一方、MPEG1及び記述データは、テープ上に記憶され、編集の間の高速アクセスのために当該コンテンツ及びメタデータが、低解像度記憶システム22にキャッシュされる。尚、低解像度記憶システム22は、メディア・ストリーミング能力を有するディジタル・ライブラリなどである。本実施例では、市販のIBM Content Manager製品が、ディジタル・ライブラリ及び統合IBM VideoChargerメディア・ストリーミング製品を提供する。
【0014】
Content Manager22は、ビデオ・メタデータを探索及びブラウズするためのインタフェースを提供する。サムネール及びテキスト記述が、探索結果の一部として提供され、高速アクセスのためにディスク上に記憶される。MPEG1ビデオはテープ・ライブラリ・システム上に保持され、ディスク上にバッファリングされ、必要に応じて、Content Manager22を介してアクセスされる。
【0015】
検索:
検索ステージ30は2つの主要部分から成り、それらは、MPEG1/メタデータ・パス6内のブロック32により示される編集/選択操作と、MPEG2パス8内の再呼び出しステーション33により示されるバッチ再呼び出し操作である。
【0016】
編集/選択操作32は、制作者がディジタル化アーカイブを探索及びブラウズし、続く処理のためにセグメントを選択することを可能にする。制作者はテキストまたは属性を介して、IBM Content Manager22または類似のディジタル・ライブラリ製品を探索し、探索基準に合致するビデオのセットを再度入手する。各ビデオは、サムネール及びテキスト記述により表される。特定のサムネールを選択することにより、制作者は対応するビデオのストーリボードを見ることを要求できる。ストーリボードから制作者は次に、場面のMPEG1ビデオの閲覧を要求できる。ビデオがストーリボード内の選択場面から再生を開始する。
【0017】
制作者がデータを検討する間、彼は自身が使用したいセグメントを候補リスト内に配置する。制作者は次に、候補リスト内のビデオ・セグメントを順序付け及びトリム(trim)し、編集/選択操作の出力、すなわち編集決定リスト(EDL)31を制作できる。
【0018】
EDL31は、MPEG2パス8内のバッチ検索操作33に送信される。バッチ検索操作33はEDL31を使用し、MPEG2記憶領域21から適切なセグメントを検索する。データがテープから検索され、プロファイル・システム34に送信され、続いて最終編集のために、編集ベイ(edit bay)35に送られる。
【0019】
本発明は、高解像度形式及び低解像度形式に対応する、典型的な2つのパスを有するように述べられるが、本実施例は3つの解像度を含んでもよい。サムネールがMPEG1コンテンツよりも更に低い解像度で記憶され、選択及び編集プロセスにおいて使用される。更に、本発明の一般化された概念は、複数の解像度形式をサポートするように容易に拡張される。ユーザは、1つ以上の低い解像度形式で記憶されるコンテンツを利用し、コンテンツの一部分を選択することができる。再呼び出しプロセスが次に、任意の高解像度形式で記憶される選択コンテンツの対応部分を検索し、本発明による原理を使用することにより制作が行われる。
【0020】
【発明の実施の形態】
本発明は特定の実施例、特に、ビデオコンテンツに関連して述べられる。しかしながら、当業者であれば、本発明の趣旨及び範囲から逸れることなく、様々な変更及び代替例を考案できよう。更に、本発明は全てのタイプのコンテンツを管理するのに好適である。
【0021】
I.インジェスト(ingest):
インジェスト操作10は、既存のビデオ・テープやライブ・ビデオ・フィードからの着信アナログ・ビデオ・ストリーム14をディジタル化し、ストーリボードを作成するために、またはオーディオ・ストリームの音声−テキスト変換処理のために、オペレータ入力、既存の記述、またはビデオ・イメージ・キャプチャなどから提供される記述情報を収集する。
【0022】
インジェスト・ハードウェア:
図2を参照すると、n台のビデオ・インジェスト・ステーション40が存在する。本実施例では、4台のステーションが提供されるが、ネットワーク及びサーバ能力に応じて、より多くのステーションがサポートされてもよい。
【0023】
各インジェスト・ステーション40は、ネットワークにリンク可能なPCベースのワークステーション42(この場合、Microsoft Windows(R) NTを実行する)に接続されるビデオ・テープ・レコーダ(VTR)41を含む。ワークステーションまたはインジェストPC42は、低解像度エンコーダ45及びドライビング・ビデオ・カタログ・ソフトウェア(以下で詳述)を含む。本実施例では、低解像度エンコーダは、PCI MPEG1エンコーダ・カードである。
【0024】
インジェスト・ステーション40は、高解像度エンコーダ13へのリンク43を含む。本実施例では、リンクはイーサネット(R)またはRS422接続であり、高解像度エンコーダ13はMPEG2エンコーダを含む。インジェスト・ステーション40はまた、別のイーサネット(R)またはRS422接続により、VTRへの制御リンク47を提供する。
【0025】
本実施例の高解像度エンコーダ13は、複数のMPEG2ストリームのエンコードをサポートし、1マシンが複数のビデオ・インジェスト・ユニットをサービスできる。本実施例におけるMPEG1エンコード及びビデオ処理用のPCIカードは、場面検出及び音声−テキスト変換ソフトウェア(後述)と両立し得る。
【0026】
インジェスト・ステーション40は、高解像度エンコーダ13とインタフェースし、アナログ・ビデオ・ストリームを低解像度形式及び高解像度形式へ同時変換することを可能にする。この場合、低解像度形式及び高解像度形式は、それぞれMPEG1及びMPEG2に対応する。高解像度エンコーダ13に入力される前に、本実施例のアナログ・ビデオ・ストリーム14は、最初に増幅器/スプリッタ、ノイズ除去回路(図示せず)、及びアナログ・ディジタル変換器48の順に渡され、シリアル・ディジタル・ストリーム15を高解像度エンコーダ13に提供する。或いは、複数のVTRがディジタル入力を高解像度エンコーダ13に直接提供してもよい。
【0027】
本実施例の高解像度エンコーダ13は、MPEG2エンコードとデコードの両方を提供し、異なるMPEG2規格の間の非互換の確率を低減する。但し、ハイブリッド・ソリューションが使用されてもよい。高解像度エンコーダ13はまた、ディジタル・アナログ変換器(図示せず)及びタイムコード発生器44を含む。これらはディジタル化ビデオ・ストリームを再度アナログに変換し、それをイメージをリンク43を介して低解像度エンコーダ45へ入力として提供する前に、イメージにタイムコードを追加するために使用される。
【0028】
前述のように、高解像度ストリーム16及び低解像度ストリーム17は、同期される必要がある。本実施例はタイムコードを用いて、これら両者を同期させる。しかしながら、MPEG2はタイムコードをサポートするが、MPEG1はサポートしない。結果的に、タイムコードを、元来タイムコードをサポートしない形式にエンコードする装置が提供される。タイムコード発生器44は、タイムコードを高解像度エンコーダ13に提供する。タイムコード発生器44は、本実施例の場合のように、高解像度エンコーダ13の一部であってもよい。或いは、タイムコードがVTR自体により提供されるか、ビデオ・イメージ内に既に存在してもよい。後者の場合、こうしたタイムコードは好適には連続的であり、単調に増加して同期を可能にする。
【0029】
本実施例のタイムコードは、SMPTEタイムコードを含む。高解像度エンコーダ13は、タイムコードをMPEG2ストリームにエンコードし、タイムコードをアナログ・ビデオ・イメージ自体内に重畳させる。これは例えば、タイムコード文字発生器を用いて、タイムコードを組み込むことにより達成される。タイムコードは後に、例えば光学式文字認識(OCR)技術を用いて、選択されたMPEG1フレームから抽出される。別の実施例では、タイムコードが"ウォータマーク"としてエンコードされ、後にデコード装置により抽出される。例えば、本願の出願人に権利譲渡された、Braudawayらによる米国特許第5825892号"Protecting Images with an Image Watermark"を参照されたい。更に別の例として、プロプラエタリMPEG1エンコーダを使用し、エンコーダのプロプラエタリMPEG1規格をVideoChargerと統合することにより、タイムコードがMPEG1ファイルから抽出されてもよい。本実施例では、新たなタイムコードが生成されたが、ビデオ・イメージの既存の不連続タイムコードがサポートされて、MPEG1イメージに組み込まれてもよい。なぜなら、カスタマはこれらのタイムコードに指標付けを行っているからである。
【0030】
使用されるMPEG1ソリューションに関係なく、エンコード・プロセスは、獲得されたタイムコードができる限り整合することを必要とする。その意図は、選択されるハードウェア及びソフトウェアの能力を前提として、フレームができる限り正確であるためである。本実施例では、検証プロセスが次のように発生する。すなわち、ユーザはMPEG1記録の一部分を検討し、アプリケーションにより、現ビデオ・フレーム上に現れるタイムコードをエントリ・フィールドへの入力として、入力するように依頼される。或いは、アプリケーション自体が、例えばサムネールまたはストーリボード生成の間に自動的にサンプル・ビデオ・フレームを選択し、そのタイムコードを検出する(例えばOCR技術、ウォータマーク・デコードなどによる)。ソフトウェアが次に、現フレームのMPEG1フレーム番号を調査する。次に、システムが既にビデオの開始フレーム及びタイムコードを知っている場合、システムは、MPEG2ファイルに関連付けられるメタデータ・ファイルとの対応関係、すなわち"デルタ"を計算できる。或いは、別のサンプル・フレーム及び対応するタイムコード情報が決定され、2つの較正ポイントがデルタを計算するために使用される。このデルタは後に、MPEG2内のオフセットを計算するために使用される。
【0031】
MPEG1及びMPEG2ファイルの対応セグメントの例が、図3に示される。MPEG1ファイルの一部分101が示される。そのセグメント101内には、多数のイメージが存在し、各々がフレーム番号に関連付けられており、ここでは、フレーム番号がイメージに関連付けられるメタデータと一緒に記憶される。代表的なイメージ・フレーム102が示され、これはフレーム番号1072を有する。また、イメージ・フレームの拡大表示103も示されている。これはイメージ・フレームに重畳されたタイムコード104を含んでいる。代表的なタイムコード104が"01:00:50:02"と示されており、これはイメージ・フレームが50秒であり、MPEG1ストリーム"01"内の2フレーム目であることを示す。1つ以上のこうしたタイムコードを読出し、それらの対応フレーム番号を知ることによりシステムはそれ自身を較正し、任意のフレーム番号に対応する適切なタイムコードを計算できる。システムは次に、高解像度MPEG2ファイル105内において、対応するフレーム106をみいだすことができる。
【0032】
本発明の実施例を実現するために使用されるハードウェアは、4つのIBM PCと、4つのMPEG2ストリームをサポートする1つのMPEG2エンコーダ・システム(例えばProfile XP)と、4つのPCI MPEG1エンコーダ・カードと、4つの100BaseTイーサネット(R)アダプタとを含む。
【0033】
インジェスト・ソフトウェア:
インジェスト・アプリケーション・ソフトウェアは、多様に実現することができる。本実施例のソフトウェアは、カスタマイズされた複数の統合モジュールを含み、それらは、Microsoft Windows(R) NTワークステーション4.0w/サービス・パック、Virage Video Loggingソフトウェアw/SDK、IBM Content Manager V6.1、Virage SDKと互換性のあるJava(R)、CまたはC++コンパイラ(IBMから提供されるJava(R) Runtime Environment 1.1.8)、及びカスタムIBMインジェスト・アプリケーションなどである。ソフトウェアの基礎は、Virageビデオ・ロガー及びそのSoftware Developer's Toolkit(SDK)により提供されるが、類似の機能を提供する他のソフトウェアも使用され得る。インジェスト・アプリケーションはVirage SDKを使用し、既存のビデオ・テープ・アーカイブのデータ・モデルをサポートする。インジェスト・アプリケーションはまた、ユーザ入力のためのユーザ・インタフェースを提供し、各ビデオの記述情報を収集し、それをContent Manager22のローダに供給する。インジェスト・アプリケーションは更に、MPEG1及びMPEG2エンコーダが外部タイムコードと同期されることを保証する。Content Manager22は、ライブラリ・サーバ、テキスト検索サーバ、VideoChargerサーバ、及びクライエットを含む。
【0034】
追加のソフトウェア・データベース機能:
本実施例では、幾つかの追加の機能が新たなシステムに組み込まれる。データ・エントリ機能は、ユーザがテープID、キーワード、記述及びセレブリティ・ネーム(celebrity name)を入力することを可能にする。また、IBMから提供されるViaVoiceなどのソフトウェアを用い、或いはマイクロフォン入力をVTR41からの音声入力と混合することにより、音声注釈を提供することも可能である。検索機能は、例えばセレブリティ・ネームまたはキーワードをにより検索を可能にする。検索結果がテープ記録の結果セットの形式で提供される。循環管理(Circulation Management)機能が、物理テープ収集のために提供される。システムは更に、テープ番号によるチェックイン及びチェックアウトをサポートする。本実施例のレガシー・ライブラリは、各テープの1つのコピーを管理する。システムの範囲外に存在する標準データベース・ツールを用いてレポートが作成される。
【0035】
インジェスト・プロセス:
図4を参照すると、次のステップは各ビデオ・テープの処理を要約する。
【0036】
選択51:インジェスト・オペレータが、所定の選択基準にもとづき処理すべきテープを選択する。例えば、劣化する媒体上に記憶されるコンテンツに対して、優先順位が与えられる。
【0037】
選択52:固有のテープ識別子がインジェスト・アプリケーションに入力される。この識別子は続いて、Content Managerに問いただし、テープ・コンテンツに関連付けられる既存のメタデータを検索するために使用される。識別子はまた、CM及びMPEG2ファイル内のアイテムを命名する根拠として使用される。インジェスト・アプリケーションは、インジェストPC上の場面検出及びMPEG1エンコード・ハードウェアを初期化する。インジェスト・アプリケーションはまた、プロファイルMPEG2エンコーダにファイル名及び宛先位置情報を供給することによりこれを初期化する。
【0038】
処理53:インジェスト・オペレータはテープをテープ・プレーヤにロードする。本実施例の各ビデオ・テープは1度だけ読出されるので、テープ・プレーヤ出力が2つの別々の入力、すなわちインジェストPC MPEG1カード及びプロファイル・ビデオ形式に送信される。両方のエンコードは、前述のように、タイムコード発生器44により提供される一貫したタイムコードを共用しなければならない。
【0039】
エンコードの後、MPEG2ストリームが、プロファイル記憶システム上に存在するファイル内に記憶される。そこから、MPEG2ストリームは、MPEG2記憶システム及び磁気テープに転送される。インジェストPC及びMPEG1エンコーダは、ファイルに記憶されるMPEG1ストリームを1.5Mbpsでディジタル化して生成する。メタデータは幾つかのアイテムを含み、それらにはストーリボード、基本サムネール、ビデオ・コンテンツに関する情報を記憶するために使用されるレガシー・データベースからのテキスト(任意的に変更される)、オーディオ・トラック音声−テキスト変換トランスクリプト、任意的にMicrosoft Wordまたは他のワード処理形式トランスクリプト、及び任意的に音声−テキスト変換注釈が含まれる。本実施例のメタデータは、MPEG1ファイルに関連付けられて記憶される。なぜなら、メタデータは主に、表示及び選択目的に使用されるからである。インジェスト・アプリケーション及びそのユーザ・インタフェースが、メタデータの収集を容易にし、それらの下で相互作用する異なるコンポーネントの詳細を隠蔽する。
【0040】
基本サムネール:基本サムネールは、最初は、属性値から決定されたアイコンにより表される。特定のアイコン値が、詳細設計の一部として決定される。このアイコンは後に、編集インタフェースを介してイメージ・サムネールにより置換される。以下で詳述するように、ユーザはこの編集インタフェースを介して他のメタデータを編集できる。
【0041】
ストーリボード:ビデオ・カタログ・ソフトウェア内の場面検出技術が、ビデオ内の場面変化をマークし、各場面の第1のフレームのサムネールを作成する。或いは、サムネールが固定間隔で獲得されてもよい。例えば、本実施例では、サムネールがAVIエンコーダを用いて、ビデオの毎30秒ごとに作成される。これらのサムネールの収集は、そのビデオのストーリボードを形成する。好適な実施例では、ウェブ・ページ・ストーリボードがサムネールの生成時に作成されるか、或いはバックグラウンド・プロセスとして作成され、選択プロセスの間に即時検索される。
【0042】
レガシー・テキスト:レガシー・データベースから元来ロードされた記述データが、オペレータによる検討及び編集のために表示される。
【0043】
トランスクリプション:ビデオ・カタログ・ソフトウェア内の音声−テキスト変換技術が、オーディオ・ストリームをリアルタイムに処理し、オーディオ・コンテンツのテキスト・ファイルを生成する。このファイルはテキスト検索のために使用される。必要に応じてクローズされた表題エンコードが、別のソフトウェアを用いて獲得される。なぜなら、Virageソフトウェア製品はこの機能をサポートしないからである。
【0044】
ビデオ・アセットのあるものは、トランスクリプトをWord形式または他のワード処理形式で有する。これらのトランスクリプトは、音声−テキスト変換出力の補足であり、テキスト検索のための入力としても使用される。インジェスト・アプリケーションは、任意の既存のトランスクリプト・ファイルを指定する場所を提供し、ファイルがファイル・システム上でアクセス可能であることを期待する。一旦これらのトランスクリプト・ファイルがロードされると、ユーザは後述のように、それらを編集インタフェースから検索及び印刷できる。
【0045】
音声−テキスト変換注釈:任意的に、オペレータはビデオを、音声−テキスト変換技術を用いて得られる言語記述により注釈付けできる。この注釈は、音声−テキスト変換獲得後に行われてもよい。
【0046】
ラップアップ55:ストーリの処理が完了すると、結果ファイルが最終後処理のために準備が整う。MPEG1ファイル、テキスト・メタデータ、サムネール、ストーリボード、及び音声−テキスト変換出力が一緒にグループ化され、ユーザに最終検討のために提供される。ユーザは出力の正確さ及び品質を抜き取り検査し、その後データをサブミットし、IBM Content Managerにロードする。この時点でユーザは更に、レガシー・データベースからの属性データを変更でき、またエンコード品質が受け入れ可能か、それとも繰り返しを必要とするかを決定できる。
【0047】
一旦ビデオ・テープの終わりに達すると、アプリケーションがその初期状態にリセットされ、次のテープの準備が整う。
【0048】
インジェスト操作は、テープ・プレーヤが連続的に走行し、各テープが1度だけ再生されるように、ビデオを十分に速く処理できなければならない。本実施例の4ステーション・インジェスト・システムは、4つのインジェスト・ステーションにおいて、インジェスト・プロセスを1日につき16時間、1週につき6日実行するように設計される。各ステーションは1日につき、8時間乃至10時間ビデオをエンコードする。データ・スループットが許せば、ステーションが追加されてもよい。
【0049】
II.記憶域:
記憶容量は、本発明の重要な一面である。例えば、100000時間のビデオを、1.5MbpsのMPEG1形式及び48MbpsのIフレーム専用MPEG2形式の両方でエンコードするためには、合計2ペタバイトの記憶容量が必要となる。
【0050】
このコンテンツを効率的にエンコードし、記憶し、検索するために、記憶装置は十分な容量を必要とするだけでなく、ファイルをインジェストからテープに効率的に転送できなければならない。更に、MPEG1パスにおいて、高速アクセスが提供されなければならない。一方、MPEG2検索のためには、低速アクセスが許容される。以下では、MPEG1及びMPEG2の両方における、本実施例のハードウェア及び記憶体系について説明する。
【0051】
ストレージ・エリア・ネットワーク(SAN):図5を参照すると、本実施例は異なるプラットフォーム上の複数のシステムのために、相当量のディスク記憶域を提供する。大量のデータがシステム間を移動するので、柔軟性がありスケーラブルな記憶アーキテクチャが実現される。1.5TBの記憶域は、AIX上で動作する700GBのIBM VideoCharger62と、AIX上で動作する200GBのIBM Content Managerディジタル・ライブラリ61と、LTO(linear tape open)テープ・バッファ63に接続されるTivoli Storage Manager(TSM)21(両者ともAIX上で動作する)により提供される600GBとを含む。更に、100GBまたはそれ以上が、高解像度エンコーダ13上で使用可能である。
【0052】
SAN装置64は、ここでは7133−D40を含み、SSA(Serial Storage Architecture)を介してシステムとインタフェースする記憶域を統合する。SAN装置はシステムから見て、ローカル・ディスク・ドライブとみなされる。SANは幾つかの重要な利点を提供する。例えば、必要に応じてシステムに記憶域が割当てられ、ディスク空間の効率的な割当てを可能にする。システムは空間を使い果たすことはなく、過剰な空間を有することもない。システムの記憶域は、それをオープンすることなく、更にドライブを追加するために増加され得る。SANはRAID、ホットスワップ、ホットスタンバイ、冗長コンポーネント、及び性能モニタ機能を提供する。データを外部化することにより、システム故障がデータへのアクセスを不可能にしない。外部化されたデータが高可用性アーキテクチャを容易にする。
【0053】
MPEG1ファイル及びメタデータの記憶:MPEG1ファイル及び関連メタデータが、リンク66を介して記憶システム20に渡され、IBM Content Manager V6.1 22により管理されるIBM VideoCharger Model 62に記憶される。図示のように、IBM Content Managerソルーションは、AIX4.3.2上で動作する2つのModel H50 R/6000マシン上に存在し、一方はContent Managerのディジタル・ライブラリ部分61に対応し、他はVideoCharger 62に対応する。
【0054】
ステージング及びバッファリングがディスク上で発生する。LTOテープ・ライブラリ63及びTSM21が、超SCSIリンク65を介して接続され、長期記憶のために使用される。1000BaseTイーサネット(R)接続も提供される。検索結果として使用されるサムネール及びメタデータが、ディスク上に保存され、効率的な検索回数を保証する。VideoChargerは、即時ストリーミングとして使用可能な1000時間のMPEG1ビデオのための、ディスク・バッファ容量を提供する。追加のビデオがテープからステージされる。
【0055】
MPEG2の記憶:本実施例のMPEG2データは、AIX及びTSMを実行するR/6000システム上に記憶される。高解像度エンコーダ13が、ファイバ・チャネル接続を介してTSMに接続される。初期ステージング及びバッファリングは、LTOテープ・ライブラリ63を有するディスクに、長期記憶のために実行される。
【0056】
III.編集/選択操作:
編集/選択操作は、図6に示される検索プロセス30の一部である。ビデオ編集システムが1つ以上のサーバ68上でホストされ、従って、編集/選択クライアント・マシン32上のカスタム・ソフトウェア無しに動作可能である。複数の編集/選択ステーション32が、アーカイブされたビデオ資産の位置指定、検討、及び選択を容易にするために提供される。このウェブ・ベースのシステムは、ビデオ・エディタの間のコラボレーションを可能にし、それらがビデオ・チップのセットを共用することを可能にする。このシステムはまた、複数のユーザが、ビデオ記憶ハードウェア20、ビデオ・コンテンツ、ビデオ処理ハードウェア34、及びビデオ・ソフトウェアの同一のセットを共用することを可能にする。
【0057】
制作者は、例えばテキスト・ストリング及びキーワードを介して、コンテンツを検索し、返却されるサムネール、テキスト記述及びストーリボードを検討し、自身の選択範囲を絞り込む。一旦十分に絞り込まれると、制作者はMPEG1ビデオを閲覧し、使用するセグメントについて最終決定を下す。次に、選択されたセグメントが、EDL生成のために使用される候補リスト内に配置される。制作者は候補リストからセグメントを閲覧、選択、トリム(trim)、及び順序付けし、最終EDL31を生成することができる。このプロセスの任意の時点で、制作者は現EDLを事前表示することができる。結果のEDLがSAN64を介して、高解像度再呼び出しプロセス33に送信され、テープから再度呼び出されるMPEG2ファイルを指し示す参照として使用される。
【0058】
本実施例の探索、ブラウズ、及びEDL作成操作は、例えばWeb、Java(R)、及びCアプリケーションの組み合わせにより提供される。最終EDL31形式は、例えば既存のユーザ・アプリケーションに応じてユーザのニーズに合わせて個別に適合化される。EDL31は、ファイル名及び開始/停止タイムコードを有する、ビデオ・セグメントの単一の非階層リストから成る。
【0059】
編集/選択ハードウェア:編集/選択ステーション32は各々、例えばWindows(R) 98、及びJava(R)1.1.8機能を有するWebブラウザを実行するパーソナル・コンピュータにより校正される。選択されるソフトウェアに応じて、追加のPCIカードが含まれる。本実施例では、編集/選択操作を同時に実行するために、25個のステーションが構成される。
【0060】
編集/選択ソフトウェア:編集/選択ステーション32のソフトウェアは、基礎となる幾つかのコンポーネントを統合する。それらには、Internet Explorer V5.0、Java(R) Runtime Environment 1.1.8、IBMのNet.Data及びMPEG1 Plyerなどが含まれる。本実施例では、検索機能は全てNet.Dataを介するWebベースであるが、ビデオ選択は、ローカルに実行されるVideoChargerプレーヤの変更バージョンにより実行される。
【0061】
編集/選択ソフトウェアはユーザ・インタフェースと、ユーザがテキスト・ベースの検索を実行し、結果を検討し、そこからセグメントを選択し、EDLを生成し、次に最終EDLをMPEG2再呼び出しステーション33に送信するための基本機能を提供する。EDLのディスケット・ベースの配布も、スタンドアロン編集ベイ35のためにサポートされる。
【0062】
EDL31はWebサーバ68上に保管され、他のユーザと共用される。EDLはまた、他のユーザがそれをアクセスまたは変更できないように、アクセスを保護される。
【0063】
編集/選択ソフトウェアの追加の機能が、ユーザがアーカイブを探索し、各ビデオに関連付けられるメタデータを更新することを可能にする。特に、ユーザはサムネールを置換でき、また音声−テキスト変換注釈及びビデオ分析から生成されたレガシー属性データ及びテキスト・ソースを変更できる。テキストは例えば、キーボード入力を介して変更される。探索クライアントは、Content Managerディジタル・ライブラリ61及びVideoCharger62に接続されるアプリケーションである。
【0064】
編集/選択操作:次に図7を参照して、編集/選択プロセスについて述べる。
【0065】
初期化81:初期化時にプログラムは現EDLをクリアし、ストーリスラッグ(storyslug)として知られるジョブ識別子ストリングを入力として要求するような機能を実行する。ストーリスラッグは編集/選択操作、MPEG2再呼び出しプロセス33、及び編集ベイ35の間の活動を調整するために使用される。
【0066】
テキスト照会82:制作者は、自身が探し求める題目を表す単語または句を入力することにより開始する。この入力は、Content Manager22に送られて処理される照会を作成するために使用される。Content Manager22は、照会との合致程度に従いランク付けされる候補セットを返却する。各候補はサムネールにより表され、インジェスト10において入力された記述テキストを含む。テキストのサイズのために、候補のサブセットが必要に応じて追加のページを与えられる。また、別の形式も使用可能である。
【0067】
テキスト照会の正確なインプリメンテーション及び検索結果は、CM内で使用される基礎となるデータ・モデルに依存する。更に、データ・モデル及びユーザ・インタフェースは、カスタマ要求に依存する。
【0068】
期待利用のためのステージング(プリフェッチ)ビデオ:特定のトピックのコンテンツに対する要求があることが知れいている場合、このトピックに関する全ての資料が容易に入手可能である必要がある。これを容易にするために、制作者またはライブラリアンはトピックに関して探索し、期待利用のために対応するビデオをステージする。彼らはこの時点では、このビデオを再生することに関心はなく、単にそれをテープから再度呼び出し、将来の高速アクセスのためにディスクに記憶する。従って、本実施例の編集/選択プロセスは、再生及びステージまたはフェッチ要求の両方をサポートする。再生操作はビデオをMPEG1プレーヤで再生するが、ステージ操作は、ビデオをVideoChargerステージング領域内にフェッチするだけである。本実施例では、ディスク上に1000時間のMPEG1ビデオのための容量が存在するが、ユーザ要求に応じてより多くが追加されてもよい。
【0069】
サムネール検討83:制作者はサムネール及び記述データを検討し、どの候補が追加の調査を保証するかを決定する。制作者はサムネールをクリックし、それを追加の処理のために選択する。これによりストーリボードが作成される。ストーリボードは、このビデオ・テープに対して獲得されたサムネールのセットから成る。制作者がMPEG1ビデオの閲覧を選択したと仮定すると、ストーリボードが要求されると、直ちに関連ビデオ・ファイルがVideoChargerサーバ62にステージされ、高速閲覧を可能にする。
【0070】
ストーリボード検討84:ストーリボードは一連のサムネールとして現れ、各々が(インジェスト・ビデオ・ロギング・ソフトウェアにより予め決定された)ビデオ内の場面を表す。ストーリボードが引き続き関心を呼ぶと、制作者は関連セクションをクリックし、MPEG1プレーヤをトリガする。MPEG1プレーヤはVideoChargerサーバからビデオをフェッチし、そのビデオをの選択セクションを開始する。
【0071】
候補選択85:MPEG1プレーヤはMPEG1ビデオをロードし、ストーリボード内のサムネールと合致するポイントから再生する。制作者はビデオを再生するか、特定の位置にジャンプして、そこから再生することができる。制作者は関心対象となるビデオのセクションを決定し、その開始及び停止時間をマークし、そのセクションを編集/選択クライアント32内の候補リストに追加する。制作者は次に、同じテープ内の追加のセクションをマークするか、或いは判断ステップ86により示されるように、ストーリボード検討ステップ84に戻り、新たなセクションにジャンプするか、サムネール検討ステップ83に戻るか、ステップ82に戻り、新たなテキスト照会を形成する。一旦現ストーリスラッグに対する候補が選択されると、制作者はMPEG1検討及びEDL作成ステップ87に進む。
【0072】
MPEG1検討/EDL作成87:MPEG1検討及びEDL作成ステップ87は、候補リスト内のビデオ・セクションを閲覧、選択、トリム、及び順序付けする能力を提供する。完了すると、結果のEDLが同意された標準形式EDLに変換される。
【0073】
編集/選択クライアント32は、ビデオを候補リストから選択し、それをMPEG1プレーヤを用いて再生し、1つ以上の開始及び停止時間を開始及び終了フレーム番号の形式でマークし、次にそれをEDLに追加するためのグラフィカル・ユーザ・インタフェースを提供する。開始及び停止時間は、例えばプレーヤ上のマークボタンを使用して、またはSMPTE(タイムコード)フィールドに記入することによりセットされる。1ビデオについて完了すると、全ての所望のビデオがEDLに追加されるまで、別のビデオが選択され、マークされる。次に、EDL内のビデオが再順序化されたり、削除されたり、変更されたりする。
【0074】
典型的なEDL31が図8に示される。これは本質的に、選択されたビデオ・セグメントのリストであり、セグメントがビデオID番号(列111)、開始マーカ(列112)、及び終了マーカ(列113)により識別される。開始及び終了マーカはフレームにより表され、これらは後に、対応するタイムコードに変換される。或いは、これらのマーカが、読出されたまたは計算されたタイムコード自体により表されてもよい。
【0075】
このプロセスを通じてEDLがプレビュー・モードで再生される。それが満足のいくものでない場合、EDLが最終決定されるまで、前述のプロセスが繰り返される。更に、他のビデオ・セグメントが候補リストに追加される必要がある場合、判断ステップ88により示されるように、制作者は追加の探索を実行し、更に多くのセグメントを既存の候補リストに追加する。
【0076】
MPEG1プレーヤにより提供される幾つかの機能には、再生、停止、休止、フレーム前進、フレーム後進、位置ジャンプ、開始マーク、及び停止マークなどが含まれる。更に、ビデオの様々な部分への移動を容易にするために、スライダ制御が提供される。
【0077】
ラップアップ:一旦EDL作成が完了すると、制作者は結果EDLを保管し、任意的にサブミットすることを要求できる。このとき、以下のことが発生する。すなわち、EDLが同意された標準EDL形式に変換され、EDLが後の検索及び変更のためにディスクすなわちContent Managerサーバ61に保管される。サブミットに際してEDL31はMPEG2再呼び出し機構33に送られ、それにより、対応するMPEG2ビデオ・セグメントがアーカイブから検索され、プロファイル・デコード・マシン34に送られる。また、EDLコピー38が編集ペイ35、例えばディスケット上に送られる。アプリケーションは次に自身を初期化し、次のジョブに備える。
【0078】
IV.MPEG2再呼び出し操作:
図6、図8及び図9を参照すると、MPEG2再呼び出しステーション33が、図9の最初のステップ91で、編集/選択ステーション32からEDL31を受け取る。コンテンツにもとづき、再呼び出しステーション33はステップ92で示されるように、テープ63からディスク21上の記憶域に、MPEG2ファイルの再呼び出しを開始する。EDL内の各ビデオ・セグメントの開始及び終了マーカが、テープ上に存在するMPEG2ファイル内のバイト・オフセットを計算するために使用される。本実施例によれば、システム性能を向上させるために、MPEG2ファイルの所望部分だけがテープ63から検索される。このサブファイル検索操作は、TSMクライアント21内でサポートされる。
【0079】
ハンドルを有するセグメントが、有効プロファイルMPEG2形式ファイルに再フォーマットされる。再呼び出しステーション33は次に、プロファイル・デコード・マシン34へのMPEG2の適切な配信を監督する。
【0080】
再呼び出しハードウェア:本実施例のMPEG2再呼び出しステーション33は、Windows(R) NTを実行するPCであり、1000BaseTイーサネット(R)接続を介して、IBM PCサーバに接続される。再呼び出しステーション33は、EDL内で指定される低解像度ビデオ・セグメントから、タイムコードを抽出する装置を含む。また、例えばInterphase 5527などのファイバ・チャネル・カードを含む。
【0081】
再呼び出しソフトウェア:MPEG2再呼び出しソフトウェアは、前述の再呼び出しステーション機能を提供する、IBMにより作成されたカスタム・ソフトウェアを含む。
【0082】
MPEG2再呼び出し操作:MPEG2検索操作について、図9に関連して説明する。
【0083】
ファイル受信91:再呼び出しシステム33が、編集/選択ステーション32に接続される編集/選択サーバ68から、EDL31を受信する。
【0084】
ファイル処理:アプリケーションがEDLファイルをオープンし(ステップ92)、各セグメントに対するテープ識別子を読出す(ステップ93)。次のステップ94では、アプリケーションが記憶バッファをチェックし、ファイル・セグメントが既にバッファリングされているか否かを判断する。バッファリングされている場合、プロセスはステップ93に戻り、次のEDLセグメントの識別子が読出される。セグメントがバッファリングされてない場合、次にステップ95で、アプリケーションはTSM APIを用いて、MPEG2記憶域から、適切なファイル・セグメントの部分オブジェクト再呼び出しを要求する。そして、それを受信すると、データを変更し、そのセグメントを記憶されたのと同一の形式の有効MPEG2ファイルにする。前述のように、関連セグメントといくらかの追加のバッファだけがテープから検索される。このプロセスは、ステップ96で示されるように、EDLの全てのセグメントが検索されるまで継続される。
【0085】
ラップアップ:MPEG2ファイル・セグメントが再度呼び出されるとき、EDLファイルがクローズされる(ステップ98)。次に、MPEG2ファイルが例えばファイバ・チャネル接続を介してファイル転送プロトコルに従い、プロファイル・デコーダ34に転送される(ステップ99)。
【0086】
V.プロファイル/編集ベイ:
図6を参照すると、プロファイル・デコード・マシン34はそのディスクからMPEG2ファイルを読出し、それをMJPEGに変換し、シリアル・ディジタル出力を編集ベイ35に最終編集のために送信する。制作者はMPEG2再呼び出し操作により、プロファイル上に配置されたファイルをアクセスする。
【0087】
ハードウェア:本実施例のプロファイル・デコーダ34は、マルチチャネル・ハードドライブ制御装置を有するMPEG2デコーダ34であり、編集ベイ35はデコーダ34の制御を実行するPCである。
【0088】
最後に、前述のシステムは効率的なエンドツーエンド・コンテンツ編集及び制作ソリューションを提供する。
【0089】
まとめとして、本発明の構成に関して以下の事項を開示する。
【0090】
(1)コンテンツを初期形式で受信し、受信された前記コンテンツを第1の形式を有するコンテンツと、前記第1の形式よりも高い解像度を有する第2の形式を有するコンテンツとに再フォーマットするインジェスト・システムと、
前記低解像度コンテンツ及び前記高解像度コンテンツを記憶する記憶装置と、前記低解像度コンテンツからコンテンツの一部分を選択する編集ステーションと、
前記編集ステーションから前記選択部分の記述を受信し、前記選択部分に対応する前記高解像度コンテンツから、コンテンツの一部分を検索する検索装置と
を含む、コンテンツ生成システム。
(2)前記第1の形式が低解像度ディジタル化ビデオ・コンテンツを含む、前記(1)記載のシステム。
(3)前記第2の形式が高解像度ディジタル化ビデオ・コンテンツを含む、前記(1)記載のシステム。
(4)前記第1の形式がMPEG1を含む、前記(1)記載のシステム。
(5)前記第2の形式がMPEG2を含む、前記(1)記載のシステム。
(6)前記インジェスト・ステーションがWebベースである、前記(1)記載のシステム。
(7)前記編集ステーションがWebベースである、前記(1)記載のシステム。
(8)前記低解像度コンテンツの一部分が編集の間に高速アクセス記憶装置に記憶される、前記(1)記載のシステム。
(9)前記高速アクセス記憶装置が、ディスク記憶装置、光記憶装置及びメモリの少なくとも1つを含む、前記(8)記載のシステム。
(10)前記高解像度コンテンツがテープ記憶装置上に記憶される、前記(1)記載のシステム。
(11)前記初期形式がアナログである、前記(1)記載のシステム。
(12)メタデータを前記記憶コンテンツに追加する装置を含む、前記(1)記載のシステム。
(13)前記メタデータが、ユーザ入力、レガシー・データ、サムネール、ストーリボード、トランスクリプション情報、前記入力コンテンツに関連付けられるオーディオ・ストリームの音声−テキスト変換処理、及び音声−テキスト変換注釈の少なくとも1つを含む、前記(12)記載のシステム。
(14)前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶される、前記(1)記載のシステム。
(15)前記低解像度コンテンツの前記選択部分に関連付けられる前記タイムコードが、前記検索装置により、前記高解像度コンテンツの対応部分を検索するために使用される、前記(14)記載のシステム。
(16)前記タイムコードが前記低解像度コンテンツのイメージ上に重畳される、前記(14)記載のシステム。
(17)前記編集ステーションが、ユーザ指定基準にもとづき、前記低解像度コンテンツを探索するソフトウェアを含む、前記(1)記載のシステム。
(18)前記編集ステーションが、前記低解像度コンテンツを閲覧し、該低解像度コンテンツから所望の部分を選択するインタフェースを含む、前記(1)記載のシステム。
(19)前記編集ステーションが、前記低解像度コンテンツの前記選択部分のリストを作成するソフトウェアを含む、前記(1)記載のシステム。
(20)前記編集ステーションが、前記リストを変更するソフトウェアを含む、前記(19)記載のシステム。
(21)前記編集ステーションが前記リストを前記検索装置に提供する、前記(19)記載のシステム。
(22)コンテンツを低解像度形式及び高解像度形式で記憶する記憶装置と、前記低解像度コンテンツの一部分のアクセス、閲覧及び選択を可能にするコンテンツ編集アプリケーションをホストするサーバと、
前記サーバと通信し、前記低解像度コンテンツの一部分を探索、閲覧及び選択し、選択された前記部分から、前記高解像度コンテンツの対応部分を検索するために使用される編集リストを作成するコンテンツ編集アプリケーションを実行可能な複数のクライアントと
を含む、コンテンツ編集システム。
(23)前記編集リストが前記サーバを通じて、他の前記複数のクライアントと共用可能である、前記(22)記載のシステム。
(24)サーバがアクセス可能な第1の記憶ファイルから、低解像度コンテンツの一部分をアクセス、閲覧及び選択することを可能にするサーバ・ソフトウェアと、
前記低解像度コンテンツの一部分を探索、閲覧及び選択し、選択された前記一部分から、前記サーバがアクセス可能な第2の記憶ファイルから対応する高解像度コンテンツを検索するために使用される編集リストを作成するクライアント・ソフトウェアと
を含む、コンテンツ編集ソフトウェア・アプリケーション。
(25)前記編集リストが前記サーバを通じて、他のクライアントと共用可能である、前記(24)記載のアプリケーション。
(26)コンテンツを生成する方法であって、
コンテンツを初期形式で受信し、受信された前記コンテンツを第1の形式を有するコンテンツと、前記第1の形式よりも高い解像度を有する第2の形式を有するコンテンツとに再フォーマットするステップと、
前記低解像度コンテンツ及び前記高解像度コンテンツを記憶するステップと、
前記低解像度コンテンツからコンテンツの一部分を選択するステップと、
前記選択部分の記述を受信し、前記選択部分に対応する前記高解像度コンテンツから、コンテンツの一部分を検索するステップと
を含む、方法
(27)前記第1の形式が低解像度ディジタル化ビデオ・コンテンツを含む、前記(26)記載の方法。
(28)前記第2の形式が高解像度ディジタル化ビデオ・コンテンツを含む、前記(26)記載の方法。
(29)前記第1の形式がMPEG1を含む、前記(26)記載の方法。
(30)前記第2の形式がMPEG2を含む、前記(26)記載の方法。
(31)前記コンテンツを受信し、再フォーマットするステップが、Webベースのインジェスト・ステーションにより実行される、前記(26)記載の方法。
(32)前記方法がWebベースで行われる、前記(26)記載の方法。
(33)前記低解像度コンテンツの一部分が編集の間に高速アクセス記憶装置に記憶される、前記(26)記載の方法。
(34)前記高速アクセス記憶装置が、ディスク記憶装置、光記憶装置及びメモリの少なくとも1つを含む、前記(33)記載の方法。
(35)前記高解像度コンテンツがテープ記憶装置上に記憶される、前記(26)記載の方法。
(36)前記初期形式がアナログである、前記(26)記載の方法。
(37)メタデータを前記記憶コンテンツに追加するステップを含む、前記(26)記載の方法。
(38)前記メタデータが、ユーザ入力、レガシー・データ、サムネール、ストーリボード、トランスクリプション情報、前記入力コンテンツに関連付けられるオーディオ・ストリームの音声−テキスト変換処理、及び音声−テキスト変換注釈の少なくとも1つを含む、前記(37)記載の方法。
(39)前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶される、前記(26)記載の方法。
(40)前記低解像度コンテンツの前記選択部分に関連付けられる前記タイムコードが、前記高解像度コンテンツの対応部分を検索するために使用される、前記(39)記載の方法。
(41)前記タイムコードが前記低解像度コンテンツのイメージ上に重畳される、前記(39)記載の方法。
(42)ユーザ指定基準にもとづき、前記低解像度コンテンツを探索するステップを含む、前記(26)記載の方法。
(43)前記低解像度コンテンツを閲覧し、該低解像度コンテンツから所望の部分を選択するステップを含む、前記(26)記載の方法。
(44)前記低解像度コンテンツの前記選択部分のリストを作成するステップを含む、前記(26)記載の方法。
(45)前記リストを変更するステップを含む、前記(44)記載の方法。
(46)前記記述が前記リストを含む、前記(44)記載の方法。
(47)コンテンツを低解像度形式及び高解像度形式で記憶するステップと、
前記低解像度コンテンツの一部分のアクセス、閲覧及び選択を可能にするステップと、
前記低解像度コンテンツの一部分を探索、閲覧及び選択し、選択された前記部分から、前記高解像度コンテンツの対応部分を検索するために使用される編集リストを作成するステップと
を含む、コンテンツ編集方法。
(48)前記編集リストが複数のユーザにより共用可能である、前記(47)記載の方法。
(49)第1の記憶ファイルから低解像度コンテンツの一部分をアクセス、閲覧及び選択するステップと、
選択された前記部分から第2の記憶ファイルから対応する高解像度コンテンツを検索するために使用される編集リストを作成するステップと
を含む、コンテンツ編集方法。
(50)前記編集リストが複数のユーザにより共用可能である、前記(49)記載の方法。
(51)コンテンツを生成する方法を実行する、コンピュータにより実行可能な命令を含むプログラム製品であって、前記方法が、
コンテンツを初期形式で受信し、受信された前記コンテンツを第1の形式を有するコンテンツと、前記第1の形式よりも高い解像度を有する第2の形式を有するコンテンツとに再フォーマットするステップと、
前記低解像度コンテンツ及び前記高解像度コンテンツを記憶するステップと、
前記低解像度コンテンツからコンテンツの一部分を選択するステップと、
前記選択部分の記述を受信し、前記選択部分に対応する前記高解像度コンテンツから、コンテンツの一部分を検索するステップと
を含む、プログラム製品。
(52)前記第1の形式が低解像度ディジタル化ビデオ・コンテンツを含む、前記(51)記載のプログラム製品。
(53)前記第2の形式が高解像度ディジタル化ビデオ・コンテンツを含む、前記(51)記載のプログラム製品。
(54)前記第1の形式がMPEG1を含む、前記(51)記載のプログラム製品。
(55)前記第2の形式がMPEG2を含む、前記(51)記載のプログラム製品。
(56)前記コンテンツを受信し、再フォーマットするステップが、Webベースのインジェスト・ステーションにより実行される、前記(51)記載のプログラム製品。
(57)前記方法がWebベースで行われる、前記(51)記載のプログラム製品。
(58)前記低解像度コンテンツの一部分が編集の間に高速アクセス記憶装置に記憶される、前記(51)記載のプログラム製品。
(59)前記高速アクセス記憶装置が、ディスク記憶装置、光記憶装置及びメモリの少なくとも1つを含む、前記(58)記載のプログラム製品。
(60)前記高解像度コンテンツがテープ記憶装置上に記憶される、前記(51)記載のプログラム製品。
(61)前記初期形式がアナログである、前記(51)記載のプログラム製品。
(62)メタデータを前記記憶コンテンツに追加するステップを含む、前記(51)記載のプログラム製品。
(63)前記メタデータが、ユーザ入力、レガシー・データ、サムネール、ストーリボード、トランスクリプション情報、前記入力コンテンツに関連付けられるオーディオ・ストリームの音声−テキスト変換処理、及び音声−テキスト変換注釈の少なくとも1つを含む、前記(62)記載のプログラム製品。
(64)前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶される、前記(51)記載のプログラム製品。
(65)前記低解像度コンテンツの前記選択部分に関連付けられる前記タイムコードが、前記高解像度コンテンツの対応部分を検索するために使用される、前記(64)記載のプログラム製品。
(66)前記タイムコードが前記低解像度コンテンツのイメージ上に重畳される、前記(64)記載のプログラム製品。
(67)ユーザ指定基準にもとづき、前記低解像度コンテンツを探索するステップを含む、前記(51)記載のプログラム製品。
(68)前記低解像度コンテンツを閲覧し、該低解像度コンテンツから所望の部分を選択するステップを含む、前記(51)記載のプログラム製品。
(69)前記低解像度コンテンツの前記選択部分のリストを作成するステップを含む、前記(51)記載のプログラム製品。
(70)前記リストを変更するステップを含む、前記(69)記載のプログラム製品。
(71)前記記述が前記リストを含む、前記(69)記載のプログラム製品。
(72)コンテンツ編集方法を実行する、コンピュータにより実行可能な命令を含むプログラム製品であって、前記方法が、
コンテンツを低解像度形式及び高解像度形式で記憶するステップと、
前記低解像度コンテンツの一部分のアクセス、閲覧及び選択を可能にするステップと、
前記低解像度コンテンツの一部分を探索、閲覧及び選択し、選択された前記部分から、前記高解像度コンテンツの対応部分を検索するために使用される編集リストを作成するステップと
を含む、プログラム製品。
(73)前記編集リストが複数のユーザにより共用可能である、前記(72)記載のプログラム製品。
(74)コンテンツ編集方法を実行する、コンピュータにより実行可能な命令を含むプログラム製品であって、前記方法が、
第1の記憶ファイルから、低解像度コンテンツの一部分をアクセス、閲覧及び選択するステップと、
選択された前記部分から、第2の記憶ファイルから対応する高解像度コンテンツを検索するために使用される編集リストを作成するステップと
を含む、プログラム製品。
(75)前記編集リストが複数のユーザにより共用可能である、前記(74)記載のプログラム製品。
(76)コンテンツを初期形式で受信し、受信された前記コンテンツを異なる解像度を有する複数のコンテンツ形式に再フォーマットするインジェスト・システムと、
異なる解像度のコンテンツを記憶する記憶装置と、
前記コンテンツ形式の1つからコンテンツの一部分を選択する編集ステーションと、
前記編集ステーションから前記選択部分の記述を受信し、前記選択部分に対応する別のコンテンツ形式から、コンテンツの一部分を検索する検索装置と
を含む、コンテンツ生成システム。
(77)コンテンツを生成する方法であって、
コンテンツを初期形式で受信し、受信された前記コンテンツを、異なる解像度を有する複数のコンテンツ形式に再フォーマットするステップと、
異なる解像度のコンテンツを記憶するステップと、
前記コンテンツ形式の1つからコンテンツの一部分を選択するステップと、
コンテンツの前記選択部分の記述を受信し、前記選択部分に対応する別のコンテンツ形式から、コンテンツの一部分を検索するステップと
を含む、方法。
(78)コンテンツを生成する方法を実行する、コンピュータにより実行可能な命令を含むプログラム製品であって、前記方法が、
コンテンツを初期形式で受信し、受信された前記コンテンツを異なる解像度を有する複数のコンテンツ形式に再フォーマットするステップと、
異なる解像度のコンテンツを記憶するステップと、
前記コンテンツ形式の1つからコンテンツの一部分を選択するステップと、
コンテンツの前記選択部分の記述を受信し、前記選択部分に対応する別のコンテンツ形式から、コンテンツの一部分を検索するステップと
を含む、プログラム製品。
【図面の簡単な説明】
【図1】インジェスト、記憶及び検索ステージを含む、本発明の2重パス・コンテンツ管理システムを示すブロック図である。
【図2】インジェスト・ステージを示すブロック図である。
【図3】コンテンツの高解像度及び低解像度セグメントの対応フレームを示す図である。
【図4】インジェスト・プロセスを示すフロー図である。
【図5】記憶ステージを示すブロック図である。
【図6】記憶及び検索ステージを示すブロック図である。
【図7】編集/選択プロセスを示すフロー図である。
【図8】編集決定リストを示す図である。
【図9】再呼び出しプロセスを示すフロー図である。
【符号の説明】
6 低解像度形式/メタデータ・バス
8 高解像度形式/メタデータ・バス
10 インジェスト
11 ビデオ・ソース
12 インジェスト・ステーション
13 高解像度エンコーダ
14 ビデオ・ストリーム
15 シリアル・ディジタル・ストリーム
16 MPEG2 Iフレーム専用データ・ストリーム
20 記憶
21 高解像度記憶システム
22 低解像度記憶システム、Content Manager
30 検索
31 編集決定リスト(EDL)
32 編集/選択操作
33 再呼び出しステーション
34 プロファイル・システム
35 編集ベイ
38 EDLコピー
40 ビデオ・インジェスト・ステーション
41 ビデオ・テープ・レコーダ(VTR)
42 ワークステーションまたはインジェストPC
43、66 リンク
44 タイムコード発生器
45 低解像度エンコーダ
47 制御リンク
48 アナログ・ディジタル変換器
55 ラップアップ
61 ディジタル・ライブラリ
62 VideoCharger
63 LTOテープ・バッファ
64 SAN装置
65 超SCSIリンク
68 サーバ
82 テキスト照会
83 サムネール検討
84 ストーリボード検討
85 候補選択
87 MPEG1検討/EDL作成
101 MPEG1ファイルの一部分
102 イメージ・フレーム
103 イメージ・フレームの拡大表示
104 タイムコード
105 高解像度MPEG2ファイル
106 対応するフレーム

Claims (54)

  1. コンテンツ生成システムであって、
    アナログ形式のコンテンツを受信し、該受信した前記コンテンツを、低解像度である第1の形式を有するコンテンツと、前記第1の形式よりも高解像度である第2の形式を有するコンテンツと、前記第1の形式よりも更に低解像度である第3の形式を有するコンテンツとに再フォーマットするためのインジェスト・システムと、
    前記低解像度コンテンツ、前記更に低解像度であるコンテンツ及び前記高解像度コンテンツを記憶するための記憶装置と、
    ブラウザを使用して、前記低解像度コンテンツからコンテンツの一部分を選択するために使用される編集ステーションであって、前記第3の形式は前記第1の形式を有するコンテンツのサムネール表示を含む、前記編集ステーションと、
    前記編集ステーションから前記選択部分の記述子を受信し、そして前記高解像度コンテンツから、前記選択部分に対応するコンテンツの部分を検索するための検索装置と
    を含み、
    前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶され、
    前記低解像度コンテンツ及び前記高解像度コンテンツの前記タイムコードが、前記低解像度コンテンツ及び前記高解像度コンテンツの時間同期のために分析され、及び前記低解像度コンテンツから選択された前記一部分の開始及び終了フレームのフレーム番号及び該フレームそれぞれに関連付けられたタイムコードからデルタを計算し、該計算されたデルタから前記低解像度コンテンツと前記高解像度コンテンツとの間の時間のオフセットを計算することによって、前記時間同期が実行される、
    前記システム。
  2. 前記第1の形式が低解像度ディジタル化ビデオ・コンテンツを含む、請求項1記載のシステム。
  3. 前記第2の形式が高解像度ディジタル化ビデオ・コンテンツを含む、請求項1記載のシステム。
  4. 前記第1の形式がMPEG1を含む、請求項1記載のシステム。
  5. 前記第2の形式がMPEG2を含む、請求項1記載のシステム。
  6. 前記インジェスト・ステーションがWebベースである、請求項1記載のシステム。
  7. 前記編集ステーションがWebベースである、請求項1記載のシステム。
  8. 前記低解像度コンテンツの一部分が編集の間に高速アクセス記憶装置に記憶される、請求項1記載のシステム。
  9. 前記高速アクセス記憶装置が、ディスク記憶装置、光記憶装置及びメモリの少なくとも1つを含む、請求項8記載のシステム。
  10. 前記高解像度コンテンツがテープ記憶装置上に記憶される、請求項1記載のシステム。
  11. 前記記憶装置が、前記低解像度コンテンツ及び前記更に低解像度であるコンテンツを記憶するための高速アクセス記憶装置と、及び前記高解像度コンテンツを記憶するための大容量記憶装置であって、前記高速アクセス記憶装置は前記大容量記憶装置よりも早くアクセス可能である、請求項1記載のシステム。
  12. メタデータを前記記憶コンテンツに追加する装置をさらに含む、請求項1記載のシステム。
  13. 前記メタデータが、ユーザ入力、レガシー・データ、サムネール、ストーリボード、トランスクリプション情報、前記入力コンテンツに関連付けられるオーディオ・ストリームの音声−テキスト変換処理、及び音声−テキスト変換注釈の少なくとも1つを含む、請求項12記載のシステム。
  14. 前記低解像度コンテンツの前記選択部分に関連付けられる前記タイムコードが、前記検索装置により、前記高解像度コンテンツの対応部分を検索するために使用される、請求項1記載のシステム。
  15. 前記タイムコードが前記低解像度コンテンツのイメージ上に重畳される、請求項1記載のシステム。
  16. 前記編集ステーションが、ユーザ指定基準にもとづき、前記低解像度コンテンツを探索するソフトウェアを含む、請求項1記載のシステム。
  17. 前記編集ステーションが、前記低解像度コンテンツを閲覧し、該低解像度コンテンツから所望の部分を選択するインタフェースを含む、請求項1記載のシステム。
  18. 前記編集ステーションが、前記低解像度コンテンツの前記選択部分のリストを作成するソフトウェアを含む、請求項1記載のシステム。
  19. 前記編集ステーションが、前記リストを変更するソフトウェアを含む、請求項18記載のシステム。
  20. 前記編集ステーションが前記リストを前記検索装置に提供する、請求項18記載のシステム。
  21. 記第3の形式が、前記第1の形式のメタデータとして使用される、請求項1記載のシステム。
  22. コンテンツ編集システムであって、
    コンテンツを低解像度形式、高解像度形式及び前記低解像度形式よりも更に低解像度である解像度形式で記憶する記憶装置と、
    前記低解像度コンテンツの一部分の選択を可能にするコンテンツ編集アプリケーションをホストするサーバと、
    前記サーバと通信する複数のクライアントであって、ブラウザを使用して、前記低解像度コンテンツの一部分を選択し、前記高解像度コンテンツから、前記選択された部分に対応するコンテンツの部分を検索する際に使用される編集リストを作成するために、各クライアントがコンテンツ編集アプリケーションを実行することを可能にし、前記更に低解像度である解像度形式は前記低解像度コンテンツのサムネール表示を含む、前記複数のクライアントと
    を含み、
    前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶され、
    前記低解像度コンテンツ及び前記高解像度コンテンツの前記タイムコードが、前記低解像度コンテンツ及び前記高解像度コンテンツの時間同期のために分析され、及び前記低解像度コンテンツから選択された前記一部分の開始及び終了フレームのフレーム番号及び該フレームそれぞれに関連付けられたタイムコードからデルタを計算し、該計算されたデルタから前記低解像度コンテンツと前記高解像度コンテンツとの間の時間のオフセットを計算することによって、前記時間同期が実行される、
    前記システム。
  23. 前記編集リストが前記サーバを通じて、他の前記複数のクライアントと共用可能である、請求項22記載のシステム。
  24. 前記低解像度コンテンツと前記高解像度コンテンツとの間の時間のオフセットが、前記フレーム番号及び現在のフレームに関連付けられた前記タイムコードと、前記低解像度コンテンツの開始フレーム番号及び開始タイムコードとを比較することによって較正される、請求項1又は22記載のシステム。
  25. 前記編集ステーションが、前記低解像度コンテンツを検索し、前記低解像度コンテンツのメタデータとして前記更に低解像度であるコンテンツを収集し、及び前記更に低解像度であるコンテンツを使用してストーリボードを作成する、請求項1又は22記載のシステム。
  26. コンテンツを生成する方法であって、
    アナログ形式のコンテンツを受信し、該受信した前記コンテンツを、低解像度である第1の形式を有するコンテンツと、前記第1の形式よりも高解像度である第2の形式を有するコンテンツと、前記第1の形式よりも更に低解像度である第3の形式を有するコンテンツとに再フォーマットするステップと、
    前記低解像度であるコンテンツ、前記更に低解像度であるコンテンツ及び前記高解像度コンテンツを記憶装置に記憶するステップと、
    ブラウザを使用して、前記低解像度コンテンツからコンテンツの一部分を選択することを可能にするステップであって、前記第3の形式は前記第1の形式を有するコンテンツのサムネール表示を含む、前記選択することを可能にするステップと、
    前記選択部分の記述子を受信し、そして前記高解像度コンテンツから、前記選択部分に対応するコンテンツの部分を検索するステップと
    を含み、
    前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶され、
    前記低解像度コンテンツ及び前記高解像度コンテンツの前記タイムコードが、前記低解像度コンテンツ及び前記高解像度コンテンツの時間同期のために分析され、及び前記低解像度コンテンツから選択された前記一部分の開始及び終了フレームのフレーム番号及び該フレームそれぞれに関連付けられたタイムコードからデルタを計算し、該計算されたデルタから前記低解像度コンテンツと前記高解像度コンテンツとの間の時間のオフセットを計算することによって、前記時間同期が実行される、
    前記方法。
  27. 前記第1の形式が低解像度ディジタル化ビデオ・コンテンツを含む、請求項26記載の方法。
  28. 前記第2の形式が高解像度ディジタル化ビデオ・コンテンツを含む、請求項26記載の方法。
  29. 前記第1の形式がMPEG1を含む、請求項26記載の方法。
  30. 前記第2の形式がMPEG2を含む、請求項26記載の方法。
  31. 前記コンテンツを受信し、再フォーマットするステップが、Webベースのインジェスト・ステーションにより実行される、請求項26記載の方法。
  32. 前記方法がWebベースで行われる、請求項26記載の方法。
  33. 前記低解像度コンテンツの一部分が編集の間に高速アクセス記憶装置に記憶される、請求項26記載の方法。
  34. 前記高速アクセス記憶装置が、ディスク記憶装置、光記憶装置及びメモリの少なくとも1つを含む、請求項33記載の方法。
  35. 前記高解像度コンテンツがテープ記憶装置上に記憶される、請求項26記載の方法。
  36. 前記低解像度コンテンツ及び前記更に低解像度であるコンテンツが、高速アクセス記憶装置に記憶され、前記高解像度コンテンツが、大容量記憶装置に記憶され、前記高速アクセス記憶装置は前記大容量記憶装置よりも早くアクセス可能である、請求項26記載の方法。
  37. メタデータを前記記憶コンテンツに追加するステップを含む、請求項26記載の方法。
  38. 前記メタデータが、ユーザ入力、レガシー・データ、サムネール、ストーリボード、トランスクリプション情報、前記入力コンテンツに関連付けられるオーディオ・ストリームの音声−テキスト変換処理、及び音声−テキスト変換注釈の少なくとも1つを含む、請求項37記載の方法。
  39. 前記低解像度コンテンツの前記選択部分に関連付けられる前記タイムコードが、前記高解像度コンテンツの対応部分を検索するために使用される、請求項26記載の方法。
  40. 前記タイムコードが前記低解像度コンテンツのイメージ上に重畳される、請求項26記載の方法。
  41. ユーザ指定基準にもとづき、前記低解像度コンテンツを探索するステップを含む、請求項26記載の方法。
  42. 前記低解像度コンテンツを閲覧し、該低解像度コンテンツから所望の部分を選択するステップを含む、請求項26記載の方法。
  43. 前記低解像度コンテンツの前記選択部分のリストを作成するステップを含む、請求項26記載の方法。
  44. 前記リストを変更するステップを含む、請求項43記載の方法。
  45. 前記記述子が前記リストを含む、請求項43記載の方法。
  46. 前記第3の形式が、前記第1の形式のメタデータとして使用される、請求項26記載の方法。
  47. コンテンツ編集方法であって、
    コンテンツを低解像度形式、高解像度形式及び前記低解像度形式よりも更に低解像度である解像度形式で記憶するステップと、
    前記低解像度コンテンツの一部分の選択を可能にするステップと、
    前記低解像度コンテンツの一部分を選択し、前記高解像度コンテンツから、前記選択された部分に対応するコンテンツの部分を検索する際に使用される編集リストを作成するステップであって、前記更に低解像度である解像度形式は前記低解像度コンテンツのサムネール表示を含む、前記作成するステップと
    を含み、
    前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶され、
    前記低解像度コンテンツ及び前記高解像度コンテンツの前記タイムコードが、前記低解像度コンテンツ及び前記高解像度コンテンツの時間同期のために分析され、及び前記低解像度コンテンツから選択された前記一部分の開始及び終了フレームのフレーム番号及び該フレームそれぞれに関連付けられたタイムコードからデルタを計算し、該計算されたデルタから前記低解像度コンテンツと前記高解像度コンテンツとの間の時間のオフセットを計算することによって、前記時間同期が実行される、
    前記方法。
  48. 前記編集リストが複数のユーザにより共用可能である、請求項47記載の方法。
  49. コンテンツ編集方法であって、
    第1の記憶ファイルから低解像度コンテンツの一部分をアクセス、閲覧及び選択するステップと、
    選択された前記部分から第2の記憶ファイルから対応する高解像度コンテンツを検索するために使用される編集リストを作成するステップと
    を含み、
    前記低解像度コンテンツ及び高解像度コンテンツの対応部分を識別するタイムコードが、前記低解像度コンテンツ及び高解像度コンテンツと一緒にそれぞれ記憶され、
    前記低解像度コンテンツ及び前記高解像度コンテンツの前記タイムコードが、前記低解像度コンテンツ及び前記高解像度コンテンツの時間同期のために分析され、前記時間同期が、前記低解像度コンテンツから選択された前記一部分の開始及び終了フレームのフレーム番号及び該フレームそれぞれに関連付けられたタイムコードからデルタを計算し、該計算されたデルタから前記低解像度コンテンツと前記高解像度コンテンツとの間の時間のオフセットを計算することによって実行される、
    前記方法。
  50. 前記編集リストが複数のユーザにより共用可能である、請求項49記載の方法。
  51. 前記低解像度コンテンツと前記高解像度コンテンツとの間の時間のオフセットが、前記フレーム番号及び現在のフレームに関連付けられた前記タイムコードと、前記低解像度コンテンツの開始フレーム番号及び開始タイムコードとを比較することによって較正される、請求項26、47又は49記載の方法。
  52. 前記低解像度コンテンツからコンテンツの一部分を選択することが、前記低解像度コンテンツを検索し、前記低解像度コンテンツのメタデータとして前記更に低解像度であるコンテンツを収集し、及び前記更に低解像度であるコンテンツを使用してストーリボードを作成することを含む、請求項26、47又は49記載の方法。
  53. コンテンツを生成する方法を実行するコンピュータ・プログラムであって、
    コンテンツ生成システムに、請求項26〜46のいずれか一項に記載の方法の各ステップを実行させる、前記コンピュータ・プログラム。
  54. コンテンツ編集方法を実行するコンピュータ・プログラムであって、
    コンテンツ生成システムに、請求項47〜48のいずれか一項に記載の方法の各ステップを実行させる、前記コンピュータ・プログラム。
JP2002104858A 2001-04-09 2002-04-08 コンテンツ生成及び編集システム、コンテンツ生成及び編集方法、並びに該方法を実行するコンピュータ・プログラム Expired - Fee Related JP4267244B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/829584 2001-04-09
US09/829,584 US20020145622A1 (en) 2001-04-09 2001-04-09 Proxy content editing system

Publications (2)

Publication Number Publication Date
JP2003037804A JP2003037804A (ja) 2003-02-07
JP4267244B2 true JP4267244B2 (ja) 2009-05-27

Family

ID=25254928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002104858A Expired - Fee Related JP4267244B2 (ja) 2001-04-09 2002-04-08 コンテンツ生成及び編集システム、コンテンツ生成及び編集方法、並びに該方法を実行するコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US20020145622A1 (ja)
JP (1) JP4267244B2 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9038108B2 (en) * 2000-06-28 2015-05-19 Verizon Patent And Licensing Inc. Method and system for providing end user community functionality for publication and delivery of digital media content
US7200666B1 (en) * 2000-07-07 2007-04-03 International Business Machines Corporation Live connection enhancement for data source interface
US8972862B2 (en) * 2001-06-27 2015-03-03 Verizon Patent And Licensing Inc. Method and system for providing remote digital media ingest with centralized editorial control
US20070089151A1 (en) * 2001-06-27 2007-04-19 Mci, Llc. Method and system for delivery of digital media experience via common instant communication clients
US7970260B2 (en) 2001-06-27 2011-06-28 Verizon Business Global Llc Digital media asset management system and method for supporting multiple users
US8990214B2 (en) 2001-06-27 2015-03-24 Verizon Patent And Licensing Inc. Method and system for providing distributed editing and storage of digital media over a network
US20060236221A1 (en) * 2001-06-27 2006-10-19 Mci, Llc. Method and system for providing digital media management using templates and profiles
KR100502710B1 (ko) * 2002-05-24 2005-07-20 주식회사 아이큐브 광 디스크 재생 장치
KR100483451B1 (ko) * 2002-05-27 2005-04-15 주식회사 아이큐브 컨텐츠 파일과 네비게이션 정보의 편집처리방법 및 그 방법에 의하여 정보가 기록된 기록매체
US20040216173A1 (en) * 2003-04-11 2004-10-28 Peter Horoszowski Video archiving and processing method and apparatus
JP2005012256A (ja) * 2003-06-16 2005-01-13 Canon Inc データ処理装置
JP4117616B2 (ja) * 2003-07-28 2008-07-16 ソニー株式会社 編集システム、その制御方法及び編集装置
US7424202B2 (en) 2003-07-29 2008-09-09 Sony Corporation Editing system and control method using a readout request
JP2005100415A (ja) * 2003-09-25 2005-04-14 Ricoh Co Ltd マルチメディア印刷ドライバダイアログインタフェース
WO2005043311A2 (en) * 2003-10-21 2005-05-12 Porto Ranelli, Sa Method and system for audiovisual remote collaboration
US8443279B1 (en) * 2004-10-13 2013-05-14 Stryker Corporation Voice-responsive annotation of video generated by an endoscopic camera
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US7876357B2 (en) 2005-01-31 2011-01-25 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US8072501B2 (en) * 2005-10-31 2011-12-06 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US8233042B2 (en) 2005-10-31 2012-07-31 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US7872675B2 (en) 2005-06-02 2011-01-18 The Invention Science Fund I, Llc Saved-image management
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US8253821B2 (en) 2005-10-31 2012-08-28 The Invention Science Fund I, Llc Degradation/preservation management of captured data
US8681225B2 (en) 2005-06-02 2014-03-25 Royce A. Levien Storage access technique for captured data
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9167195B2 (en) 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US8141111B2 (en) 2005-05-23 2012-03-20 Open Text S.A. Movie advertising playback techniques
US9648281B2 (en) 2005-05-23 2017-05-09 Open Text Sa Ulc System and method for movie segment bookmarking and sharing
EP3002724A3 (en) * 2005-05-23 2016-07-20 Open Text S.A. Distributed scalable media environment
US8145528B2 (en) 2005-05-23 2012-03-27 Open Text S.A. Movie advertising placement optimization based on behavior and content analysis
US9076311B2 (en) * 2005-09-07 2015-07-07 Verizon Patent And Licensing Inc. Method and apparatus for providing remote workflow management
US8631226B2 (en) * 2005-09-07 2014-01-14 Verizon Patent And Licensing Inc. Method and system for video monitoring
US20070107012A1 (en) * 2005-09-07 2007-05-10 Verizon Business Network Services Inc. Method and apparatus for providing on-demand resource allocation
US9401080B2 (en) 2005-09-07 2016-07-26 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing video frames
JP2007079784A (ja) * 2005-09-13 2007-03-29 Hiroshima Univ デジタルアーカイブデータの表現変換システム
CN101395571A (zh) * 2006-01-13 2009-03-25 雅虎公司 用于在线重新混合数字多媒体的方法和系统
US20080215620A1 (en) * 2006-01-13 2008-09-04 Yahoo! Inc. Method and system for social remixing of media content
WO2007084867A2 (en) * 2006-01-13 2007-07-26 Yahoo! Inc. Method and system for online remixing of digital multimedia
WO2007084870A2 (en) * 2006-01-13 2007-07-26 Yahoo! Inc. Method and system for recording edits to media content
US20070169158A1 (en) * 2006-01-13 2007-07-19 Yahoo! Inc. Method and system for creating and applying dynamic media specification creator and applicator
KR100991583B1 (ko) * 2006-01-13 2010-11-04 야후! 인크. 편집 정보를 미디어 콘텐츠와 결합하는 방법, 컴퓨터 판독가능 저장 매체 및 시스템
US20070239787A1 (en) * 2006-04-10 2007-10-11 Yahoo! Inc. Video generation based on aggregate user data
WO2007137240A2 (en) * 2006-05-21 2007-11-29 Motionphoto, Inc. Methods and apparatus for remote motion graphics authoring
JP4860365B2 (ja) 2006-06-19 2012-01-25 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
US7581166B2 (en) * 2006-07-21 2009-08-25 At&T Intellectual Property Ii, L.P. System and method of collecting, correlating, and aggregating structured edited content and non-edited content
US9043935B2 (en) 2007-05-18 2015-05-26 Novell, Inc. Techniques for personalizing content
DE102008011603B4 (de) * 2008-02-28 2009-12-31 Semikron Elektronik Gmbh & Co. Kg Schaltung und Verfahren zur Signalspannungsübertragung innerhalb eines Treibers eines Leistungshalbleiterschalters
US8805689B2 (en) * 2008-04-11 2014-08-12 The Nielsen Company (Us), Llc Methods and apparatus to generate and use content-aware watermarks
FR2933226B1 (fr) * 2008-06-27 2013-03-01 Auvitec Post Production Procede et systeme de production d'oeuvres audiovisuelles
JP4672788B2 (ja) * 2008-09-16 2011-04-20 株式会社東芝 映像データ処理システム、ビデオサーバ、ゲートウェイサーバ及び映像データ管理方法
FR2940481B1 (fr) * 2008-12-23 2011-07-29 Thales Sa Procede, dispositif et systeme pour l'edition de medias enrichis
JP5574606B2 (ja) * 2009-01-29 2014-08-20 キヤノン株式会社 情報処理システム、その処理方法、情報処理装置及びプログラム
JP5237174B2 (ja) * 2009-04-09 2013-07-17 Kddi株式会社 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
US10575051B2 (en) * 2009-11-13 2020-02-25 Triveni Digital Inc. System and method for enhanced television and delivery of enhanced television content
US8881012B2 (en) * 2009-11-17 2014-11-04 LHS Productions, Inc. Video storage and retrieval system and method
US20110231229A1 (en) * 2010-03-22 2011-09-22 Computer Associates Think, Inc. Hybrid Software Component and Service Catalog
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
GB2494437A (en) * 2011-09-08 2013-03-13 Hogarth Worldwide Ltd The handling and management of media files
US9965129B2 (en) 2012-06-01 2018-05-08 Excalibur Ip, Llc Personalized content from indexed archives
US9792285B2 (en) 2012-06-01 2017-10-17 Excalibur Ip, Llc Creating a content index using data on user actions
JP6300576B2 (ja) * 2013-05-02 2018-03-28 キヤノン株式会社 画像処理装置及び画像処理方法
US10534525B1 (en) * 2014-12-09 2020-01-14 Amazon Technologies, Inc. Media editing system optimized for distributed computing systems
US20160293216A1 (en) * 2015-03-30 2016-10-06 Bellevue Investments Gmbh & Co. Kgaa System and method for hybrid software-as-a-service video editing
US10102881B2 (en) * 2015-04-24 2018-10-16 Wowza Media Systems, LLC Systems and methods of thumbnail generation
US10388324B2 (en) * 2016-05-31 2019-08-20 Dropbox, Inc. Synchronizing edits to low- and high-resolution versions of digital videos
JP7028687B2 (ja) * 2018-03-23 2022-03-02 株式会社日立国際電気 放送システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748292B2 (ja) * 1987-04-24 1995-05-24 パイオニア株式会社 Ntsc方式ビデオフォーマット信号の記録装置
US5237648A (en) * 1990-06-08 1993-08-17 Apple Computer, Inc. Apparatus and method for editing a video recording by selecting and displaying video clips
EP0529864B1 (en) * 1991-08-22 2001-10-31 Sun Microsystems, Inc. Network video server apparatus and method
US5526024A (en) * 1992-03-12 1996-06-11 At&T Corp. Apparatus for synchronization and display of plurality of digital video data streams
US5758180A (en) * 1993-04-15 1998-05-26 Sony Corporation Block resizing function for multi-media editing which moves other blocks in response to the resize only as necessary
DE69531265T2 (de) * 1994-03-19 2004-06-03 Sony Corp. Optische Platte und Methode und Gerät zur Aufzeichnung auf und danach Wiedergabe von Informationen von dieser Platte
US5583868A (en) * 1994-07-25 1996-12-10 Microsoft Corporation Method and system for combining data from multiple servers into a single continuous data stream using a switch
US5559562A (en) * 1994-11-01 1996-09-24 Ferster; William MPEG editor method and apparatus
JPH0981361A (ja) * 1995-09-12 1997-03-28 Toshiba Corp 画像表示方法、データ収集方法及び対象物特定方法
US5862450A (en) * 1995-12-14 1999-01-19 Sun Microsytems, Inc. Method and apparatus for delivering simultaneous constant bit rate compressed video streams at arbitrary bit rates with constrained drift and jitter
US5818539A (en) * 1996-03-29 1998-10-06 Matsushita Electric Corporation Of America System and method for updating a system time constant (STC) counter following a discontinuity in an MPEG-2 transport data stream
US5801685A (en) * 1996-04-08 1998-09-01 Tektronix, Inc. Automatic editing of recorded video elements sychronized with a script text read or displayed
US6065050A (en) * 1996-06-05 2000-05-16 Sun Microsystems, Inc. System and method for indexing between trick play and normal play video streams in a video delivery system
KR100274434B1 (ko) * 1996-07-05 2000-12-15 모리시타 요이찌 디스플레이 시간 스탬핑과 다중 비디오 오브젝트평면의 동기화방법
US5825892A (en) * 1996-10-28 1998-10-20 International Business Machines Corporation Protecting images with an image watermark
US5815689A (en) * 1997-04-04 1998-09-29 Microsoft Corporation Method and computer program product for synchronizing the processing of multiple data streams and matching disparate processing rates using a standardized clock mechanism
US6134378A (en) * 1997-04-06 2000-10-17 Sony Corporation Video signal processing device that facilitates editing by producing control information from detected video signal information
CA2257578C (en) * 1997-04-07 2003-01-21 At&T Corp. System and method for processing object-based audiovisual information
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US6400378B1 (en) * 1997-09-26 2002-06-04 Sony Corporation Home movie maker
US6414725B1 (en) * 1998-04-16 2002-07-02 Leitch Technology Corporation Method and apparatus for synchronized multiple format data storage
WO2002015583A1 (en) * 2000-08-15 2002-02-21 Microsoft Corporation Methods, systems and data structures for timecoding media samples

Also Published As

Publication number Publication date
US20020145622A1 (en) 2002-10-10
JP2003037804A (ja) 2003-02-07

Similar Documents

Publication Publication Date Title
JP4267244B2 (ja) コンテンツ生成及び編集システム、コンテンツ生成及び編集方法、並びに該方法を実行するコンピュータ・プログラム
JP3726957B2 (ja) 異なるフォーマットで記憶されたコンテンツセグメントの選択を指定するための方法とシステム
US6870887B2 (en) Method and system for synchronization between different content encoding formats
US8972862B2 (en) Method and system for providing remote digital media ingest with centralized editorial control
CA2600207C (en) Method and system for providing distributed editing and storage of digital media over a network
US6636238B1 (en) System and method for linking an audio stream with accompanying text material
US8005345B2 (en) Method and system for dynamic control of digital media content playback and advertisement delivery
US8909026B2 (en) Method and apparatus for simplifying the access of metadata
US7035468B2 (en) Methods and apparatus for archiving, indexing and accessing audio and video data
US20040216173A1 (en) Video archiving and processing method and apparatus
US8977108B2 (en) Digital media asset management system and method for supporting multiple users
CN101840719B (zh) 用于包括元数据的存储介质的再现和/或记录设备
US20030210821A1 (en) Methods and apparatus for generating, including and using information relating to archived audio/video data
US20020133486A1 (en) Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium
KR20040041082A (ko) 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
JPH1021261A (ja) マルチメディアデータベース検索方法及びシステム
JP2001028722A (ja) 動画像管理装置及び動画像管理システム
CN106790558B (zh) 一种影片多版本整合存储和提取系统
JP2002281433A (ja) 動画像検索閲覧編集装置および記録媒体
EP1181649B1 (en) Method and apparatus for creating digital archives
CN106791539B (zh) 一种电影数字节目的存储和提取方法
JP2002281432A (ja) 動画像検索閲覧装置および記録媒体
JP3833192B2 (ja) 情報作成装置および方法、並びにプログラム
Gibbon et al. Research Systems

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051129

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051129

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20051129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070511

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080820

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081029

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081216

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20081216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090129

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20090129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090218

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees