JP4846892B2 - Image processing system and material storage method - Google Patents
Image processing system and material storage method Download PDFInfo
- Publication number
- JP4846892B2 JP4846892B2 JP2000113275A JP2000113275A JP4846892B2 JP 4846892 B2 JP4846892 B2 JP 4846892B2 JP 2000113275 A JP2000113275 A JP 2000113275A JP 2000113275 A JP2000113275 A JP 2000113275A JP 4846892 B2 JP4846892 B2 JP 4846892B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- metadata
- audio
- indicating
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データ、音声データ及びメタデータを記録する画像処理システム及び素材蓄積方法に関する。
【０００２】
【従来の技術】
撮像装置が画像データを記録する際に、記録する画像データとともに、その編集点に対応する付加情報を記録媒体に記録させる技術が普及しつつある。編集者は、この付加情報を参照することによって、必要な編集点を検索することができる。
【０００３】
従来、この付加情報は、撮影前に撮影者が撮像装置に設けられた入力装置を操作することにより入力されていた。撮像装置は、入力された付加情報を画像データとともに記録媒体に記録している。
【０００４】
また、ビデオテープ等の記録媒体に記録された映像情報を編集する方法の１つとして、オフライン編集がある。オフライン編集は、撮影現場において、オリジナルテープに記録した映像情報を、一旦別の記録テープ即ち編集用テープにコピーし、この編集用テープ上で編集点等の編集データを作成し、この編集データに基づいてマスターテープを作成する方法がある。オフライン編集では、オリジナルテープ上の記録情報を誤って消去したり、書き換えるおそれがなく所望のマスターテープを作成することができる。
【０００５】
しかし、オフライン編集では、オリジナルテープをコピーした編集用テープを使用して編集作業を行うため、オリジナルテープ上に記録された情報を編集用テープにコピーする際に時間や手間がかかるといった問題がある。
【０００６】
そこで、上述のような問題を解決する方法の１つとして、オリジナルテープ上の情報を、ハードディスク等の記録可能で、且つランダムアクセス可能なディスク状記録媒体に一旦コピーし、このディスク状記録媒体上のコピー情報を用いて編集データを作製する方法がある。
【０００７】
【発明が解決しようとする課題】
しかしながら、撮影に注力すべき撮影者にとって、付加情報を入力することは煩わしい作業であるため、撮像装置に付加情報を入力する機能が備えられているのにも関わらず、付加情報の入力が行われないことが多かった。
【０００８】
一方、複数のネットワークを互いにパケット通信で結ぶことによって仮想的なネットワークを構成した、いわゆるインターネットのようなネットワークを利用した通信の普及とともに、映像データや音声データ等の様々なコンテンツデータの配信が可能になってきている。
【０００９】
それにともなって、番組を制作して放送する放送局等においては、断片化されている映像データ及び音声データに対しても、これらのコンテンツデータに関する詳細な情報を管理する必要がある。具体的には、放送局等で番組として制作された放送用素材を識別するための情報、著作権に関する情報等、種々の付加情報がコンテンツとともに配信される必要がある。
【００１０】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、上記画像データ及び音声データとともに、上記画像データ及び音声データを識別するための付加情報とを記録することを可能とする画像処理システム及び素材蓄積方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理システムは、撮像装置に収録された映像データ及び音声データを、該映像データ及び音声データが上記撮像装置に収録される際に該音声データ及び映像データを識別するための第１のメタデータとともに記録する記録手段から、該映像データ、音声データ及び第１のメタデータが入力される入力処理手段と、上記第１のメタデータとは別の第２のメタデータを生成するメタデータ生成手段と、上記入力処理手段に入力された映像データ、音声データ及び第１のメタデータを上記メタデータ生成手段で生成された第２のメタデータとともに記録するデータ蓄積手段と、上記データ蓄積手段に記録された映像データ、音声データ、第１のメタデータ及び第２のメタデータを読み出して出力する出力処理手段とを備える素材蓄積装置と、上記出力処理手段から出力された第１のメタデータ及び第２のメタデータに基づいて、上記出力処理手段から出力された映像データ及び音声データを編集する編集装置と、上記編集装置により編集された映像データ及び音声データを、該編集された映像データ及び音声データを保管する際に新たに入力される第３のメタデータとともに保管する保管用データ記録装置とを備え、上記保管用データ記録装置では、上記編集装置からの要求に応じて、上記素材蓄積装置に記録されている映像データ及び音声データが取り出される。
【００１２】
上述した目的を達成するために、本発明に係る素材蓄積方法は、撮像装置に収録された映像データ及び音声データを、該映像データ及び音声データが上記撮像装置に収録される際に該音声データ及び映像データを識別するための第１のメタデータとともに記録手段に記録する記録工程と、上記記録手段に記録された映像データ、音声データ及び第１のメタデータが入力処理手段に入力される入力処理工程と、上記第１のメタデータとは別の第２のメタデータを生成するメタデータ生成工程と、上記入力処理手段に入力された映像データ、音声データ及び第１のメタデータを、上記メタデータ生成工程で生成された第２のメタデータとともにデータ蓄積手段に記録するデータ蓄積工程と、上記データ蓄積手段に記録された映像データ、音声データ、第１のメタデータ及び第２のメタデータを読み出して出力する出力処理工程と、上記出力処理工程で出力された第１のメタデータ及び第２のメタデータに基づいて、上記映像データ及び音声データを編集する編集工程と、上記編集工程で編集された映像データ及び音声データを、該編集された映像データ及び音声データを保管する際に新たに入力される第３のメタデータとともに保管する保管用データ記録工程とを有し、上記保管用データ記録工程では、上記編集工程からの要求に応じて、上記データ蓄積工程で記録された映像データ及び音声データが取り出される。
【００１３】
ここで、別のメタデータには、素材データの供給源を示すソース（Source）、データストリームの形式を示すフォーマット（Format）、映像の圧縮を示すビデオ・ビット・レイト（Video Bit Rate）、映像がMPEG形式の場合の圧縮率を示すジー・オー・ピー・サイズ（GOP Size）、解像度を表すレゾリューション（Resolution）、音声データのチャンネル数を表すオーディオ・ナンバ・オブ・チャンネル（Audio Number of Channel）、音声データが圧縮されているか否かを表すオーディオ・コンプレッション（Audio Compression）、オーディオサンプリング周波数を表すオーディオ・サンプリング・レイト（Audio Sampling Rate）、音声データのサイズを表すオーディオ・データ・サイズ（Audio Data Size）、収録方法を示すレック・タイプ（REC_Type）、既存の画像処理システムにおいて使用されている素材を識別するためのIDを示すマテリアル・ID（Material_ID）、素材に対して、数回の編集等を施す間に変形したか否か等を示すサブ・キー（Sub Key）、素材データの種類を示すIDであるユーミッド・データ（UMID（Data））、ユーミッド・オーディオとユーミッド・ビデオとを纏めたユーミッド・システム（UMID（System））、素材の長さを表すファイル・レングス（File Length）、映像及び音声データを含むファイル全体のサイズ表したエッセンシャル・サイズ（Essence_Size）、映像及び音声データを含むファイル全体のサイズ表したエッセンシャル・サイズ（Essence_Size）、映像データが静止画であるか否かを示すオブジェクト・タイプ（Object Type）、素材データの有効期限を示すバリッド・デイト（Valid Date）を表すメタデータが挙げられる。
【００１４】
【発明の実施の形態】
本発明に係る画像処理システムは、例えば放送局，映像制作会社等において、映像及び音声等（以下、素材と記す。）を取材し、これらの素材を編集・加工して放送用の映像を制作し、更にこの映像を保管する画像処理システムであって、素材の取材工程，編集工程，保管工程等の各画像処理工程において、素材を詳細に識別するための付加情報を記録媒体、或いは専用の記録サーバに入力するものである。
【００１５】
なお、付加情報としてはメタデータが挙げられる。メタデータとは、例えば取材時刻，取材ＩＤ，取材題目，撮影者名，レポータ名等、取材によって得られた素材を識別するために必要な情報を記述するためのデータである。
【００１６】
放送局において、例えばニュース番組の制作を行う場合を、図１を用いて説明する。ただし、図１は、ニュース番組を制作する際の作業の流れを説明するものであり、装置等の構成要素を示すいわゆるブロック図とは異なる。
【００１７】
放送局におけるニュース番組制作は、図１に示すように、撮影前段階（Pri-Production；プリプロダクション）１０，撮影制作段階（Production；プロダクション）２０，撮影後処理段階（Post-production；ポストプロダクション）３０，放送段階（Distribution；ディストリビューション）４０，保管段階（Archive；アーカイブ）５０の５つに分類することができる。
【００１８】
撮影前段階１０は、プロデューサー，ディレクター，アナウンサー，取材スタッフ等の関係者が、ニュース番組の放送内容等を関する打ち合わせを行う段階であり、放送項目の決定、中継車，取材機材，取材クルーの割り振り等が行われる。図１においては、計画（Planning；プラニング）工程１１として示される。
【００１９】
撮影制作段階２０は、主に映像及び音声の収集を行う段階であり、図１においては、取材（Acquisition；アクイジション）工程２１，素材蓄積（Ingest；インジェスト）工程２２及びボイスオーバ（Voice Over）工程２３が、この撮影制作段階２０に相当する。
【００２０】
取材工程２１は、映像及び音声の収集に相当する「取材」を示している。また、素材蓄積工程２２では、取材で得られた映像及び音声（以下、素材と記す。）の蓄積が行われる。素材蓄積工程２２は、例えば素材が記録されたビデオカセットテープ等を保管棚に保管すること、又は素材蓄積用サーバに素材のデータを記憶することに相当するものである。また、ボイスオーバ工程２３では、映像にナレーション等の音声が挿入される。
【００２１】
撮影後処理段階３０は、収集した素材を編集して放送できる状態に仕上げる段階であり、図１においては、ＣＧ（Computer Graphics；コンピュータグラフィクス）作成工程３１及び本編集（Complete Edit；コンプリートエディット）工程３２が、この撮影後処理段階３０に相当する。
【００２２】
ＣＧ作成工程３１は、コンピュータグラフィクスにより映像を作成すること、及び映像に重ねて表示する地図，天気図，文字等を作成することである。また、本編集工程３２は、計画工程１１で決定された内容に基づいて、素材の編集を行うことである。
【００２３】
放送段階４０は、編集した素材をオンエア（放送）する段階であり、図１においては、クローズドキャプション（Closed Caption）工程４１，生中継（Live；ライブ）４２，オートメーション（Automation）工程４３及び放送工程４４が、この放送段階４０に相当する。
【００２４】
クローズドキャプション工程４１は、文字放送用の文字を作成する作業を示している。また、生中継４２は、ニュース番組の放送中に、中継をリアルタイムで放映する場合を示している。また、オートメーション工程４３は、コンピュータの制御によって、編集された素材，クローズドキャプション信号，及び生中継４２の映像データ等を混成して、放送用のニュース番組を自動的に生成する作業を示す。また、放送工程４４は、オートメーション工程４３で生成した放送用のニュース番組を送信することを示している。
【００２５】
保管段階５０は、映像データ及び音声データの保管を行う段階であり、図１においては、仮保管工程（Near Line Archive；ニアラインアーカイブ）５１及び保管工程（Archive；アーカイブ）５２が、この保管段階５０に相当する。
【００２６】
仮保管工程５１は、編集された素材の中で、近日中に再度使用される可能性があるものを仮に保管する場合を示す。また、保管工程５２は、素材を長期保管する場合を示す。
【００２７】
図１に示すＮＣＳ６０は、Newsroom Computer System（ニュースルームコンピュータシステム）を示し、ニュースルーム全体の情報を統括管理する場所である。ＮＣＳ６０では、オンエア項目の管理、及びどの素材がどの段階の処理を受けているか等の素材管理が行われているほか、他の放送局等との間における素材の売買等の管理も行われている。また、ＮＣＳ６０では、記者によって、当該ＮＣＳ６０に接続された端末から記事を書くことも行われる。
【００２８】
次に、上述のような作業の流れに基づいてニュース番組を制作する場合に、上述した各段階で入力されるメタデータの例を示す。メタデータのデータ構造等については後述する。
【００２９】
まず、計画工程１１において、放送項目の決定、中継車，取材機材，取材クルーの割り振り等が行われる。
【００３０】
計画工程１１では、ニュース番組の放送内容が検討され、検討されたニュース番組の内容に基づいたメタデータが入力される。このメタデータの例を図２に示す。計画工程１１で決定されるメタデータの例としては、撮影開始時間を表すGathering_Start_DateTimeと、撮影終了時間を表すGathering_End_DateTimeと、撮影地名を表すGathering_Location_Placeと、撮影者名を表すPhotographerと、記者に関する情報を表すJurnalist Informationと、ニュース番組のディレクターを表すDirectorと、ニュース番組のプロデューサを表すProducerと、ニュース取材題目を表すTitleと、撮影内容に関連するその他の情報が入力されるContentsと、ＮＣＳ（Newsroom Computer System）に登録されているニュース番組・放送項目毎に設定されたID（identifier：識別子）であるNCS ID等がある。
【００３１】
計画工程１１において、以上に例示したメタデータがＮＣＳ６０に備えられるメモリ等に書き込まれる。なお、計画工程１１で記述されたメタデータは、後述する段階で変更されて書き換えられる場合がある。
【００３２】
計画工程１１から取材工程２１に移行する過程で、取材工程２１の段階で取材を行う機器、即ち撮像装置等に対してメタデータが伝送される。ここで伝送されるメタデータの例を図３に示す。計画工程１１から取材工程２１に移行する過程とは、例えば中継車が取材場所に向かって移動する期間と考えることができる。
【００３３】
この過程において、計画工程１１の段階で検討されたニュース番組の内容に基づいて、図２に示したGathering_Start_DateTime，Gathering_End_DateTime，Gathering_Location_Place，Photographer，Jurnalist Information，Director，Producer，Title，Contents，及びNCS IDを表すメタデータが放送局から取材場所に移動する撮像装置に送信される。
【００３４】
取材工程２１の段階では取材が行われる。取材工程２１において使用される素材のデータを記録する撮像装置は、無線通信によりメタデータを受信し、当該撮像装置が備えるメモリに記憶する。撮像装置は、映像を撮影する際に、上述のメタデータをメモリから読み出して映像データ及び音声データとともに記録媒体に記録する。このとき撮像装置は、放送局より送信されたメタデータの他に、新たなメタデータを自動的に発生し、上述のメタデータとともに入力する。新たに入力されるメタデータの例を図４（ａ）に示す。
【００３５】
取材工程２１において新たに入力されるメタデータとしては、図３に示したメタデータに加えて、GPS（Grobal Positioning System ）で検出される位置情報を示すGathering_Location_Latitude（GPS緯度）・Gathering_Location_Longitude（GPS経度）・Gathering_Location_Altitude（GPS高度）と、GPSで検出される時間を示すGathering_Location_Time（GPS Time）と、取材場所の地名を表すGathering_Location_Place（地名）と、撮像装置毎のIDである機材IDと、レンズ情報等を示すCamera Setup Imformationと、記録媒体を識別するReel Numberと、撮影に要した時間を示すDuration（Time）と、各シーンの開始時間を示すSOM(Start Of Material)と、手動で入力されるマーク点に関するGood Shot Mark & REC Start Markと、マイクの割り当てを示すAudio Channel Informationと、音声の記録方法を示すAudio Typeと、素材を識別するためのUMID（Audio）及びUMID（Video）と、著作権を表すCopyright等が挙げられる。
【００３６】
以上のメタデータが記録媒体及び専用の記録サーバに対して入力される。取材工程２１の段階で生成及び変更された上述のメタデータは、ＮＣＳ６０に送信される場合もある。
【００３７】
取材工程２１において収集された素材は、素材蓄積工程２２の段階を経ることによって、使用の機会があるまで素材記録サーバに蓄積される。図４（ｂ）に素材蓄積工程２２において記録媒体に入力されるメタデータの例を示す。
【００３８】
素材蓄積工程２２では、図４（ａ）に例示したメタデータに加えて、素材データの供給元を表すSourceと、素材データの開始時間を表すSTC（Start Of Contents）と、データストリームの形式を示すFormatと、映像の圧縮率を示すVideo Bit Rateと、映像データがMPEG圧縮されている場合のピクチャグループを示すGOP(Group Of Pictures) Sizeと、解像度を表すResolutionと、音声データのチャンネル数を表すAudio Channel数と、音声データが圧縮されているか否かを表すAudio Compressionと、オーディオサンプリング周波数を表すAudio Sampling Rateと、音声データのサイズを表すAudio Date Sizeと、収録方法を示すREC_Typeと、既存の画像処理システムにおいて使用されている素材を識別するためのIDであるMaterial_IDと、編集した際に内容を変更したか否かを表すSub Keyと、素材データに関する情報を記述するUMID（Data）と、UMID(Audio)とUMID（Video）とを纏めたIDを表すUMID（System）と、素材の長さを時間で表すFile Lengthと、ファイル全体のサイズを表すEssence_Sizeと、映像データが静止画であるか否か、又は音声データか映像データかを示したObject Typeと、素材の有効期限を示すValid Date等が入力される。
【００３９】
図４（ａ）及び（ｂ）に示したメタデータは、記録媒体に画像データ及び音声データとともに記録されるほか、画像データ及び音声データから切り離され、ＮＣＳ６０等で管理される場合もある。
【００４０】
以上説明した計画工程１１，取材工程２１及び素材蓄積工程２２のそれぞれの段階で生成されて記録されたメタデータ及び素材データは、記者によって粗編集及び記事作成が行われる際に使用される。
【００４１】
図５（ｂ）に、記者によって粗編集及び記事作成等が行われる際に使用及び入力されるメタデータを例示する。図５（ａ）は、撮像装置において主に入力されるメタデータを示し、図５（ｂ）は、素材蓄積工程２２で主に入力されるメタデータを示している。これらに加え、更に新たなメタデータが入力される。
【００４２】
図５（ａ）及び（ｂ）に示すGathering_Start_DateTime，Gathering_End_DateTime，Gathering_Location_Place，Photographer，Jurnalist Information，Director，Producer，Title，Contents，NCS ID，Gathering_Location_Latitude（GPS緯度），Gathering_Location_Longitude（GPS経度），Gathering_Location_Altitude（GPS高度），Gathering_Location_Time（GPS Time），Gathering_Location_Place（地名），機材ID，Camera Setup Imformation，Reel Number，Duration（Time），SOM，Good Shot Mark & REC Start Mark，Audio Channel Information，Audio Type，UMID（Audio），UMID（Video），Copyright，Source，STC，Format，圧縮率（Video Bit Rate），GOP Size，Resolution，Audio Channel数，Audio Compression，Audio Sampling Rate，Audio Date Size，REC_Type，Material_ID，Sub Key，UMID（Data），UMID（System），File Length，Essence_Size，Object Type，Valid Dateの各メタデータは、計画工程１１，取材工程２１及び素材蓄積工程２２の各段階で入力されるものであり、これらメタデータは、粗編集において使用される。また、これらのメタデータの中には、粗編集によって書き換えられるメタデータもある。
【００４３】
記者によって行われる粗編集及び記事作成の段階で新たに入力されるメタデータとしては、編集内容に関する情報を表すEDL(Editing Decision List) Information，記事原稿を記述したScriptが挙げられる。
【００４４】
本編集工程３２では、計画工程１１で決定された内容に基づいて、ボイスオーバ工程２３からの素材と素材蓄積工程２２において記録サーバに蓄積されている素材とを使用して本編集が行われ、最終的に放送するニュース番組映像（以下、放送用素材と記す。）が制作される。また、このときＣＧ合成１５において作成されたＣＧ画像，保管工程５２及び仮保管工程５１にて保管された素材が使用される場合もある。図６（ａ）及び（ｂ）に、本編集が行われる際に使用されるメタデータを例示する。図６（ａ）は、撮像装置において主に入力されるメタデータを示し、図６（ｂ）は、素材蓄積工程２２で主に入力されるメタデータを示している。これらに加え、更に新たなメタデータが入力される、或いは内容が書き換えられる。
【００４５】
Gathering_Start_DateTime，Gathering_End_DateTime，Time Zone，Gathering_Location_Place，Photographer，Jurnalist Information，Director，Producer，Title，Contents，NCS ID，Gathering_Location_Latitude（GPS緯度），Gathering_Location_Longitude（GPS経度），Gathering_Location_Altitude（GPS高度），Gathering_Location_Time（GPS Time），Gathering_Location_Place（地名），機材ID，Camera Setup Imformation，Reel Number，Reel Number，Duration（Time），SOM，Good Shot Mark & REC Start Mark，Audio Channel Information，Audio Type，UMID（Audio），UMID（Video），Copyright，Source，STC，Format，圧縮率（Video Bit Rate），GOP Size，Resolution，Audio Channel数，Audio Compression，Audio Sampling Rate，Audio Date Size，REC_Type，Material_ID，Sub Key，UMID（Data），UMID（System），File Length（Time），Essence_Size（Byte），Object Type，Valid Date，EDL Information，Scriptの各メタデータは、計画工程１１，取材工程２１，素材蓄積工程２２及び記者による粗編集で生成・使用されるものである。これらのメタデータは、本編集工程３２において素材の編集を行う際に使用される。
【００４６】
これらのメタデータの中には、本編集によって書き換えられるメタデータもある。本編集工程３２では、主にEDL Information，Scriptを表すメタデータが、編集した内容に応じて書き換えられ、確定される。
【００４７】
一方、ＣＧ作成工程３１では、コンピュータグラフィクスにより映像に重ねて表示する天気図，地図，文字等が作成される。このときＣＧ合成画面は、位置情報を示すメタデータに基づいて自動的に作成される。この様子を図７に示す。
【００４８】
ここで使用されるメタデータには、例えば、取材工程２１段階で撮影装置によって入力されるGathering_Location_Latitude（GPS緯度），Gathering_Location_Longitude（GPS経度），Gathering_Location_Altitude（GPS高度），Gathering_Location_Time（GPS Time）等の位置情報を示すメタデータや、Script，Title等のメタデータがある。
【００４９】
素材に記録されたGathering_Location_Latitude（GPS緯度），Gathering_Location_Longitude（GPS経度），Gathering_Location_Altitude（GPS高度）のメタデータに基づいて、これらの位置情報に対応する地域の地図が、地図を記憶するデータベースから自動的に抽出される。また、Gathering_Location_Time（GPS Time）を参考にして、自動的に時間が表示される。
【００５０】
このように自動的に作成されたＣＧ合成画面は、編集用のＣＧ合成GUI（Graphical User Interface）において、編集者が自由に編集を行える。
【００５１】
続くオートメーション工程４３の段階では、編集された映像に加えて、クローズドキャプション工程４１で生成されたクローズドキャプション信号と、ＣＧ合成画面と、生中継４２からの中継映像が加えられて放送される映像データ，音声データ及びメタデータが合成される。
【００５２】
ここで映像及び音声データとともに合成されて送出されるメタデータは、計画工程１１，取材工程２１，素材蓄積工程２２，記者による粗編集，本編集工程３２において生成及び使用されたメタデータである。
【００５３】
特に、Gathering_Start_DateTime，Gathering_End_DateTime，Time Zone，Gathering_Location_Place，Photographer，Jurnalist Information，Director，Producer，Title，Contents，NCS ID，Gathering_Location_Latitude（GPS緯度），Gathering_Location_Longitude（GPS経度），Gathering_Location_Altitude（GPS高度），Gathering_Location_Time（GPS Time），Gathering_Location_Place（地名），機材ID，Camera Setup Imformation，Reel Number，Reel Number，Duration，SOM，Good Shot Mark & REC Start Mark，Audio Channel Information，Audio Type，UMID（Audio），UMID（Video），Copyrightが挙げられる。Source，STC，Format，圧縮率（Video Bit Rate），GOP Size，Resolution，Audio Channel数，Audio Compression，Audio Sampling Rate，Audio Date Size，REC_Type，Material_ID，Sub Key，UMID（Data），UMID（System），File Length，Essence_Size，Object Type，Valid Date，EDL Information，Scriptの各メタデータの中から放送用素材を受信する視聴者にとって必要とされるメタデータを抽出して送信することもできる。
【００５４】
オートメーション工程４３において、合成されたニュース番組は、放送段階４０において、オンエア（放送）される。
【００５５】
放送後の映像データ，音声データ及びメタデータは、仮保管工程５１の段階で一定期間仮保管され、その後、保管工程５２の段階で長期保管される。保管された素材は、保管用の記録装置等から適宜抽出され使用される。
【００５６】
このとき、メタデータとして記述されている素材の付加情報を素材を識別するための素材固有の識別子として使用することができる。また、メタデータとして入力されている付加情報を参照することによって、例えば編集者・記者等は、直ちに所望の素材を検索できる。
【００５７】
以上説明したような作業の流れに基づいて、画像処理を行う画像処理システムを、図８を用いて具体的に説明する。画像処理システム１は、素材（映像及び音声）の取材，編集，保管等を行う各装置を備えたものであり、各装置での処理工程で、素材を詳細に識別するための付加情報を記録媒体、或いは専用の記録サーバに入力するものである。ここでは、特にニュース番組を制作する場合について示す。
【００５８】
画像処理システム１は、映像及び音声を映像データ及び音声データとして記録媒体に記録する撮像装置１０１と、後述の基地局を介して付加情報を入力し、撮像装置１０１へとこれを送信する携帯型電話機１０２と、基地局へ付加情報を送信するデータ管理装置１０３と、データ管理装置１０３から携帯型電話機１０２へ送信されるデータを中継する基地局１０４とを備える。
【００５９】
また、画像処理システム１は、映像データ及び音声データの記録及び／又は再生が行われる記録媒体を内部に有する記録媒体筐体１０５と、記録媒体に記録されたデータの再生を行う記録再生装置１０６と、記録再生装置１０６における操作及び再生される映像等を表示するモニタ１０７と、再生された映像データ及び音声データを一時的に蓄積する素材蓄積装置１０８と、素材の編集を行う編集装置１０９と、編集装置１０９における操作及び編集画像を表示するモニタ１１０とを備える。
【００６０】
また、画像処理システム１は、当該システムにおける素材管理等を行う統合管理装置１１１と、記者等が素材に対しての情報を入力する記者用端末１１２と、他のネットワークに接続されて情報の入出力を行う入出力端末１１３とを備える。
【００６１】
また、画像処理システム１は、制作された放送用素材を保管する保管用記録装置１１４と、放送用素材の時間軸とは関係のない情報を生成して付加するオーサリング端末１１５と、オーサリング端末１１５で生成された情報に配信のための配信用データを付加するメディアキャスタ１１６と、編集装置１０９によって編集された放送用素材と、時間軸とは関係のない情報と、配信用データとを混成するマルチプレクサ１１７と、送出用の放送用素材を一時的に記録する送出用映像音声記録装置１１８と、マルチプレクサ１１７によって生成された放送用素材を送出する送出部１１９と、送出部１１９から送出される放送用素材を受信するためのセットトップボックス１２０と、放送用素材を受信して表示するテレビジョン受像機１２１とを備える。
【００６２】
更に、画像処理システム１は、撮像装置１０１，素材蓄積装置１０８，編集装置１０９，保管用記録装置１１４の各装置において素材の撮影，蓄積，編集，保管等を行った際に、素材に関する付加情報を示したメタデータを、映像データ及び音声データ（以下、素材データと記す。）とともに入力することによって、素材を明確に識別することを可能としたものである。
【００６３】
図９乃至図１１に、付加情報として入力されるメタデータの具体例を示す。図９乃至図１１は、便宜上分割して示すが、これらは一連の図である。
【００６４】
図９乃至図１１に、「F」，「T」，「Sh」，「Sc」，「M」，「P」の記号として示される周期とは、メタデータの変更周期を表している。即ち、「F」（Frame）は、1/30秒毎に連続的に撮影される映像の１コマ周期で変更されるメタデータである「T」（Take）は、テイク毎に変更されるメタデータである。「Sh」（Shot）は、ショット周期で変更されるメタデータである。「Sc」（Scene）は、シーン周期で変更されるメタデータである「M」（Media）は、記録媒体毎に決められたメタデータである。「P」（Project）は、ニュース番組毎に決められたメタデータである。
【００６５】
図９乃至図１１には他に、メタデータを説明する日本語表記と英語表記とが示されている。また、SMPTE（Society of Motion Picture and Television Engineers,Inc）によって既に規定されているメタデータは、SMPTE Dictionaryの欄に「07 01 05 02 04 00 00 00」のように実際の値を示している。
【００６６】
図９乃至図１１に示したメタデータを具体的に説明する。
【００６７】
Gathering_Location_Latitudeは、GPS（Grobal Positioning System ）で検出される緯度を表すメタデータであり、Gathering_Location_Longitudeは、GPSで検出される経度を表すメタデータであり、Gathering_Location_Altitudeは、GPSで検出される高度を表すメタデータであり、Gathering_Location_Timeは、GPSで検出される時間を表すメタデータである。これらのGPSによる位置情報は、撮像装置１０１が備えるGPS受信部１３８から随時発生されている。また、GPSで検出される時間情報は、UTC（Coordinated Universal Time;調整済グリニジ平均時）によって表されており、UTCからの時差を表すTime Zone情報を含んで示されている。例えば日本の場合、UTCとの時差は９時間であるため、+9を示す情報が含まれている。
【００６８】
Gathering_Location_Placeは、取材場所の地名を表すメタデータである。
【００６９】
UMID（Audio）及びUMID（Video）は、素材を識別するために付される全世界で唯一になるように決められたIDである。UMIDについての詳細は後述する。
【００７０】
UMID（Data）は、素材データに関する情報を記述するためのメタデータであるが、取材時に撮像装置によって記述されるUMID（Audio），UMID（Video）とは異なり、映像データが静止画であるか，グラフィックであるか，クローズドキャプション信号であるか、音声データがMIDI（Musical Instrument Digital Interface）であるか等を表すIDである。
【００７１】
UMID（System）は、ある素材に対して付されるUMID(Audio)とUMID（Video）とを纏めたIDを表している。
【００７２】
Photographerは、撮影者の名前を表すメタデータである。Jurnalist Informationは、取材を担当する記者に関する情報が書き込まれるメタデータである。 Directorは、ニュース番組のディレクターを表すメタデータである。
【００７３】
Good Shot Mark & REC Start Markは、撮影の際、手動で入力されるマーク点に関するメタデータである。
【００７４】
Camera Setup Imformationは、例えば撮像装置が備えるCCD（Charge Coupled Device）の設定情報，レンズメーカ・絞り値・レンズ倍率等を記述するレンズデータ，及びクレーン角度等を含むメタデータである。Camera Setup Imformationは、特にＣＧ合成１５の段階で必要となる。
【００７５】
機材IDは、取材に使用する撮像装置を表すメタデータであり、撮像装置毎に固有の識別ナンバを有する。
【００７６】
Take Numberは、テイク周期で変更されるメタデータである。
【００７７】
素材開始タイムコード（Start Of Material）は、各シーンの開始時間を示すメタデータである。
【００７８】
Contentsは、撮影内容に関連するその他の情報が入力されるメタデータである。
【００７９】
Valid Dateは、素材の有効期限を示すメタデータである。
【００８０】
Audio Channel Informationは、マイクチャンネルインフォメーションを示すメタデータである。Audio Channel Informationは、例えば１チャンネルがレポータマイクに割り当てられ、２チャンネルが相手マイクに割り当てられている等のマイク情報が記述されている。
【００８１】
Audio Typeは、音声の記録がモノラルか、ステレオか、バイリンガルかを示すメタデータである。
【００８２】
Sourceは、記録サーバに供給される素材が、記録媒体等に記録されて直接放送局に持ち込まれたものであるか、衛星通信，無線通信等によって取材場所から送信されたものであるか、或いは他の放送局から配信されたものであるか等の映像データの供給源を表すメタデータである。
【００８３】
Formatは、DVフォーマットであるか，MPEG_MP@MLフォーマットであるか，MPEG_4:2:2P@MLフォーマットであるか等のデータストリームの形式を示すメタデータである。
【００８４】
Video Bit Rateは、映像の圧縮率を示すメタデータである。
【００８５】
Audio Number of Channelは、オーディオデータのチャンネル数を表すメタデータである。Audio Compressionは、オーディオデータが圧縮されているか否かを表すメタデータである。
【００８６】
Audio Compressionは、オーディオデータの圧縮率を表すメタデータである。
【００８７】
Audio Sampling Rateは、オーディオサンプリング周波数を表すメタデータである。
【００８８】
Audio Date Sizeは、オーディオデータのサイズを時間、或いはバイト数によって表示するメタデータである。
【００８９】
REC_Typeは、Auto，Manual，GPI，Endress，Open End等の収録方法を示すメタデータである。
【００９０】
Material_IDは、既存の画像処理システムにおいて使用されている素材を識別するためのIDである。即ち、Material IDは、UMIDに相当するものであり、記述されない場合もある。
【００９１】
Sub Keyは、Version，Segment，Revision等を示すメタデータであり、素材に対して、数回の編集等を施す間に変形したか否か等を示すものである。
【００９２】
File Length（Time）は、素材の長さを時間で表すためのメタデータである。
【００９３】
Gathering_Start_DateTimeは、撮影を開始する時間を表すメタデータであり、UTCによって表される。Gathering_End_DateTimeは、同様にUTCで表され、撮影終了時間を表すメタデータである。これらの時間データは、UTCからの時差を表すTime Zone情報を含んでいる。
【００９４】
REC_Start_DateTimeは、編集装置１０９において、放送用素材を制作する際の編集開始時間をUTCで表したメタデータである。また、REC_End_DateTimeは、編集の終了時間をUTCで表したメタデータである。これらの時間情報には、UTCからの時差を表すTime Zone情報が含まれている。
【００９５】
Recording_Operatorは、編集装置１０９において編集を行ったオペレータの情報を表すメタデータである。
【００９６】
File_Ownerは、撮影者等、素材データの所有権情報を表すメタデータである。
【００９７】
Shot Numberは、ショット周期で変更されるメタデータである。
【００９８】
Duration（Time）は、撮影に要した時間を示すメタデータである。
【００９９】
GOP Sizeは、映像がMPEG形式によって圧縮されている場合、その圧縮率を示すメタデータである。
【０１００】
Resolutionは、720*512，720*480，544*480，480*480，352*480等の解像度を表すメタデータである。
【０１０１】
Essence_Size（Byte）は、映像及び音声データを含むファイル全体のサイズをバイト数によって表したメタデータであり、時間によって表示する場合もある。
【０１０２】
Object Type（Still,Audio,Video,Key Source）は、映像データが静止画であるか否かを示すStill，オーディオデータであるか映像データであるかを示すAudio及びVideo，テロップ用の指示を示すKey Source等のデータを含むメタデータである。
【０１０３】
Index，Index_Type，Index_Memoは、検索を行うためのメタデータである。
【０１０４】
Scene Numberは、シーン周期で変更されるメタデータである。
【０１０５】
Recording Terminal，REC Portは、収録を行った端末に関する情報を表すメタデータである。
【０１０６】
Reel Numberは、映像データが記録される記録媒体を識別するためのメタデータであり、同じテープであっても撮像装置から出し入れする毎に異なるNumberとして生成される。
【０１０７】
Copyrightは、撮影されて記録された映像データの著作権を示すメタデータであり、個人名、或いは放送局名等が入力されるようになっている。
【０１０８】
Modified_DateTimeは、編集装置１０９において編集された放送用素材に変更が加えられた日付を示すメタデータであり、OnAir_DateTimeは、放送用素材がオンエアされた日付を示すメタデータであり、Archive_DateTimeは、放送用素材が保管された日付を示すメタデータである。これらは、Time Zone情報を含むUTCによって表される。
【０１０９】
Producerは、ニュース番組のプロデューサを表すメタデータである。
【０１１０】
Archive_Operatorは、放送用素材の保管を行ったオペレーターの情報を表すメタデータである。
【０１１１】
Titleは、撮影題目、或いは取材する内容（素材の内容）を使用する番組名を表すメタデータである。
【０１１２】
Archive Terminalは、放送用素材の保管を行った端末に関する情報を表すメタデータである。
【０１１３】
NCS IDは、ＮＣＳ（Newsroom Computer System）に登録されているニュース番組項目・番組毎に設定されたID（identifier：識別子）である。ただしNCS IDは、ＮＣＳ６０にアクセスするためのIDを示すものではない。
【０１１４】
EDL Informationは、編集内容に関するメタデータである。具体的には、使用する映像データのイン点，アウト点等が、時間又はReel Numberによって示されたものであり、編集点リストとして記述されている。また、Scriptは、主として読み原稿の内容を示すメタデータである。
【０１１５】
OnAir_Flagは、編集された放送用素材が、オンエアされたか否かを表すメタデータであり、OnAir_Counterは、何回オンエアされたかを表すメタデータである。
【０１１６】
Archive_Flagは、取材によって収集した素材が、保管されたか否かを表すメタデータである。
【０１１７】
Compile_Flagは、一旦保管されている素材を再度整理し、消去するか否かの処理を行った際に、再度記録し直されたことを表すメタデータである。
【０１１８】
Distribution_Flagは、放送用素材が自局以外の放送局から送出されたか否かを表すメタデータである。素材の売買を行った際にもその情報が記述される。
【０１１９】
File_Status_Bitは、素材蓄積装置１０８及び編集装置１０９における素材の状態を表すメタデータである。
【０１２０】
以上のようなメタデータを各装置における処理工程で入力することにより、素材の状態，素材にかかる付加情報によって、素材を明確に識別することが可能となる。
【０１２１】
画像処理システム１において、映像データ，音声データ及びメタデータを伝送するための伝送フォーマットとしては、SMPTE（Society of Motion Picture and Television Engineers,Inc）によって規格化されているデジタルデータ伝送フォーマットであるSDI（Serial Digital Interface ）を使用する。図１２（ａ）に、SDIフォーマットデータ全体の構成を示す。
【０１２２】
SDIフォーマットは、終了同期を示す４ドットのEAV（End of Video）領域と、２６８ドットのアンシラリ（Ancillary;ANS）領域と、開始同期を示す４ドットのSAV（Start of Video）領域と、１４４０ドットのアクティブビデオ領域とを有し、ライン数５２５で構成されている。ただし、括弧内の数字は、PAL（Phase Alternation Line）方式で定義される値を示している。
【０１２３】
アクティブビデオ領域は、９ラインの垂直ブランキング部（VBK1）と、１０ラインのオプショナルブランキング部（OBK1）と、２４４ラインのアクティブビデオ部(ACV1)と、９ラインの垂直ブランキング部（VBK2）と、１０ラインのオプショナルブランキング部（OBK2）と、２４３ラインのアクティブビデオ領域（ACV2）とを有する。
【０１２４】
SDIは、いわゆるD1フォーマット，D2フォーマットのような非圧縮デジタルデータを伝送するためのフォーマットであり、アンシラリ領域に音声データを格納し、アクティブビデオ領域にD1やD2のようなビデオデータを格納して伝送している。SDIフォーマットにおいて、メタデータは、アンシラリ領域に挿入されて伝送される。
【０１２５】
図１２（ｂ）は、SDIフォーマットの１ラインを示したものである。伝送される際には、１ライン１０ビット幅のデータがパラレル―シリアル変換及び伝送路符号化されて伝送される。
【０１２６】
また、画像処理システム１において映像データ、音声データ及びメタデータを伝送するための伝送フォーマットとしては、上述のSDIフォーマットのほか、MPEG方式，DV方式等で圧縮された圧縮データを伝送するためのSDTI（Serial Digital Transfer Interface）フォーマットや、SDTIフォーマットを更に限定したSDTI-CP（Serial Digital Transfer Interface - Content Package）フォーマットを用いても良い。
【０１２７】
図１３（ａ）に、SDTIフォーマットのデータ構造を示す。SDTIフォーマットは、SDIフォーマットと同様に、終了同期を示す４ドットのEAV（End of Video）領域と、２６８ドットのアンシラリ（Ancillary;ANC）領域と、開始同期を示す４ドットのSAV（Start of Video）領域とを有しているが、SDIフォーマットにおいてライン数５２５で構成されるアクティブビデオ領域が、ペイロード領域と定義されている。ただし、括弧内の数字は、PAL（Phase Alternation Line）方式で定義される値を示している。
【０１２８】
SDTIフォーマットにおいてペイロード領域は、ブランクデータ部（BDT1、BDT2）と、データ部（DT1、DT2)とを有するが、各データ部のライン数は定義されていない。
【０１２９】
図１３（ｂ）は、SDTIフォーマットの１ラインを示したものである。SDTIフォーマットで伝送される際には、１ライン１０ビット幅のデータがパラレル―シリアル変換及び伝送路符号化されて伝送される。
【０１３０】
SDTIフォーマットでは、アンシラリ領域に、送信元アドレス、宛先アドレス、ラインナンバCRC等が挿入される５３ワードのSDTIヘッダデータが含まれている。SDTIフォーマットにおいてメタデータは、アンシラリ領域のSDTIヘッダデータを除いた部分の領域に挿入される。
【０１３１】
図１４に、SDTI-CPフォーマットのデータ構造を示す。SDTI-CPにおけるパケット構成は、SDTIフォーマットを更に限定したものであり、ペイロードの構成に変更を加えて各種データが挿入しやすいようにされている。
【０１３２】
SDTI-CPフォーマットによって伝送されるデータは、MPEG(Moving Picture Expert Group)2 Video Elementary Stream 等を含むほか、音声やメタデータを含む補助データ等の種々のデータをまとめて伝送することができる。
【０１３３】
ペイロードに挿入するデータは、「アイテム」で区切られ、各種データは、各アイテムに挿入されている。具体的に、アイテムには、System Item、Picture Item、Audio Item、Auxiliary Itemの４種類がある。
【０１３４】
System Itemは、System Item Bitmap, Content Package rate,SMPTE Universal Label,Package Metadata Set,Picture Metadata Set,Audio Metadata Set,Auxiliary Metadata Set等の領域を有している。
【０１３５】
SDTI-CPフォーマットにおいてメタデータは、System ItemのPackage Metadata Set,Picture Metadata Set,Audio Metadata Set,Auxiliary Metadata Set領域に挿入されて伝送される。
【０１３６】
メタデータは、映像データ及び音声データ等の素材を識別するために付加され、入力される固有のデータであって、SMPTE規格に基づくＫＬＶ（Key Length Value）プロトコル及びUMID（Unique Material Identifier）のデータフォーマットによって伝送される。
【０１３７】
ＫＬＶフォーマットとは、Universal Label Dataを記述する１６バイトのUniversal Label Data Keyと、Value領域に格納されるメタデータのデータ長を示すValue Lengthと、SMPTE Dictionaryに対応する実際のメタデータが格納されるValueの３つの領域を備えたデータ伝送フォーマットである。図１５にＫＬＶフォーマットを示す。
【０１３８】
Universal Label Data Keyは、格納されるメタデータに対してユニークなラベリングを施すためのデータ領域である。Universal Label Data Keyは、更に、それぞれ１バイトのObject IDと、UL(Universal Label) Sizeとを含むUL(Unibersal Label) Header領域，それぞれ１バイトのUL(Universal Label) Codeと、SMPTE Designと、Registry Designと、Data Designと、Reference Versionとを含むUL(Universal Label) Designatores領域，９バイトのData Element Tag領域の各領域に分けられてる。
【０１３９】
UMIDは、映像データ，オーディオ（音声）データ及びその他の素材データを識別するために唯一的に決定される識別子である。図１６にUMIDのデータ構造を示す。
【０１４０】
UMIDは、一連の映像、音声及びメタデータ（以下、コンテンツと記す。）から構成される素材データを識別するためのIDとしてのBasic UMIDと、素材データ内の各コンテンツを識別するためのシグネイチャとしてのExtended UMIDとから構成されている。
【０１４１】
Basic UMIDは、３２バイトのデータ領域を有し、１２バイトのUniversal Label領域と、１バイトのLength Value領域と、３バイトのInstance Number領域と、１６バイトで示されるMaterial Number領域とから構成されている。
【０１４２】
Universal Label領域は、デジタルデータを識別するための符号が格納しており、詳細は、SMPTE-298Mにおいて規格化されている。Length Value領域は、UMIDの長さを示す。Basic UMIDと、Extended UMIDとでは符号の長さは異なるため、Basic UMIDの場合、13hで示され、Extended UMIDの場合、33hで示される。Instance Number領域は、素材データに上書き処理や、編集処理が施されたか否かを示している。Material Number領域は、３つの領域を有し、素材データを区別するための符号が格納される。
【０１４３】
４バイトで示されるTime Snapは、１日のスナップクロックサンプル数を示している。クロック単位で素材データの作成時刻等を示すものである。８バイトのRnd（Random Number）は、正確でない時刻をセットした場合や、例えばIEEE（The Institute of Electrical and Electronics Engineers,Inc.）で定義された機器のネットワークアドレスが変化した場合に、２重の番号が付されないようにするためのランダムナンバである。
【０１４４】
一方、Extended UMIDは、素材が生成された時間と日付とを識別するための８バイトのTime/Date Codeと、素材が生成された時間に関する補正（時差情報）や、緯度、経度、高度で表される位置情報を定義する１２バイトのSpatial Co-oredinatesと、省略されたアルファベット等の文字や記号によって、国名４を定義するバイトのAlphnumeric Code（Country）と、省略されたアルファベット等の文字や記号によって、組織名を定義する４バイトのAlphnumeric Code（Organization）と、素材を生成したユーザ名を定義する４バイトのAlphnumeric Code（User）とで構成されている。
【０１４５】
以上説明したBasic UMID及びExtended UMIDは、映像サイズ、ジェネレーションナンバ等を示すメタデータは含まない。特に、Material Numberは、素材の状態や素材の映像に関する他の情報を示すものではない。映像サイズ、ジェネレーションナンバ等を示すメタデータは、ＫＬＶフォーマットに基づいて伝送される。
【０１４６】
上述の画像処理システム１における撮像装置１０１，携帯型電話機１０２，データ管理装置１０３，基地局１０４について、図１７を用いて詳細に説明する。
【０１４７】
撮像装置１０１は、素材管理装置１０８と接続されたデータ管理装置１０３から、基地局１０４及び携帯型電話機１０２を介して、メタデータを受信するものである。したがって、これらの装置間でのデータの伝送は、図１における計画工程１１から取材１２へと移行する過程において、移動する撮像装置１０１が、放送局からメタデータを送信される場合に相当する。
【０１４８】
撮像装置１０１は、デジタルビデオカメラであって、映像及び音声を入力する画像音声入力部１３１と、撮像装置１０１の操作及びメタデータの入力等を行うための操作部１３２と、後述するマイクロコンピュータ１４０のＯＳ（Operating System）等が記録されるＨＤＤ（Hard Disk Drive）１３３と、記録媒体１０５に対して少なくとも映像及び音声を記録する記録部１３４と、映像及び音声データと他のデータとを多重化するマルチプレクサ１３５と、主としてメタデータを記憶するメモリ１３６と、携帯型電話機１０２との間の無線インターフェイスであるブルートゥースデバイス１３７と、ＧＰＳ（Global Positioning System）信号を受信して位置情報を検出するＧＰＳ受信部１３８と、ＧＰＳ信号を受信するためのアンテナ１３９と、上述の各構成を統括して制御するマイクロコンピュータ１４０とを少なくとも備えている。
【０１４９】
画像音声入力部１３１は、図示しないがＣＣＤ（Charge Coupled Device）等の撮像するための回路や，マイクロフォン等の録音のための回路を有し、マイクロコンピュータ１４０からの指示に基づいて、入力された映像及び音声を映像データ及び音声データに変換してマルチプレクサ１３５に供給する。
【０１５０】
操作部１３２は、図示しない各種ボタン，スイッチを有し、撮像装置１０１の操作、及び必要に応じてメタデータが入力される。
【０１５１】
ＨＤＤ１３３には、マイクロコンピュータ１４０のＯＳ（Operating System）や、携帯型電話機１０２を制御するソフトウェア等が記録されており、マイクロコンピュータ１４０が適宜これらのデータを読み込んで使用する。また、ＨＤＤ１３３は、マイクロコンピュータ１４０によってデータが書き込まれる。
【０１５２】
記録部１３４は、図示しないが記録媒体に映像データ，音声データ及びメタデータを記録及び／又は再生する記録再生ヘッド等を有し、マイクロコンピュータ１４０により制御されてマルチプレクサ１３５から供給された映像データを記録媒体に記録する。また、記録部１３４は、マイクロコンピュータ１４０からの指示に基づいて、記録媒体に記述されるメタデータを検出し、マイクロコンピュータ１４０に供給する。
【０１５３】
マルチプレクサ１３５は、マイクロコンピュータ１４０により制御され、映像音声入力部１３１から供給される映像データと、マイクロコンピュータ１４０から供給されるメタデータとを多重化し、記録部１３４へと供給する。
【０１５４】
メモリ１３６は、消去及び書込が可能な、いわゆるＥＰＲＯＭ（Erasable and Programmable ROM）であって、マイクロコンピュータ１４０からの指示に基づいて、データ管理装置１０３から供給されるメタデータを記憶する。またメモリ１３６は、マイクロコンピュータ１４０から指示に基づいて、記憶しているメタデータをマルチプレクサ１３５へと供給する。
【０１５５】
ブルートゥースデバイス１３７は、携帯型電話機１０２との間の無線インターフェイスとして使用されるものであり、マイクロコンピュータ１４０に制御されて、データ管理装置から供給されるメタデータを、携帯型電話機１０２を介して受信する。また、ブルートゥースデバイス１３７は、マイクロコンピュータ１４０より出力されるテープ位置情報を携帯型電話機１０２を介してデータ管理装置に供給する。
【０１５６】
ブルートゥースとは、Ericsson社（スウェーデン）が標準化している２．４GHz帯域の電波を使用した近距離無線通信であり、最大転送速度は、１Mbit/sec、変調方式は、ＧＦＳＫ（Gaussian Frequency Shift Keying）とされている。ブルートゥースの最大伝送距離は、10ｍ（出力：1mW）と、100ｍ（出力：100mW）とがあり、これらは用途により使い分けることができる。
【０１５７】
ＧＰＳ受信部１３８は、アンテナ１３９を介してＧＰＳ信号を受信し、撮像装置１０１の位置情報を検出している。位置情報は、緯度，経度，高度等として表される。
【０１５８】
マイクロコンピュータ１４０は、図示しないがＣＰＵ（Central Processing Unit），ＲＡＭ（Random-Access Memory），及びＲＯＭ（Read Only Memory）を内蔵し、上述の各構成を統括して制御するほか、操作部１３２からの信号に対応してデジタルビデオカメラ全体の動作の制御を行う。また、撮影に関する種々のメタデータを生成する。
【０１５９】
一方、データ管理装置１０３は、例えば電話回線網等に接続されて統合管理装置１１１と通信が可能なコンピュータであり、例えば撮像装置１０１を使用して撮影を行う撮影者が所属する放送局等に設置されているものである。データ管理装置１０３に備えられるマイクロコンピュータ１４１は、データ管理装置１０３の全体の動作を統括して制御している。マイクロコンピュータ１４１は、通信部１４２を制御して、携帯型電話機１０２を介して撮像装置１０１からの信号を受信すると、携帯型電話機１０２の電話番号を識別して、発信元となっている携帯型電話機１０２を所有する撮影者が使用している撮像装置１０１を認識する。データ管理装置１０３は、認識した撮像装置１０１に対応するメタデータを携帯型電話機１０２へと送信する。
【０１６０】
送信される個々の撮像装置１０１に対応するメタデータは、予め図８に示す統合管理装置１１１等において入力され、例えば、統合管理装置１１１に備えられる図示しないＨＤＤに蓄積されている。
【０１６１】
図８に示す記録再生装置１０６は、映像データ及び音声データを、少なくとも再生することが可能な装置であり、特にデジタルビデオテープレコーダである。図１８を用いて、記録再生装置１０６の構成を説明する。
【０１６２】
記録再生装置１０６は、SDIフォーマットで供給される映像データ，音声データ及びメタデータを入力する入力端子１５１と、映像データ，音声データ及びメタデータをSDIフォーマットで外部に出力する出力端子１５２と、SDIフォーマットで入力されたデータから映像データ，音声データ及びメタデータを抽出する入力処理部１５３と、データの圧縮符号化、及び復号（伸張）処理を行う圧縮符号化／復号部１５４と、当該圧縮符号化／復号部１５４において復号された信号をSDIフォーマットへと変換して出力端子１５２へと供給する出力処理部１５５とを備えている。
【０１６３】
ここで、圧縮符号化／復号部１５４は、離散コサイン変換を用いた圧縮符号化処理を行っている。
【０１６４】
記録再生装置１０６は、更に、圧縮符号化／復号部１５４によって圧縮符号化された信号に対してエラー訂正コードの付加を行うとともに、記録媒体から再生して得られた信号に対してエラー訂正処理を行って映像信号符号化／復号部１５４に出力するエラー訂正処理部１５６と、エラー訂正処理部１５６によってエラー訂正コードが付加された信号に対して、記録媒体に記録するのに適した符号化処理を行うとともに、この符号化処理に対応する復号処理を記録媒体から再生した映像信号に対して行ってエラー訂正処理部１５６に出力するチャネルコーディング部１５７と、このチャネルコーディング部１５７によって符号化された信号を、記録媒体に記録するとともに、記録媒体に記録された信号を再生してチャネルコーディング部１５７へと出力する記録再生部１５８とを備えている。
【０１６５】
記録再生装置１０６は、更に、記録媒体筐体１０５のローディング及び記録再生部１５８の駆動を行う機構部１５９と、使用者が各種の操作を行うための操作部１６０と、記録媒体筐体１０５に備えられた不揮発性メモリ１０５ａの端子１０５ｂと接続される端子１６２と、圧縮符号化／復号部１５４，エラー訂正処理部１５６，チャネルコーディング部１５７，機構部１５９，操作部１６０及び端子１６１に接続されたコントローラ１６２とを備えている。
【０１６６】
記録再生装置１０６において、操作部１６０には、詳細は図示しないが、所定の指示を行うための複数のスイッチが備えられている。複数のスイッチには、各シーン又はテイクにおける有効領域の開始点（マークイン点）を指示するスイッチ，有効領域の終了点（マークアウト点）を指示するスイッチ，各シーン又はテイクに対するＯＫ，ＮＧ（No Good）を指示するスイッチ，テイク番号を指示するテイクスイッチ等、及びその他のメタデータの入力を行うスイッチが備えられている。
【０１６７】
記録再生装置１０６におけるコントローラ１６２は、図示しないがＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory），入出力部等で構成され、ＲＡＭを作業領域として、ＲＯＭに格納されたプログラムを実行することによって、タイムコード信号に基づいて記録再生装置１０６全体の作業を統括して制御している。
【０１６８】
上述した記録再生装置１０６では、記録媒体に記録された映像データを再生する際や、再生された映像データを素材蓄積装置１０８へと記録する際に、操作部１６１からの操作によって、必要に応じてマークイン点，マークアウト点，及びその他のメタデータ等の付加情報を入力することができるようになっている。これらの付加情報は、不揮発性メモリ１０５ａ及び記録媒体に記録される映像データとともに記録されるようになっている。
【０１６９】
図８に示す素材蓄積装置１０８は、記録再生装置１０６から再生された映像データ，音声データ及びメタデータ等の付加情報を一時的に蓄積する記憶装置である。図１９を用いて、素材蓄積装置１０８の構成を説明する。図１９において実線は、映像データ，音声データ及びメタデータが伝送されることを示し、破線は、制御信号の流れを示している。
【０１７０】
素材蓄積装置１０８は、SDIフォーマットによって伝送される映像データ，音声データ及びメタデータを入力して分離する入力処理部１７１と、映像データ及び音声データを符号化するエンコーダ（ＥＮＣ）１７２と、映像データ，音声データ及びメタデータ等の付加情報を記録する記録部１７３と、上述のエンコーダに対応する復号を行うデコーダ（ＤＥＣ）１７４と、復号した映像データ及び音声データとメタデータとをSDIフォーマットで出力する出力処理部１７５と、各部を統括して制御するコントローラ１７６とを備える。
【０１７１】
入力処理部１７１は、コントローラ１７６に制御されて、SDIフォーマットで入力されるデータから、映像データ，音声データ及びメタデータを抽出し、映像データ及び音声データをエンコーダ１７２へと供給する。また、抽出したメタデータをコントローラへと供給する。
【０１７２】
エンコーダ１７２は、コントローラ１７６に制御されて、入力処理部１７１から入力した映像データ及び音声データを、フレーム間相関にて圧縮するMPEG方式や、フレーム内圧縮であるDV，JPEG方式で符号化して、符号化して得られた信号を記録部１７３へと供給する。
【０１７３】
記録部１７３は、例えばＨＤＤ（Hard Disk Drive）等の記録媒体であって、映像データ，音声データ及びメタデータ等の付加情報を記録する。記録部１７３は、エンコーダ１７２において符号化された圧縮ストリームを入力し、記録する。また、コントローラ１７６から供給されるメタデータ等の付加情報を入力して記録する。このような記録部１７３は、映像データ及び音声データ等のＡ／Ｖ（Audio/Video）データを記録するためのＡ／Ｖデータ記録部と、メタデータ等の付加情報を記録するための付加情報記録部とを有していても良い。
【０１７４】
デコーダ１７４は、コントローラ１７６に制御されて、エンコーダ１７２において符号化されたデータに対して、エンコーダ１７２における符号化に対応した復号処理を行って、出力処理部１７５へと供給する。
【０１７５】
出力処理部１７５は、コントローラ１７６に制御されて、デコーダ１７４において復号された映像データ及び音声データとコントローラ１７６からのメタデータとを入力し、これらデータをSDIフォーマットへと変換して出力する。
【０１７６】
コントローラ１７６は、図示しないがＣＰＵ，ＲＯＭ，ＲＡＭ，入出力部，メモリ等で構成され、ＲＡＭを作業領域として、ＲＯＭに格納されたプログラムを実行することによって、素材蓄積装置１０８全体の作業を統括して制御している。
【０１７７】
また、コントローラ１７６は、入力処理部１７１から供給されるメタデータを管理し、必要に応じてメタデータの内容を変更したり、新たなメタデータの生成を行う。コントローラ１７６は、メタデータを出力処理部１７５へと送る。
【０１７８】
図８に示す編集装置１０９は、映像データ及び音声データ（素材データ）を編集するための編集装置であって、メタデータとして付加されている素材に関する情報に基づいて素材の編集を行うことが可能なものである。図２０に編集装置１０９の構成を説明する。
【０１７９】
編集装置１０９は、各種編集のための操作入力を行う入力操作部１８１と、SDIフォーマットで伝送される素材データを入力する入力処理部１８２と、映像データ、音声データ及びメタデータを記録する記録部１８３と、音声データを加工する音声ミキサ１８４と、映像データに特殊効果処理を施す特殊効果処理部１８５と、映像データ，音声データ及びメタデータをSDIフォーマットで出力する出力処理部１８６と、各部を統括して制御する制御部１８７と、編集結果をメタデータとして記憶するメモリ１８８とを備えている。
【０１８０】
入力操作部１８１は、当該編集装置１０９に接続されたモニタに表示されたGUI（Graphical User Interface）等から素材の編集を行うためのマウスやキーボードを示している。入力操作部１８１から、各種編集のための操作、及び記事原稿の作成、ＣＧ合成画面の編集等が行われる。入力操作は、入力操作部１８１によって行われるほか、図８に示す統合管理装置１１１から行うことも可能である。
【０１８１】
入力処理部１８２は、制御部１８７に制御されて、SMPTEにおいて規格化されているSDIフォーマットで伝送された素材蓄積装置１０８からのデータを入力し、このデータから映像データ，音声データ及びメタデータを抽出して後述の記録部１８３へと供給する。このとき抽出された各データのうち、映像データ及び音声データは、図示しない圧縮処理部において、フレーム間相関を利用したMPEG方式、或いはフレーム内圧縮であるJPEG方式及びDV方式等で圧縮されるようになっていてもよい。また、入力処理部１８２は、メタデータに基づいて、図示しない記録サーバから、地図等のＣＧ画面を抽出する。
【０１８２】
記録部１８３は、HDD（Hard Disk Drive）や、複数のHDDから構成されるRAID（Reduntant Array of Inexpensive Disks）のような記録媒体であり、入力処理部１８２からの映像データ，音声データ及びメタデータを記録する。
【０１８３】
音声ミキサ１８４は、記録部１８３から複数チャンネルの入力系統によって供給される複数の音声データを同時に入力することができ、例えば、一方の音声データの音声レベルを徐々に下げ、他方の音声データへとなめらかに移行する等のように音声データの加工を行うものである。音声ミキサ１８４は、加工された音声データを記録部１８３へと供給する。
【０１８４】
特殊効果処理部１８５は、記録部１８３から複数チャンネルの入力系統によって供給される複数の映像データを同時に入力することができ、例えば、フェードイン・フェードアウト等の特殊効果を映像データに施すものである。また、特殊効果処理部１８５は、特殊効果処理を加えた映像データを記録部１８３へと供給する。
【０１８５】
出力処理部１８６は、制御部１８７に制御されて、編集された映像データ，音声データ及びメタデータを記録部１８３から入力し、SDIフォーマットへと変換して出力する。
【０１８６】
制御部１８７は、上述の各部を統括して制御するほか、入力処理部１８２から供給されるメタデータを管理し、必要に応じてメタデータの内容を変更したり、新たなメタデータの生成を行う。制御部１８７は、出力処理部１８６へとメタデータを送る。
【０１８７】
メモリ１８８は、音声ミキサ１８４及び特殊効果処理部１８５にて行った編集結果を当該編集結果に基づくメタデータであるEDL_Information（EDL;Editing Decision List）として記憶する。また、入力操作部１８１において入力された記事原稿に基づくメタデータ、或いは記事内容を示したメタデータであるScriptとして記憶する。作成されたEDL_Information及びScriptは、出力処理部１８６へと送られる。ここで編集結果とは、記録媒体上のイン点及びアウト点を、Reel Number、或いはタイムコードで表した編集点に関する情報を示している。
【０１８８】
図８に示すモニタ１０７は、SDIフォーマットで伝送される映像データ，音声データ及びメタデータを入力し、記録再生装置１０６で再生される映像及び操作に関する各種の表示を行うものである。
【０１８９】
図８に示すモニタ１１０は、SDIフォーマットで伝送される映像データ，音声データ及びメタデータを入力し、編集装置１０９で行われる編集に必要な情報及び映像等の表示を行う。
【０１９０】
図８に示す統合管理装置１１１は、当該画像処理システム１における映像データ、音声データ，メタデータ等の付加情報及びニュース番組制作における全体の情報を統括管理するものであり、図１に示すＮＣＳ６０に相当するものである。具体的には、統合管理装置１１１は、オンエア項目の管理及びどの素材がどの段階の処理を受けているか等の素材管理を行うほか、当該統合管理装置１１１に接続される入出力端末１１３を介して、他の放送局等との間における素材の売買等の管理を行う。また、当該統合管理装置１１１と接続された記者用端末１１２から、記者によって作成された記事を入力する。
【０１９１】
図８に示す記者用端末１１２及び入出力端末１１３は、統合管理装置１１１とホスト，クライアントの関係にあり、ホストコンピュータである統合管理装置１１１に接続されて、統合管理装置１１１に対する種々の入出力作業が可能である。入出力端末１１３は、外部のネットワークと接続され、外部のネットワークに存在する他の端末との間で、各種データの交換（場合によっては、売り買い）を行うことが可能とされている。このとき各種データの交換・売買等の情報も、統合管理装置１１１によって管理されている。
【０１９２】
図８に示す保管用記録装置１１４は、編集された放送用素材を保管するための記録装置であり、例えばＨＤＤのような記録媒体を備えている。ここでは図示しないが、保管用記録装置１１４は、放送用素材の長期保管を行う長期記録部と、一定期間の間に再び使用される可能性のある放送用素材を一定期間保管する仮記録部とを備えていてもよい。保管用記録装置１１４は、編集装置１０９，統合管理装置１１１等からの要求に応じて、記録している放送用素材が自由に取り出せるようになっている。
【０１９３】
図８に示すオーサリング端末１１５は、例えば、出演者が着ている服装や、装着している時計に関するショッピング情報等、時間軸上で放送用素材とは異なる情報を付加するための端末である。
【０１９４】
図８に示すメディアキャスタ１１６は、オーサリング端末１１５で付加された時間軸の異なる情報に関して、例えば服や時計を販売している店舗のホームページアドレス等の付加情報を付加するための端末である。
【０１９５】
図８に示すマルチプレクサ１１７は、上述のメディアキャスタ１１６からの付加情報に関する信号と、編集装置１０９からのSDIフォーマットの放送用素材の信号とを混合し、最終的に送出される、即ち視聴者が視る番組構成としての放送用素材を生成する。マルチプレクサ１１７は、この放送用素材を送出部１１９へと供給する。
【０１９６】
図８に示す送出用映像音声記録装置１１８は、編集装置１０９から送られるSDIフォーマットで構成された送出用の放送用素材を一時的に記録するものであり、ＨＤＤのような記録媒体を備えている。送出用映像音声記録装置１１８は、送出部１１９に対して放送用素材を供給する。
【０１９７】
送出部１１９は、マルチプレクサ１１７及び送出用映像音声記録装置１１８から供給される放送用素材を送出する。送出部１１９は、SDIフォーマットで供給されるデータのうち、メタデータに関して、特に受信側で必要と思われるメタデータを抽出して映像データ及び音声データとともに送出している。
【０１９８】
以上示した構成が放送用素材を制作して送信する放送局等に相当するのに対し、セットトップボックス１２０及びテレビジョン受像機１２１は、放送局等から供給される放送用素材を受信する側に備えられる構成である。
【０１９９】
セットトップボックス１２０は、各種の通信端末をつなぐための接続装置であり、双方向通信機能，インターネット接続機能，CATV接続機能等を備えた受信装置である。セットトップボックス１２０は、送出部１１９から送出される放送用素材の電波を受信し、テレビジョン受像機１２１へと供給する。テレビジョン受像機１２１は、供給された信号を処理して表示する。
【０２００】
続いて、上述の画像処理システム１を用いてニュース番組を制作する際の各装置における動作を説明する。まず、図１１に示す計画工程１１の段階で、取材に関する内容が決定される。この取材内容に基づいて、図８に示す統合管理装置１１１において、取材に関するメタデータの入力が行われる。統合管理装置１１１では、取材に向かう撮像装置１０１に対して上記メタデータを伝送するために、上記メタデータをデータ管理装置１０３へと伝送する。データ管理装置１０３によって、撮像装置１０１へとメタデータが伝送される。
【０２０１】
まず図２１を用いて、撮像装置１０１の動作について説明する。撮像装置１０１を使用して撮影を行う使用者は、所定のタイミングで操作部１３２を操作してメタデータの転送要求を指令すると、撮像装置１０１のマイクロコンピュータ１４０は、ステップＳ１において、ブルートゥースデバイス１３７を制御して携帯型電話機１０２を介してデータ管理装置１０３に対してメタデータの転送を要求する。
【０２０２】
ここで転送されるメタデータは、図１に示す計画工程１１の段階で決定されたメタデータであり、撮影される取材毎に固有のデータである。具体的には、図９乃至図１１に示す取材地名，撮影者，ジャーナリスト，ディレクター，内容に関する記述，取材開始日時，取材終了日時，プロデューサー，ニュース取材項目，NCS IDを表すメタデータがこれに相当する。
【０２０３】
ただし、上述のメタデータのうち、内容に関する記述，ニュース取材項目以外のメタデータは、仮に入力されるメタデータであって、後に示す工程で変更される場合がある。
【０２０４】
このメタデータは、取材前の取材計画に基づいて、素材管理装置１０８から、取材開始前に撮像装置毎に入力され、図８には図示しない素材管理装置１０８の記録部に予め記憶されているものである。
【０２０５】
個々の撮像装置は、予め割り当てられ、メモリ１３６に記憶されているID、又は当該撮像装置１０１とともに対向される携帯型電話機１０２の電話番号等により認識される。したがって、複数の撮像装置のメタデータは、撮像装置の機材ID又は携帯型電話機１０２の電話番号毎に管理されている。
【０２０６】
図２２に示すメタデータは、携帯型電話機の電話番号が、例えば「０９０−××××−××××」の携帯型電話機１０２とともに取材に使用されている撮像装置１０１のものを示している。
【０２０７】
この場合、取材開始日時として、「2000/3/3 9:00-10:00」，「2000/3/3 13:00-14:00」及び「2000/3/3 17:00-19:00」が示されており、それぞれに対応するNCS IDが、「0001」，「0002」，「0003」のように示されている。各々のNCS IDに対応して、ニュース取材題目として「首相インタビュー」，「街頭インタビュー」及び「記者クラブ取材」が示されている。同様に、撮影者，ジャーナリストが対応して示されている。
【０２０８】
ここで、ステップＳ１の工程において、撮像装置１０１からメタデータの転送が要求されたときのデータ管理装置１０３における処理について図２３を参照して説明する。
【０２０９】
携帯型電話機１０２を介して、撮像装置１０１からのメタデータの要求が受信されると、ステップＳ２１において、データ管理装置１０３は、受信したメタデータを発信している携帯型電話機１０３の電話番号又は撮像装置１０１の機器IDを認識する。
【０２１０】
ステップＳ２２において、データ管理装置１０３は、受信した携帯型電話機１０２の電話番号に対応する撮像装置１０１のメタデータのうち、受信した時刻に対応したメタデータを携帯型電話機１０２に送信する。例えば撮像装置１０１からのメタデータの転送要求が２０００年３月３日の９：００に為されたとすると、データ管理装置１０３は、この時刻に対応するNCS ID「0001」に対応するニュース取材題目「首相インタビュー」，撮影者及びジャーナリストを表すメタデータを、携帯型電話機１０２を介して撮像装置１０１に送信する。
【０２１１】
ここで、図２１に戻って説明する。ステップＳ２において、ブルートゥースデバイス１３７は、携帯型電話機１０２を介してデータ管理装置１０３からのメタデータを受信し、受信したことをマイクロコンピュータ１４０に通知する。
【０２１２】
ステップＳ３において、マイクロコンピュータ１４０は、ブルートゥースデバイス１３７からメタデータを受信したことを知らせる通知を受けて、ブルートゥースデバイス１３７で受信されたメタデータをメモリ１３６に一時的に記憶する。
【０２１３】
ステップＳ４において、マイクロコンピュータ１４０は、録画が開始されたか否かを判定し、録画が開始されていないとき判定された場合、ステップＳ５へと進んで、録画スタンバイの状態が解除された場合にマイクロコンピュータ１４０は、その処理を終了する。一方、録画スタンバイが解除されなかった場合には、ステップＳ４の工程に戻る。即ち、撮像装置１０１は、録画スタンバイが解除されるまで、ステップＳ４，Ｓ５の処理を繰り返し、録画開始待ちの状態となる。
【０２１４】
ステップＳ４において、録画が開始されたと判定されると、ステップＳ６へと進み、マイクロコンピュータ１４０は、記録部１３４を制御し、記録媒体の記録開始点のタイムスタンプを読み出してメモリ１３６に記憶させるとともに、ブルートゥースデバイス１３７を制御して、携帯型電話機１０２を介して、データ管理装置１０３に送信する。
【０２１５】
また、マイクロコンピュータ１４０は、画像音声入力部１３１を制御し、画像データをマルチプレクサ１３５に出力させるとともに、メモリ１３６を制御し、メモリ１３６に記憶されているメタデータをマルチプレクサ１３５に出力させる。
【０２１６】
ステップＳ７において、マイクロコンピュータ１４０は、マルチプレクサ１３５を制御し、画像及び音声データとメタデータとを多重化させてSDIフォーマットとして記録部１３４に供給する。
【０２１７】
ステップＳ８において、記録部１３４は、マルチプレクサ１３５から供給される画像及び音声データとメタデータとが多重化されたSDIフォーマットのデータを記録媒体に記録する。
【０２１８】
ステップＳ９において、マイクロコンピュータ１４０は、録画が終了されたか否かを判定し、録画が終了されていない場合は、録画終了待ちの状態、即ち録画状態を継続する。
【０２１９】
一方、ステップＳ９において、録画が終了されたと判定されると、ステップＳ１０において、マイクロコンピュータ１４０は、記録部１３４を制御し、記録媒体の記録終了点を示すタイムスタンプを読取り、ブルートゥースデバイス１３７を制御し、携帯型電話機１０２を介して、読み取った記録開始点及び記録終了点のテープ位置情報をデータ管理装置１０３に送信し、処理を終了する。
【０２２０】
図８に示す記録媒体は、例えばテープ状の磁気記録媒体であり、特にここでは、デジタルビデオテープを示している。記録媒体は、映像及び音声をデジタル化された映像データ及び音声データとして記録することが可能なものであり、映像データ及び音声データのほかにメタデータ等の補助データを記録できる領域を備えたものである。また、補助データを記録媒体筐体１０５に不揮発性メモリ１０５ａを付設し、この不揮発性メモリ１０５ａに補助データを記憶するようにしてもよい。
【０２２１】
続いて、データ管理装置１０３が、撮像装置１０１からテープ位置情報を受信したときの処理について説明する。データ管理装置１０３は、図２１のステップＳ１０により撮像装置１０１よりテープ位置情報を受信すると、図２４に示すステップＳ３１において、受信したテープ位置情報の送信元となる携帯型電話機１０２の電話番号を認識する。
【０２２２】
ステップＳ３２において、データ管理装置１０３は、図示しないＨＤＤに記録されているメタデータのうち、認識した電話番号に対応するメタデータに、上述のテープ位置情報を付加して記録する。
【０２２３】
以上の説明では、取材地名，撮影者，ジャーナリスト，ディレクター，内容に関する記述，取材開始日時，取材終了日時，プロデューサー，ニュース取材項目，NCS IDのなかから、撮影者，ジャーナリスト，取材開始日時，ニュース取材項目，NCS IDを例示して説明したが、ディレクター，内容に関する記述，取材終了日時，プロデューサーに関しても同様である。
【０２２４】
また、撮像装置１０１によって生成され、自動的に付加して入力されるメタデータがある。具体的には、図９乃至図１１に示すメタデータのうち、取材位置(GPS緯度)，取材位置（GPS経度），取材位置（GPS高度），取材位置（GPS時刻），取材地名，UMID（ビデオ），UMID（オーディオ），撮影者，ジャーナリスト，グットショットマーカ，カメラセットアップ情報，機材ID，テイクナンバー，素材開始タイムコード，内容に関する記述，オーディオチャンネル割，オーディオタイプ，取材開始日時，取材終了日時，ファイル所有権者，ショットナンバー，収録端末，収録ポート，リールナンバー，権利，ニュース取材題目を表すメタデータである。
【０２２５】
このように、記録媒体及びデータ管理装置１０３に、素材データに関する情報を表すメタデータとテープ位置情報とを記録することによって、記録媒体に記録される素材データを、直ちに検索して編集を行うことが可能となる。
【０２２６】
撮像装置１０１によって収集され、記録媒体に記録された素材データ及びメタデータは、図８に示す記録再生装置１０６によって再生され、SDIフォーマットのデータとして素材蓄積装置１０８へと供給される。素材蓄積装置１０８において、SDIフォーマットで伝送された映像データ，音声データ及びメタデータはそれぞれ分離され、記録部１７３へと記録される。
【０２２７】
このとき、コントローラ１７６は、必要に応じてメタデータの内容を変更し、新たなメタデータの生成を行う。新たに生成されるメタデータとしては、図９乃至図１１に示すUMID（ビデオ），UMID（オーディオ），UMID（データ），UMID（システム），グッドショットマーカ，テイクナンバ，素材開始タイムコード，内容に関する記述，有効期限，オーディオチャンネル割，オーディオタイプ，ソース情報，収録フォーマット，圧縮率，オーディオチャンネル数，オーディオ圧縮率，オーディオサンプリング周波数，オーディオデータサイズ，収録方法，マテリアルID，サブキー，ファイルの長さ，取材開始日時，取材終了日時，収録オペレータ，ファイル所有権者，ショットナンバー，取材期間，GOPサイズ，解像度，エッセンスサイズ，オブジェクトタイプ，インデックス，インデックスの種類，インデックスメモ，シーンナンバー，リールナンバー，権利，NCS ID，ファイルステータスを表すメタデータが挙げられる。
【０２２８】
このように、素材蓄積装置１０８において、素材を一時的に蓄える際に、素材を明確に識別するための上述のようなメタデータを、素材蓄積装置１０８の記録部１７３及び記録媒体に付加して入力することにより、素材データを直ちに検索して編集を行うことが可能となる。
【０２２９】
素材蓄積装置１０８に一時的に記録される映像データ，音声データ及びメタデータは、必要に応じたタイミングで編集装置１０９へと送られる。
【０２３０】
一方、統合管理装置１１１に接続される記者用端末１１２において、記者により粗編集及び記事作成が行われる。記者用端末１１２を介して、粗編集が行われ、作成された記事が入力される際に、図９乃至図１１に示すエディティングデシジョンリスト，スクリプトを表すメタデータが付加されて入力される。
【０２３１】
また、このとき、編集装置１０９では、図７に示したように、上述のメタデータのうち、例えば取材位置（GPS緯度），取材位置（GPS経度），取材位置（GPS高度），取材時刻（GPS時刻），ニュース取材題目，スクリプトを表すメタデータ使用して、ＣＧ合成画面を自動的に作成する。
【０２３２】
記者用端末１１２では、自動的に作成されたＣＧ合成画面から、ジャーナリストが、粗編集を行って、ＣＧ合成画面を自由に編集することが可能である。
【０２３３】
このとき、自動的に合成されたＣＧ合成画面は、GUI（Graphical User Interface）画面を操作することによって編集することができる。GUI画面における編集の動作を、図２５、図２６及び図２７を用いて説明する。
【０２３４】
図２４は、自動的に作成されたＣＧ合成画面の編集を行うGUI画面２００を模式的に示している。図２５において、画像２０１は、ＣＧ合成を開始するフレームを示している。画像２０２は、ＣＧ合成を終了するフレームを示している。合成画像２０３は、自動的に作成されたＣＧ合成画面を示している。手動選択ボタン２０４は、ＣＧが合成される位置変更を手動で行うための画面に切り換える選択を行うためのボタンである。テンプレート選択ボタン２０５は、ＣＧの合成位置を変更するためのボタンである。テンプレート２０６，２０７，２０８，２０９，２１０及び２１１は、ＣＧの合成位置の各パターンを示している。図２５においては、枠が付されているテンプレート２０８の位置パターンで表示されている。スクロールバー２１２は、テンプレート２０６乃至２１１を選択するためのスクロールバーである。
【０２３５】
ＣＧ合成画面の編集は、図２６及び図２７に示す工程に基づいて行われる。図２６及び図２７に示す工程は、テンプレート選択ボタン２０５が選択されて、用意されたテンプレートに基づいてＣＧ合成画面を表示する処理について示している。
【０２３６】
画像データに関する地図を合成して表示する場合の処理を、図２６を用いて説明する。
【０２３７】
ステップＳ４０において、画像データと位置情報を表すメタデータとが入力される。続いて、ステップＳ４１において、メタデータが示す位置情報に基づいて、図示しないが地図等を記録している記録サーバから位置情報に対応する地図が読み出される。ステップＳ４２において、自動的にＣＧ合成画面が作成される。
【０２３８】
続いて、ステップＳ４３において、テンプレートの変更が指示されると、ステップＳ４４において、指示に従ってテンプレートに基づいたＣＧ合成画面が表示される。
【０２３９】
一方、画像データに関する時刻情報、或いはタイトルを合成して表示する場合の処理を、図２７を用いて示す。時刻情報，タイトル等は、これらを示すメタデータがそのまま使用される。即ち、ステップＳ５０において、画像データと時刻情報及びタイトル情報としてのメタデータとが入力される。続いて、ステップＳ５１において、自動的にＣＧ合成画面が作成される。
【０２４０】
続いて、ステップＳ５２において、テンプレートの変更が指示されると、ステップＳ５３において、指示に従ってＣＧ合成画面が変更されて表示される。
【０２４１】
例えば、時刻情報及びタイトルの字体、文字サイズ等の情報を記録サーバから読み出して表示する場合もある。
【０２４２】
上述のように、GPSによって検出される位置情報を示すメタデータと、記事内容を示すメタデータとを使用することによって、記録サーバから地図情報や画面に表示する文字等を抽出し、これらを用いて自動的にＣＧ合成画面を行うことが可能となる。
【０２４３】
粗編集に続いて、編集装置１０９において本編集が行われる。本編集では、粗編集された素材を、実際に放送する状態にするために更に厳密な編集が行われる。編集に伴って、具体的には、図９乃至図１１に示すメタデータのうち、ディレクター，プロデューサー，エディティングデシジョンリストを表すメタデータが新たに入力される。上記以外のメタデータは、前段階で使用されたメタデータ、或いは前段階で入力されたメタデータが再度使用されるものである。このときメタデータとして記述された種々の情報が編集に用いられる。
【０２４４】
記者用端末１１２において入力されたEDL_Information，Scriptを表すメタデータは、編集装置１０９における本編集処理で確定される。
【０２４５】
編集装置１０９において編集された放送用素材は、マルチプレクサ１１７において、オーサリング端末１１５及びメディアキャスター１１６で付加される他の情報と混成され、図８における送出部１１９へと送られる。
【０２４６】
送出部１１９から放送用素材を送出する処理は、図１における放送工程４４に相当するものである。送出部１１９では、変更日時，ディストリビューションフラグを表すメタデータが新たに入力される。上記メタデータは、前段階で使用されたメタデータ、或いは前段階で入力されたメタデータが、放送工程４４において再度使用されるものである。
【０２４７】
送出部１１９から送出される際には、図９乃至図１１に示されるメタデータのうち、受信側で必要とされるメタデータが抽出されて送信されている。
【０２４８】
放送用素材は、送出された後、保管用記録装置１１４に記録され、統合管理装置１１１によって管理される。保管用記録装置１１４に放送用素材を記録する際に、新たに入力されるメタデータとしては、保管日時，アーカイブオペレーター，アーカイブ端末，アーカイブフラグ，コンパイルフラグがある。
【０２４９】
上記以外のメタデータは、前段階で使用されたメタデータ、或いは前段階で入力されたメタデータが、保管段階において再度使用される。
【０２５０】
以上、詳細に説明した画像処理システム１は、放送局においてニュース番組を制作する際に、撮影前段階１０，撮影制作段階２０，撮影後処理段階３０，放送段階４０，保管段階５０の各段階において、映像データ及び音声データを識別するためのメタデータを記録媒体、或いは記録装置に記録することにより、これらの素材を編集する際に素材データを直ちに検索して編集を行うことが可能となる。
【０２５１】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０２５２】
【発明の効果】
以上詳細に説明したように本発明に係る画像処理システムは、撮像装置に収録された映像データ及び音声データを、該映像データ及び音声データが上記撮像装置に収録される際に該音声データ及び映像データを識別するための第１のメタデータとともに記録する記録手段から、該映像データ、音声データ及び第１のメタデータが入力される入力処理手段と、上記第１のメタデータとは別の第２のメタデータを生成するメタデータ生成手段と、上記入力処理手段に入力された映像データ、音声データ及び第１のメタデータを上記メタデータ生成手段で生成された第２のメタデータとともに記録するデータ蓄積手段と、上記データ蓄積手段に記録された映像データ、音声データ、第１のメタデータ及び第２のメタデータを読み出して出力する出力処理手段とを備える素材蓄積装置と、上記出力処理手段から出力された第１のメタデータ及び第２のメタデータに基づいて、上記出力処理手段から出力された映像データ及び音声データを編集する編集装置と、上記編集装置により編集された映像データ及び音声データを、該編集された映像データ及び音声データを保管する際に新たに入力される第３のメタデータとともに保管する保管用データ記録装置とを備え、上記保管用データ記録装置では、上記編集装置からの要求に応じて、該保管用データ記録装置に保管されている映像データ及び音声データが取り出される。
【０２５３】
上記別のメタデータとしては、素材データの供給源を示すソース（Source）、データストリームの形式を示すフォーマット（Format）、映像の圧縮を示すビデオ・ビット・レイト（Video Bit Rate）、映像がMPEG形式の場合の圧縮率を示すジー・オー・ピー・サイズ（GOP Size）、解像度を表すレゾリューション（Resolution）、音声データのチャンネル数を表すオーディオ・ナンバ・オブ・チャンネル（Audio Number of Channel）、音声データが圧縮されているか否かを表すオーディオ・コンプレッション（Audio Compression）、オーディオサンプリング周波数を表すオーディオ・サンプリング・レイト（Audio Sampling Rate）、音声データのサイズを表すオーディオ・データ・サイズ（Audio Data Size）、収録方法を示すレック・タイプ（REC_Type）、既存の画像処理システムにおいて使用されている素材を識別するためのIDを示すマテリアル・ID（Material_ID）、素材に対して、数回の編集等を施す間に変形したか否か等を示すサブ・キー（Sub Key）、素材データの種類を示すIDであるユーミッド・データ（UMID（Data））、ユーミッド・オーディオとユーミッド・ビデオとを纏めたユーミッド・システム（UMID（System））、素材の長さを表すファイル・レングス（File Length）、映像及び音声データを含むファイル全体のサイズ表したエッセンシャル・サイズ（Essence_Size）、映像及び音声データを含むファイル全体のサイズ表したエッセンシャル・サイズ（Essence_Size）、映像データが静止画であるか否かを示すオブジェクト・タイプ（Object Type）、素材データの有効期限を示すバリッド・デイト（Valid Date）を表すメタデータが挙げられる。
【０２５４】
したがって、付加情報としてのメタデータを画像データ及び音声データとともに記録することによって、放送局においてニュース番組を制作する際に、画像データ及び音声データを識別することができる上、素材の編集を行う際に、素材データを直ちに検索することが可能となる。
【０２５５】
以上詳細に説明したように本発明に係る素材蓄積方法は、撮像装置に収録された映像データ及び音声データを、該映像データ及び音声データが上記撮像装置に収録される際に該音声データ及び映像データを識別するための第１のメタデータとともに記録手段に記録する記録工程と、上記記録手段に記録された映像データ、音声データ及び第１のメタデータが入力処理手段に入力される入力処理工程と、上記第１のメタデータとは別の第２のメタデータを生成するメタデータ生成工程と、上記入力処理手段に入力された映像データ、音声データ及び第１のメタデータを、上記メタデータ生成工程で生成された第２のメタデータとともにデータ蓄積手段に記録するデータ蓄積工程と、上記データ蓄積手段に記録された映像データ、音声データ、第１のメタデータ及び第２のメタデータを読み出して出力する出力処理工程と、上記出力処理工程で出力された第１のメタデータ及び第２のメタデータに基づいて、上記映像データ及び音声データを編集する編集工程と、上記編集工程で編集された映像データ及び音声データを、該編集された映像データ及び音声データを保管する際に新たに入力される第３のメタデータとともに保管する保管用データ記録工程とを有し、上記保管用データ記録工程では、上記編集工程からの要求に応じて、上記データ蓄積工程で記録された映像データ及び音声データが取り出される。
【０２５６】
したがって、付加情報としてのメタデータを画像データ及び音声データとともに記録することによって、放送局においてニュース番組を制作する際に、画像データ及び音声データを識別することができる上、素材の編集を行う際に、素材データを直ちに検索することが可能となる。
【図面の簡単な説明】
【図１】取材計画を立てて、取材を行い、取材で得た素材を編集して放送し、これを保管するまでの一連の工程を説明する説明図である。
【図２】計画工程で生成されるメタデータの具体例を示す図である。
【図３】計画工程から取材工程に移行する段階で、基地局から撮像装置に対して伝送されるメタデータの具体例を示す図である。
【図４】 (ａ)は、撮影時に撮像装置において入力されるメタデータの具体例を示す図であり、(ｂ)は、素材蓄積装置に記憶される際に入力されるメタデータの具体例を示す図である。
【図５】 (ａ)は、撮影時に撮像装置において入力されるメタデータの具体例を示す図であり、(ｂ)は、ＮＣＳにおいて仮編集が行われる際に入力されるメタデータの具体例を示す図である。
【図６】 (ａ)は、撮影時に撮像装置において入力されるメタデータの具体例を示す図であり、(ｂ)は、本編集工程で入力及び変更されるメタデータの具体例を示す図である。
【図７】自動的にＣＧ合成画面が作成される際に使用されるメタデータの具体例を示す図である。
【図８】本発明の実施の形態の一構成例として示す画像処理システムの具体的な構成を示すブロック図である。
【図９】本発明の実施の形態の一構成例として示す画像処理システムにおいて使用されるメタデータを示す図である。
【図１０】本発明の実施の形態の一構成例として示す画像処理システムにおいて使用されるメタデータを示す図である。
【図１１】本発明の実施の形態の一構成例として示す画像処理システムにおいて使用されるメタデータを示す図である。
【図１２】本発明の実施の形態の一構成例として示す画像処理システムのデータ伝送フォーマットとして用いられるSDIフォーマットを説明する模式図である。
【図１３】本発明の実施の形態の一構成例として示す画像処理システムのデータ伝送フォーマットとして用いられるSDTIフォーマットを説明する模式図である。
【図１４】本発明の実施の形態の一構成例として示す画像処理システムのデータ伝送フォーマットとして用いられるSDTI-CPフォーマットを説明する模式図である。
【図１５】本発明の実施の形態の一構成例として示す画像処理システムのデータ伝送フォーマットとして用いられるＫＬＶフォーマットを説明する模式図である。
【図１６】本発明の実施の形態の一構成例として示す画像処理システムのデータ伝送フォーマットとして用いられるUMIDのフォーマットを説明する模式図である。
【図１７】本発明の実施の形態の一構成例として示す画像処理システムの撮像装置、基地局、データ管理装置の具体的な構成を示すブロック図である。
【図１８】本発明の実施の形態の一構成例として示す画像処理システムの記録再生装置の具体的な構成を示すブロック図である。
【図１９】本発明の実施の形態の一構成例として示す画像処理システムの素材蓄積装置の具体的な構成を示すブロック図である。
【図２０】本発明の実施の形態の一構成例として示す画像処理システムの編集装置の具体的な構成を示すブロック図である。
【図２１】本発明の実施の形態の一構成例として示す画像処理システムにおいて、データ管理装置から送信されるメタデータを撮像装置が受信するときの処理を示すフローチャートである。
【図２２】本発明の実施の形態の一構成例として示す画像処理システムにおいて、使用されるメタデータを説明する図である。
【図２３】本発明の実施の形態の一構成例として示す画像処理システムにおいて、データ管理装置が、メタデータを受信するときの処理を説明するフローチャートである。
【図２４】本発明の実施の形態の一構成例として示す画像処理システムにおけるデータ管理装置が、メタデータを更新するときの処理を説明するフローチャートである。
【図２５】本発明の実施の形態の一構成例として示す画像処理システムにおいてCG合成画面を作成するためのグラフィカル・ユーザ・インターフェイスを説明する模式図である。
【図２６】本発明の実施の形態の一構成例として示す画像処理システムにおいて、編集装置が位置情報に基づいて地図を検索し、画像データに合成するときの処理を示すフローチャートである。
【図２７】本発明の実施の形態の一構成例として示す画像処理システムにおいて、編集装置が時間情報及びタイトルを表示するときの処理を示すフローチャートである。
【符号の説明】
０ 画像処理システム、１０ 撮影前段階、１１ 計画工程、２０ 撮影制作段階、２１ 取材工程、２２ 素材蓄積工程、２３ ボイスオーバ工程、３０ 撮影後処理段階、３１ ＣＧ作成工程、３２ 本編集工程、４０ 放送段階、４１ クローズドキャプション工程、４２ 生中継、４３ オートメーション工程、４４ 放送工程、５０ 保管段階、５１ 仮保管工程、５２ 保管工程、６０ＮＣＳ、１０１ 撮像装置、１０２ 携帯型電話機、１０３ データ管理装置、１０４ 基地局、１０５ 記録媒体筐体、１０６ 記録再生装置、１０７ モニタ、１０８ 素材蓄積装置、１０９ 編集装置、１１０ モニタ、１１１ 統合管理装置、１１２ 記者用端末、１１３ 入出力端末、１１４ 保管用記録装置、１１５ オーサリング端末、１１６ メディアキャスタ、１１７ マルチプレクサ、１１８ 送出用映像音声記録装置、１１９ 送出部、１２０ セットトップボックス、１２１ テレビジョン受像装置、１３１ 画像音声入力部、１３２ 操作部、１３３ ＨＤＤ、１３４ 記録部、１３５ マルチプレクサ、１３６ アンテナ、１４０ マイクロコンピュータ、１４１ マイクロコンピュータ、１４２ 通信部、１５１ 入力端子、１５２ 出力端子、１５３ 入力処理部、１５４ 圧縮符号化／復号部、１５５ 出力処理部、１５６ エラー訂正処理部、１５７ チャネルコーディング部、１５８ 記録再生部、１５９ 機構部、１６０ 操作部、１６１ 端子、１６２ コントローラ、１７１ 入力部、１７２ エンコーダ、１７３ 記録部、１７４ デコーダ、１７５ 出力部、１７６コントローラ、１８１ 入力操作部、１８２ 入力処理部、１８３ 記録部、１８４ 音声ミキサ、１８５ 特殊効果処理部、１８６ 出力処理部、１８７ 制御部、１８８ メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention records video data, audio data, and metadata. Image processing system And a material storage method.
[0002]
[Prior art]
When an image pickup apparatus records image data, a technique for recording additional information corresponding to the editing point on a recording medium along with the image data to be recorded is becoming widespread. The editor can search for necessary editing points by referring to the additional information.
[0003]
Conventionally, this additional information has been input by a photographer operating an input device provided in the imaging device before photographing. The imaging apparatus records input additional information together with image data on a recording medium.
[0004]
One of the methods for editing video information recorded on a recording medium such as a video tape is offline editing. In offline editing, video information recorded on the original tape is temporarily copied to another recording tape, that is, an editing tape at the shooting site, and the editing points are recorded on the editing tape. etc There is a method of creating edit data and creating a master tape based on the edit data. In off-line editing, a desired master tape can be created without fear of accidentally erasing or rewriting information recorded on the original tape.
[0005]
However, in offline editing, editing work is performed using an editing tape that is a copy of the original tape, so there is a problem that it takes time and effort to copy the information recorded on the original tape to the editing tape. .
[0006]
Therefore, as one method for solving the above problems, information on the original tape is temporarily copied to a recordable recording medium such as a hard disk and can be randomly accessed. There is a method of creating edit data using the copy information.
[0007]
[Problems to be solved by the invention]
However, since it is troublesome to input additional information for a photographer who should focus on shooting, input of additional information is performed even though the imaging apparatus has a function of inputting additional information. There were many things that I didn't.
[0008]
On the other hand, various contents data such as video data and audio data can be distributed along with the spread of communication using a network such as the so-called Internet, in which a plurality of networks are connected by packet communication to each other. It is becoming.
[0009]
Accordingly, it is necessary for a broadcasting station or the like that produces and broadcasts a program to manage detailed information regarding these pieces of content data even for fragmented video data and audio data. Specifically, various additional information such as information for identifying broadcast material produced as a program at a broadcasting station or the like, information on copyright, and the like need to be distributed along with the content.
[0010]
Therefore, the present invention has been proposed in view of such a conventional situation, and it is possible to record the image data and the audio data together with the additional information for identifying the image data and the audio data. Do Image processing system And a material storage method.
[0011]
[Means for Solving the Problems]
In order to achieve the above-described object, an image processing system according to the present invention uses video data and audio data recorded in an imaging device when the video data and audio data are recorded in the imaging device. And input processing means for inputting the video data, audio data, and first metadata from the recording means for recording together with the first metadata for identifying the video data, and the first metadata is different from the first metadata. Metadata generating means for generating the second metadata, and video data, audio data and first metadata input to the input processing means together with the second metadata generated by the metadata generating means Data storage means for recording, and video data, audio data, first metadata and second metadata recorded in the data storage means are read and output. Edit the video data and audio data output from the output processing means based on the material storage device including the output processing means and the first metadata and the second metadata output from the output processing means. Editing device and storage data recording device for storing video data and audio data edited by said editing device together with third metadata newly input when storing the edited video data and audio data And with In the storage data recording device, the video data and audio data recorded in the material storage device are retrieved in response to a request from the editing device. The
[0012]
In order to achieve the above-described object, the material storage method according to the present invention includes video data and audio data recorded in an imaging device, and the audio data when the video data and audio data are recorded in the imaging device. And a recording step for recording in the recording means together with the first metadata for identifying the video data, and an input for inputting the video data, audio data and first metadata recorded in the recording means to the input processing means A processing step, a metadata generation step for generating second metadata different from the first metadata, and the video data, audio data, and first metadata input to the input processing means, A data storage step for recording in the data storage means together with the second metadata generated in the metadata generation step; and the video data and audio data recorded in the data storage means. An output processing step of reading out and outputting the first metadata and the second metadata, and the video data and audio based on the first metadata and the second metadata output in the output processing step. An editing process for editing data, and a storage for storing the video data and audio data edited in the editing process together with the third metadata newly input when storing the edited video data and audio data Data recording process In the storage data recording step, the video data and audio data recorded in the data storage step are taken out in response to a request from the editing step. The
[0013]
Here, the other metadata includes a source indicating the source of the material data, a format indicating the data stream format (Format), a video bit rate indicating video compression, and a video. GOP Size indicating the compression ratio when MPEG is in MPEG format, Resolution indicating resolution, and Audio Number of Channels indicating the number of channels of audio data (Audio Number of channels) Channel), audio compression indicating whether the audio data is compressed (Audio Compression), audio sampling rate indicating the audio sampling frequency (Audio Sampling Rate), audio data size indicating the size of the audio data ( Audio Data Size), Rec type indicating the recording method (REC_Type), and existing image processing system Material ID (Material_ID) that indicates the ID used to identify the material being used, Sub Key that indicates whether the material has been deformed during several edits, etc. , Umid data (UMID (Data)) which is an ID indicating the type of material data, Umid system (UMID (System)) that combines Umid audio and Umid video, and file length representing the length of the material (File Length), the essential size (Essence_Size) representing the size of the entire file including video and audio data, the essential size (Essence_Size) representing the size of the entire file including video and audio data, and the video data are still images The object type (Object Type) indicating whether or not, and the metadata representing the valid date (Valid Date) indicating the expiration date of the material data are listed It is.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
The image processing system according to the present invention, for example, in a broadcasting station, a video production company, etc., covers video and audio (hereinafter referred to as materials), and edits and processes these materials to produce video for broadcasting. In addition, the image processing system for storing the video includes additional information for identifying the material in detail in each of the image processing processes such as the material gathering process, the editing process, and the storage process. Input to the recording server.
[0015]
The additional information includes metadata. The metadata is data for describing information necessary for identifying the material obtained by the coverage, such as the coverage time, coverage ID, coverage title, photographer name, reporter name, and the like.
[0016]
A case where a news program is produced at a broadcasting station will be described with reference to FIG. However, FIG. 1 illustrates a work flow when producing a news program, and is different from a so-called block diagram showing components such as a device.
[0017]
As shown in FIG. 1, news program production at a broadcasting station includes a pre-production stage (Pri-Production) 10, a production stage (Production) 20, and a post-production stage (Post-production). 30, broadcast stage (Distribution) 40, and archive stage (Archive) 50.
[0018]
[0019]
The shooting and
[0020]
The
[0021]
The
[0022]
The
[0023]
The
[0024]
The
[0025]
The
[0026]
The
[0027]
An
[0028]
Next, an example of metadata input at each stage described above when a news program is produced based on the above-described work flow will be described. The data structure of metadata will be described later.
[0029]
First, in the
[0030]
In the
[0031]
In the
[0032]
In the process of shifting from the
[0033]
In this process, the Gathering_Start_DateTime, Gathering_End_DateTime, Gathering_Location_Place, Photographer, Journalist Information, Director, Producer, Title, Contents, and NCS ID shown in FIG. The metadata is transmitted from the broadcasting station to the imaging device that moves to the coverage location.
[0034]
In the stage of the
[0035]
As metadata newly input in the
[0036]
The above metadata is input to the recording medium and the dedicated recording server. The above-mentioned metadata generated and changed in the stage of the
[0037]
The material collected in the
[0038]
In the
[0039]
The metadata shown in FIGS. 4A and 4B is recorded together with image data and audio data on a recording medium, and may be separated from the image data and audio data and managed by the
[0040]
The metadata and material data generated and recorded at each stage of the
[0041]
FIG. 5B illustrates metadata used and input when a reporter performs rough editing, article creation, and the like. FIG. 5A shows metadata input mainly in the imaging apparatus, and FIG. 5B shows metadata input mainly in the
[0042]
Gathering_Start_DateTime, Gathering_End_DateTime, Gathering_Location_Place, Photographer, Journalist Information, Director, Producer, Title, Contents, NCS ID, Gathering_Location_Latitude (GPS latitude), Gathering_Location_Longitude (GPS longitude), Gathering_Location_Altitude (GPS longitude), Gathering_Location_Altitude (GPS longitude) , Gathering_Location_Time (GPS Time), Gathering_Location_Place (place name), equipment ID, Camera Setup Imformation, Reel Number, Duration (Time), SOM, Good Shot Mark & REC Start Mark, Audio Channel Information, Audio Type, UMID (Audio), UMID (Video), Copyright, Source, STC, Format, Compression rate (Video Bit Rate), GOP Size, Resolution, Number of Audio Channels, Audio Compression, Audio Sampling Rate, Audio Date Size, REC_Type, Material_ID, Sub Key, UMID (Data ), UMID (System), File Length, Essence_Size, Object Type, and Valid Date metadata are the
[0043]
Examples of metadata newly input at the stage of rough editing and article creation performed by a reporter include EDL (Editing Decision List) Information representing information related to editing contents and Script describing an article manuscript.
[0044]
In the
[0045]
Gathering_Start_DateTime, Gathering_End_DateTime, Time Zone, Gathering_Location_Place, Photographer, Journalist Information, Director, Producer, Title, Contents, NCS ID, Gathering_Location_Latitude (GPS latitude), Gathering_Location_Longitude (GPS longitude), Gathering_Location_Altitude (GPS altitude), Gathering_Location_lace_Location_Location_Location_Location_Location_Location_Location_Location_Location_Location_Location_Location_Location_Location_Location (Name), Equipment ID, Camera Setup Imformation, Reel Number, Reel Number, Duration (Time), SOM, Good Shot Mark & REC Start Mark, Audio Channel Information, Audio Type, UMID (Audio), UMID (Video), Copyright , Source, STC, Format, Compression rate (Video Bit Rate), GOP Size, Resolution, Number of Audio Channels, Audio Compression, Audio Sampling Rate, Audio Date Size, REC_Type, Material_ID, Sub Key, UMID (Data), UMID (System ), File Length (Time), Essence_Size (Byte), Object Type, Valid Date, EDL Information, Script metadata,
[0046]
Some of these metadata can be rewritten by this editing. In the
[0047]
On the other hand, in the
[0048]
The metadata used here includes, for example, location information such as Gathering_Location_Latitude (GPS latitude), Gathering_Location_Longitude (GPS longitude), Gathering_Location_Altitude (GPS altitude), Gathering_Location_Time (GPS Time), etc., which are input by the photographing apparatus in the
[0049]
Based on the Gathering_Location_Latitude (GPS latitude), Gathering_Location_Longitude (GPS longitude), and Gathering_Location_Altitude (GPS altitude) metadata recorded in the material, a map of the area corresponding to these location information is automatically generated from the database that stores the map. Extracted. The time is automatically displayed with reference to Gathering_Location_Time (GPS Time).
[0050]
The CG composition screen automatically created in this way can be freely edited by the editor in a CG composition GUI (Graphical User Interface) for editing.
[0051]
In the
[0052]
Here, the metadata that is synthesized and transmitted together with the video and audio data is metadata that is generated and used in the
[0053]
In particular, Gathering_Start_DateTime, Gathering_End_DateTime, Time Zone, Gathering_Location_Place, Photographer, Journalist Information, Director, Producer, Title, Contents, NCS ID, Gathering_Location_Latitude (GPS latitude), Gathering_Location_Longitude (GPS longitude), Gathering_Location_Altitude (GPS altitude) , Gathering_Location_Place (place name), equipment ID, Camera Setup Imformation, Reel Number, Reel Number, Duration, SOM, Good Shot Mark & REC Start Mark, Audio Channel Information, Audio Type, UMID (Audio), UMID (Video), Copyright Can be mentioned. Source, STC, Format, Compression rate (Video Bit Rate), GOP Size, Resolution, Number of Audio Channels, Audio Compression, Audio Sampling Rate, Audio Date Size, REC_Type, Material_ID, Sub Key, UMID (Data), UMID (System) , File Length, Essence_Size, Object Type, Valid Date, EDL Information, and Script metadata required for viewers receiving broadcast material can be extracted and transmitted.
[0054]
The news program synthesized in the
[0055]
The broadcasted video data, audio data, and metadata are temporarily stored for a certain period in the
[0056]
At this time, the additional information of the material described as metadata can be used as a material-specific identifier for identifying the material. Further, by referring to the additional information input as metadata, for example, an editor / reporter can immediately search for a desired material.
[0057]
An image processing system that performs image processing based on the work flow described above will be specifically described with reference to FIG. The
[0058]
The
[0059]
In addition, the
[0060]
In addition, the
[0061]
In addition, the
[0062]
Further, when the
[0063]
9 to 11 show specific examples of metadata input as additional information. 9 to 11 are divided for convenience, they are a series of diagrams.
[0064]
In FIG. 9 to FIG. 11, the periods indicated as “F”, “T”, “Sh”, “Sc”, “M”, and “P” represent metadata change periods. That is, “F” (Frame) is metadata that is changed in one frame period of video continuously shot every 1/30 seconds, and “T” (Take) is metadata that is changed for each take. It is data. “Sh” (Shot) is metadata that is changed in a shot cycle. “Sc” (Scene) is metadata that is changed in a scene cycle, and “M” (Media) is metadata determined for each recording medium. “P” (Project) is metadata determined for each news program.
[0065]
In addition, FIG. 9 to FIG. 11 show Japanese notation and English notation for explaining metadata. Further, the metadata already defined by SMPTE (Society of Motion Picture and Television Engineers, Inc) shows an actual value such as “07 01 05 02 04 00 00 00” in the SMPTE Dictionary column.
[0066]
The metadata shown in FIGS. 9 to 11 will be specifically described.
[0067]
Gathering_Location_Latitude is metadata that represents latitude detected by GPS (Grobal Positioning System), Gathering_Location_Longitude is metadata that represents longitude detected by GPS, and Gathering_Location_Altitude is metadata that represents altitude detected by GPS Gathering_Location_Time is metadata representing the time detected by GPS. These GPS position information is generated from time to time by a
[0068]
Gathering_Location_Place is metadata representing the place name of the coverage location.
[0069]
UMID (Audio) and UMID (Video) are IDs determined so as to be unique all over the world to identify materials. Details of UMID will be described later.
[0070]
UMID (Data) is metadata for describing information about material data. Unlike UMID (Audio) and UMID (Video), which are described by the imaging device at the time of coverage, whether video data is a still image. ID indicating whether it is a graphic, closed caption signal, audio data is MIDI (Musical Instrument Digital Interface), or the like.
[0071]
UMID (System) represents an ID in which UMID (Audio) and UMID (Video) attached to a certain material are collected.
[0072]
Photographer is metadata that represents the name of the photographer. Jurnalist Information is metadata in which information about a reporter in charge of coverage is written. Director is metadata representing the director of a news program.
[0073]
Good Shot Mark & REC Start Mark is metadata related to mark points that are manually input during shooting.
[0074]
Camera Setup Imformation is metadata including setting information of a CCD (Charge Coupled Device) provided in the imaging apparatus, lens data describing a lens manufacturer, an aperture value, a lens magnification, and the like, and a crane angle, for example. Camera Setup Imformation is particularly necessary at the stage of CG synthesis 15.
[0075]
The equipment ID is metadata representing an imaging device used for coverage, and has a unique identification number for each imaging device.
[0076]
Take Number is metadata that is changed in the take cycle.
[0077]
The material start time code (Start Of Material) is metadata indicating the start time of each scene.
[0078]
Contents is metadata in which other information related to the shooting contents is input.
[0079]
Valid Date is metadata indicating the expiration date of the material.
[0080]
Audio Channel Information is metadata indicating microphone channel information. Audio Channel Information describes microphone information such that, for example, one channel is assigned to a reporter microphone and two channels are assigned to a partner microphone.
[0081]
Audio Type is metadata indicating whether audio recording is monaural, stereo, or bilingual.
[0082]
Source is the material supplied to the recording server recorded on a recording medium etc. and directly brought into the broadcasting station, or transmitted from the interview location by satellite communication, wireless communication, etc. This is metadata representing a video data supply source such as whether it is distributed from another broadcasting station.
[0083]
Format is metadata indicating the format of the data stream, such as whether it is a DV format, an MPEG_MP @ ML format, or an MPEG_4: 2: 2P @ ML format.
[0084]
Video Bit Rate is metadata indicating a video compression rate.
[0085]
Audio Number of Channel is metadata representing the number of channels of audio data. Audio Compression is metadata indicating whether audio data is compressed.
[0086]
Audio Compression is metadata representing the compression rate of audio data.
[0087]
Audio Sampling Rate is metadata representing an audio sampling frequency.
[0088]
Audio Date Size is metadata that displays the size of audio data by time or the number of bytes.
[0089]
REC_Type is metadata indicating a recording method such as Auto, Manual, GPI, Endress, and Open End.
[0090]
Material_ID is an ID for identifying a material used in an existing image processing system. That is, Material ID corresponds to UMID and may not be described.
[0091]
Sub Key is metadata indicating Version, Segment, Revision, etc., and indicates whether or not the material has been deformed during several edits.
[0092]
File Length (Time) is metadata for representing the length of a material in time.
[0093]
Gathering_Start_DateTime is metadata representing the time at which shooting starts, and is expressed in UTC. Gathering_End_DateTime is similarly expressed in UTC, and is metadata representing the photographing end time. These time data include Time Zone information representing a time difference from UTC.
[0094]
REC_Start_DateTime is metadata representing the editing start time in UTC when producing the broadcast material in the
[0095]
Recording_Operator is metadata that represents information on an operator who has performed editing in the
[0096]
File_Owner is metadata representing ownership information of material data such as a photographer.
[0097]
Shot Number is metadata that is changed in the shot cycle.
[0098]
Duration (Time) is metadata indicating the time required for shooting.
[0099]
GOP Size is metadata indicating the compression rate when video is compressed in MPEG format.
[0100]
Resolution is 720 * 512, 720 * 480,544 * 480, 480 * 480, 352 * Metadata representing a resolution such as 480.
[0101]
Essence_Size (Byte) is metadata that represents the size of the entire file including video and audio data by the number of bytes, and may be displayed by time.
[0102]
Object Type (Still, Audio, Video, Key Source) indicates an instruction for Still, which indicates whether the video data is a still image, Audio, Video, or telop, which indicates whether the data is audio data or video data. Metadata including data such as Key Source.
[0103]
Index, Index_Type, and Index_Memo are metadata for performing a search.
[0104]
Scene Number is metadata that is changed in a scene cycle.
[0105]
Recording Terminal and REC Port are metadata representing information related to the terminal that performed recording.
[0106]
The Reel Number is metadata for identifying a recording medium on which video data is recorded, and is generated as a different Number every time the same tape is taken in or out of the imaging apparatus.
[0107]
Copyright is metadata indicating the copyright of video data that has been photographed and recorded, and an individual name, a broadcasting station name, or the like is input.
[0108]
Modified_DateTime is metadata that indicates the date when the broadcast material edited by the
[0109]
Producer is metadata representing the producer of a news program.
[0110]
Archive_Operator is metadata representing the information of the operator who stored the broadcast material.
[0111]
Title is metadata representing the title of a program that uses the subject of photography or the content to be collected (content of the material).
[0112]
Archive Terminal is metadata representing information related to a terminal that stores broadcast materials.
[0113]
The NCS ID is an ID (identifier) set for each news program item / program registered in the NCS (Newsroom Computer System). However, the NCS ID does not indicate an ID for accessing the
[0114]
EDL Information is metadata relating to edited contents. Specifically, the in-point and out-point of the video data to be used are indicated by time or Reel Number, and are described as an edit point list. Script is metadata that mainly indicates the content of a read original.
[0115]
OnAir_Flag is metadata indicating whether or not the edited broadcast material is on air, and OnAir_Counter is metadata indicating how many times the on-air air has been on air.
[0116]
Archive_Flag is metadata indicating whether or not the material collected by the coverage has been stored.
[0117]
Compile_Flag is metadata indicating that the material once stored is re-arranged and re-recorded when the process of whether or not to delete is performed.
[0118]
Distribution_Flag is metadata indicating whether or not the broadcast material is transmitted from a broadcast station other than the own station. The information is also described when the material is bought and sold.
[0119]
File_Status_Bit is metadata representing the status of the material in the
[0120]
By inputting the metadata as described above in the processing steps in each device, the material can be clearly identified by the state of the material and the additional information related to the material.
[0121]
In the
[0122]
The SDI format includes a 4-dot EAV (End of Video) area indicating end synchronization, a 268-dot ancillary (ANS) area, a 4-dot SAV (Start of Video) area indicating start synchronization, and 1440 dots. Active video area and is composed of 525 lines. However, the numbers in parentheses indicate values defined by the PAL (Phase Alternation Line) method.
[0123]
The active video area is a 9-line vertical blanking section (VBK 1 ) And 10-line optional blanking section (OBK) 1 ) And 244 lines of active video (ACV) 1 ) And 9-line vertical blanking section (VBK) 2 ) And 10-line optional blanking section (OBK) 2 ) And 243 lines of active video area (ACV) 2 ).
[0124]
SDI is a format for transmitting uncompressed digital data such as the so-called D1 and D2 formats. Audio data is stored in the ancillary area, and video data such as D1 and D2 is stored in the active video area. Is transmitting. In the SDI format, the metadata is inserted into the ancillary area and transmitted.
[0125]
FIG. 12B shows one line of the SDI format. When transmitted, data of 10 bits width per line is transmitted after being subjected to parallel-serial conversion and transmission path coding.
[0126]
Further, as a transmission format for transmitting video data, audio data, and metadata in the
[0127]
FIG. 13A shows the data structure of the SDTI format. Similar to the SDI format, the SDTI format is a 4-dot EAV (End of Video) area indicating end synchronization, an 268-dot Ancillary (ANC) area, and a 4-dot SAV (Start of Video) indicating start synchronization. ) Area, but an active video area composed of 525 lines in the SDI format is defined as a payload area. However, the numbers in parentheses indicate values defined by the PAL (Phase Alternation Line) method.
[0128]
In SDTI format, the payload area is the blank data part (BDT 1 , BDT 2 ) And data section (DT 1 , DT 2 ), But the number of lines in each data part is not defined.
[0129]
FIG. 13B shows one line of the SDTI format. When transmitted in the SDTI format, data of 10 bits width per line is transmitted after being subjected to parallel-serial conversion and transmission path coding.
[0130]
In the SDTI format, the ancillary area includes 53 words of SDTI header data into which a source address, a destination address, a line number CRC, and the like are inserted. In the SDTI format, metadata is inserted into the area of the ancillary area excluding the SDTI header data.
[0131]
FIG. 14 shows the data structure of the SDTI-CP format. The packet structure in SDTI-CP further restricts the SDTI format, and changes the payload structure to make it easy to insert various data.
[0132]
Data transmitted in the SDTI-CP format includes MPEG (Moving Picture Expert Group) 2 Video Elementary Stream and the like, and various data such as auxiliary data including audio and metadata can be transmitted together.
[0133]
Data to be inserted into the payload is delimited by “items”, and various data are inserted into each item. Specifically, there are four types of items: System Item, Picture Item, Audio Item, and Auxiliary Item.
[0134]
The System Item has areas such as System Item Bitmap, Content Package rate, SMPTE Universal Label, Package Metadata Set, Picture Metadata Set, Audio Metadata Set, Auxiliary Metadata Set, and the like.
[0135]
In the SDTI-CP format, metadata is inserted and transmitted in the Package Metadata Set, Picture Metadata Set, Audio Metadata Set, and Auxiliary Metadata Set areas of the System Item.
[0136]
Metadata is unique data that is added to identify materials such as video data and audio data, and is KLV (Key Length Value) protocol and UMID (Unique Material Identifier) data based on the SMPTE standard. Transmitted by format.
[0137]
The KLV format stores 16-byte Universal Label Data Key describing Universal Label Data, Value Length indicating the data length of metadata stored in the Value area, and actual metadata corresponding to the SMPTE Dictionary. This is a data transmission format having three areas of Value. FIG. 15 shows the KLV format.
[0138]
Universal Label Data Key is a data area for uniquely labeling stored metadata. The Universal Label Data Key further includes a 1-byte Object ID and a UL (Universal Label) Header area that contains the UL (Universal Label) Size, 1-byte UL (Universal Label) Code, SMPTE Design, and Registry, respectively. It is divided into UL (Universal Label) Designatores area including Design, Data Design, and Reference Version, and 9-byte Data Element Tag area.
[0139]
The UMID is an identifier that is uniquely determined to identify video data, audio (voice) data, and other material data. FIG. 16 shows the data structure of UMID.
[0140]
The UMID is a basic UMID as an ID for identifying material data composed of a series of video, audio, and metadata (hereinafter referred to as content), and a signature for identifying each content in the material data. It consists of Extended UMID.
[0141]
Basic UMID has a 32-byte data area, and consists of a 12-byte Universal Label area, a 1-byte Length Value area, a 3-byte Instance Number area, and a 16-byte Material Number area. Yes.
[0142]
The Universal Label area stores codes for identifying digital data, and the details are standardized in SMPTE-298M. The Length Value area indicates the length of the UMID. Since the code length differs between Basic UMID and Extended UMID, it is indicated by 13h in the case of Basic UMID, and is indicated by 33h in the case of Extended UMID. The Instance Number area indicates whether the material data has been overwritten or edited. The Material Number area has three areas and stores a code for distinguishing material data.
[0143]
Time Snap indicated by 4 bytes indicates the number of snap clock samples per day. This indicates the creation time of the material data in units of clocks. The 8-byte Rnd (Random Number) is duplicated when an incorrect time is set, or when the network address of a device defined by IEEE (The Institute of Electrical and Electronics Engineers, Inc.) changes, for example. It is a random number to prevent numbers from being attached.
[0144]
Extended UMID, on the other hand, is an 8-byte Time / Date Code that identifies the time and date when the material was generated, and correction (time difference information) related to the time when the material was generated, as well as latitude, longitude, and altitude. 12 bytes of Spatial Co-oredinates that define the location information to be defined, and the alphabetic code (Country) of the bytes that define
[0145]
The Basic UMID and Extended UMID described above do not include metadata indicating the video size, generation number, and the like. In particular, the Material Number does not indicate other information related to the state of the material or the video of the material. Metadata indicating the video size, generation number, etc. is transmitted based on the KLV format.
[0146]
The
[0147]
The
[0148]
The
[0149]
Although not shown, the image /
[0150]
The
[0151]
The
[0152]
Although not shown, the
[0153]
The
[0154]
The
[0155]
The
[0156]
Bluetooth is short-range wireless communication using 2.4 GHz band radio waves standardized by Ericsson (Sweden), with a maximum transfer rate of 1 Mbit / sec and a modulation method of GFSK (Gaussian Frequency Shift Keying). It is said that. The maximum transmission distance of Bluetooth is 10m (output: 1mW) and 100m (output: 100mW), and these can be used properly depending on the application.
[0157]
The
[0158]
Although not shown, the
[0159]
On the other hand, the
[0160]
The metadata corresponding to each
[0161]
A recording / reproducing
[0162]
The recording /
[0163]
Here, the compression encoding /
[0164]
The recording / reproducing
[0165]
The recording / reproducing
[0166]
In the recording / reproducing
[0167]
The
[0168]
In the above-described recording / reproducing
[0169]
A
[0170]
The
[0171]
The
[0172]
The
[0173]
The
[0174]
The
[0175]
The
[0176]
The
[0177]
In addition, the
[0178]
The
[0179]
The
[0180]
The
[0181]
The
[0182]
The
[0183]
The
[0184]
The special
[0185]
The
[0186]
The
[0187]
The
[0188]
A
[0189]
The
[0190]
The integrated management apparatus 111 shown in FIG. 8 performs overall management of additional information such as video data, audio data, and metadata in the
[0191]
The
[0192]
A storage recording device 114 shown in FIG. 8 is a recording device for storing edited broadcast materials, and includes a recording medium such as an HDD. Although not shown here, the storage recording device 114 includes a long-term recording unit that stores broadcast materials for a long period of time and a temporary recording unit that stores broadcast materials that may be used again for a certain period of time. And may be provided. The storage recording device 114 can freely take out recorded broadcast materials in response to requests from the
[0193]
The
[0194]
The
[0195]
The
[0196]
The sending video /
[0197]
The sending
[0198]
Whereas the configuration described above corresponds to a broadcasting station or the like that produces and transmits a broadcasting material, the set
[0199]
The set
[0200]
Next, the operation of each apparatus when producing a news program using the above-described
[0201]
First, the operation of the
[0202]
The metadata transferred here is metadata determined at the stage of the
[0203]
However, among the above-mentioned metadata, the metadata other than the description about the contents and the news coverage item is temporarily input metadata, and may be changed in the process described later.
[0204]
This metadata is input from the
[0205]
Each imaging device is recognized by an ID that is assigned in advance and stored in the
[0206]
The metadata shown in FIG. 22 indicates that of the
[0207]
In this case, the coverage start date is “2000/3/3 9: 00-10: 00”, “2000/3/3 13: 00-14: 00” and “2000/3/3 17: 00-19: 00 ”is shown, and the corresponding NCS IDs are shown as“ 0001 ”,“ 0002 ”, and“ 0003 ”. Corresponding to each NCS ID, “Prime Minister Interview”, “Street Interview” and “Reporter Club Coverage” are shown as news coverage topics. Similarly, photographers and journalists are shown correspondingly.
[0208]
Here, the processing in the
[0209]
When the metadata request from the
[0210]
In step S <b> 22, the
[0211]
Here, returning to FIG. In step S <b> 2, the
[0212]
In step S <b> 3, the
[0213]
In step S4, the
[0214]
If it is determined in step S4 that the recording has started, the process proceeds to step S6, where the
[0215]
Further, the
[0216]
In step S7, the
[0217]
In step S <b> 8, the
[0218]
In step S9, the
[0219]
On the other hand, if it is determined in step S9 that the recording has ended, in step S10, the
[0220]
The recording medium shown in FIG. 8 is, for example, a tape-like magnetic recording medium, and in particular, here, a digital video tape is shown. The recording medium is capable of recording video and audio as digitized video data and audio data, and has an area for recording auxiliary data such as metadata in addition to video data and audio data. It is. Further, the auxiliary data may be provided with a
[0221]
Next, processing when the
[0222]
In step S32, the
[0223]
In the above explanation, the photographer, journalist, the start date of news gathering, news coverage from the name of the place of interview, photographer, journalist, director, description of contents, start date of interview, end date of interview, producer, news coverage item, NCS ID The items and NCS IDs have been described as examples, but the same applies to the director, description about the contents, the date and time when the interview ended, and the producer.
[0224]
In addition, there is metadata that is generated by the
[0225]
In this way, by recording metadata representing information on material data and tape position information in the recording medium and
[0226]
The material data and metadata collected by the
[0227]
At this time, the
[0228]
As described above, when the
[0229]
Video data, audio data, and metadata temporarily recorded in the
[0230]
On the other hand, in the
[0231]
At this time, in the
[0232]
In the
[0233]
At this time, the automatically synthesized CG composition screen can be edited by operating a GUI (Graphical User Interface) screen. The editing operation on the GUI screen will be described with reference to FIGS. 25, 26 and 27. FIG.
[0234]
FIG. 24 schematically shows a
[0235]
Editing of the CG composition screen is performed based on the steps shown in FIGS. The steps shown in FIGS. 26 and 27 show processing for displaying a CG composition screen based on the prepared template when the
[0236]
Processing when a map relating to image data is synthesized and displayed will be described with reference to FIG.
[0237]
In step S40, image data and metadata representing position information are input. Subsequently, in step S41, based on the position information indicated by the metadata, a map corresponding to the position information is read from a recording server (not shown) that records a map or the like. In step S42, a CG composite screen is automatically created.
[0238]
Subsequently, when a template change is instructed in step S43, a CG synthesis screen based on the template is displayed in accordance with the instruction in step S44.
[0239]
On the other hand, the process in the case of synthesizing and displaying time information related to image data or a title will be described using FIG. For the time information, title, etc., metadata indicating these is used as it is. That is, in step S50, image data, time information, and metadata as title information are input. Subsequently, in step S51, a CG composite screen is automatically created.
[0240]
Subsequently, when a template change is instructed in step S52, the CG composition screen is changed and displayed according to the instruction in step S53.
[0241]
For example, information such as time information, title font, and character size may be read from the recording server and displayed.
[0242]
As described above, by using the metadata indicating the position information detected by GPS and the metadata indicating the article content, map information and characters to be displayed on the screen are extracted from the recording server, and these are used. Thus, the CG composition screen can be automatically performed.
[0243]
Subsequent to the rough editing, the
[0244]
Metadata representing EDL_Information and Script input at the
[0245]
The broadcast material edited by the
[0246]
The process of sending the broadcast material from the sending
[0247]
When sending from the sending
[0248]
The broadcast material is sent out, then recorded in the storage recording device 114, and managed by the integrated management device 111. When recording a broadcast material in the storage recording device 114, new input metadata includes storage date / time, archive operator, archive terminal, archive flag, and compile flag.
[0249]
For metadata other than the above, the metadata used in the previous stage or the metadata input in the previous stage is used again in the storage stage.
[0250]
As described above, the
[0251]
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
[0252]
【The invention's effect】
As described above in detail, the image processing system according to the present invention uses the video data and audio data recorded in the imaging device when the video data and audio data are recorded in the imaging device. Input processing means for inputting the video data, audio data and first metadata from the recording means for recording together with the first metadata for identifying the data, and the first metadata different from the first metadata. Metadata generating means for generating second metadata, and video data, audio data and first metadata input to the input processing means together with the second metadata generated by the metadata generating means Data storage means and output for reading and outputting video data, audio data, first metadata and second metadata recorded in the data storage means An editing unit that edits the video data and audio data output from the output processing unit based on the first metadata and the second metadata output from the output processing unit. And a storage data recording device for storing video data and audio data edited by the editing device together with third metadata newly input when the edited video data and audio data are stored With In the storage data recording device, the video data and audio data stored in the storage data recording device are retrieved in response to a request from the editing device. The
[0253]
The other metadata includes a source (Source) indicating the source of the material data, a format (Format) indicating the format of the data stream, a video bit rate (Video Bit Rate) indicating the compression of the video, and the video as MPEG. GOP Size indicating the compression ratio in the case of format, Resolution indicating resolution, and Audio Number of Channel indicating the number of channels of audio data , Audio compression indicating whether the audio data is compressed (Audio Compression), audio sampling rate (Audio Sampling Rate) indicating the audio sampling frequency, and audio data size (Audio Data) indicating the size of the audio data Size), Rec type indicating the recording method (REC_Type), and existing image processing system Material ID (Material_ID) that indicates the ID used to identify the material being used, Sub Key that indicates whether the material has been deformed during several edits, etc. , Umid data (UMID (Data)) which is an ID indicating the type of material data, Umid system (UMID (System)) that combines Umid audio and Umid video, and file length representing the length of the material (File Length), the essential size (Essence_Size) representing the size of the entire file including video and audio data, the essential size (Essence_Size) representing the size of the entire file including video and audio data, and the video data are still images The object type (Object Type) indicating whether or not, and the metadata representing the valid date (Valid Date) indicating the expiration date of the material data are listed It is.
[0254]
Therefore, by recording metadata as additional information together with image data and audio data, when producing a news program at a broadcasting station, it is possible to identify image data and audio data, and also when editing material In addition, the material data can be searched immediately.
[0255]
As described above in detail, the material storage method according to the present invention uses the video data and audio data recorded in the imaging device when the video data and audio data are recorded in the imaging device. A recording step of recording in the recording means together with first metadata for identifying data, and an input processing step in which the video data, audio data and first metadata recorded in the recording means are input to the input processing means; A metadata generation step of generating second metadata different from the first metadata, and the video data, audio data, and first metadata input to the input processing means, the metadata A data accumulating step for recording in the data accumulating unit together with the second metadata generated in the generating step, and video data, audio data, first data recorded in the data accumulating unit, An output processing step for reading and outputting the metadata and the second metadata, and editing the video data and the audio data based on the first metadata and the second metadata output in the output processing step And a storage data record for storing the video data and audio data edited in the editing step together with the third metadata newly input when the edited video data and audio data are stored With process In the storage data recording step, the video data and audio data recorded in the data storage step are taken out in response to a request from the editing step. The
[0256]
Therefore, by recording metadata as additional information together with image data and audio data, when producing a news program at a broadcasting station, it is possible to identify image data and audio data, and also when editing material In addition, the material data can be searched immediately.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram for explaining a series of steps from making a news gathering plan, conducting news gathering, editing and broadcasting a material obtained by news gathering, and storing this.
FIG. 2 is a diagram illustrating a specific example of metadata generated in a planning process.
FIG. 3 is a diagram illustrating a specific example of metadata transmitted from the base station to the imaging apparatus at the stage of transition from the planning process to the reporting process.
FIG. 4A is a diagram illustrating a specific example of metadata input in the imaging device at the time of shooting, and FIG. 4B is a specific example of metadata input when stored in the material storage device. FIG.
FIG. 5A is a diagram illustrating a specific example of metadata input in the imaging apparatus at the time of shooting, and FIG. 5B is a specific example of metadata input when temporary editing is performed in the NCS. FIG.
6A is a diagram illustrating a specific example of metadata input in the imaging apparatus at the time of shooting, and FIG. 6B is a diagram illustrating a specific example of metadata input and changed in the editing process. It is.
FIG. 7 is a diagram illustrating a specific example of metadata used when a CG composition screen is automatically created.
FIG. 8 is a block diagram showing a specific configuration of an image processing system shown as a configuration example of an embodiment of the present invention.
FIG. 9 is a diagram showing metadata used in the image processing system shown as one configuration example of the embodiment of the present invention.
FIG. 10 is a diagram showing metadata used in the image processing system shown as one configuration example of the embodiment of the present invention.
FIG. 11 is a diagram showing metadata used in the image processing system shown as one configuration example of the embodiment of the present invention.
FIG. 12 is a schematic diagram for explaining an SDI format used as a data transmission format of an image processing system shown as one configuration example of an embodiment of the present invention.
FIG. 13 is a schematic diagram for explaining an SDTI format used as a data transmission format of an image processing system shown as one configuration example of an embodiment of the present invention.
FIG. 14 is a schematic diagram for explaining an SDTI-CP format used as a data transmission format of an image processing system shown as one configuration example of an embodiment of the present invention.
FIG. 15 is a schematic diagram illustrating a KLV format used as a data transmission format of an image processing system shown as an example of the configuration of an embodiment of the present invention.
FIG. 16 is a schematic diagram for explaining a UMID format used as a data transmission format of an image processing system shown as one configuration example of an embodiment of the present invention.
FIG. 17 is a block diagram illustrating specific configurations of an imaging device, a base station, and a data management device of the image processing system shown as an example of the configuration of the embodiment of the present invention.
FIG. 18 is a block diagram showing a specific configuration of a recording / reproducing apparatus of an image processing system shown as one configuration example of an embodiment of the present invention.
FIG. 19 is a block diagram showing a specific configuration of a material storage device of the image processing system shown as one configuration example of the embodiment of the present invention.
FIG. 20 is a block diagram showing a specific configuration of an editing apparatus of the image processing system shown as one configuration example of the embodiment of the present invention.
FIG. 21 is a flowchart illustrating processing when the imaging device receives metadata transmitted from the data management device in the image processing system shown as an example of the configuration of the embodiment of the present invention.
FIG. 22 is a diagram illustrating metadata used in the image processing system shown as an example of the configuration of the embodiment of the present invention.
FIG. 23 is a flowchart illustrating processing when the data management apparatus receives metadata in the image processing system shown as an example of the configuration of the embodiment of the present invention.
FIG. 24 is a flowchart illustrating processing when the data management apparatus in the image processing system shown as an example of the configuration of the embodiment of the present invention updates metadata.
FIG. 25 is a schematic diagram illustrating a graphical user interface for creating a CG composition screen in the image processing system shown as an example of the configuration of the embodiment of the present invention.
FIG. 26 is a flowchart showing processing when the editing apparatus searches for a map based on position information and combines it with image data in the image processing system shown as one configuration example of the embodiment of the present invention.
FIG. 27 is a flowchart showing processing when the editing apparatus displays time information and a title in the image processing system shown as one configuration example of the embodiment of the present invention.
[Explanation of symbols]
0 image processing system, 10 pre-shooting stage, 11 planning process, 20 shooting production stage, 21 coverage process, 22 material accumulation process, 23 voice-over process, 30 post-shooting process stage, 31 CG creation process, 32 main editing process, 40 Broadcast stage, 41 Closed caption process, 42 Live broadcast, 43 Automation process, 44 Broadcast process, 50 Storage stage, 51 Temporary storage process, 52 Storage process, 60 NCS, 101 Imaging device, 102 Mobile phone, 103 Data management device, 104 Base station, 105 recording medium casing, 106 recording / playback device, 107 monitor, 108 material storage device, 109 editing device, 110 monitor, 111 integrated management device, 112 reporter terminal, 113 input / output terminal, 114 storage recording device, 115 authoring terminals, 116 media casters, 117 Plexer, 118 Sending video / audio recording device, 119 Sending unit, 120 set-top box, 121 Television receiver, 131 Video / audio input unit, 132 Operation unit, 133 HDD, 134 Recording unit, 135 Multiplexer, 136 Antenna, 140 Micro Computer, 141 microcomputer, 142 communication unit, 151 input terminal, 152 output terminal, 153 input processing unit, 154 compression encoding / decoding unit, 155 output processing unit, 156 error correction processing unit, 157 channel coding unit, 158 recording / playback Unit, 159 mechanism unit, 160 operation unit, 161 terminal, 162 controller, 171 input unit, 172 encoder, 173 recording unit, 174 decoder, 175 output unit, 176 controller, 181 input operation unit, 182 input processing unit, 18 Recording unit, 184 audio mixer, 185 special effect processing unit, 186 output unit, 187 control unit, 188 memory
Claims (12)
上記第１のメタデータとは別の第２のメタデータを生成するメタデータ生成手段と、
上記入力処理手段に入力された映像データ、音声データ及び第１のメタデータを上記メタデータ生成手段で生成された第２のメタデータとともに記録するデータ蓄積手段と、
上記データ蓄積手段に記録された映像データ、音声データ、第１のメタデータ及び第２のメタデータを読み出して出力する出力処理手段と
を備える素材蓄積装置と、
上記出力処理手段から出力された第１のメタデータ及び第２のメタデータに基づいて、上記出力処理手段から出力された映像データ及び音声データを編集する編集装置と、
上記編集装置により編集された映像データ及び音声データを、該編集された映像データ及び音声データを保管する際に新たに入力される第３のメタデータとともに保管する保管用データ記録装置と
を備え、
上記保管用データ記録装置では、上記編集装置からの要求に応じて、上記素材蓄積装置に記録されている映像データ及び音声データが取り出される画像処理システム。Recording means for recording video data and audio data recorded in the imaging device together with first metadata for identifying the audio data and video data when the video data and audio data are recorded in the imaging device Input processing means to which the video data, audio data and first metadata are input;
Metadata generating means for generating second metadata different from the first metadata;
Data storage means for recording the video data, audio data and first metadata input to the input processing means together with the second metadata generated by the metadata generation means;
A material storage device comprising: output processing means for reading out and outputting video data, audio data, first metadata and second metadata recorded in the data storage means;
An editing device for editing video data and audio data output from the output processing means based on the first metadata and the second metadata output from the output processing means;
A storage data recording device for storing video data and audio data edited by the editing device together with third metadata newly input when storing the edited video data and audio data ;
Above storage data recording apparatus, an image processing system in response to a request from the editing apparatus, Ru video data and audio data recorded in the material storage device is taken out.
上記記録手段に記録された映像データ、音声データ及び第１のメタデータが入力処理手段に入力される入力処理工程と、
上記第１のメタデータとは別の第２のメタデータを生成するメタデータ生成工程と、
上記入力処理手段に入力された映像データ、音声データ及び第１のメタデータを、上記メタデータ生成工程で生成された第２のメタデータとともにデータ蓄積手段に記録するデータ蓄積工程と、
上記データ蓄積手段に記録された映像データ、音声データ、第１のメタデータ及び第２のメタデータを読み出して出力する出力処理工程と、
上記出力処理工程で出力された第１のメタデータ及び第２のメタデータに基づいて、上記映像データ及び音声データを編集する編集工程と、
上記編集工程で編集された映像データ及び音声データを、該編集された映像データ及び音声データを保管する際に新たに入力される第３のメタデータとともに保管する保管用データ記録工程と
を有し、
上記保管用データ記録工程では、上記編集工程からの要求に応じて、上記データ蓄積工程で記録された映像データ及び音声データが取り出される素材蓄積方法。Recording video data and audio data recorded in the imaging device on a recording unit together with first metadata for identifying the audio data and video data when the video data and audio data are recorded in the imaging device Recording process to
An input processing step in which the video data, audio data and first metadata recorded in the recording means are input to the input processing means;
A metadata generation step of generating second metadata different from the first metadata;
A data storage step of recording the video data, audio data and first metadata input to the input processing means together with the second metadata generated in the metadata generation step in the data storage means;
An output processing step of reading and outputting video data, audio data, first metadata and second metadata recorded in the data storage means;
An editing step of editing the video data and audio data based on the first metadata and the second metadata output in the output processing step;
The video data and audio data edited in the editing step, have a third storage for data recording step stores with meta data newly entered when storing video data and audio data the edited ,
Above the storage data recording step, in response to a request from the editing process, material accumulation method recorded video data and audio data in the data memory step is picked.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000113275A JP4846892B2 (en) | 2000-04-10 | 2000-04-10 | Image processing system and material storage method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000113275A JP4846892B2 (en) | 2000-04-10 | 2000-04-10 | Image processing system and material storage method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001292412A JP2001292412A (en) | 2001-10-19 |
| JP2001292412A5 JP2001292412A5 (en) | 2007-05-10 |
| JP4846892B2 true JP4846892B2 (en) | 2011-12-28 |
Family
ID=18625269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000113275A Expired - Fee Related JP4846892B2 (en) | 2000-04-10 | 2000-04-10 | Image processing system and material storage method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4846892B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004310330A (en) * | 2003-04-04 | 2004-11-04 | Sony Corp | Program, and method and device therefor |
| JP2004355794A (en) * | 2003-05-07 | 2004-12-16 | Matsushita Electric Ind Co Ltd | Recording and reproducing device and method |
| CN103947202A (en) * | 2011-11-30 | 2014-07-23 | 英特尔公司 | Perceptual media encoding |
| CN113938652B (en) * | 2021-10-12 | 2022-07-26 | 深圳蓝集科技有限公司 | Wireless image transmission system |
-
2000
- 2000-04-10 JP JP2000113275A patent/JP4846892B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001292412A (en) | 2001-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5206838B2 (en) | Image processing apparatus and image processing method | |
| JP3671421B2 (en) | Portable AV editing device | |
| US7583886B2 (en) | Information processor | |
| US20030085997A1 (en) | Asset management system and asset management method | |
| JP4438177B2 (en) | Data transmission / reception system | |
| JP4613390B2 (en) | Image processing apparatus and image processing method | |
| JP4846892B2 (en) | Image processing system and material storage method | |
| JP2001292411A (en) | Image data recorder and image data recording method | |
| JP4613389B2 (en) | Image processing apparatus and image processing method | |
| JP4466482B2 (en) | Information processing apparatus and method, recording medium, and program | |
| JP4433566B2 (en) | Production system, asset management system and archive system, production method, asset management method and archive method | |
| JP4240757B2 (en) | Production system and control method thereof | |
| JP4407011B2 (en) | Production system and control method thereof | |
| JP4433559B2 (en) | Production system and production method | |
| JP3714312B2 (en) | Editing method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070315 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081027 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090126 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090204 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090227 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111013 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |