JP7028687B2 - 放送システム - Google Patents

Description

本発明は、放送システムに係り、例えば、放送局におけるスポーツ素材や取材素材などの収録素材を収録／編集／送出／アーカイブする放送システムに関する。

放送局において番組を送出する場合に、編集用元素材を編集した番組を送出する技術がある（特許文献１参照）。特許文献１に開示の技術では、編集用元素材と編集済素材との関係を抜き出した情報である元素材情報データを作成し、再び編集する場合には、編集済素材とプロジェクトデータと元素材情報データとを使用して編集する。

特開２０１２－３４２１８号公報

ところで、スポーツ素材など長編の収録素材をライブ収録し送出、アーカイブするシステムおいて、ライブ収録した収録素材は、カット編集によりクリップ化され、部分的に送出されることがある。これらをアーカイブする場合、収録素材をそのまま収録すると不要な映像が多く含まれているため、アーカイブ／リトリーブ処理時間を多く費やすほか、保存用メディア（例えばＬＴＯ（Linear Tape-Open）カートリッジのような磁気テープ等）に無駄なコストがかかる。また一本化してアーカイブ保存するため素材尺が長い番組では、アーカイブ／リトリーブに多くの時間を要するという課題がある。また、後に再利用する際に、必要な箇所を探す手間や、処理時間、容量を多く費やすという課題がある。

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

本発明は、放送局における収録素材を収録／編集／送出／アーカイブする放送システムおいて、前記収録素材を細分化し、細分化した単位で前記収録素材を管理する細分化手段と、細分化した単位で、前記収録素材に関するメタ情報を付与するメタ情報付与手段と、細分化した単位で、前記収録素材をアーカイブするアーカイブ手段と、前記収録素材のプロキシデータを生成するプロキシサーバと、予めユーザによって設定された音声データ又は画像データを検索対象とし、当該検索対象が前記プロキシデータ中で認識された前記収録素材中の時刻である素材位置をメタデータとして前記収録素材に付与する画像・音声解析手段と、を備える。
また、前記収録素材は、素材映像データの一部が時間的に分割されて切り出されたクリップであって、単一の素材映像データについて複数のクリップがある場合に、前記アーカイブ手段は、クリップ毎に抽出されたファイル形態で、複数の収納部に並列処理にて書き込んでもよい。
また、前記アーカイブ手段は、収録時刻を指定してリトリーブの要求を受けると、細分化した単位でアーカイブされている、前記収録素材に対応したデータをリトリーブするとともに、複数の前記データのリトリーブの処理を行う場合に、並列処理にてリトリーブを行ってもよい。

本発明によれば、収録素材をアーカイブする際に、細分化して管理するため、アーカイブする際やリトリーブする際に、細分化した単位のファイルが処理対象となり、並列処理が可能となる。

実施形態に係る、映像編集システム１の概略構成を示す図である。 実施形態の実施例１に係る、アーカイブ処理を説明する図である。 実施形態に係る、メタ情報の付与処理及びアーカイブ処理を説明する図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
まず、図１を参照して本実施形態の概要を説明し、続いて、図２及び図３を参照して具体的な実施例１、２を説明する。

図１は、本実施形態に係る映像編集システム１の概略構成を示すブロック図である。映像編集システム１は、カメラ１０と、収録装置１１と、記録装置１２と、編集装置１４と、システム制御装置１５と、転送制御装置１６と、プロキシサーバ１７と、画像・音声解析装置１８と、送出サーバ１９とを備え、これらはＬＡＮ回線や所定の通信回線等のネットワーク２で接続されている。

カメラ１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データ（例えば、ＨＤ－ＳＤＩ規格の素材映像データ）を、収録装置１１へ収録して、ネットワーク２を介して記録装置１２や編集装置１４、プロキシサーバ１７、送出サーバ１９へ出力する。また、収録は、回線、ＶＴＲから収録してもよいし、ＭＸＦ（Media eXchange Format）などのファイル取込みでもよい。

記録装置１２は、収録装置１１で収録された素材映像データを記録し保管する。記録装置１２は、アーカイブ装置５０を備える。アーカイブ装置５０は、完成した番組や編集素材のファイルを記録媒体（ＨＤＤ、光ディスクや磁気カートリッジ）に記録する。また、完成した番組や編集素材のファイルは、クラウドへの保存してもよい。磁気カートリッジのライブラリとして、ＬＴＯカートリッジ（図２の磁気テープカートリッジ（１）～（５）５１～５５等）が備わる。アーカイブ装置５０は、アーカイブする素材を複数のメディア、ここでは、磁気テープカートリッジ（１）～（５）５１～５５に分割して保存・管理する。詳細は実施例１、２で後述するが、編集装置１４においてカット編集をし、クリップ送出する場合に、クリップ毎に分割して記録する。すなわち、収録素材を細分化して管理し、必要な部分（細分化された収録素材）へダイレクトにアクセスすることが可能となっている。

アーカイブ装置５０に記録されたファイルは、番組の放送スケジュールに沿って送出サーバ１９に転送されたり、収録装置１１に転送され編集装置１４による番組編集処理に用いられる。

アーカイブ装置５０に収録されるファイル形式として、例えば、ＭＸＦが用いられる。ＭＸＦは、いわゆる業務用映像ファイルのフォーマットであり、カムコーダ、録画再生機、ノンリニア編集機、送出設備などの放送用装置機材に利用されており、映像や音声などの様々なフォーマットのデータを、メタデータとともにラッピングすることができる。メタデータは、例えば、フレームレート、フレームサイズ、作成日のほか、カメラ１０の撮影者、素材の各種情報（タイトルや内容、再生時間、シーンの情報等）を含めることができる。

編集装置１４は、収録素材（すなわち素材映像データ）に対して実際にレンダリング処理を施す編集を行うレンダリング編集機能や、レンダリングを必要としないクリップ化を行うカット編集機能等を有する。編集装置１４には、実際にこの編集作業を行うプロセッサを具備する編集制御手段（編集手段）と、素材映像データ、及びこれに編集が施された後の映像データに基づく映像を表示させる表示部（表示手段：ディスプレイ）と、その画像や音声における各部分を選択する、あるいは指示を入力するための操作パネル（操作手段）が設けられる。表示部と操作パネルとが一体化されたタッチパネルディスプレイを用いることがより好ましい。

編集装置１４は、収録装置１１から素材映像データを読み込み、この素材映像データに基づく画像を表示部でユーザに確認させた上で操作パネルを操作させ、処理の対象となる部分を指定し、カット編集処理やレンダリング処理等の各種編集処理を施す操作を行い、再度、収録装置１１に記録する。

編集処理において、用いる編集情報として、処理対象となる部分の映像フレーム位置、映像上の座標、あるいは処理対象が音声の場合には音声サンプルの位置の範囲、処理の内容等がある。処理の内容としては、処理対象が映像の場合にはモザイク処理、ブラー処理、映像カット、輝度の増減処理、処理対象が音声の場合にはミュート処理、音量調整等がある。

システム制御装置１５は、映像編集システム１全体を統括的に制御するものであって、単独で構成されてもよいし、他装置（送出サーバ１８など）と同一に含まれて構成されてもよい。また、システム制御装置１５は、送出サーバ１９に対して番組の送出の指示を行う。

転送制御装置１６は、記録装置１２のアーカイブ装置５０と他の装置（収録装置１１や送出サーバ１８等）の間のファイル転送を制御する。具体的には、転送制御装置１６は、アーカイブ装置５０に備わる複数の磁気テープカートリッジ（１）～（５）５１～５５にアーカイブする場合に、またはリトリーブする場合に、複数の処理並列を行う場合に、それを制御する。また、転送制御装置１６は、編集装置１４によるカット編集処理によってクリップ化された場合に、クリップ部分を抽出し、不要部分を削除して、アーカイブ装置５０にアーカイブする。なお、転送制御装置１６は、単独として構成されてもよいし、記録装置１２や編集装置１４に含まれる構成であってもよい。

プロキシ素材の生成箇所は特に限定しないが、プロキシサーバ１７が、収録装置１１から収録素材を取得しプロキシ素材（一般には、低画質化した動画ファイル）を自動生成し保存してもよいし、収録装置１１で生成してもよい。画像・音声解析装置１８は、プロキシサーバ１７に蓄積された収録素材（プロキシ素材）を解析し、解析結果と素材位置とを関連付ける。画像・音声解析装置１８は、解析に用いる解析用メタデータ（音声キーワードや顔画像等）を編集装置１４や他の操作端末から取得し登録する。尚、プロキシサーバ１７や画像・音声解析装置１８は、ネットワーク２で接続されたクラウド上に設置されたサービスを利用してもよい。

送出サーバ１９は、システム制御装置１５の指示を受けて、収録装置１１に記録された素材や編集装置１４で生成された番組用放送素材（すなわち、各種の素材等が纏められたコンテンツ）を放送出力（オンエア）する。

＜実施例１＞
図２を参照して具体的な実施例を説明する。本実施例では、クリップ送出時の処理を説明するもので、クリップ編集時のカット点情報を元に、前後の最低限の捨てカットを付与して繋ぎ合わせて管理し、これをクリップ毎にアーカイブ装置５０へ転送し、並行処理にて複数の磁気テープカートリッジ（１）～（５）５１～５５に書き込む。

カメラ１０が撮影した映像等の収録素材（素材映像データ）は、例えば収録装置１１にライブ収録される。ここでは収録素材の全尺が記録・保持される（Ｓ１０：収録処理）。さらに、収録装置１１は、送出サーバ１８に対して収録素材の全尺を転送する（Ｓ１２：転送処理）。尚、カメラ１０から撮影した映像は必ずしもライブ収録でなくてもよく、さらに効率の観点から収録素材の全尺である必要はなく必要に応じて選択された収録素材のみを転送してもよい。

また、編集装置１４は、収録装置１１から素材映像データに対して編集処理、ここではカット編集処理を施し、放送として送出する部分をクリップとして特定する（Ｓ１４：クリップ特定処理）。すなち、編集装置１４は、素材映像データの全尺からクリップとして出力する範囲のカット点情報（タイムコード：カット開始位置及びカット終了位置）を決定する。カット点情報は、収録時刻、例えば、スポーツを収録したものであれば、そのスポーツが実施された時刻と関連付けられている。

具体的には、編集装置１４は、カット編集対象の素材映像データの全尺Ａ１から、放送クリップとして「Ｃｌｉｐ１」および「Ｃｌｉｐ２」を特定し、さらに、保存用クリップとして「Ｃｌｉｐ３」を特定する。それぞれに対して、カット点情報（カット開始位置及びカット終了位置）が決定される。例えば、「Ｃｌｉｐ１」については、カット開始位置（Ｔ１１）～カット終了位置（Ｔ１２）が決定される。

決定されたカット点情報は、システム制御装置１５に送られる（Ｓ１６：カット点情報送信処理）。さらに、システム制御装置１５は、カット点情報をもとに、番組を送出する際に、クリップ送出制御を行い、所望のタイミングで、「Ｃｌｉｐ１」および「Ｃｌｉｐ２」を送出する（Ｓ２０：クリップ送出制御処理）。

さらに、編集装置１４は、抽出したクリップ（「Ｃｌｉｐ１」、「Ｃｌｉｐ２」、「Ｃｌｉｐ３」）をアーカイブするための指示（カット点情報を含む）を転送制御装置１６に送る（Ｓ２２：アーカイブ指示処理）。

転送制御装置１６は、編集装置１４からクリップ（「Ｃｌｉｐ１」、「Ｃｌｉｐ２」、「Ｃｌｉｐ３」）のカット点情報（カット開始位置及びカット終了位置）をもとに、クリップ抽出処理を行う（Ｓ２４：クリップ抽出処理）。例えば、「Ｃｌｉｐ１」については、カット開始位置（Ｔ１１）の前所定時間（数秒程度）とカット終了位置（Ｔ１２）の後所定時間（数秒程度）の範囲（いわゆる「捨てカット」）を残して、他の不要部分を削除した、最低限度の範囲としたファイルでアーカイブ装置５０にアーカイブされる（Ｓ２６：アーカイブ処理）。このとき、編集装置１４が特定したクリップが複数あれば、クリップ単位でアーカイブ装置５０に並列処理にてアーカイブされる。クリップがアーカイブされる際には、上述したように、ＭＸＦファイル形式が用いられ、メタ情報（メタデータ）等が付与される。

なお、転送制御装置１６は、編集装置１４や収録装置１１等から、アーカイブされているクリップのリトリーブ処理要求があると、アーカイブ装置５０（磁気テープカートリッジ（１）～（５）５１～５５）から、要求されたクリップを取り出し、要求先の装置へ転送する。クリップ単位でアーカイブされているので、複数のクリップが要求された場合には、複数の転送処理が並列で行われる（Ｓ２８：リトリーブ処理）。

本実施例によると、ライブ収録素材から必要の無い部分を取り除いた映像を効率よくアーカイブすることが可能である。すなわち、クリップ毎に磁気テープカートリッジ（１）～（５）５１～５５にアーカイブされる（書き込まれる）ので、アーカイブ装置５０への転送時間が短縮される。

また、必要最小限のデータ量でクリップが作成されるので、アーカイブに使用される磁気テープカートリッジ（１）～（５）５１～５５のコストを抑制できる。また、送出時に使用したカット点情報を使用するため、アーカイブ時の不要な部分を削除する手間が不要となる。

また、カット点情報を元にオリジナルタイムコードと一本化後のタイムコードを管理することで、ユーザは収録時刻（例えば、元のスポーツ実施時刻）を指定することで部分的にリトリーブすることも可能となり、使い勝手も向上する。アーカイブ／リトリーブ処理をクリップ単位で並行処理することで処理時間の大幅軽減、素材破損リスクの軽減、それに伴う運用コスト軽減が実現できる。

＜実施例２＞
図３を参照して、実施例２を説明する。本実施例では、収録素材Ａ１（素材映像データ）を細分化して管理し、細分化した単位ごとに各種のメタ情報（メタデータ）を連結する。例えば、スポーツの収録素材において、ユーザが運用で使用する試合情報や放送クリップ情報を付与する。また、プロキシデータを解析して、予めユーザが登録した音声、画像と合致した情報を自動で検索し付与する。ここでは、メタ情報として、「細分化メタデータ」、「アーカイブメタデータ」、「ユーザメタデータ１」「ユーザメタデータ２」「画像検索メタデータ」「音声検索メタデータ」の６種類が用いられる。収録素材１を記録する際のデータ形式としてＭＸＦファイル形式を採用することで、それらメタ情報の取り扱いが容易となっている。

図３に示すように、編集装置１４は、検索用比較基準データを画像・音声解析装置１８に登録する（Ｓ３０：基準データ登録処理）。検索用比較基準データは、素材映像データに含まれる特定の人物、シーン等を検索するためのデータであって、画像データや音声データである。例えば、スポーツの収録素材Ａ１を対象とする様な場合には、選手の顔画像であり、一人の選手に対して複数の画像データ（正面の画像や横顔の画像等）が関連付けられてもよい。さらに、シーンを特定するための音声データとして、サッカーのゴールシーンを特定する「ゴール」という音や野球のホームランを特定する「ホームラン」という音が、そのシーンの名称と関連付けられて登録される。

そして、カメラ１０で収録した収録素材Ａ１を編集する際に、編集装置１４は、その収録素材Ａ１に対して、細分化メタを付与して細分化管理可能にする（Ｓ３２）。細分化メタデータは、収録素材Ａ１に対して先頭から一定時間幅で「Ｐ１」、「Ｐ２」・・・、「Ｐ１３」と付与される。以降の処理では、この細分化メタ単位で、各種のメタ情報が付与される。なお、カメラ１０で収録した収録素材Ａ１は、まず収録装置１１に記録されるが、このときに、自動的に細分化メタデータが付与されてもよい。

編集装置１４は、ユーザの編集作業において、ユーザメタデータ１として収録素材Ａ１全体に関する素材情報や試合情報等を付与する（Ｓ３４）。また、編集装置１４は、収録素材Ａ１をクリップ化して送出した場合には、ユーザメタデータ２としてそのクリップ部分に対して細分化した単位でクリップした旨を示す「放送クリップ１」、「放送クリップ２」、「放送クリップ３」といった情報を付与する（Ｓ３６）。例えば、ユーザメタデータ２「放送クリップ２」は、細分化メタデータ「Ｐ８」「Ｐ９」の部分に付与されている。

画像・音声解析装置１８は、プロキシサーバ１７において生成されたプロキシデータを解析し、検索用メタデータ登録処理によって登録された検索用比較基準データを基にした画像認識処理や音声認識処理によって合致した画像や音声が含まれる部分に、より具体的には、上記の細分化したプログラムメタ細分化メタデータ単位で、収録素材Ａ１に対してメタ情報を付与する（Ｓ３８）。ここでは、画像部分に対して画像検索メタデータが付与され、音声部分に対して音声検索メタデータが付与される。

例えば、画像検索メタデータ「Ｂ選手」が、細分化メタデータ「Ｐ５」「Ｐ６」「Ｐ７」の部分に付与されている。画像検索メタデータ「Ｃ選手」が、細分化メタデータ「Ｐ７」「Ｐ８」「Ｐ９」「Ｐ１０」の部分に付与されている。また、音声検索メタデータ「ゴール」が細分化メタ「Ｐ４」「Ｐ５」に付与されている。

アーカイブ装置５０は、細分化単位を結合した単位でアーカイブしたりリトリーブすることができる（Ｓ４０）。アーカイブされた部分については、アーカイブメタが付与される。なお、アーカイブする際には、該当の細分化メタを指定してもよいし、各種のメタ情報を指定してもよい。アーカイブ装置５０は、指定された部分（すなわち必要箇所）のみを結合して、アーカイブする。また、リトリーブする場合には、メタ情報でリトリーブ箇所が指定された場合、アーカイブ装置５０は、そのメタ情報に対応する細分化メタで管理されているアーカイブデータをリトリーブし、要求元へ転送する。

このように、アーカイブ時に不要な部分を自動で取り除いて処理することが可能となり、コストと処理時間の効率化が図れる。特に放送クリップデータ（ユーザメタデータ２）を付与し再利用を意識した形式でアーカイブされ運用の効率化が図れる。また、自動で付与された画像検索メタデータ、音声検索メタデータにより、特定の人物やシーンをダイレクトに抽出可能となる。検索メタデータはプロキシ素材から作成されるため、運用への負荷を与えることなく自動作成することができる。また、アーカイブ／リトリーブの際に、細分化を結合した単位で行うので、実施例１のように、アーカイブ装置５０に備わる複数の磁気テープカートリッジ（１）～（５）５１～５５に並列処理を行うことも容易である。

本実施形態の特徴を簡単に纏めると次の通りである。
映像編集システム１（放送システム）では、収録素材Ａ１を細分化し、細分化した単位で収録素材を管理する細分化手段と、細分化した単位で、前記収録素材に関するメタ情報を付与するメタ情報付与手段と、細分化した単位で、収録素材Ａ１をアーカイブするアーカイブ手段（アーカイブ装置５０）と、を備える。細分化手段は、実施例１のようにクリップ化する際には、例えば、編集装置１４がその機能を果たす。また、実施例２のように収録素材Ａ１を記録装置１２に記録する際に自動で行う場合には、記録装置１２がその機能を果たす。メタ情報付与手段は、メタ情報を付与する装置・タイミングが分散しているため、それぞれでメタ情報を付与する装置にその機能が備わる。カット編集においてクリップ化する際には、カット点情報をもとにクリップ単位でアーカイブする。また、収録素材を記録する際や、編集処理において、収録素材を細分化して管理できるように、細分化した単位、例えば、一定間隔幅でそのメタデータを付与する。クリップ化した単位や、メタデータを付与した単位で、収録素材を管理し、アーカイブ時には、自動的に、その単位で必要部分だけを抽出し、不要分は取り除くため、記録容量を削減できる。また、リトリーブの際に、ダイレクトに所望の部分にアクセスできる。

収録素材のプロキシデータを生成し解析するプロキシサーバ１７と、プロキシサーバ１７の検索結果を素材位置と連携して登録し、予めユーザが登録した音声、画像と合致した情報を自動で検索し付与する画像・音声解析手段（画像・音声解析装置１８）と、を備える。具体的には、画像・音声解析装置１８は、プロキシサーバ１７で生成したプロキシデータをもとに、解析処理を行い、解析によって素材中に確認できた人物やシーンに対して自動でメタ情報（画像検索メタデータ、音声検索メタデータ）として付与する。収録素材は、自動で付与された画像検索メタデータ、音声検索メタデータにより特定の人物やシーンをダイレクトに抽出可能に保持できる。プロキシデータを用いるため、処理負荷を抑えることができる。

細分化手段は、クリップ編集時のカット点情報を元に前後の最低限の捨てカットを付与して繋ぎ合わせて管理し、アーカイブ手段（アーカイブ装置５０）は、クリップが複数ある場合に、クリップ毎に抽出されたファイル形態で、複数の収納部（磁気テープカートリッジ（１）～（５）５１～５５）に並列処理にて書き込む。また、アーカイブ手段は、収録時刻を指定してリトリーブの要求を受けると、細分化した単位でアーカイブされているデータをリトリーブするとともに、複数のデータのリトリーブの処理を行う場合に、並列処理にて収納部（磁気テープカートリッジ（１）～（５）５１～５５）からリトリーブを行う。アーカイブ／リトリーブ処理をクリップ単位で並行処理することで処理時間の大幅軽減、素材破損リスクの軽減、それに伴う運用コスト軽減が可能となる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 映像編集システム（放送システム）
２ ネットワーク
１０ カメラ
１１ 収録装置
１２ 記録装置
１４ 編集装置
１５ システム制御装置
１６ 転送制御装置
１７ プロキシサーバ
１８ 画像・音声解析装置
１９ 送出サーバ
５０ アーカイブ装置
５１～５５ 磁気テープカートリッジ（１）～（５）

Claims (3)

1. 放送局における収録素材を収録／編集／送出／アーカイブする放送システムおいて、
   前記収録素材を細分化し、細分化した単位で前記収録素材を管理する細分化手段と、
   細分化した単位で、前記収録素材に関するメタ情報を付与するメタ情報付与手段と、
   細分化した単位で、前記収録素材をアーカイブするアーカイブ手段と、
   前記収録素材のプロキシデータを生成するプロキシサーバと、
   予めユーザによって設定された音声データ又は画像データを検索対象とし、当該検索対象が前記プロキシデータ中で認識された前記収録素材中の時刻である素材位置をメタデータとして前記収録素材に付与する画像・音声解析手段と、
   を備えることを特徴とする放送システム。
2. 前記収録素材は、素材映像データの一部が時間的に分割されて切り出されたクリップであって、単一の素材映像データについて複数のクリップがある場合に、
   前記アーカイブ手段は、クリップ毎に抽出されたファイル形態で、複数の収納部に並列処理にて書き込むことを特徴とする請求項１に記載の放送システム。
3. 前記アーカイブ手段は、収録時刻を指定してリトリーブの要求を受けると、細分化した単位でアーカイブされている、前記収録素材に対応したデータをリトリーブするとともに、複数の前記データのリトリーブの処理を行う場合に、並列処理にてリトリーブを行うことを特徴とする請求項１又は２に記載の放送システム。

Images