JP7103905B2 - 編集システム、編集装置、および編集方法 - Google Patents

Description

本発明は、編集システム、編集装置、および編集方法に係り、特に、素材映像を加工して放送映像を生成する機能を備えた編集システム、編集装置、および編集方法に関する。

放送用編集技術として、ユーザの利便性向上の観点から様々な技術が提案されている。例えば、編集用元素材と編集済素材との関係を抜き出した情報である元素材情報データを作成し、再び編集する場合には、編集済素材とプロジェクトデータと元素材情報データとを使用して編集する技術がある（特許文献１参照）。

近年、放送用編集技術として、画像（映像）の中から物体の位置、分類を特定する手法としてディープラーニング等による物体検知などが提案されており、これを利用した画像解析装置が組み込まれたビデオサーバーシステムが知られている。例えば、映像の中に人物が含まれているとする。その人物の名称がラベルに登録されていれば、その人物の名称を映像のメタデータに登録することが出来る。

特開２０１２－３４２１８号公報

上述した人物の名称を映像のメタデータに登録する場合、ラベルに登録されていなければ、名称を登録することは出来ないと言う課題がある。実際に放送される映像（放送映像）は、素材とした映像（素材映像）の上に文字情報（テロップなど）を重ねて作成される。テロップは文字データでは無く、画像データとして扱われるため、テロップの内容を放送映像のメタデータとして登録するには、テロップの内容を手動入力する必要がある。
また、放送映像にはテロップが重ねられているため、メタデータが存在しなくとも映像を確認することで情報を取得することが出来るが、テロップを重ねた映像であるため映像の再利用には向いていない。一方で、素材映像はテロップが重ねられていないため、映像の再利用に向いているが、素材映像にテロップが重ねられていないため、メタデータが無ければ、撮影場所や人名、物の名称が分からない。
そのため、一般的には、映像解析装置が各ビデオストレージに記録されている映像を解析して、解析結果をメタデータとして記録する。

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

本発明は、撮影した映像である素材映像を収録する素材映像サーバと、素材映像を編集して放送用に加工した放送映像を収録する放送映像サーバとを有する編集システムであって、前記放送映像に含まれる物体の検知処理に基づいて作成されたテロップとタイムコードとを解析する放送映像解析部と、前記放送映像の解析結果をもとに、物体を検出したタイムコードで使用されている素材映像のメタデータへ、前記放送映像および前記素材映像の使用タイムコード情報と共に解析内容を転記して管理するとともに、前記物体の検出位置を示すタイムコードに関して、前記素材映像を解析して物体を検知した場合の結果と、前記放送映像を解析した結果とを比較し、差が生じているか否かを判断し、差が生じている場合に、前記放送映像の解析内容を正解とし、前記素材映像のメタデータを修正もしくは、修正案として記録を残し、前記放送映像で登録したメタデータを素材映像に反映して紐付けする映像比較部とを有する。
前記放送映像解析部は、前記放送映像を解析する際、テロップの表示態様をさらに取得し、前記放送映像のメタデータに解析結果を自動追記してもよい。
本発明の編集装置は、放送映像に含まれる物体の検知処理に基づいて作成されたテロップとタイムコードとを解析する放送映像解析部と、前記放送映像を解析した結果をもとに、物体を検出したタイムコードで使用されている素材映像のメタデータへ、前記放送映像および前記素材映像の使用タイムコード情報と共に解析内容を転記して管理するとともに、前記物体の検出位置を示すタイムコードに関して、前記素材映像を解析して物体を検知した場合の結果と、前記放送映像を解析した結果とを比較し、差が生じているか否かを判断し、差が生じている場合に、前記放送映像の解析内容を正解とし、前記素材映像のメタデータを修正もしくは、修正案として記録を残し、前記放送映像で登録したメタデータを素材映像に反映して紐付けする映像比較部と、を有する。
本発明の編集方法は、放送映像に含まれる物体の検知処理に基づいて作成されたテロップとタイムコードとを解析する放送映像解析工程と、前記放送映像を解析した結果をもとに、物体を検出したタイムコードで使用されている素材映像のメタデータへ、前記放送映像および前記素材映像の使用タイムコード情報と共に解析内容を転記して管理するとともに、前記物体の検出位置を示すタイムコードに関して、前記素材映像を解析して物体を検知した場合の結果と、前記放送映像を解析した結果とを比較し、差が生じているか否かを判断し、差が生じている場合に、前記放送映像の解析内容を正解とし、前記素材映像のメタデータを修正もしくは、修正案として記録を残し、前記放送映像で登録したメタデータを素材映像に反映して紐付けする映像比較工程と、を有する。

本発明によれば、素材映像を編集して放送用に加工した放送映像に含まれるテロップの情報を素材映像に適切に紐付けることができる。

実施形態に係る、映像編集システムの機能ブロック図である。 実施形態に係る、放送映像のテロップ情報の素材映像へのフィードバックを説明する図である。 実施形態に係る、放送映像のテロップ情報の素材映像へのフィードバックまでの処理のフローチャートである。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本実施形態に係る映像編集システム１の概略構成を示すブロック図である。映像編集システム１は、カメラ１０と、収録装置１１と、素材映像管理サーバ１２と、放送映像管理サーバ１３と、編集装置１４と、システム制御装置１５と、映像解析装置１６と、送出サーバ１９とを備え、これらはＬＡＮ回線や所定の通信回線等のネットワーク２で接続されている。なお、装置構成は上記に限る趣旨ではなく、例えば、素材映像管理サーバ１２と放送映像管理サーバ１３が一体となった記録サーバとして構成されてもよいし、また、収録装置１１と放送映像管理サーバ１３が一体となった放送映像サーバとして構成されてもよい。

カメラ１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データ（例えば、ＨＤ－ＳＤＩ規格の素材映像データ）を、収録装置１１へ収録して、ネットワーク２を介して素材映像管理サーバ１２、放送映像管理サーバ１３、編集装置１４、送出サーバ１９へ出力する。また、収録は、回線、ＶＴＲから収録してもよいし、ＭＸＦ（Media eXchange Format）などのファイル取込みでもよい。

素材映像管理サーバ１２は、素材映像サーバとも称され、ＨＤＤ、光ディスクや磁気カートリッジ等の記録媒体であるビデオストレージ１２１を備え、収録装置１１で収録された素材映像を記録し保管する素材映像サーバである。

放送映像管理サーバ１３は、素材映像管理サーバ１２と同様なビデオストレージ１３１を備え、完成した番組や編集素材のファイル、すなわち放送映像を記録する。放送映像管理サーバ１３に記録されたファイルは、番組の放送スケジュールに沿って送出サーバ１９に転送されたり、収録装置１１に転送され編集装置１４による番組編集処理に用いられる。

素材映像管理サーバ１２や放送映像管理サーバ１３に収録されるファイル形式として、例えば、ＭＸＦが用いられる。ＭＸＦは、いわゆる業務用映像ファイルのフォーマットであり、カムコーダ、録画再生機、ノンリニア編集機、送出設備などの放送用装置機材に利用されており、映像や音声などの様々なフォーマットのデータを、メタデータとともにラッピングすることができる。メタデータは、例えば、フレームレート、フレームサイズ、作成日のほか、カメラ１０の撮影者、素材の各種情報（タイトルや内容、再生時間、シーンの情報、映像中の人物等を含む物体の情報等）を含めることができる。

編集装置１４は、収録素材（すなわち素材映像のデータ）に対して実際にレンダリング処理を施す編集を行うレンダリング編集機能や、レンダリングを必要としないクリップ化を行うカット編集機能等を有する。編集装置１４には、実際にこの編集作業を行うプロセッサを具備する編集制御手段（編集手段）と、素材映像データ、及びこれに編集が施された後の映像データに基づく映像を表示させる表示部（表示手段：ディスプレイ）と、その画像や音声における各部分を選択する、あるいは指示を入力するための操作パネル（操作手段）が設けられる。表示部と操作パネルとが一体化されたタッチパネルディスプレイを用いることがより好ましい。

編集装置１４は、収録装置１１から素材映像や編集済映像である放送映像を読み込み、そのような映像データに基づく画像を表示部でユーザに確認させた上で操作パネルを操作させ、処理の対象となる部分を指定し、カット編集処理やレンダリング処理等の各種編集処理を施す操作を行い、再度、編集後の映像を放送映像管理サーバ１３に記録する。

編集処理において、用いる編集情報として、処理対象となる部分の映像フレーム位置、映像上の座標、あるいは処理対象が音声の場合には音声サンプルの位置の範囲、処理の内容等がある。処理の内容としては、処理対象が映像の場合にはモザイク処理、ブラー処理、映像カット、輝度の増減処理、処理対象が音声の場合にはミュート処理、音量調整等がある。

システム制御装置１５は、映像編集システム１全体を統括的に制御するものであって、単独で構成されてもよいし、他装置（送出サーバ１９など）と同一に含まれて構成されてもよい。

映像解析装置１６は、放送映像解析部１７と、映像比較部１８とを備える。放送映像解析部１７は、素材映像管理サーバ１２のビデオストレージ１２１に収録されている素材映像を解析し、解析結果をメタデータとして素材映像に含ませる。メタデータとして、上述のように、映像中に物体検知された位置のタイムコードとその物体の部類（ラベル）が含まれている。上述のＭＸＦ形式であれば、素材映像とメタデータとをラッピングして記録する。画像（映像）の中から物体の位置、分類（以下ラベル）を特定する手法としてディープラーニング等による公知の物体検知技術を用いることができる。

映像比較部１８は、本実施形態において特徴的な処理として、放送映像（編集済映像）と素材映像の物体位置の比較処理を行う。詳細は、図２、３で説明するが、映像比較部１８は、放送映像の中に含まれるテロップのタイムコードと、素材映像の中の物体検知位置に相当するタイムコードとを比較して、差がある場合、テロップのタイムコードが正しいタイムコードとして扱い、素材映像管理サーバ１２の素材映像にフィードバックする。すなわち、素材映像のメタデータを書き換える。

送出サーバ１９は、システム制御装置１５の指示を受けて、素材映像管理サーバ１２に記録されている素材映像や放送映像管理サーバ１３に記録された放送映像を放送出力（オンエア）する。

つづいて、図２、図３を参照して、本実施形態において特徴的な処理を具体的に説明する。図２は、放送映像中のテロップ情報を素材映像へフィードバックする概要を示した図である。図３は、そのフローチャートである。

まず、編集装置１４が、放送映像生成・収録処理を行う（Ｓ１１）。すなわち、編集装置１４は、素材映像管理サーバ１２から所望の素材映像から使用する部分を特定し、集約する。ここでは、素材Ａ、素材Ｂ、素材Ｃの３つの映像から、それぞれ抽出フレームａ、抽出フレームｂ、抽出フレームｃがユーザから指定され集約される。集約された映像に、ユーザがテロップを付与し、その他各種の作業によって放送映像が完成する。完成した放送映像は、放送映像管理サーバ１３に収容されたり、所期のタイミングで送出サーバ１９から送出される。

映像解析装置１６の放送映像解析部１７は、放送映像管理サーバ１３のビデオストレージ１３１に収容されている放送映像を解析する（Ｓ１２）。このとき、放送映像解析部１７は、映像内の物体検知に合わせて、映像に含まれているテロップを検出、文字化する。画像（映像）の中から物体の位置、分類を特定する手法としてディープラーニング等による公知の物体検知技術を用いる。また、テロップの解析の際には、テロップの移動の方向、速度、位置（画面上の座標）等の表示態様も一緒に検出される。

放送映像解析部１７は、検出結果を放送映像のタイムコードと共にメタデータとして管理する。放送映像の編集内容（タイムライン）は編集データとし管理されており、編集データを参照することで、放送映像に使用されている素材映像を判別することが出来る。

つづいて、映像解析装置１６の映像比較部１８が、編集装置１４で作成した放送映像のタイムラインより、放送映像で使用された素材映像を特定する（Ｓ１３）。さらに、放送映像解析部１７は、放送映像を解析した結果をもとに、物体を検出したタイムコードで使用されている素材映像のメタデータへ、放送映像、素材映像の使用ＴＣ情報と共に検出内容を転記する（Ｓ１４）。

さらに放送映像解析部１７は、放送映像を解析した結果と素材映像を解析した結果とを比較する。具体的には、放送映像のテロップ情報と、放送映像と素材映像の物体検出位置のタイムコードを比較して物体検出を行い、差分の有無の確認や差分の比較を行う（Ｓ１５）。その結果、差分がある場合には、放送映像解析部１７は、放送映像で検知した内容を正解（正）とし、素材映像のメタデータを修正もしくは、修正案として記録を残す（Ｓ１６）。

放送映像から素材映像へフィードバックされた情報は、素材映像側に映像解析結果がタグ付される。その結果、素材映像をタイムラインへ展開したとき、タグ付けした情報が付加された状態でタイムラインへ展開することになる。例えば、対象の素材映像を他の放送映像で使用した際、テロップ情報等が引き継がれることになる。

以上、本実施形態によると、放送映像に重畳されたテロップ（文字スーパー）の検出と、物体検出を組み合わせることにより、より高い確度で検出物の特定を行うことができる。さらに、ラベルに登録されていない物体についても、新しいラベルを自動登録する機能を実現できる。また、放送映像で写されている物体、テロップの内容、検出されたタイムコードを素材映像にも自動追記する機能を実現できる。言い換えると、素材映像においても、「放送で使用されている映像＋テロップ」の情報を基に、それが誰であるかの判断をすることができるため、誤検知を抑え、かつラベルが登録されていなければ新しいラベルとして登録することができる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 映像編集システム
２ ネットワーク
１０ カメラ
１１ 収録装置
１２ 素材映像管理サーバ（素材映像サーバ）
１３ 放送映像管理サーバ（放送映像サーバ）
１４ 編集装置
１５ システム制御装置
１６ 映像解析装置
１７ 放送映像解析部
１８ 映像比較部
１９ 送出サーバ
１２１、１３１ ビデオストレージ

Claims (4)

1. 撮影した映像である素材映像を収録する素材映像サーバと、素材映像を編集して放送用に加工した放送映像を収録する放送映像サーバとを有する編集システムであって、
   前記放送映像に含まれる物体の検知処理に基づいて作成されたテロップとタイムコードとを解析する放送映像解析部と、
   前記放送映像の解析結果をもとに、物体を検出したタイムコードで使用されている素材映像のメタデータへ、前記放送映像および前記素材映像の使用タイムコード情報と共に解析内容を転記して管理するとともに、前記物体の検出位置を示すタイムコードに関して、前記素材映像を解析して物体を検知した場合の結果と、前記放送映像を解析した結果とを比較し、差が生じているか否かを判断し、差が生じている場合に、前記放送映像の解析内容を正解とし、前記素材映像のメタデータを修正もしくは、修正案として記録を残し、前記放送映像で登録したメタデータを素材映像に反映して紐付けする映像比較部と
   を有することを特徴とする編集システム。
2. 前記放送映像解析部は、前記放送映像を解析する際、テロップの表示態様をさらに取得し、前記放送映像のメタデータに解析結果を自動追記することを特徴とする請求項１に記載の編集システム。
3. 放送映像に含まれる物体の検知処理に基づいて作成されたテロップとタイムコードとを解析する放送映像解析部と、
   放送映像を解析した結果をもとに、物体を検出したタイムコードで使用されている素材映像のメタデータへ、前記放送映像および前記素材映像の使用タイムコード情報と共に解析内容を転記して管理するとともに、前記物体の検出位置を示すタイムコードに関して、前記素材映像を解析して物体を検知した場合の結果と、前記放送映像を解析した結果とを比較し、差が生じているか否かを判断し、差が生じている場合に、前記放送映像の解析内容を正解とし、前記素材映像のメタデータを修正もしくは、修正案として記録を残し、前記放送映像で登録したメタデータを素材映像に反映して紐付けする映像比較部と、
   を有することを特徴とする編集装置。
4. 放送映像に含まれる物体の検知処理に基づいて作成されたテロップとタイムコードとを解析する放送映像解析工程と、
   前記放送映像を解析した結果をもとに、物体を検出したタイムコードで使用されている素材映像のメタデータへ、前記放送映像および前記素材映像の使用タイムコード情報と共に解析内容を転記して管理するとともに、前記物体の検出位置を示すタイムコードに関して、前記素材映像を解析して物体を検知した場合の結果と、前記放送映像を解析した結果とを比較し、差が生じているか否かを判断し、差が生じている場合に、前記放送映像の解析内容を正解とし、前記素材映像のメタデータを修正もしくは、修正案として記録を残し、前記放送映像で登録したメタデータを素材映像に反映して紐付けする映像比較工程と、
   を有することを特徴とする編集方法。

Images