JP6857554B2 - 放送用モニタシステム - Google Patents

Description

本発明は放送用モニタシステムに関する。

放送用モニタシステムは、放送業務用に用いられるシステムであって、映像コンテンツの放送・配信前に、映像コンテンツの内容を最終確認するために、放送業務用の映像信号であるＳＤＩ信号に基づいて映像表示を行なったり、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号に対して簡単な修正をしたりするためのシステムとして知られている。

ＳＤＩ信号は、映像データを格納した映像領域とその他のデータを格納したＡＮＣ(アンシラリ)領域とからなる。ＡＮＣ領域に含まれるクローズドキャプション（ＣＣ）のデータは、文字放送や他言語の字幕として映像に付加して表示することができる（特許文献１）。この字幕には多言語対応したものもあり、その場合は、一般的には２〜３種類の言語が含まれている。

字幕付き映像を制作して視聴者に提供するまでのワークフローを説明すると、放送局側では、撮影などを行って映像データを生成し、映像データに対して編集を施し、最後に映像データを確認した後、映像データを放送データに変換して放送局から視聴者へ放送または配信している。このようなワークフローにおいて、字幕データは、映像データに対する編集を行う過程で、人手または自動で入力される。多言語字幕の場合は、入力された字幕データを翻訳エンジンで逐次翻訳を行い処理される。

特開２０１０−０８１１４１号公報

ＳＤＩ信号のＡＮＣ領域は容量が限られた領域であるため、対応することができる言語の数は限定されていた。しかしながら近年映像コンテンツのグローバル化が進み、１つの番組が世界中の様々な地域で同時に放送されることが行われるようになってきている。対応言語を制限することは、放送コンテンツの提供機会の損失と考えられるようになってきた。

対応言語を増やすために、単語の組合せとなる辞書データを有する独自の翻訳エンジンを搭載した放送用モニタシステムも提案されているが、単体製品として存在する以上、搭載できるリソースに制限が出てくるため、言語や単語の種類が限られてくる。また、新しい用語に対応するためには、アップデートが必要となるなど、言語や単語に対する制限が問題となる。

一方で近年、クラウドコンピューティングと呼ばれる、インターネットなどのネットワークを介したコンピュータ資源を利用して様々な処理を行う手法が注目されている。このようなクラウドコンピューティングとして翻訳サービスを提供するクラウド上の翻訳エンジンなども存在する。

しかしながらクラウド上の翻訳エンジンを従来の翻訳エンジンとして利用しようとしても、ネットワーク上に競合する翻訳エンジンが複数存在する場合、複数の翻訳エンジンの中から適切な翻訳エンジンを利用するための手法が存在せず、例えばリアルタイムの放送番組において逐次翻訳した字幕を付加する場合などには、翻訳エンジンの選択に時間を要し、字幕に遅れを生じてしまう可能性がある。また、新規な翻訳エンジンが登場したなどのクラウド上の翻訳エンジンの改廃があった場合にその改廃に対応して利用する必要もある。

本発明は従来の問題に鑑みなされたものであって、本発明の課題は、クラウドコンピューティングとしてネットワーク上に複数存在する翻訳エンジンの中から適切な翻訳エンジンを選択可能とすることにより、リアルタイムの放送コンテンツに対して対応言語の制限なく適切に翻訳された字幕を付加することが可能な放送用モニタシステムを提供することにある。

上記課題を解決するために、一実施形態に記載された発明は、字幕情報をＡＮＣ領域に含むＳＤＩ信号形式の映像コンテンツをモニタ表示すると共に、翻訳の委託に応じて翻訳結果を返信するクラウド上の翻訳エンジンに接続可能な放送用モニタシステムであって、前記ＳＤＩ信号からＡＮＣ領域の字幕情報とそのタイムコードとを抽出する抽出手段と、クラウド上の翻訳エンジンを評価することにより前記抽出した字幕情報の翻訳を委託する翻訳エンジンを決定する決定手段と、前記決定された翻訳エンジンに前記抽出した字幕情報の翻訳を委託して、該翻訳エンジンから受け取った翻訳結果を当該字幕情報と一緒に抽出されたタイムコードに関連付ける翻訳委託手段と、前記タイムコードに含まれるフレーム番号に基づいて、当該タイムコードに関連付けられた翻訳結果を、前記フレーム番号に対応する前記ＳＤＩ信号のＡＮＣ領域に重畳する重畳手段とを備えたことを特徴する放送用モニタシステムである。

リアルタイム放送において撮影から視聴者が映像コンテンツを視聴するまでのワークフローを示す図である。 本実施形態の放送用モニタシステムおよび複数のクラウドからなるクラウドシステムの構成例を示す図である。 本実施形態の放送用モニタシステムにおける処理フローを示す図である。

以下、本発明の実施の形態について、詳細に説明する。

放送用モニタシステムは、放送局側で、放送や配信をする映像コンテンツを映像表示して最終的に確認するために用いられるシステムである。本実施形態の放送用モニタシステムは、評価部により翻訳エンジンの評価に基づいてどの翻訳エンジンに翻訳の委託をするのかを決定するので、適切なクラウド上の翻訳エンジンを利用して字幕データをリアルタイムに翻訳することができる。この構成により、限られたシステム容量の放送用モニタシステムにおいて、映像コンテンツに重畳される字幕データを言語の制限なく選択でき、ひいては映像コンテンツの放送機会の損失をなくすことができる。

図１は、リアルタイム放送において撮影から視聴者が映像コンテンツを視聴するまでのワークフローを示す図である。本実施形態の放送用モニタは、ニュースなどのリアルタイム放送がなされる映像コンテンツを作成する際に用いることができる。本実施形態の放送用モニタシステムを説明するにあたって、放送用モニタシステムが用いられるリアルタイム放送のワークフローについて説明する。

図１において、局Ａは映像コンテンツを最初に作成して放送する放送局であり、局Ｂは映像コンテンツを貰い受けて自局の映像コンテンツとして放送する放送局である。例えば、局ＡはＡ国の放送局であってＡ国内向けの放送を行い、局ＢはＢ国の放送局であってＢ国向けの放送を行う。

（撮影工程：Ａ１）
ニュースをリアルタイム放送する場合、専用のカメラを用いてスタジオにて撮影を行い、アナウンサーなどを撮影した映像と喋っている音声とをＳＤＩ信号の形式にして出力する。

（情報付加工程：Ａ２）
スタジオのバックグラウンドにいるスタッフがスタジオで撮影されている映像や音声に合わせてテロップを入れたり、字幕を入力したりすることにより、撮影工程において出力されるＳＤＩ信号にテロップや字幕を追加する。

テロップは説明や音声の内容の概略であり、必ずしも喋っている内容と完全一致しているわけではなく、文字や特殊効果として映像に重畳される。字幕は喋っている内容をそのまま書き起こしたもので、テキストデータとして入力され、ＳＤＩ信号の映像や音声以外のデータ領域であるＡＮＣ(アンシラリ)領域にデータとして重畳される。複数の言語を扱う場合は言語ごとに別のスタッフが同じように書き起こしを行う。

ＳＤＩ信号は映像の中で最も短い間隔であるフレーム単位でデータが作成されるため、時間的に最も正確である。各フレームは、タイムコードと呼ばれるもので管理され、時間：分：秒：フレームの４種類の指標の組み合わせで表現される。したがって、重畳される字幕データもこれらの４種類の指標を組合せたタイムコードでその表示タイミングが管理される。

字幕データはタイムコードと合わせることで、ワークフロー内の後続部分で使われるモニタなどの機器上でタイミングを合わせて表示することができる。

自局で撮影した映像コンテンツを他局に送る場合は、テロップや字幕などの情報が付加されたＳＤＩ信号を他局に送信する。

（映像確認工程：Ａ３、Ｂ３）
番組スタッフが、テロップや字幕などの情報が付加された後の映像コンテンツが最終映像として問題がないことを放送用モニタシステムにてリアルタイムに確認し、放送局外にある送信用の施設までＳＤＩ信号を送信する。このワークフローでは、送信用の施設が電波塔と配信施設である場合を例として説明している。

本実施形態の放送用モニタシステムは、この映像確認工程Ａ３、Ｂ３で使用される。映像コンテンツを最終映像として問題がないことを確認する際に、映像コンテンツを表示モニタに表示することに加えて、字幕を翻訳して自局に合わせた字幕を追加したり置き換えたりすることを可能にしている。

（放送または配信工程：Ａ４、Ａ５、Ｂ４、Ｂ５）
電波塔では放送局から送信されたＳＤＩ信号を受けて映像の圧縮を行った後に放送波として発信する。字幕情報はデータ放送の部分に含まれる。

配信施設ではＳＤＩ信号を受けて映像の圧縮を行った後にインターネットなどのＩＰプロトコルで扱える形に変換してストリーミングデータとして配信する。字幕情報はこのデータ内に含むか、ＰＣなどで扱えるファイルに変換する。

（視聴：Ａ６、Ａ７、Ｂ６、Ｂ７）
視聴者の自宅などでは放送波を受信するテレビ（Ａ６、Ｂ６）や、インターネット経由でストリーミング映像コンテンツを見るためのＰＣやスマートフォン（Ａ７、Ｂ７）などで放送・配信されている映像コンテンツを視聴することができる。

テレビなどではデータ放送内の第２言語の表示機能などがあれば映像に重ねる形で字幕データを文字として表示することができる。ＰＣの場合は字幕データに対応した外国語フォントなどがインストールされていればＷｅｂブラウザなどで表示される。

本実施形態の放送用モニタシステムは、以上のワークフローにおける（映像確認工程Ａ３、Ｂ３）において用いることができる。

図２は本実施形態の放送用モニタシステムおよび複数のクラウドからなるクラウドシステム（クラウドコンピューティングの集合）の構成例を示す図である。放送用モニタシステム１０は、データ入出力部１と、データ格納部２と、表示部３と、抽出部４と、評価部５と、翻訳委託部６と、重畳部７とを備えて構成される。クラウドシステムは、評価エンジン２１と複数の評価サイト２２と複数の翻訳エンジン２３とがクラウド（クラウドコンピューティング）として存在するインターネットなどのネットワークとして構成される。

データ入出力部１は、映像コンテンツが入出力される入出力インターフェースである。例えば最終的に映像確認するために、放送用モニタシステム１０には、データ入出力部１を介して情報付加工程（Ａ２）で所定の情報が付加されたＳＤＩ信号の形態の映像コンテンツが逐次入力される一方で、放送用モニタシステム１０で必要な処理をした後にデータ入出力部１を介してＳＤＩ信号の形態の映像コンテンツを放送・配信用の施設に向けて逐次出力する。

データ格納部２は、ＳＤＩ信号の形態の映像コンテンツを格納する。表示部３は、データ格納部２に格納された映像コンテンツをオペレータが目視確認可能なようにモニタ表示する。データ格納部２には、表示部３にモニタ表示する映像コンテンツを一時的に格納することができるようにすればよく、映像コンテンツを永続的に格納する格納部は放送用モニタシステム１０の外部に設けることで放送用モニタシステム１０を小型化できる。

抽出部４は、データ格納部２に格納された映像コンテンツのＳＤＩ信号のＡＮＣデータから字幕情報とそのタイムコードを含む字幕データを取得する。例えば、字幕情報内で、ピリオドや句点などの文の区切りを示す情報を検出するか、字幕情報の取得途中に字幕情報が中断してから所定時間を経過しても新しい字幕情報が抽出できない場合に一文が成立したと判断し、一文の字幕情報とタイムコードとを関連付けて字幕データとして抽出することができる。

評価部５は、様々な指標に基づいて翻訳エンジン２３の評価を行い、この評価に基づいて翻訳を委託する翻訳エンジン２３を決定する。評価部５は、翻訳エンジン２３を評価するに当たって、クラウドとして存在する翻訳エンジン２３を評価する評価サイト２２を参照してもよいし、クラウドとして存在する評価エンジン２１によってなされた評価に基づいて行ってもよい。評価部５は、翻訳エンジン２３を直接評価するのではなく、評価エンジン２１や評価サイト２２の評価を参照して翻訳エンジン２３の評価を行うので、評価エンジン２１や評価サイト２２の状態を監視するだけでよく、翻訳エンジン２３の状態を常に監視する必要がないという利点がある。

評価部５は、放送用モニタシステムにおいて翻訳しようとする字幕の翻訳言語をフィルタにして、翻訳言語に対応する翻訳システムのスコアのみを参照して利用する翻訳エンジン２３を決定することができる。翻訳言語は、例えば図示しない翻訳言語設定部などを設けてオペレータによって翻訳前の言語および翻訳後の言語がそれぞれ設定される構成とすることができる。またはオペレータの設定を必要とすること無く、抽出部５が翻訳前の言語は字幕から自動的に判別して、翻訳後の言語はデフォルトで設定された言語とする構成としてもよい。

評価サイト２２としては、それぞれの翻訳エンジン２３に何件アクセスがあったかを示す情報を提供する翻訳エンジン２３の提供者のサイトやフェイスブック（登録商標）などの翻訳エンジン２３の評判を反映するサイトとすることができる。評価部５は例えば、評価サイト２２でアクセス件数の多いものを評価の高い翻訳エンジン２３であると評価して翻訳委託する翻訳エンジン２３として決定したり、フェイスブック（登録商標）における各翻訳エンジンの「いいね」の数が多いものを評価の高い翻訳エンジン２３であると評価して翻訳委託する翻訳エンジン２３と決定したりすることにより、複数の翻訳エンジン２３を順位付けする。

評価エンジン２１としては、予め所定の基準で翻訳エンジン２３を順位付けした情報を格納したデータベースを有し、かかるデータベースに格納した情報を評価部５に提供するクラウド上のシステムである。評価エンジン２１は、クラウド上の複数の翻訳エンジン２３を複数の観点から比較評価し、スコア付けを行い、スコアの高い順に翻訳エンジン２３を並び替えている。評価エンジン２１はスコア付けの後、翻訳エンジン２３に実際に接続して翻訳できるか試行する。接続できないものはサービス中断と判断して、翻訳の候補から外す。スコア付けは翻訳言語ごとに行ってもよい。評価エンジン２１における評価の基準は、評価エンジン２１独自のものでもよいが、評価サイト２２の評価と同様のものであってもよい。評価の基準としては、例えば、アクセス件数の多さ、フェイスブック（登録商標）の「いいね」の数や、システムで決められている「一度に翻訳できる文章の長さ」や、一旦他の言語に翻訳したものを翻訳前の言語に再度翻訳させた時の文章の一致する率などが挙げられる。

また、評価部５は、抽出部４で抽出した字幕情報についても評価を行ってもよい。例えば、字幕情報として抽出された一文のテキストに所定の特定のワードが含まれるか否かを判定し、特定のワードが含まれる部分は翻訳対象から外すように翻訳委託部６に指示することもできる。放送・配信にふさわしくない部分が字幕として放送・配信されてしまうことを防止できる。

翻訳委託部６は、評価部５において決定された翻訳エンジン２３に字幕情報の翻訳を委託し、委託した字幕情報の翻訳結果を翻訳エンジン２３から受信する。翻訳委託部６は、抽出部４において抽出された字幕データの字幕情報とその字幕データのタイムコードとのうち、字幕データの字幕情報のみを翻訳エンジン２３に翻訳の委託をし、翻訳結果として翻訳されたテキストデータを受け取ると、翻訳後のテキストデータを新たに字幕データのタイムコードに関連付けて重畳部７に送る。翻訳の委託は、字幕情報をテキストデータに変換したものを翻訳指示とともに翻訳エンジンに転送することによって行われる。

翻訳エンジン２３は、ネットワーク上のクラウドとして存在する翻訳処理を行うシステムであり、様々な言語に対応して様々な翻訳エンジンが存在する。もちろん、１つの翻訳エンジン２３が複数の言語の翻訳に対応していてもよい。ネットワークを介して端末から翻訳委託を受信すると、翻訳委託された文章の翻訳を行い、翻訳委託を行った端末に翻訳結果を返信する。本実施形態では端末は放送用モニタシステムである。クラウドとして存在する翻訳エンジンは、放送用モニタシステムとは別のシステムであるため、端末側でその更新等をする必要なく、最新の用語がカバーされるという利点がある。さらに、その翻訳言語の種類も放送用モニタシステムからアクセス可能な翻訳エンジン２３で対応している言語であれば制限なく対応可能である。

翻訳委託部６は、評価部５により翻訳対象から外すように指示された字幕情報はその字幕情報に関連付けられたタイムコードと共に削除することができる。

評価部５は、翻訳委託部６において翻訳委託した前後の文章や応答時間などを受け取って評価エンジン２１にフィードバックしてもよい。

重畳部７は、翻訳後の字幕データをＳＤＩ信号のＡＮＣデータに重畳することにより、データ格納部２に格納されているＳＤＩ信号を更新してもよい。翻訳後の字幕データはタイムコードと関連付けられており、タイムコードをもとに、翻訳されたテキストデータを所定の領域のＡＮＣデータに重畳する。

更新されたＳＤＩ信号は表示部３に表示されるので、そのＡＮＣ領域の字幕データも表示することによって翻訳後の字幕データをオペレータが目視確認させることができる。

図３は本実施形態の放送用モニタシステムにおける処理フローを示す図である。図２で説明した放送用モニタシステムにおける処理フローについて説明する。

まず抽出部４が、映像コンテンツから字幕情報及びタイムコードを抽出する抽出処理を行う（Ｓ１）。抽出部４は、放送用モニタシステムに入力されたＳＤＩ信号のＡＮＣデータからタイムコードとクローズドキャプションの字幕情報を取得する。字幕情報内でピリオドや句点などの文の区切りを示す情報を検出するか、字幕情報の取得途中に字幕情報が中断してから決められた時間を経過しても新しい字幕情報が来ない場合は一つの文章が成立したと判断して、字幕情報とタイムコードとを関連付けて抽出する。

次に、評価部５が翻訳委託を行う翻訳エンジンを決定する決定処理を行う（Ｓ２）。具体的には、抽出部４において抽出処理がなされると、評価部５は決定処理を開始する。評価部５は、インターネットなどのネットワークを介して、評価サイト２２や評価エンジン２１にアクセスして、評価サイト２２や評価エンジン２１におけるスコア付けが高いものから翻訳エンジン２３に実際に接続して翻訳できるか試行する。接続できないものはサービス中断と判断して、翻訳の候補から外す。接続できた翻訳エンジン２３のうちでスコア付けが最も高いものに翻訳委託を行うことを決定する。

決定処理は、文章の抽出ごとに毎回は行わなくてもよいが一回で終わりとはせず、必ず一定期間ごとに行う。

翻訳委託部６は、決定処理で決定された翻訳エンジンに対して、抽出処理で抽出された字幕情報についての翻訳を委託する委託処理を行う（Ｓ３）。委託処理は、クラウドとして存在する複数の翻訳エンジン２３のうち、評価部５による決定処理で決定された翻訳エンジン２３に翻訳委託する。翻訳委託部６は、抽出部４において抽出されたタイムコードとクローズドキャプションの字幕情報のうち、字幕情報を決定された翻訳エンジン２３に翻訳委託し、その翻訳結果を受け取る。受け取った翻訳結果のテキストデータは翻訳前の字幕情報に関連付けられていたタイムコードに関連付けて重畳部７に送る。

評価部５は、翻訳委託部６で委託処理した結果の情報（翻訳委託した前後の文章や翻訳に要した時間など）を翻訳委託部６から受け取って評価エンジン２１にフィードバックしてもよい。

重畳部７は、受け取ったテキストデータをＳＤＩ信号に重畳する重畳処理を行う（Ｓ４）。翻訳委託部６から受け取った翻訳結果のテキストデータを、クローズドキャプションとして再構成し、関連付けられたタイムコードを参照してＳＤＩ信号のＡＮＣ領域に重畳する。タイムコードには、フレーム番号が含まれているため、タイムコードに基づいてＡＮＣ領域に重畳すると、適切な位置に重畳することができる。

本実施形態の放送用モニタシステムでは、翻訳委託部６が放送用モニタシステム１０の装置内に設けられている場合を例に挙げて説明したが、翻訳委託部６をクラウド上のシステムとして構成し、放送用モニタシステム１０の装置内には送受信部のみを設けて、送受信部において、クラウド上のシステムである翻訳委託部６に対して翻訳すべき字幕情報およびその翻訳結果を送受信する構成としてもよい。

１ データ入出力部
２ データ格納部
３ 表示部
４ 抽出部
５ 評価部
６ 翻訳委託部
７ 重畳部
１０ 放送用モニタシステム
２１ 評価エンジン
２２ 評価サイト
２３ 翻訳エンジン
Ａ１ 撮影工程
Ａ２ 情報付加工程
Ａ３、Ｂ３ 映像確認工程
Ａ４、Ｂ４ 放送工程
Ａ５、Ｂ５ 配信工程
Ａ６、Ａ７、Ｂ６、Ｂ７ 視聴工程

Claims (5)

1. 字幕情報をＡＮＣ領域に含むＳＤＩ信号形式の映像コンテンツをモニタ表示すると共に、翻訳の委託に応じて翻訳結果を返信するクラウド上の翻訳エンジンに接続可能な放送用モニタシステムであって、
   前記ＳＤＩ信号からＡＮＣ領域の字幕情報とそのタイムコードとを抽出する抽出手段と、
   クラウド上の翻訳エンジンを評価することにより前記抽出した字幕情報の翻訳を委託する翻訳エンジンを決定する決定手段と、
   前記決定された翻訳エンジンに前記抽出した字幕情報の翻訳を委託して、該翻訳エンジンから受け取った翻訳結果を当該字幕情報と一緒に抽出されたタイムコードに関連付ける翻訳委託手段と、
   前記タイムコードに含まれるフレーム番号に基づいて、当該タイムコードに関連付けられた翻訳結果を、前記フレーム番号に対応する前記ＳＤＩ信号のＡＮＣ領域に重畳する重畳手段とを備えたことを特徴する放送用モニタシステム。
2. 前記決定手段は、クラウド上の翻訳エンジンを評価する評価サイトを参照して前記クラウド上の翻訳エンジンを評価することを特徴とする請求項１に記載の放送用モニタシステム。
3. 前記決定手段は、クラウドとして存在する評価エンジンによってなされた評価に基づいて前記クラウド上の翻訳エンジンを評価することを特徴とする請求項１に記載の放送用モニタシステム。
4. 前記決定手段は、翻訳しようとする字幕の翻訳言語をフィルタにして、該翻訳言語に対応する翻訳システムの評価のみを参照して利用する翻訳エンジンを決定することを特徴とする請求項２または３に記載の放送用モニタシステム。
5. 前記決定手段は、前記字幕情報として抽出された一文のテキストに所定の特定のワードが含まれるか否かを判定し、特定のワードが含まれる部分は翻訳対象から外すように翻訳委託手段に指示することを特徴とする請求項１から４のいずれかに記載の放送用モニタシステム。

Images