JP2024002509A - ストリーム送出装置及びストリーム送出プログラム - Google Patents

Abstract

【課題】緊急時の文字スーパー上乗せ等の送出コンテンツの即時加工、送出寸前でもコンテンツの差し替えが実現可能な、プリエンコード済みストリームの送出装置を提供すること。【解決手段】送出予定のコンテンツの新規登録あるいは差し替えが行われたときに変更された部分を検出する変更検出部１１１と、変更された部分を符号化しプリエンコード済みストリームを生成する、オフラインエンコーダ１１２と、送出予定のコンテンツをリアルタイムで符号化するオンラインエンコーダ１１３と、プリエンコード済みストリームが存在しない部分及び所定の条件を満たすコンテンツに関してはオンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出し、それ以外の部分に関しては、プリエンコード済みストリームを送出するストリーム送出部１１６と、を備えるストリーム送出装置１０。【選択図】図１

Description

本発明は、プリエンコード済みストリームの送出装置及びストリーム送出プログラムに関する。

一般にコンテンツの符号化、特に映像の符号化では、リアルタイムにエンコード（オンラインエンコード）するよりも時間をかけてエンコード（オフラインエンコード）した方が、同じビットレートならば、より高い符号化品質が得られ、同じ符号化品質ならば、より低いビットレートを実現でき、符号化効率が良い。そのため、出来合いのコンテンツを配信するサービスでは、予めエンコード（プリエンコードと呼ばれる）したストリームを蓄積し、サービス時にそのプリエンコード済みのストリームを配信している。

他方、放送サービス等のワークフローでは、緊急時に文字スーパー等を上乗せする等、送出中のコンテンツを即座に加工する必要がある。また、ニュースのように時々刻々と伝えるべき内容が変化するコンテンツでは、コンテンツの部分的差し替えが送出の直前まで日常的に行われている。
プリエンコード済みのストリームと、オンラインエンコードされたストリームとを切り替える手段としては、特許文献１に記載された符号化システム、特許文献２に示されるエンコーダ切替えシステム、特許文献３に示されるエンコーダ、コンテンツ送出システム、及び特許文献４に示されるストリーム送出装置等が提案されている。

特開２０１９－１９７９６６号公報 特開２０２２－０５３３９０号公報 特許第５５６１０２１号 特開２０１４―０９０２７０号公報

４Ｋ・８Ｋ試験システム，映像情報メディア学会誌 Vol.71, No.2(2017), pp.151-160 [online]，[令和4年5月31日検索]，インターネット＜https://www.jstage.jst.go.jp/article/itej/71/3/71_151/_pdf＞

従来のプリエンコード済みのストリームの送出では、送出中のコンテンツの即時加工や、送出直前でのコンテンツの（部分や全部の）差し替えが困難であり、特に、放送サービスでは、前述したように、送出中のコンテンツの即時加工や、送出直前でのコンテンツの（部分や全部の）差し替えを日常的に行っているため、ワークフローを変更することなくプリエンコード済みストリームの送出を行うことはできなかった。

本発明は、緊急時の文字スーパー上乗せ等の送出コンテンツの即時加工や、送出寸前でもコンテンツの部分又は全部の差し替えがワークフローを変更することなく、実現可能な、プリエンコード済みストリームの送出装置及び送出プログラムを提供することを目的とする。

本発明に係るストリーム送出装置は、送出予定のコンテンツの新規登録あるいは差し替えが行われたときに変更された部分を検出する変更検出部と、変更された部分を符号化しプリエンコード済みストリームを生成するオフラインエンコーダと、送出予定のコンテンツをリアルタイムで符号化するオンラインエンコーダと、プリエンコード済みストリームが存在しない部分、及び所定の条件を満たすコンテンツに関しては前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出し、それ以外の部分に関しては、プリエンコード済みストリームを送出するストリーム送出部と、を備える。

前記ストリーム送出装置は、送出するコンテンツを加工する割り込み操作部を備え、前記割り込み操作部によるコンテンツ加工が行われた部分では、前記ストリーム送出部は前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出するようにしてもよい。

前記ストリーム送出装置は、送出を予定していなかったコンテンツに切り替える割り込み操作部を備え、前記割り込み操作部により送出を予定していなかったコンテンツに切り替えられた部分では、前記ストリーム送出部は前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出するようにしてもよい。

前記割り込み操作部は、送出するコンテンツを加工し、又送出を予定していなかったコンテンツに切り替えるようにしてもよい。

前記プリエンコード済みストリームが予め定めた時間以上連続していない部分では、前記ストリーム送出部は、前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出するようにしてもよい。

前記ストリーム送出部は、カットチェンジ検出を行い、あるカットが、プリエンコード済みストリームのみで構成されない場合、当該カットについては、前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出するようにしてもよい。

プリエンコードするコンテンツあるいはコンテンツの部分が複数ある場合、前記オフラインエンコーダは、送出予定時間の近い部分から優先してプリエンコードするようにしてもよい。

本発明に係るストリーム送出プログラムは、前記ストリーム送出プログラム装置としてコンピュータを機能させるためのものである。

本発明によれば、緊急時の文字スーパー上乗せ等の送出コンテンツの即時加工や、送出寸前でもコンテンツの部分又は全部の差し替えがワークフローを変更することなく、実現可能な、プリエンコード済みストリームの送出装置及び送出プログラムを提供することができる。

実施形態におけるストリーム送出システム全体の基本的構成を示す概念図である。 実施形態におけるストリーム送出装置及びコンテンツサーバそれぞれの機能構成を示す機能ブロック図である。 実施形態におけるＧＯＰの切れ目でオンライン側からプリエンコード側にストリームを切り替える例を示す図である。 実施形態における２つ目のＧＯＰでオンライン側のＧＯＰ構造が変化して、それ以降のＧＯＰ構造がオンライン側とプリエンコード側とで異なるものとなった例を示す図である。 実施形態におけるコンテンツが新規登録され、その一部差し替えがされた場合のストリームを示す図である。 実施形態におけるコンテンツが新規登録され、その一部差し替えがされた場合のストリームを示す図である。 実施形態におけるコンテンツが新規登録され、その一部差し替えがされた場合のストリームを示す図である。 実施形態における割り込み操作部で文字スーパーを上乗せする操作を行った場合のコンテンツサーバに登録されるストリームの概要を示す図である。 実施形態におけるコンテンツの先頭のタイムコードを００：００として、コンテンツの先頭からの経過時間を用いる例を示す図である。

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態におけるストリーム送出システム１全体の基本的構成を示す概念図である。図１を参照して、ストリーム送出システム１の基本的な処理概要を説明する。
図１に示すように、コンテンツはコンテンツサーバ２０に登録され、登録コンテンツとして管理されるとともに、登録されたコンテンツの一部又は全部は差替え可能とされる。
変更検出部１１１は、コンテンツサーバ２０を監視して、新たに登録されるコンテンツ又は登録済みのコンテンツの一部又は全部が差替えられたコンテンツを検出すると、オフラインエンコーダ１１２によりプリエンコード済みストリームを作成する。作成されたプリエンコード済みストリームは、コンテンツサーバ２０に登録され、プリエンコード済みストリームとして管理される。なお、登録済みのコンテンツの一部又は全部が差替えられたコンテンツについては、差換え前のコンテンツの一部又は全部のプリエンコード済みストリームは削除（又は、削除マークが付加）され、差換えられた前記コンテンツの一部又は全部のプリエンコード済みストリームに置き換えられる。
登録コンテンツは、送出予定時刻に対応してオンラインエンコーダ１１３に出力されるが、その際、割り込み操作部１１４により、緊急時の文字スーパー上乗せ等の送出コンテンツの即時加工、又は送出寸前でもコンテンツの部分又は全部の差し替え送出するコンテンツを加工して、オンラインエンコーダ１１３に出力可能とされる。
オンラインエンコーダ１１３は、コンテンツサーバ２０又は割り込み操作部１１４により入力されたコンテンツから、リアルタイムにエンコードされたストリームを生成し、ストリーム送出部１１６に出力する。
他方、オフラインエンコーダ１１２により作成されたプリエンコード済みストリームは、送出予定時刻に対応してストリーム送出部１１６に出力される。
ストリーム送出部１１６は、プリエンコード済みストリームをオンラインエンコーダ１１３の出力するストリームに切替える場合、又はオンラインエンコーダ１１３の出力するストリームをプリエンコード済みストリームに切替える場合、オンラインエンコードされたストリームとプリエンコード済みストリームとで、同一のコンテンツ内位置（タイムスタンプやタイムコード等）を、同期信号にしたがって同期化してから、ストリームを送出する。
以上、ストリーム送出システム１の基本的な処理概要を説明した。次に、ストリーム送出装置及びコンテンツサーバの機能について、説明する。

図２は、ストリーム送出装置１０及びコンテンツサーバ２０の機能構成を示す機能ブロック図である。
図２に示すように、ストリーム送出システム１は、ストリーム送出装置１０と、コンテンツサーバ２０と、を備える。

最初にコンテンツサーバ２０について説明する。図２に示すとおり、コンテンツサーバ２０は、制御部２１と、記憶部２２と、を備える。制御部２１は、サーバをコンテンツサーバとして機能させるプログラムを実行することにより、登録部２１１及び管理部２１２と、を備える。記憶部２２は、登録コンテンツを記憶する登録コンテンツ記憶部２２１と、プリエンコード済みストリームを記憶するプリエンコード済みストリーム記憶部２２２と、を備える。

登録部２１１は、新規コンテンツの登録コンテンツ記憶部２２１への登録、及び登録コンテンツ記憶部２２１に登録されているコンテンツ（登録済みコンテンツ）の一部又は全部を差し替える機能を有する。新規コンテンツの登録は、コンテンツサーバ２０内に無いコンテンツを登録指示にしたがって、コンテンツサーバ２０（登録コンテンツ記憶部２２１）に新規に登録する機能である。
登録済みコンテンツを差し替える機能は、差換え指示にしたがって、コンテンツサーバ２０内に登録済みの登録コンテンツの一部あるいは全部を差し替える機能である。
このようにして登録されたコンテンツは、管理部２１２によりコンテンツサーバ２０内で登録コンテンツとして管理される。

コンテンツサーバ２０（登録コンテンツ記憶部２２１）に新規登録あるいは登録済みのコンテンツの（部分的な又は全部の）差し替えが行われた際に、後述するようにストリーム送出装置１０（変更検出部１１１）は、それを検出して、オフラインエンコーダ１１２によりプリエンコードを行い、生成したプリエンコード済みストリームをコンテンツサーバ２０（プリエンコード済みストリーム記憶部２２２）に蓄積する。このようにして生成され、プリエンコード済みストリーム記憶部２２２に記憶されたプリエンコード済みストリームは、プリエンコード済みコンテンツとして、管理部２１２により管理される。
なお、登録済みの登録コンテンツの一部あるいは全部を差し替えた場合、ストリーム送出装置１０（変更検出部１１１）は、差換え部分に対応する、差換え前のプリエンコード済みストリームの一部あるいは全部をプリエンコード済みストリーム記憶部２２２から削除するとともに、差換えられた変更部分をオフラインエンコーダ１１２により符号化（プリエンコード）したプリエンコード済みストリームを、削除された前記コンテンツの変更部分に対するプリエンコード済みコンテンツとして、プリエンコード済みストリーム記憶部２２２に登録する。
管理部２１２は、後述するように、ストリーム送出装置１０（ストリーム送出部１１６）からの指示により、登録コンテンツ記憶部２２１から、送出対象となる登録コンテンツをストリーム送出装置１０（オンラインエンコーダ１１３）に出力するようにしてもよい。また、プリエンコード済みストリーム記憶部２２２から、送出対象となるプリエンコード済みストリームをストリーム送出装置１０（オンラインエンコーダ１１３）に出力するようにしてもよい。

なお、プリエンコード済みストリーム中の変更部分に相当する部分は、コンテンツサーバ２０から削除する換わりに、削除に相当するマーク（「削除マーク」ともいう）をつけるようにしてもよい。また、変更が行われた部分を識別するために、変更が行われた部分について、データベース（図示せず）に、変更に関する履歴情報を登録して管理するようにしてもよい。
また、オフラインエンコーダ１１２により登録コンテンツを符号化（プリエンコード）した、プリエンコード済みストリームをプリエンコード済みコンテンツとしてコンテンツサーバ２０の外部に蓄積するようにしてもよい。
以上、コンテンツサーバ２０について説明した。
次に、ストリーム送出装置１０について説明する。

ストリーム送出装置１０は、運行システム（図示せず）からの指示により、指定されたコンテンツを符号化したストリームを送出する。具体的には、本実施形態のストリーム送出装置１０は、あるコンテンツを送出する際に、後述するオンラインエンコーダ１１３によりリアルタイムに符号化したストリーム（「オンラインストリーム」ともいう）と、プリエンコード済みのストリームと、を切り替えるストリーム送出部１１６を有し、プリエンコード済みストリームが存在しない部分及び所定の条件を満たすコンテンツに関しては前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出し、それ以外の部分に関しては、プリエンコード済みストリームを送出する。
例えば、送出するコンテンツに新たな加工が必要となった際、当該新たな加工の対象となるコンテンツ（変更部分）の当該加工前のプリエンコード済みストリームに替えて、オンラインエンコーダ１１３によりリアルタイムに符号化したストリームを送出する。

ストリーム送出装置１０は、制御部１１（例えばＣＰＵ）及び記憶部１２の他、各種の入出力インタフェース（図示せず）を備えた情報処理装置（コンピュータ）であり、記憶部１２に格納されたソフトウェアを制御部が実行することにより、次の各機能部が実現される。

図２に示すとおり、ストリーム送出装置１０（制御部１１）は、変更検出部１１１と、オフラインエンコーダ１１２と、オンラインエンコーダ１１３と、割り込み操作部１１４と、ストリーム同期化部１１５と、ストリーム送出部１１６と、を備える。
ここで、ストリーム送出装置１０（制御部１１）は、オフラインエンコーダ１１２を複数備えてもよい。複数のオフラインエンコーダ１１２により、変更部分を分担して符号化することで、オフラインエンコードにかかる時間を短縮することができる。

変更検出部１１１は、コンテンツサーバ２０内の登録コンテンツを監視し、新たな登録コンテンツ又は登録済みコンテンツの部分的な差し替えがあった部分、又は全部の差替えがあった場合、新たな登録コンテンツ又は差換え部分を変更部分として検出する。変更検出部１１１は、検出した変更部分が登録済みコンテンツの部分的な差し替えである場合、
当該変更部分の差替え前のプリエンコード済みストリームを削除するとともに、オフラインエンコーダ１１２に対して差替え後の変更部分のプリエンコードを指示する。そうすることで、登録コンテンツの部分的又は全部の差替えがあった場合、オフラインエンコーダ１１２は、変更検出部１１１からの指示により、当該差替え後の変更部分の登録コンテンツのプリエンコード済みストリームを生成し、コンテンツサーバ２０は、生成されたプリエンコード済みコンテンツを管理する。
なお、プリエンコード済みストリーム中の変更部分に相当する部分は、削除する換わりに、削除に相当するマークをつけるようにしてもよい。また、変更が行われた部分を識別するために、変更が行われた部分について、データベース（図示せず）に、変更に関する履歴情報を登録して管理するようにしてもよい。

オフラインエンコーダ１１２は、変更検出部１１１から指示された変更部分について符号化（プリエンコード）を行い、プリエンコード済みストリームを生成し、変更部分に対して対応づけて、生成したプリエンコード済みストリームをコンテンツサーバ２０に蓄積する。なお、オフラインエンコーダ１１２は、プリエンコードの対象となるデータ全体を２回読み込み、１回目で当該データの解析を行いその特徴等を抽出し、その結果に基づいて２回目に圧縮・変換を行う、２パス符号化等、オンラインエンコードよりも時間がかかるが同じビットレートでも高画質が得られるエンコーダとするようにしてもよい。そうすることで、プリエンコード済みストリームの符号化品質を向上させることができる。
また、オフラインエンコーダ１１２を複数備えてもよい。複数のオフラインエンコーダ１１２により変更部分を分担して符号化することで、オフラインエンコードにかかる時間を短縮することができる。

ここで、プリエンコード済みストリームを生成する際の優先順位について説明する。本実施形態におけるストリーム送出システム１では、基本的には、送出時間になる前にプリエンコードがコンテンツ全体に対して完了していることが理想的な状況である。しかしながら、プリエンコードにかかる時間が不足したり、途中で差し替えがあったりした場合には、やむをえずオンラインエンコーダ１１３によりリアルタイムに符号化したストリーム（以下、「オンライン側」ともいう）を送出する、というのが基本的な動作となる。このため、プリエンコードの優先順位（どの順にどのコンテンツを優先的にプリエンコードするか）を、以下のように予め設定するようにしてもよい。

コンテンツの差し替えや登録が多数同時に行われると、送出時刻までにプリエンコードが終了しない場合がある。こうした事態の発生を減少させるため、変更検出部１１１は、オフラインエンコーダ１１２によるプリエンコードを、送出時刻の近いコンテンツから優先して行うようにしてもよい。そうすることで、送出時間になる前に、プリエンコードがコンテンツ全体に対して完了する可能性が高くなる。

また、１つのチャンネルで複数のコンテンツを送出する場合や、伝送路の輻輳等により、送出するストリームのビットレートを途中で変更する場合がある。そのような場合に備え、オフラインエンコーダ１１２によりプリエンコードする際に、想定される全てのビットレートでプリエンコードするようにしてもよい。特に、最も使われる可能性が高いビットレートによるプリエンコードを、優先して行うようにしてもよい。
具体的には、例えば送出するストリームのビットレートを「１０Ｍｂｐｓで送出する」のであれば、１０Ｍｂｐｓ以下のビットレートのプリエンコード済みストリームを優先して選択するようにしてもよい。特に、１０Ｍｂｐｓ以下で、かつ最大のビットレートを選択すると、条件を満たす中で画質が最大となることが期待できる。
例えば、放送波であれば最大のビットレートが予め決まっており、それを映像、音声、データで分け合って使うため、データ放送の情報量を増やせば、映像のビットレートを減らす、といった具合に決まることから、条件を満たす中で例えば画質が最大となる映像のビットレートを選択するようにしてもよい。また、例えばベストエフォート型のネットワークを使う場合は、伝送路が輻輳してくると、ビットレートを下げる、といった具合に決まることから、条件を満たす中で例えば画質が最大となる映像のビットレートを選択するようにしてもよい。

オンラインエンコーダ１１３は、コンテンツサーバ２０に登録されたコンテンツ、又は後述する割り込み操作部１１４から出力されるコンテンツをリアルタイムに符号化し、符号化したストリームをストリーム送出部１１６に送出する。

割り込み操作部１１４は、コンテンツサーバ２０から出力される登録コンテンツから外部コンテンツ（ライブコンテンツや、コンテンツサーバ２０で管理されていないメディア等）への切り替え、及び緊急時の文字スーパーの上乗せや動画像を縮小して空いたスペースに、テロップ等の情報を作成し出力させるＬ字表示等のコンテンツ加工を行う機能と、を有する。なお、これらの機能は必須ではなく、登録コンテンツから外部コンテンツへの切り替えが不要な場合は、外部コンテンツへの切り替え機能は不要であり、また緊急時の文字スーパーの上乗せやテロップ等の情報を作成し、出力させるＬ字表示等のコンテンツ加工が不要な場合も同様にそのコンテンツ加工機能は不要である。どちらも不要な場合は、割り込み操作部１１４自体が不要となる。

ストリーム送出部１１６は、オンラインエンコーダ１１３の出力するオンラインエンコードされたストリーム、及びコンテンツサーバ２０（プリエンコード済みストリーム記憶部２２２）から出力されるプリエンコード済みストリームを受けとる。
ストリーム送出部１１６は、プリエンコード済みストリームが存在しない場合、又はコンテンツサーバ２０から出力されるプリエンコード済みストリームがある場合であっても、予め設定された所定の条件を満たす場合には、オンラインエンコーダ１１３の出力するストリームを送出し、それ以外の場合にはオンラインエンコーダ１１３の出力するストリームを送出するように構成される。
ストリーム送出部１１６は、プリエンコード済みストリームをオンラインエンコーダ１１３の出力するストリームに切替える場合、又はオンラインエンコーダ１１３の出力するストリームをプリエンコード済みストリームに切替える場合、オンライン側とプリエンコード済みストリーム（以下、「プリエンコード側」ともいう）とで、同一のコンテンツ内位置（タイムスタンプやタイムコード等）を、同じ時刻に送出するようにタイミングを調整するため、同期信号にしたがって同期化してから、ストリームを送出するように構成する。それにより、例えばオンライン側よりプリエンコード側の方が１秒遅れていると、オンライン側からプリエンコード側に切り替えたときは、コンテンツの同じ部分が１秒間重複して送出されることになり、逆に、プリエンコード側からオンライン側に切り替えると、コンテンツが１秒間スキップするようなことが発生しないようにすることができる。
なお、別途、ストリーム同期化部１１５を設け、オンライン側とプリエンコード側とで、同一のコンテンツ内位置（タイムスタンプやタイムコード等）を、同じ時刻に送出するようにタイミングを調整するため、同期信号にしたがって同期化するようにしてもよい。なお、同期化機能については、当業者にとって公知（例えば、特許文献１等参照）であり、詳細な説明は省略する。
次に、前述した所定の条件を満たす場合（プリエンコード済みストリームがあっても、オンラインエンコーダ１１３の出力するストリームを送出する場合）について説明する。

先ず、割り込み操作部１１４により、外部コンテンツ（ライブコンテンツや、コンテンツサーバで管理されていないメディア等）が選ばれている部分、又は割り込み操作部１１４により緊急時の文字スーパーの上乗せやテロップ等の情報を作成し、出力させるＬ字表示等のコンテンツ加工が行われている部分については、プリエンコード済みストリームの出力がある場合でも、オンラインエンコーダ１１３の出力するストリームを送出する。
このため、割り込み操作部１１４から、例えば「割り込み操作中」を示す信号をストリーム送出部１１６に対して送出するようにしてもよい。そうすることで、ストリーム送出部１１６は、プリエンコード済みストリームの出力がある場合でも、オンラインエンコーダ１１３の出力するストリームを送出することができる。
なお、ストリーム送出部１１６が、割り込み操作部１１４を監視することで割り込み操作が行われているか否かを判断するようにしてもよい。
次に品質変動を抑えるための条件について説明する。

登録コンテンツの部分差し替えが多数あった場合やコンテンツの登録や差し替えが送出時間の直前だった場合等、送出時間までにオフラインエンコーダ１１２によるプリエンコードが完了せず、プリエンコード済みストリームの途中で削除された部分（あるいは未符号化の部分）が存在する場合（例えば、プリエンコード済みストリームの断片化が生じる場合）がある。
このような場合、仮にストリーム送出部１１６が、オンラインエンコーダ１１３の出力するストリームに換えてプリエンコード済みストリームを常に送出すると、オンラインエンコーダ１１３の出力と、ストリーム同期化部１１５の出力の切り替えが頻繁に発生する。これにより、送出されるストリームの符号化品質の変化が頻繁に起き、サービス品質が低下することで、視聴者が不快に感じる恐れがある。
このようなサービス品質の低下を抑制するため、ストリーム送出装置１０は、予め設定された時間以上の連続したプリエンコード済みストリームがない場合、ストリーム送出部１１６は、オンラインエンコーダ１１３の出力を送出するよう構成する。ここで、予め定めた時間とは、例えば３０秒や１分等、比較的長めにする時間が好ましい。それにより、頻繁な切り替えが発生することを防ぐことができ、視聴者が不快に感じないようにすることができる。
なお、コンテンツサーバ２０（プリエンコード済みストリーム記憶部２２２）から出力されるプリエンコード済みストリームが、予め設定された時間以上の連続したプリエンコード済みストリームに該当するか否かの判断を可能とするために、例えば、前述した管理部２１２が、コンテンツサーバ２０内のプリエンコード済みストリームに、プリエンコード済みと未完了の部分がわかるようなメタデータを付加し、そのメタデータを出力するようにしてもよい。そうすることで、ストリーム送出部１１６は、当該メタデータを参照することで、コンテンツサーバ２０から出力されるプリエンコード済みストリームが、予め設定された時間以上の連続したプリエンコード済みストリームに該当するか否かを判断することができる。
また、ストリーム送出部１１６が、コンテンツサーバ２０（プリエンコード済みストリーム記憶部２２２）に登録されているプリエンコード済みストリームの管理情報（当該ストリームの時間的長さ）を参照することで、当該プリエンコード済みストリームが、予め設定された時間以上の連続したプリエンコード済みストリームに該当するか否かを判断するようにしてもよい。

また、ストリーム送出部１１６は、カットチェンジ検出を行い、あるカットが、プリエンコード済みストリームのみで構成されない場合、当該カットについてはオンラインエンコーダの出力を送出するようにしてもよい。

また、ストリーム送出部１１６でオンラインエンコーダとプリエンコード済みストリームとの同期化を行っている場合、不測のパラメータ変化等により同期化できない場合、ストリーム送出部１１６は、オンラインエンコーダの出力を送出するようにしてもよい。
ここでは、ＧＯＰ（Group of Pictures）の変化を例示して説明する。

映像の符号化は、通常０．５秒程度のＧＯＰと呼ばれるフレーム群を単位として符号化される。このため、復号時にはこのＧＯＰの先頭からしかデコードができない。
一般に、このＧＯＰの切れ目であれば（シームレスに）ストリームを切り替えることが可能となる。図３Ａは、ＧＯＰの切れ目でオンライン側からプリエンコード側にストリームを切り替える例を示す図である。ここで、ＧＯＰを黒い矩形で示し、フレームを菱形で示す。
他方、何らかの要因（リセットがかかった等）でオンライン側のＧＯＰ位置がずれた場合について説明する。図３Ｂは、２つ目のＧＯＰでオンライン側のＧＯＰ構造が変化して、それ以降のＧＯＰ構造がオンライン側とプリエンコード側とで異なるものとなった例を示す図である。この場合、各フレームのタイムコードが一致していても、ＧＯＰの境界が揃わなくなるので、それ以降のどこでストリームを切り替えても、切り替えショック（次のＧＯＰが始まるまで、映像に乱れが生じる）が発生することになる。以上、ストリーム送出部１１６（又はストリーム同期化部１１５）で行うタイミング処理だけではプリエンコード済みのコンテンツのストリームを、オンラインエンコーダの出力と同期化できない符号化パラメータの例について説明した。
以上、ストリーム送出システム１の備える機能について説明した。

次に、ストリーム送出システム１のストリーム送出処理に係る動作について、例示しながら説明する。
図４Ａから図４Ｃは、コンテンツが新規登録され、その一部差し替えがされた場合のストリームを示す図である。なお、以下の図では、無色で示した帯が登録されたコンテンツを示し、登録されたコンテンツの直下に、ドットでハッチングされた薄い色で示す帯がその位置のプリエンコード済みストリームを示す。また、帯の上に送出予定時刻を示す。

１０：００から１１：００に送出される１時間のコンテンツが新規登録された例を図４Ａに示す。現時刻が１０：００とすると、プリエンコード済みストリームは全く存在しないため、ストリーム送出部１１６は、オンライン側を送出する。

変更検出部１１１は、このコンテンツ全体を変更部分として検出し、オフラインエンコーダ１１２がプリエンコードを開始する。図４Ｂは１０：２０に送出する部分までプリエンコードが完了した状態を示す。
現時刻が１０：００から１０：２０の間であれば、ストリーム送出部はプリエンコード側を送出する。その後、現時刻が１０：２０になると、該当する部分のプリエンコード済みストリームが存在しないため、ストリーム送出部の送出はオンライン側に切り替わる。

ここで、登録されたコンテンツの１０：００から１０：１１の部分に差し替えが行われたとする。図４Ｃに登録されたコンテンツの１０：００から１０：１１の部分（斜線でハッチングされた濃い色で示した帯）に差し替えが行われた状態を示す。
このとき、変更検出部１１１は１０：００から１０：１１を変更部分として検出し、当該部分のプリエンコード済みストリームを削除するとともに、当該部分のプリエンコードをオフラインエンコーダに指示する。
図４Ｃに示した状態のとき、ストリーム送出部１１６は、現時刻が１０：００から１０：１０のとき（プリエンコード済みストリームが存在するとき）は、プリエンコード側を送出し、現時刻が１０：１０から１０：１１のとき（プリエンコード済みストリームが存在しないとき）はオンライン側を送出する。同様に、現時刻が１０：１１から１０：２０のときはプリエンコード側、現時刻が１０：２０から１１：００のときはオンライン側を送出する。

次に、割り込み操作部１１４を操作したときのストリーム送出処理に係る動作について説明する。
図５は、現時刻が１０：１０から１０：１５のときに、割り込み操作部１１４で文字スーパーを上乗せする操作を行った場合のコンテンツサーバ２０に登録されるストリームの概要を示す図である。
このとき、ストリーム送出部１１６は、現時刻が１０：００から１０：２０の間はプリエンコード側を送出するが、文字スーパーを上乗せしている１０：１０から１０：１５の間はプリエンコード済みストリームが存在しているにもかかわらず、オンライン側を送出する。そして割り込み操作が終了すると（現時刻が１０：１５になると）、プリエンコード側を送出する。
以上のように、本発明によれば、送出予定のコンテンツは、いつでも登録・差し替えが可能であり、文字スーパーの上乗せ等の送出コンテンツへの即時加工を実現でき、なおかつプリエンコードが間に合った部分に関してはプリエンコード済みストリームの送出が実現可能となる。

なお、前述した例では、登録されたコンテンツ及びプリエンコード済みストリームについて、送出予定時刻と関連付けて述べたが、登録されたコンテンツ及びプリエンコード済みストリームは送出予定時刻と関連付けられている必要はない。
具体的には、コンテンツ内のタイムコードやタイムスタンプやフレーム番号や、コンテンツの先頭からの経過時間等を用いて、登録されたコンテンツとプリエンコード済みコンテンツの対応関係を持つようにしてもよい。図６は、コンテンツの先頭のタイムコードを００：００として、コンテンツの先頭からの経過時間を用いる例を示す図である。
こうすることにより、例えば、再放送を行う場合のように同じコンテンツを異なる複数の時刻で送出する場合等においても、送出時刻が未定の場合においても、本発明は問題なく動作する。また、送出時間を指定せずにすぐに送出を開始する、という場合においても本発明を適用することができる。

本実施形態によれば、ストリーム送出装置１０は、送出予定のコンテンツの新規登録あるいは差し替えが行われたときに変更された部分を検出する変更検出部１１１と、変更された部分を符号化しプリエンコード済みストリームを生成するオフラインエンコーダ１１２と、送出予定のコンテンツをリアルタイムで符号化するオンラインエンコーダ１１３と、プリエンコード済みストリームが存在しない部分及び所定の条件を満たすコンテンツに関してはオンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出し、それ以外の部分に関しては、プリエンコード済みストリームを送出するストリーム送出部１６と、を備える。
これにより、ストリーム送出装置１０は、ワークフローを変更することなく、プリエンコード済みストリームが存在する場合であっても、所定の条件を満たすコンテンツに関しては、オンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出することができる。

また、ストリーム送出装置１０は、送出するコンテンツを加工する割り込み操作部１１４を備え、割り込み操作部１１４によるコンテンツ加工が行われた部分では、ストリーム送出部１１６はオンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出するようにしてもよい。
これにより、ストリーム送出装置１０は、放送サービスにおけるワークフローを変更することなく、プリエンコード済みストリームが存在する場合であっても、緊急時の文字スーパー上乗せ等の送出コンテンツの即時加工されたコンテンツのオンラインエンコードしたストリームを送出することができる。

ストリーム送出装置１０は、送出を予定していなかったコンテンツに切り替える割り込み操作部１１４を備え、割り込み操作部１１４により送出を予定していなかったコンテンツに切り替えられた部分では、ストリーム送出部１１６はオンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出するようにしてもよい。
これにより、ストリーム送出装置１０は、放送サービスにおけるワークフローを変更することなく、送出寸前にコンテンツの部分又は全部の差し替えられた部分をオンラインエンコードしたストリームを送出することができる。

また、割り込み操作部１１４は、送出するコンテンツを加工し、又送出を予定していなかったコンテンツに切り替えるようにしてもよい。
これにより、ストリーム送出装置１０は、ストリーム送出装置１０は、放送サービスにおけるワークフローを変更することなく、送出寸前に送出する加工されたコンテンツ、又送出を予定していなかったコンテンツをオンラインエンコードしたストリームを送出することができる。

プリエンコード済みストリームが予め定めた時間以上連続していない部分では、ストリーム送出部１１６は、オンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出するようにしてもよい。
これにより、ストリーム送出装置１０は、送出されるストリームの符号化品質の変化が頻繁に起きるのを避けて、サービス品質の低下を防ぐことができる。

ストリーム送出部１１６は、カットチェンジ検出を行い、あるカットが、プリエンコード済みストリームのみで構成されない場合、当該カットについては、オンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出するようにしてもよい。
これにより、ストリーム送出装置１０は、送出されるストリームの符号化品質の変化が頻繁に起きるのを避けて、サービス品質の低下を防ぐことができる。

ストリーム送出部１１６は、送出するコンテンツ中に、ある部分のプリエンコードが当該部分の送出時間までに完了しない部分があるときに、そのコンテンツの送出についてはオンラインエンコーダ１１３によりリアルタイムで符号化されたストリームを送出するようにしてもよい。
これにより、ストリーム送出装置１０は、送出されるストリームの符号化品質の変化がコンテンツ中で変化するのを避けて、サービス品質の低下を防ぐことができる。

プリエンコードするコンテンツあるいはコンテンツの部分が複数ある場合、オフラインエンコーダ１１２は、送出予定時間の近い部分から優先してプリエンコードするようにしてもよい。
これにより、送出時間になる前に、プリエンコードがコンテンツ全体に対して完了する可能性が高くなる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。

上述した実施形態の機能的構成を変形するようにしてもよい。つまり、図２の機能的構成は１つの例示に過ぎず、本実施形態の機能的構成を限定するものではない。すなわち、本発明のストリーム送出機能に関する一連の処理を全体として実行できる機能が各機器に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、これら機能的構成を実現するためのストリーム送出装置１０についても、上述した実施形態での説明は例示に過ぎない。上述の実施形態では、ストリーム送出装置１０を１つの装置等により実現すると説明したが、ストリーム送出装置１０の各機能を、適宜複数の装置に分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、ストリーム送出装置１０の各機能を実現してもよい。

本実施形態では、主にストリーム送出装置１０の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、ストリームを送出するための方法、又はプログラムとして構成されてもよい。

更に、ストリーム送出装置１０の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

更に「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ ストリーム送出システム
１０ ストリーム送出装置
１１ 制御部
１１１ 変更検出部
１１２ オフラインエンコーダ
１１３ オンラインエンコーダ
１１４ 割り込み操作部
１１５ ストリーム同期化部
１１６ ストリーム送出部
１２ 記憶部
２０ コンテンツサーバ
２１ 制御部
２１１ 登録部
２１２ 管理部
２２ 記憶部
２２１ 登録コンテンツ記憶部
２２２ プリエンコード済みストリーム記憶部

Claims (11)

1. 送出予定のコンテンツの新規登録あるいは差し替えが行われたときに変更された部分を検出する変更検出部と、
   変更された部分を符号化しプリエンコード済みストリームを生成する、オフラインエンコーダと、
   送出予定のコンテンツをリアルタイムで符号化するオンラインエンコーダと、
   プリエンコード済みストリームが存在しない部分及び所定の条件を満たすコンテンツに関しては前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出し、それ以外の部分に関しては、プリエンコード済みストリームを送出するストリーム送出部と、
   を備えるストリーム送出装置。
2. 送出するコンテンツを加工する割り込み操作部を備え、
   前記割り込み操作部によるコンテンツ加工が行われた部分では、前記ストリーム送出部は前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出する、請求項１に記載のストリーム送出装置。
3. 送出を予定していなかったコンテンツに切り替える割り込み操作部を備え、
   前記割り込み操作部により送出を予定していなかったコンテンツに切り替えられた部分では、前記ストリーム送出部は前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出する、請求項１に記載のストリーム送出装置。
4. 送出するコンテンツを加工する機能及び送出を予定していなかったコンテンツに切り替える機能を有する割り込み操作部を備える、請求項１に記載のストリーム送出装置。
5. 前記ストリーム送出部は、
   プリエンコード済みストリームが予め定めた時間以上連続していない部分では、前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出する、請求項１から請求項４の何れかに記載のストリーム送出装置。
6. 前記ストリーム送出部は、
   カットチェンジ検出を行い、あるカットが、プリエンコード済みストリームのみで構成されない場合、当該カットについては、前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出する、請求項１から請求項４の何れかに記載のストリーム送出装置。
7. 前記ストリーム送出部は、
   カットチェンジ検出を行い、あるカットが、プリエンコード済みストリームのみで構成されない場合、当該カットについては、前記オンラインエンコーダによりリアルタイムで符号化されたストリームを送出する、請求項５に記載のストリーム送出装置。
8. 前記オフラインエンコーダは、
   プリエンコードするコンテンツあるいはコンテンツの部分が複数ある場合、送出予定時間の近い部分から優先してプリエンコードする、請求項１から請求項４の何れかに記載のストリーム送出装置。
9. 前記オフラインエンコーダは、
   プリエンコードするコンテンツあるいはコンテンツの部分が複数ある場合、送出予定時間の近い部分から優先してプリエンコードする、請求項５に記載のストリーム送出装置。
10. 前記オフラインエンコーダは、
    プリエンコードするコンテンツあるいはコンテンツの部分が複数ある場合、送出予定時間の近い部分から優先してプリエンコードする、請求項６に記載のストリーム送出装置。
11. 請求項１から請求項４の何れかに記載のストリーム送出装置としてコンピュータを機能させるためのストリーム送出プログラム。

Images