JP5894063B2 - 映像符号化装置及び映像符号化プログラム - Google Patents

Description

本発明は、映像を指定した大きさでタイル状に分割して符号化する映像符号化装置及び映像符号化プログラムに関する。

従来から、高解像度映像を限られたネットワーク帯域において伝送するために、高解像度映像を複数解像度に変換し、変換された複数解像度の映像を指定した大きさにタイル状に分割し、タイル分割された映像を符号化する映像伝送装置が知られている（例えば、特許文献１、非特許文献１参照）。この映像伝送装置によれば、伝送レートを上げ過ぎることなく、一定の帯域以内の伝送レートで高解像度パノラマ映像を伝送することができ、また映像品質を最大化でき、ユーザの注視領域の急激な操作に対しても、一定の帯域以内の伝送レートで映像を表示することができる。さらに、注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる。

特開２０１１−２１７３４５号公報

Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, and Akira Kojima, "Mobile and Multi-device Interactive Panorama Video Distribution System,"IEEE GCCE 2012, Oct., 2012.

しかしながら、特許文献１に記載の映像伝送装置にあっては、１ＨＤ（ハイディフニッション）の高解像度映像を符号化する場合、タイル分割処理に時間を要するという問題がある。また、４Ｋ解像度（１ＨＤ×４枚）のような高解像度映像を符号化する場合、タイル分割処理にさらなる時間を要してしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、高解像度の映像を高速に符号化することができる映像符号化装置及び映像符号化プログラムを提供することを目的とする。

本発明は、複数の分配映像として入力した映像を符号化する映像符号化装置であって、入力された複数の前記分配映像のうち、一つの前記分配映像を指定された解像度の映像に変換し、タイル分割するためのタイルサイズが定義されたタイルマップ情報を参照して、解像度を変換した前記映像を前記タイルサイズに分割した分割映像を生成し、前記分割映像の出力先が定義されたエンコーダマップ情報を参照して、前記分割映像を所定の出力先へ出力する処理を複数の前記分配映像について並行して行う複数のタイル分割手段と、前記タイル分割手段から出力した前記分割映像を指定された符号化条件に従って符号化する際に、２つ以上の前記タイル分割手段から出力する前記分割映像が入力された場合には、入力された前記分割映像を結合した後に符号化して出力する処理を複数の前記分割映像について並行して行う複数の映像符号化手段とを備えたことを特徴とする。

本発明は、前記タイルマップ情報は、各タイルが重なることがないように前記タイルサイズが定義されていることを特徴とする。

本発明は、前記タイルマップ情報は、各タイルが横方向または縦方向に所定の量ずれて重なりあうように前記タイルサイズが定義されていることを特徴とする。

本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明によれば、符号化に必要な処理を並行して行うようにしたため、高解像度の映像であっても高速に符号化を行うことができるという効果が得られる。これにより、ライブ映像等のリアルタイム性を必要とする高解像度映像の符号化データの配信に対応することが可能となる。

本発明の一実施形態の構成を示すブロック図である。 分配マップの一例を示す図である。 分配映像対応表の一例を示す図である。 タイルマップ情報の一例を示す図である。 エンコーダマップ情報の一例を示す図である。 エンコーダマップ情報の他の例を示す図である。 タイル分割部が行う複数解像度変換を示す図である。 他のタイルマップ情報の例を示す図である。 他のタイルマップ情報の例を示す図である。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、映像を入力して、符号化を行う映像符号化装置である。符号１１は、映像符号化装置１の処理動作を統括して制御する制御部である。符号１２は、映像データを出力する映像出力部であり、カメラや映像データが記憶された記憶装置から構成する。符号１３−１〜１３−Ｘは、映像出力部１２から出力した映像データをキャプチャするＸ個（Ｘは自然数）のキャプチャ部である。符号１４−１〜１４−Ｙは、キャプチャした映像データをタイルに分割するＹ個（Ｙは自然数）のタイル分割部である。符号１５−１〜１５−Ｚはタイル分割した映像データを符号化して符号化データを出力するＺ個（Ｚは自然数）の映像符号化部である。制御部１１は、Ｘ、Ｙ、Ｚの値を事前に把握している。制御部１１は、キャプチャ部１３−１〜１３−Ｘ、タイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚの処理動作を制御する。図１において、制御部１１から出力する制御情報を破線の矢印で表し、映像データの流れを実線の矢印で表している。

次に、図１に示す映像符号化装置１の処理動作を説明する。制御部１１は、映像出力部１２からキャプチャ部１３−１〜１３−Ｘに対して出力する映像データの映像全体の大きさ、映像の分配数、分配された各映像の大きさ、解像度の数、各解像度値、解像度に対応した各タイルサイズを事前に把握している。分配数とは、映像全体を切り分ける数であり、映像出力部１２から出力される映像ソース（分配映像）の数である。分配映像とは、映像全体を分配数をもとに切り分けた映像である。タイルサイズとは、指定した大きさに映像全体を分割する領域の大きさであり、各々の領域がタイルである。

制御部１１は、映像の分配数から分配マップを作成する。さらに、分配映像対応表を作成する。分配マップとは、映像全体を構成する各映像ソースの配置関係を示すものであり、分配映像対応表とは、各分配映像を処理するキャプチャ部１３−１〜１３−Ｘ及びタイル分割部１４−１〜１４−Ｙを示すものである。

図２は、分配マップの一例を示す図である。制御部１１は、映像の分配数から分配マップを作成する。ここでは、分配数４をもとに映像全体を４つに分配し、分配された４つの映像を分配Ａ、分配Ｂ、分配Ｃ、分配ＤとＩＤを付与した分配マップを作成する。なお、ＩＤの付け方は、任意である。

図３は、分配映像対応表の一例を示す図である。制御部１１は、各映像ソース（分配映像）の入力先（キャプチャ部１３−１〜１３−Ｘ）を事前に把握しているため、分配マップ、映像ソース（分配映像）の入力先（キャプチャ部１３−１〜１３−Ｘ）をもとに、分配映像とキャプチャ部１３−１〜１３−Ｘとを対応させる。ここでは、分配Ａをキャプチャ部１３−１、分配Ｂをキャプチャ部１３−２、分配Ｃをキャプチャ部１３−３、分配Ｄをキャプチャ部１３−４に入力する。映像ソース（分配映像）とキャプチャ部１３−１〜１３−Ｘは、１対１であるがどのキャプチャ部１３に入力してもよい。

そして、キャプチャ部１３−１〜１３−Ｘとタイル分割部１４−１〜１４−Ｙを１対１とし、順番にキャプチャ部１３−１（分配Ａ）はタイル分割部１４−１、キャプチャ部１３−２（分配Ｂ）はタイル分割部１４−２、キャプチャ部１３−３（分配Ｃ）はタイル分割部１４−３、キャプチャ部１３−４（分配Ｄ）はタイル分割部１４−４とする。このように分配映像とキャプチャ部１３−１〜１３−Ｘとタイル分割部１４−１〜１４−Ｙが対応する一覧表を作成する。なお、キャプチャ部１３とタイル分割部１４が２対１で、キャプチャ部１３−１、１３−２がタイル分割部１４−１であってもよい。キャプチャ部１３とタイル分割部１４が必ずしも１対１である必要はない。

次に、制御部１１は、解像度毎にタイルマップ情報を作成する。タイルマップ情報とは、分配マップが示す各映像ソースの配置関係にタイル分割の様子を重ね合わせて表現したものである。図４は、タイルマップ情報の一例を示す図である。制御部１１は、各タイル分割部１４−１〜１４−Ｙが担当する映像の大きさ、タイルの大きさを元に分割し、例えば左上からラスタ順に番号を付与し、タイルが分配マップの境界をまたいだ場合は、タイル番号に各分配領域を示す記号等（図４においては英字）を付与し、タイルマップ情報を作成する。そして、解像度映像毎に、タイルマップを作成する。

タイルには、番号等任意のＩＤを付与し、解像度毎に異なるＩＤを用いる。各解像度映像と各解像度の符号化条件との対応が付くＩＤを付与する。例えば、解像度を３段階とした場合、一番上の解像度はタイル１、タイル６、タイル１１Ａ、……．、２番目の解像度は２−タイル１、２−タイル６、２−タイル１１Ａ、……．、３番目の解像度は３−タイル１、３−タイル６、３−タイル１１Ａ、……．のようにする。映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った解像毎の符号化条件から、タイルＩＤがタイルで始まるタイル１、タイル６、タイル１１Ａは、一番上の解像度の符号化条件、２−タイルで始まる２−タイル１、２−タイル６、２−タイル１１Ａは、２番目の解像度の符号化条件、３−タイルで始まる３−タイル１、３−タイル６、３−タイル１１Ａは、３番目の解像度の符号化条件と判断する。ここでは、タイル分割部１４−１〜１４−Ｙはキャプチャ部１３−１〜１３−Ｘ（映像分配数）と同じ４台とするが同じである必要はない。

次に、制御部１１は、解像度毎にエンコードマップ情報を作成する。エンコードマップ情報とは、タイルマップ情報に各タイルを符号化する映像符号化部１５−１〜１５−Ｚの情報を追記したものである。図５は、エンコーダマップ情報の一例を示す図である。ここでは、横方向に、映像符号化部１５を割り当てた例であり、映像符号化部１５の数は、横タイル数と同じ５台とする。

制御部１１は、タイルマップ情報をもとに、映像符号化部１５−１を一番左側の縦の列、映像符号化部１５−２を右へ１つ隣の縦の列、映像符号化部１５−３を真ん中の縦の列、映像符号化部１５−４を右へ１つ隣の縦の列、映像符号化部１５−５を一番右側の縦の列に対応したエンコーダマップ情報を作成する。ここでは、映像符号化部１５−１〜１５−５は横タイル数と同じ５台とするが、５台である必要はない。また、各タイル映像は、どの映像符号化部１５によって符号化してもよい。

ただし、タイル３Ａ、３Ｂの様に横にまたがる場合、タイル１１Ａ、１１Ｃの様に縦にまたがる場合、タイル１３Ａ、１３Ｃと、タイル１３Ｂ、１３Ｄのように上下左右にまたがる場合は、同じ映像符号化部１５にする必要がある。なお、制御部１１は、解像度毎に、エンコーダマップ情報を作成する。

図６は、エンコーダマップ情報の他の例を示す図である。図６に示すエンコーダマップ情報は、縦方向に、映像符号化部１５を割り当てた例であり、映像符号化部１５の数は、縦タイル数と同じ５台とする。制御部１１は、タイルマップ情報をもとに、映像符号化部１５−１を一番上の横の列、映像符号化部１５−２を１つ下の横の列、映像符号化部１５−３を真ん中の横の列、映像符号化部１５−４を１つ下の横の列、映像符号化部１５−５を一番下の横の列に対応したエンコーダマップ情報を作成する。ここでは、映像符号化部１５は縦タイル数と同じ５台とするが、５台である必要はない。また、各タイル映像は、どの映像符号化部１５で符号化してもよい。

ただし、タイル３Ａ、３Ｂの様に横にまたがる場合、タイル１１Ａ、１１Ｃの様に縦にまたがる場合、タイル１３Ａ、１３Ｃと、タイル１３Ｂ、１３Ｄのように上下左右にまたがる場合は、同じ映像符号化部１５にする必要がある。なお、制御部１１は、解像度毎に、エンコーダマップ情報を作成する。

次に、制御部１１は、映像ソース入力前に以下（１）〜（４）の通知を行う。
（１）各映像符号化部１５−１〜１５−Ｚに対して各解像度の符号化条件を通知する。解像度毎の符号化条件は、解像度毎のタイルとの対応づけができる。解像度毎の符号化条件の中に、タイルＩＤと解像度との対応づけができる記載がある。
（２）各タイル分割部１４−１〜１４−Ｙに対して解像度数と各解像度値、各解像度のタイルサイズを通知する。
（３）各キャプチャ部１３−１〜１３−Ｘ、各タイル分割部１４−１〜１４−Ｙに対して映像分配マップ、分配映像対応表を通知する。
（４）各タイル分割部１４−１〜１４−Ｙ、各映像符号化部１５−１〜１５−Ｚに対して各解像度のエンコーダマップ情報を通知する。

次に、制御部１１は、キャプチャ部１３−１〜１３−Ｘ、タイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚに対して各制御情報を送信後、キャプチャ部１３−１〜１３−Ｘ、タイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚに対して入力開始を通知する。

映像出力部１２は、映像ソース（分配映像）とキャプチャ部１３−１〜１３−Ｘの対応づけをしておく。そして、入力開始後に映像出力部１２から映像ソース（カメラからのライブ映像データや記憶装置に記憶されている映像データ）を各キャプチャ部１３−１〜１３−Ｘに対して出力する。キャプチャ部１３−１〜１３−Ｘに対して出力する映像は必ずしもライブ映像とは限らない。また、出力はカメラが出力する映像とは限らない。他の媒体から出力する映像データでもよい。事前に記憶装置に録画した映像をキャプチャ部１３−１〜１３−Ｘへ出力してもよい。

次に、キャプチャ部１３−１〜１３−Ｘは、映像出力部１２から分配映像を受け取り、制御部１１から受け取った映像分配マップ、分配映像対応表をもとに対応するタイル分割部１４−１〜１４−Ｙへこの映像データを送る。

タイル分割部１４−１〜１４−Ｙは、制御部１１から受け取った解像度数と各解像度値をもとに、解像度変換を行う。図７は、タイル分割部１４−１〜１４−Ｙが行う複数解像度変換を示す図である。タイル分割部１４−１〜１４−Ｙは、制御部１１から受け取った解像度数と各解像度値をもとに指定数の解像度に変換する。さらに、制御部１１から受け取った解像度毎のエンコーダマップ情報と各解像度のタイルサイズをもとに、解像度毎にタイル分割を行い、対応する映像符号化部１５−１〜１５−Ｚへタイル分割映像を送る。このとき、タイル分割部１４−１〜１４−Ｙは並行処理する。

次に、映像符号化部１５−１〜１５−Ｚは、受け取ったタイル映像を制御部１１から受け取った符号化条件で符号化する。タイルＩＤから解像度毎の符号化条件の対応ができる。このとき、映像符号化部１５−１〜１５−Ｚは並行処理する。分配領域をまたがったタイルは、映像符号化部１５が１つのタイルに結合後に符号化する。制御部１１から受け取ったエンコーダマップ情報をもとに結合するタイルが分かる。

次に、図１、図５を参照して、図１に示すタイル分割部１４−１〜１４−Ｙ、映像符号化部１５−１〜１５−Ｚの処理動作を説明する。タイル分割部１４−１〜１４−Ｙは、制御部１１から受け取った解像度数、各解像度値、解像度毎のタイルサイズをもとに、解像度変換処理、タイル分割処理を並行して行う。各映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った解像度毎のエンコーダマップ情報、解像度毎の符号化条件をもとに、映像の符号化を並行して行う。

各映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った各解像度の符号化条件の中で、解像度毎のタイルと対応する各解像度の符号化条件で符号化する。ここで示すタイルＩＤは、一番上の解像度である。タイル分割部１４−１は、分配映像Ａの解像度変換、変換された各解像度映像のタイル分割を行い、タイル１、６、１１Ａを映像符号化部１５−１に送る。映像符号化部１５−１は、タイル１、６を符号化する。そして、映像符号化部１５−１は、タイル１１Ａ、タイル１１Ｃが揃った時に１枚のタイルに結合し、タイル１１として符号化する。映像符号化部１５−１は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。

次に、タイル分割部１４−１は、タイル２、７、１２Ａを映像符号化部１５−２に送り、映像符号化部１５−２は、タイル２、７を符号化する。映像符号化部１５−２は、タイル１２Ａ、タイル１２Ｃが揃った時に１枚のタイルに結合し、タイル１２として符号化する。映像符号化部１５−２は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。

次に、タイル分割部１４−１は、タイル３Ａ、８Ａ、１３Ａを映像符号化部１５−３に送り、映像符号化部１５−３は、タイル３Ａ、タイル３Ｂが揃った時に１枚のタイルに結合し、タイル３として符号化する。映像符号化部１５−３は、タイル８Ａ、タイル８Ｂが揃った時に１枚のタイルに結合し、タイル８として符号化する。映像符号化部１５−３は、タイル１３Ａ、タイル１３Ｂ、１３Ｃ、１３Ｄが揃った時に結合し、タイル１３として符号化する。映像符号化部１５−３は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。

次に、タイル分割部１４−２は、分配映像Ｂの解像度変換、変換された各解像度映像のタイル分割を行い、タイル３Ｂ、８Ｂ、１３Ｂを映像符号化部１５−３に送る。映像符号化部１５−３は、タイル３Ｂ、タイル３Ａが揃った時に１枚のタイルに結合し、タイル３として符号化する。映像符号化部１５−３は、タイル８Ｂ、タイル８Ａが揃った時に１枚のタイルに結合し、タイル８として符号化する。また、映像符号化部１５−３は、タイル１３Ｂ、タイル１３Ａ、１３Ｃ、１３Ｄが揃った時に結合し、タイル１３として符号化する。映像符号化部１５−３は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。

次に、タイル分割部１４−２は、タイル４、９、１４Ｂを映像符号化部１５−４に送り、映像符号化部１５−４は、タイル４、９を符号化する。映像符号化部１５−４は、タイル１４Ｂ、タイル１４Ｄが揃った時に１枚のタイルに結合し、タイル１４として符号化する。映像符号化部１５−４は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。

次に、タイル分割部１４−２は、タイル５、１０、１５Ｂを映像符号化部１５−５に送り、映像符号化部１５−５は、タイル５、１０を符号化する。映像符号化部１５−５は、タイル１５Ｂ、タイル１５Ｄが揃った時に１枚のタイルに結合し、タイル１５として符号化する。映像符号化部１５−５は、制御部１１からエンコーダマップ情報を受け取っているため、結合するタイルが分かる。

次に、タイル分割部１４−３は、分配映像Ｃの解像度変換、変換された各解像度映像のタイル分割を行い、タイル１１Ｃ，１６、２１を映像符号化部１５−１に送る。映像符号化部１５−１は、タイル１６、２１を符号化する。映像符号化部１５−１は、タイル１１Ａと１１Ｃが揃った時に１枚のタイルに結合し、タイル１１として符号化する。

次に、タイル分割部１４−３は、タイル１２Ｃ、１７、２２を映像符号化部１５−２に送り、映像符号化部１５−２は、タイル１７、２２を符号化する。映像符号化部１５−２は、タイル１２Ａ、１２Ｃが揃った時に１枚のタイルに結合し、タイル１２として符号化する。

次に、タイル分割部１４−３は、タイル１３Ｃ、１８Ｃ、２３Ｃを映像符号化部１５−３に送り、映像符号化部１５−３は、タイル１８Ｃ、タイル１８Ｄが揃った時に１枚のタイルに結合し、タイル１８として符号化する。そして、映像符号化部１５−３は、タイル２３Ｃ、タイル２３Ｄが揃った時に１枚のタイルに結合し、タイル２３として符号化する。映像符号化部１５−３は、タイル１３Ｃ、タイル１３Ａ、１３Ｂ、１３Ｄが揃った時に結合し、タイル１３として符号化する。

次に、タイル分割部１４−４は、分配映像Ｄの解像度変換、変換された各解像度映像のタイル分割を行い、タイル１３Ｄ、１８Ｄ、２３Ｄを映像符号化部１５−３に送る。映像符号化部１５−３は、タイル１８Ｄ、タイル１８Ｃが揃った時に１枚のタイルに結合し、タイル１８として符号化する。映像符号化部１５−３は、タイル２３Ｄ、タイル２３Ｃが揃った時に１枚のタイルに結合し、タイル２３として符号化する。そして、映像符号化部１５−３は、タイル１３Ｄ、タイル１３Ａ，１３Ｂ，１３Ｃが揃った時に結合し、タイル１３として符号化する。

次に、タイル分割部１４−４は、タイル１４Ｄ、１９、２４を映像符号化部１５−４に送り、映像符号化部１５−４は、タイル１９、２４を符号化する。映像符号化部１５−４は、タイル１４Ｄ、タイル１４Ｂが揃った時に１枚のタイルに結合し、タイル１４として符号化する。

次に、タイル分割部１４−４は、タイル１５Ｄ、２０、２５を映像符号化部１５−５に送り、映像符号化部１５−５は、タイル２０、２５を符号化する。映像符号化部１５−５は、タイル１５Ｂ、１５Ｄが揃った時に１枚のタイルに結合し、タイル１５として符号化する。

次に、他のタイルマップ情報の例について説明する。図８は、他のタイルマップ情報の例を示す図である。制御部１１は、各タイル分割部１４−１〜１４−Ｙが担当する映像の大きさ、指定したタイルの大きさをもとに横、縦に指定した量ずつずらした重なりあうタイルに分割する。制御部１１は、指定したタイルの大きさで横、縦に指定した量でずらす長さを事前に把握している。ここでは左上からラスタ順に番号を付与し、タイルが分配マップの境界をまたいだ場合は、タイル番号に各分配領域を示す記号等（図８においては英字）を付与し、タイルマップ情報を作成する。なお、タイルマップは、解像度映像毎に作成する。

タイルには、番号等任意のＩＤを付与する。ただし、解像度毎に異なるＩＤを用いる。各解像度映像と各解像度の符号化条件との対応が付くＩＤを付与する。例えば、解像度を３段階とした場合、一番上の解像度はタイル１、タイルＭＡ、タイルＭＣ、……．、２番目の解像度は２−タイル１、２−タイルＭＡ、２−タイルＭＣ、……．、３番目の解像度は３−タイル１、３−タイルＭＡ、３−タイルＭＣ、……．のようにする。映像符号化部１５−１〜１５−Ｚは、制御部１１から受け取った解像毎の符号化条件から、例えばタイルＩＤがタイルで始まるタイル１、タイルＭＡ、タイルＭＣは、一番上の解像度の符号化条件、２−タイルで始まる２−タイル１、２−タイルＭＡ、２−タイルＭＣは、２番目の解像度の符号化条件、３−タイルで始まる３−タイル１、３−タイルＭＡ、３−タイルＭＣは、３番目の解像度の符号化条件と判断する。ここでは、タイル分割部１４−１〜１４−Ｙはキャプチャ部１３−１〜１３−Ｘ（映像分配数）と同じ４台とするが同じである必要はない。

次に、さらに他のタイルマップ情報の例について説明する。図９は、他のタイルマップ情報の例を示す図である。図９に示す例では、横方向に、映像符号化部１５−１〜１５−Ｎを割り当てた例である。制御部１１は、タイルマップ情報をもとに、映像符号化部１５−１を一番左側の縦の列、映像符号化部１５−２を右へ１つ隣の縦の列、一番右側の縦の列に映像符号化部１５−Ｎに対応したエンコーダマップ情報を作成する。ここでは、映像符号化部１５−Ｎとするが、Ｎ台である必要はない。また、各タイル映像は、どの映像符号化部１５で符号化してもよい。

ただし、タイル２Ａ、２Ｂの様に横にまたがる場合、タイルＭＡ、ＭＣの様に縦にまたがる場合、タイルＭ＋１Ａ、Ｍ＋１Ｂ、Ｍ＋１Ｃ、Ｍ＋１Ｄのように上下左右にまたがる場合は、同じ映像符号化部１５にする必要がある。エンコーダマップ情報は、解像度毎に作成する。タイル分割部１４−１〜１４−４、映像符号化部１５−１〜１５−Ｎの処理動作は前述した処理動作と同じであるので、ここでは詳細な説明を省略する。

なお、映像符号化装置１によって符号化された複数のストリームは、その後多重化されてもよいし、独立したストリームのままでもよい。ストリームを配信する際に、多重化されたストリームを配信サーバが扱う場合には、符号化されたストリームは多重化された後に利用される方が好適である。逆に、配信サーバが独立した複数のストリームを扱う場合には、多重化されないままの方が良い。

以上説明したように、複数に分配された各映像を複数解像度に変換し、さらに各解像度の映像を指定した大きさでタイル状に分割する際に、複数に分割された１つのタイルを、１タイルにして符号化するためにエンコーダマップ情報を用いて符号化処理するようにした。また、複数に分配された分配映像を複数解像度に変換し、解像度毎にタイル分割するようにして、複数のタイル分割部１４−１〜１４−Ｙにより並行処理するようにした。

これにより、分配された４Ｋ解像度のような高解像度映像を複数のタイル分割部１４−１〜１４−Ｙで複数解像度変換、タイル分割を行い、さらに複数の映像符号化部１５−１〜１５−Ｚで符号化を行うため高速化が可能となり、高解像度映像においてもライブ配信に対応することが可能になる。また、重なりあうタイルでは、タイルが重なることがないタイル分割に比べタイル数が多くなるが、複数のタイル分割部１４−１〜１４−Ｙで複数解像度変換、タイル分割を行い、さらに複数の映像符号化部１５−１〜１５−Ｚで符号化を行うため高速化が可能となり、ライブ配信に対応することができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

映像を指定した大きさでタイル状に分割して符号化することが不可欠な用途に適用できる。

１・・・映像符号化装置、１１・・・制御部、１２・・・映像出力部、１３−１〜１３−Ｘ・・・キャプチャ部、１４−１〜１４−Ｙ・・・タイル分割部、１５−１〜１５−Ｚ・・・映像符号化部

Claims (4)

1. 複数の分配映像を入力し、入力した前記分配映像をそれぞれキャプチャする複数のキャプチャ部と、キャプチャした分配映像をタイルに分割する複数のタイル分割部と、タイル分割した映像を符号化して出力する複数の映像符号化部とを備える映像符号化装置であって、
   前記分配映像の配置関係を示す分配マップ情報を映像の分配数から作成する分配マップ情報作成部と、
   前記分配マップ情報で示される前記分配映像を処理する前記キャプチャ部及び前記タイル分割部を対応させる分配映像対応表情報を作成する分配映像対応表情報作成部と、
   タイル分割するためのタイルサイズを解像度毎に定義したタイルマップ情報を作成するタイルマップ情報作成部と、
   各タイルを処理する前記映像符号化部を対応付けるエンコーダマップ情報を作成するエンコーダマップ情報作成部と
   をさらに備え、
   前記キャプチャ部は、前記分配映像対応表情報を参照して、対応するキャプチャ部を使用して前記分配映像それぞれをキャプチャし、
   前記タイル分割部は、前記分配映像対応表情報を参照して、対応するタイル分割部を使用して、キャプチャされた前記分配映像のうち、一つの前記分配映像を指定された解像度の映像に変換し、前記タイル分割するための前記タイルサイズに基づき、解像度を変換した前記映像を前記タイルサイズに分割した分割映像を生成し、前記エンコーダマップ情報を参照して、前記分割映像を所定の前記映像符号化部へ出力する処理を複数の前記分配映像について並行して行い、
   前記映像符号化部は、前記タイル分割部から出力した前記分割映像を指定された符号化条件に従って符号化する際に、２つ以上の前記タイル分割部から出力する前記分割映像が入力された場合には、入力された前記分割映像を結合した後に符号化して出力する処理を複数の前記分割映像について並行して行うことを特徴とする映像符号化装置。
2. 前記タイルマップ情報は、各タイルが重なることがないように前記タイルサイズが定義されていることを特徴とする請求項１に記載の映像符号化装置。
3. 前記タイルマップ情報は、各タイルが横方向または縦方向に所定の量ずれて重なりあうように前記タイルサイズが定義されていることを特徴とする請求項１に記載の映像符号化装置。
4. コンピュータを、請求項１から３のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。

Images