JP6582805B2 - 符号化装置、符号化システム、符号化方法、及びプログラム - Google Patents

Description

本発明は、符号化装置、符号化システム、符号化方法、及びプログラムに関する。

各地には、国や自治体等が管理する定点カメラが多数設置されている。このような定点カメラについて、用途を多様化したいという要望が有る。例えば、１台の定点カメラを回転させて複数の方向における映像を撮像することで、複数の用途に利用可能な映像を配信することが考えられる。

特開２００９−１８８９７５号公報 特開２００７−１８４８９１号公報 特開２００５−１６７３９７号公報

しかしながら、カメラが或る方向（以下、「方向Ａ」という。）を向いているときに撮像される映像の閲覧者にとって、他の方向（以下、「方向Ｂ」という。）に関して撮像された映像が混在するのは好ましくない場合が有る。例えば、放送局へ配信され、放送局が各地の様子を伝えるために利用している映像の方向が放送中に急に変化してしまっては、視聴者を混乱させてしまう。

そこで、一側面では、複数の方向を時系列に撮像する撮像装置からの映像を方向別に出力することを目的とする。

一つの案では、符号化装置は、複数の撮像方向において時系列に撮像された、複数のフレームを含む映像データを受信する受信部と、前記受信部によって受信された映像データに含まれる各フレームを、前記撮像方向ごとに分離する分離部と、前記分離部によって分離されたフレームを前記撮像方向ごとに記憶する記憶部と、前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームを含む映像データのフレームレートを算出する算出部と、前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームを当該撮像方向に関して算出されたフレームレートで含む映像データを符号化して出力する符号化部と、を有する。

一側面によれば、複数の方向を時系列に撮像する撮像装置からの映像を方向別に出力することができる。

本発明の実施の形態における映像配信システムの構成例を示す図である。 本発明の実施の形態におけるエンコーダのハードウェア構成例を示す図である。 本発明の実施の形態におけるエンコーダが実行する処理の概要を説明するための図である。 本発明の実施の形態におけるエンコーダの機能構成例を示す図である。 映像データの受信に応じてエンコーダが実行する処理手順の一例を説明するためのフローチャートである。 映像データに含まれる各フレームの分離後の各バッファの状態の一例を示す図である。 バッファに記憶されたフレームに関してエンコーダが実行する処理手順の一例を説明するためのフローチャートである。 フレームレート算出処理の処理手順の一例を説明するためのフローチャートである。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における映像配信システムの構成例を示す図である。図１において、映像配信システム１は、カメラ２０、エンコーダ１０、並びに視聴装置３０ａ及び視聴装置３０ｃ等の複数の視聴装置３０を含む。カメラ２０とエンコーダ１０とは、カメラ２０によって撮像された映像を伝送するためのネットワーク（有線又は無線の別を問わない。）によって接続されている。また、エンコーダ１０と各視聴装置３０とは、カメラ２０によって撮像された映像を配信するためのネットワーク（有線又は無線の別を問わない。）によって接続されている。

カメラ２０は、例えば、街中において設置されている監視用のカメラである。例えば、カメラ２０は、ＣＣＴＶ（Closed Circuit Television）カメラであってもよい。本実施の形態において、カメラ２０は、例えば、旋回（回転）することで、撮像方向を変化させることができる。図１では、カメラ２０が、方向Ａと方向Ｂとの二つの方向に周期的に撮像方向を変えて、撮像を行う例が示されている。その結果、カメラ２０からエンコーダ１０には、撮像方向が異なるフレームを時系列に含む映像データが伝送される。図１において、「ＡＡｘＢＢＢＢＢｘＡＡｘＢＢ・・・」は、映像データに含まれる各フレームの撮像方向を示す。「Ａ」は、方向Ａにおいて撮像されたフレームを示す。「Ｂ」は、方向Ｂにおいて撮像されたフレームを示す。「ｘ」は、カメラ２０の旋回中において撮像されたフレームを示す。したがって、図１の例では、方向Ａにおいて撮像される２フレームと、方向Ａから方向Ｂへの旋回中における１フレームと、方向Ｂにおいて撮像される６フレームと、方向Ｂから方向Ａへの旋回中における１フレームとによって１周期分の映像データが構成される例が示されている。すなわち、１周期とは、或る方向に向いていたカメラ２０が旋回して当該方向に戻るまでの期間をいう。

エンコーダ１０は、カメラ２０によって撮像された映像データを所定の方式によって符号化（エンコード）する装置である。エンコーダ１０は、符号化された映像データを、各視聴装置３０に配信する。図１では、１つのカメラ２０が入力側に接続され、２つの視聴装置３０が出力側に接続された例が示されている。但し、入力側に接続されるカメラ２０数及び出力側に接続される視聴装置３０数は、所定のものに限定されない。なお、エンコーダ１０は、視聴装置３０ａに対しては、方向Ａにおいて撮像された映像（方向Ａ映像）を配信し、視聴装置３０ｂに対しては、方向Ｂにおいて撮像された映像（方向Ｂ映像）を配信する。

各視聴装置３０は、エンコーダ１０によって配信される映像の視聴に利用される端末である。各視聴装置３０は、専用の端末であってもよいし、ＰＣ（Personal Computer）、スマートフォン、又はタブレット端末等の汎用的な端末であってもよい。なお、図中における視聴装置３０ａ及び視聴装置３０ｂのそれぞれは、複数の視聴装置３０の集合であってもよい。

図２は、本発明の実施の形態におけるエンコーダのハードウェア構成例を示す図である。図２のエンコーダ１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

エンコーダ１０での処理を実現するプログラムは、記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってエンコーダ１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

なお、記録媒体１０１の一例としては、ＣＤ−ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。

図３は、本発明の実施の形態におけるエンコーダが実行する処理の概要を説明するための図である。

図３には、カメラ２０からエンコーダ１０に入力される映像データｐ１を構成する各フレームが、斜めの矩形によって示されている。各矩形のうち、「移動中」と記載されている矩形は、カメラ２０の旋回中に撮像されたフレーム（以下、「移動フレーム」という。）である。「Ａｘ」と記載されている矩形は、方向Ａにおいて撮像されたフレーム（以下、「Ａフレーム」という。）である。「Ｂｘ」と記載されている矩形は、方向Ｂにおいて撮像されたフレーム（以下、「Ｂフレーム」という。）である。なお、Ａｘにおけるｘは、Ａフレームの中での順番を示す。Ｂｘにおけるｘは、Ｂフレームの中での順番を示す。図３におけるフレームの周期は、図１と同様である。すなわち、２つのＡフレームと、１つの移動フレーム（方向Ａから方向Ｂ）と、６つのＢフレームと、１つの移動フレーム（方向Ｂから方向Ａ）とが、１周期分のフレーム群を構成する。

映像データｐ１が、図３に示されるような周期を有する場合、エンコーダ１０は、Ａフレームについては、例えば、各周期における２つのうちの先頭のフレームのみを含む映像データを、視聴装置３０ａに配信する。また、エンコーダ１０は、Ｂフレームについては、各周期における６つのフレームのうちの最初のフレームと最後のフレームのみを含む映像データを、視聴装置３０ｂに配信する。そうすることで、各視聴装置３０に配信されるフレームの間隔を一定（等間隔）とすることができる。換言すれば、エンコーダ１０は、Ａフレーム及びＢフレームのそれぞれのフレームの間隔が一定となるように、フレームの間引きを行う（又は一部のフレームを抽出する）。図３において、Ａフレームは、９フレーム間隔とされている。また、Ｂフレームは、４フレーム間隔とされている。その結果、フレーム間における時間の経過を均一化することができる。

なお、仮に、全てのＡフレームが視聴装置３０ａに配信された場合、フレームＡ１からフレームＡ２までの映像の変化と、フレームＡ２とフレームＡ３との間の映像の変化とは大きく異なる。同様に、全てのＢフレームを視聴装置３０ｂに配信された場合、フレームＢ１からフレームＢ６までの各フレーム間の映像の変化と、フレームＢ６とフレームＢ７との間の映像の変化とは大きく異なる。したがって、視聴者には、不自然な映像に感じられる。

図３に示したようなフレームの間引きを実現するため、エンコーダ１０は、例えば、図４に示されるような機能構成を有する。

図４は、本発明の実施の形態におけるエンコーダの機能構成例を示す図である。図４において、エンコーダ１０は、カメラ制御部１１、映像受信部１２、映像分離部１３、フレームレート調整部１４ａ、フレームレート調整部１４ｂ、エンコード部１５ａ、及びエンコード部１５ｂ等を有する。これら各部は、エンコーダ１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。エンコーダ１０は、また、バッファ１６ａ及びバッファ１６ｂを有する。バッファ１６は、例えば、メモリ１０３又は補助記憶装置１０２等を用いて実現可能である。

なお、フレームレート調整部１４ａ、エンコード部１５ａ、及びバッファ１６ａは、Ａフレームに対応し、フレームレート調整部１４ｂ、エンコード部１５ｂ、及びバッファ１６ｂは、Ｂフレームに対応する。末尾のアルファベット（ａ又はｂ）のみが異なる各部を区別しない場合、末尾のアルファベットは除去される。

カメラ制御部１１は、カメラ２０の動き（旋回）を制御する。例えば、カメラ制御部１１は、ネットワークを介してエンコーダ１０に接続される、他のコンピュータからの命令に応じてカメラ２０を制御してもよい。但し、本実施の形態において、カメラ２０の動きは周期的であるとする。

映像受信部１２は、カメラ２０によって撮像された映像データ（映像信号）を受信する。映像分離部１３は、映像受信部１２によって受信された映像データを構成する各フレームを、撮像方向が共通するフレームごとに分離する。本実施の形態では、各フレームが、ＡフレームとＢフレームとに分離される。Ａフレームは、バッファ１６ａに記憶される。Ｂフレームは、バッファ１６ｂに記憶される。

フレームレート調整部１４は、バッファ１６に記憶された各フレームの分離前の順番に基づいて、フレームレートを算出し、算出されたフレームレートでの映像データを生成する。エンコード部１５は、フレームレート調整部１４によって生成された映像データを符号化し、符号化された映像データを視聴装置３０に配信する。

以下、図１のエンコーダ１０が実行する処理手順について説明する。図５は、映像データの受信に応じてエンコーダが実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ１０１において、映像分離部１３は、変数ｉに０を代入する。変数ｉは、各フレームの順番を記憶するための変数である。続いて、映像分離部１３は、映像受信部１２から１フレーム分の映像データを受信すると共に、カメラ制御部１１から、カメラ２０の状態情報を受信する（Ｓ１０２）。映像受信部１２から受信される映像データは、例えば、現時点においてカメラ２０によって撮像され、カメラ２０から映像受信部１２が受信した映像データである。カメラ制御部１１から受信されるカメラ２０の状態情報は、現時点（すなわち、当該映像データの撮像時）におけるカメラ２０の状態を示す受信である。カメラ２０の状態情報は、例えば、カメラ２０が方向Ａ若しくは方向Ｂを向いているのか、又はカメラ２０が旋回中であるのかを示す情報である。なお、カメラ制御部１１は、カメラ２０の動作を制御するため、カメラ２０の状態を知っている。

続いて、映像分離部１３は、変数ｉに対して１を加算する（Ｓ１０２）。続いて、映像分離部１３は、受信された映像データの１フレーム（以下、「対象フレーム」という。）が、いずれかの撮像方向に関するフレームであるか否かを判定する（Ｓ１０３）。本実施の形態では、方向Ａ又は方向Ｂにおいて撮像されたフレームであるか否かが判定される。当該判定は、カメラ制御部１１から受信された状態情報に基づいて行うことができる。

対象フレームが、いずれかの撮像方向に関するフレームでない場合、すなわち、対象フレームが移動フレームである場合（Ｓ１０４でＮｏ）、ステップＳ１０４以降は実行されない。対象フレームが、いずれかの撮像方向に関するフレームである場合（Ｓ１０４でＹｅｓ）、映像分離部１３は、対象フレームに関する撮像方向に対応するバッファ１６の有無を判定する（Ｓ１０５）。該当するバッファ１６が無い場合（Ｓ１０５でＮｏ）、映像分離部１３は、該当するバッファ１６を生成する（Ｓ１０６）。続いて、映像分離部１３は、当該バッファ１６に対応するフレームレート調整部１４及びエンコード部１５を起動する（Ｓ１０７）。例えば、対象フレームに関する撮像方向が方向Ａである場合、バッファ１６ａが生成され、フレームレート調整部１４ａ及びエンコード部１５ａが起動される。なお、各撮像方向が映像分離部１３にとって既知であれば、各バッファ１６が予め生成され、各バッファ１６に対応するフレームレート調整部１４及びエンコード部１５が予め起動されていてもよい。

ステップＳ１０５でＹｅｓの場合、又はステップＳ１０７に続いて、映像分離部１３は、対象フレームに関する撮像方向に対応するバッファ１６に対象フレームを記憶する（Ｓ１０８）。この際、映像分離部１３は、変数ｉの値を対象フレームに関連付ける。なお、変数ｉの値は、撮像方向ごとに分離される前の各フレームの順番を示す。

図５のステップＳ１０１以降が、フレームごとに実行されることで、カメラ２０から受信される映像データに含まれる各フレームは、撮像方向ごとに分離されて、それぞれの撮像方向に対応するバッファ１６に記憶される。

図６は、映像データに含まれる各フレームの分離後の各バッファの状態の一例を示す図である。図６に示されるように、映像データｐ１に含まれる各フレームのうち、Ａフレームは、バッファ１６ａに記憶され、Ｂフレームは、バッファ１６ｂに記憶される。バッファ１６内の各フレームに付与されている括弧内の数値は、各フレームに関連付けられた変数ｉの値を示す。

図７は、バッファに記憶されたフレームに関してエンコーダが実行する処理手順の一例を説明するためのフローチャートである。なお、図７の処理は、図５とは独立して（図５と並行して）、各フレームレート調整部１４によって実行される。図５では、方向Ａに対応するフレームレート調整部１４ａが、各ステップの実行主体であるとする。

ステップＳ２０１において、フレームレート調整部１４ａは、方向Ａに関して配信される映像データのフレームレートを算出済みであるか否かを判定する。フレームレートを算出済みでない場合（Ｓ２０１でＮｏ）、フレームレート調整部１４ａは、フレームレート算出処理を実行する（Ｓ２０２）。フレームレート算出処理の詳細については後述される。

フレームレートを算出済みである場合（Ｓ２０１でＹｅｓ）、又はステップＳ２０２に続いて、フレームレート調整部１４ａは、バッファ１６ａに記憶されているフレームの数は、フレームレートに対して十分な数であるか否かを判定する（Ｓ２０３）。例えば、フレームレートが、Ｎｆｐｓである場合（Ｎは正の整数）、Ｎ個のフレームがバッファ１６ａに記憶されているか否かが判定されてもよい。又は、他の方法によって、十分なフレーム数が判定されてもよい。

バッファ１６ａに記憶されているフレームの数が、フレームレートに対して不十分な場合（Ｓ２０３でＮｏ）、フレームレート調整部１４ａは、十分な数のフレームがバッファ１６ａに記憶されるまで待機する。

バッファ１６ａに記憶されているフレームの数が、フレームレートに対して十分な場合（Ｓ２０３でＹｅｓ）、フレームレート調整部１４は、当該フレームレートでの映像データを、バッファ１６ａに記憶されているフレームを使用して生成する（Ｓ２０４）。映像データの生成に使用されたフレームは、バッファ１６ａから削除される。

続いて、エンコード部１５ａは、当該映像データを符号化して、符号化後の映像データを、視聴装置３０ａに配信する（Ｓ２０５）。

なお、本実施の形態において、図７の処理は、フレームレート調整部１４ｂ及びエンコード部１５ｂによっても実行される。

続いて、ステップＳ２０２の詳細について説明する。図８は、フレームレート算出処理の処理手順の一例を説明するためのフローチャートである。ここでは、フレームレート調整部１４ａが当該処理手順を実行する場合について説明する。

ステップＳ３０１において、フレームレート調整部１４ａは、フレームレートの算出のために十分な数のフレームがバッファ１６ａ内に記憶されているか否かを判定する。フレームレートの算出のために十分な数のフレームとは、カメラ２０の旋回の１周期あたりのフレームの総数と、当該１周期に含まれる、対象の撮像方向（方向Ａ）に関するフレーム数とを特定可能な分のフレームである。例えば、方向Ａに関しては、図６において、フレーム（１）、フレーム（２）、及びフレーム（１０）がバッファ１６ａに記憶されていれば、十分である。フレーム（１０）とフレーム（１）とのそれぞれに関連付けられている順番に基づいて、１０−１＋１＝１０が、１周期あたりのフレームの総数であることを特定可能である。また、フレーム（１）及びフレーム（２）によって、１周期に含まれるＡフレームは、２枚であることを特定可能である。

すなわち、対象の撮像方向に関するフレームの連続数と、非連続数とが特定可能であればよい。連続数とは、１つの周期におけるＡフレームの数をいう。非連続数とは、或る周期における最後のＡフレームと、次の周期における最初のＡフレームとの間におけるフレーム数をいう。図６において、Ａフレームの連続数は２であり、非連続数は、８である。２＋８＝１０が、１周期あたりのフレームの総数であり、連続数である２が、１周期あたりのＡフレームのフレーム数である。

フレームレートの算出のために十分な数のフレームがバッファ１６ａ内に記憶されると（Ｓ３０１でＹｅｓ）、フレームレート調整部１４ａは、１周期あたりのフレームの総数を、変数Ｆに代入する（Ｓ３０２）。続いて、フレームレート調整部１４ａは、１周期あたりのＡフレームのフレーム数を、変数ｆ１に代入する（Ｓ３０３）。続いて、フレームレート調整部１４ａは、Ｆ−ｆ１の算出結果を、変数ｆ２に代入する（Ｓ３０４）。すなわち、変数ｆ２は、フレームＡ以外のフレームの１周期あたりの数である。図６の例において、Ｆ＝１０、ｆ１＝２、ｆ２＝８である。

続いて、フレームレート調整部１４ａは、変数ｆ１の値と変数ｆ２の値とを比較する（Ｓ３０５）。Ａフレームに関しては、ｆ１≦ｆ２である。したがって、この場合（Ｓ３０５でＹｅｓ）、フレームレート調整部１４は、１周期分のフレームから配信対象として抽出するＡフレームの数を１とする（Ｓ３０６）。すなわち、１周期あたりのＡフレームの数は２であるため、１枚は間引かれることが決定される。この際、フレームレート調整部１４ａは、抽出後の各Ａフレームの間隔が一定となるように、各周期から抽出されるＡフレームの位置を決定する。図６の例において、Ａフレームの連続数は２である。したがって、各周期において１番目のＡフレームが抽出されることが決定される。そうすることで、抽出される各Ａフレームの間隔（抽出される各Ａフレームの間に存在していたフレームの数）を、一定（図６の例では９枚）とすることができる。但し、２番目のＡフレームが各周期から抽出されてもよい。

続いて、フレームレート調整部１４は、１周期あたりの抽出数に基づいて、フレームレートを算出する（Ｓ３０９）。当該フレームレートｘは、例えば、以下の方程式（１）を解くことで、算出されてもよい。
（１周期あたりの抽出数／Ｆ）＝ｘ／受信映像のフレームレート ・・・（１）
ここで、受信映像のフレームレートが、２９．９４［ｆｐｓ］だとし、ｆ１及びＦの値が上記の通りであるとすると、以下の方程式は、次の通りとなる。
１／１０＝ｘ／２９．９４
当該方程式を解くと、ｘは、次のように求まる。
ｘ＝２９．９４／１０＝２．９９４［ｆｐｓ］
続いて、図８の処理手順を、フレームレート調整部１４ｂが実行する場合について説明する。この場合、図６の例では、Ｆ＝１０、ｆ１＝６、ｆ２＝４となる。したがって、ステップＳ３０５において、ｆ１＞ｆ２であると判定される。この場合（Ｓ３０５でＮｏ）、フレームレート調整部１４ｂは、以下の式（２）が成立するか否かを判定する。
ｎ×（ｆ２＋１）＋１＝ｆ１ ・・・（２）
ここで、ｎは、任意の正の整数（１，２，３，・・・）である。図６の例では、ｆ１＝６、ｆ２＝４であるから、ｎ＝１のときに、両辺の値が６となり、上記の式が成立する。この場合（Ｓ３０７でＹｅｓ）、フレームレート調整部１４ｂは、１周期から抽出するフレーム数をｎ＋１とする（Ｓ３０８）。したがって、図６の例では、１周期あたり２枚のＢフレームが抽出される。また、フレームレート調整部１４ｂは、抽出される各Ｂフレームの間隔が一定となるように、各周期において抽出される２枚のＢフレームの位置を決定する。図６の例では、各周期において最初のＢフレームと、最後のＢフレームとが抽出対象とされる。そうすることで、Ｂフレームの間隔を、４フレームとすることができる。すなわち、或る周期の最初のＢフレームと最後のＢフレームとの間隔は４フレームであり、或る周期の最後のＢフレームと次の周期の最初のＢフレームとの間隔も４フレームとなる。

続いて、フレームレート調整部１４ｂは、フレームレート調整部１４ａと同様に、方程式（１）に基づいて、Ｂフレームのフレームレートを算出する（Ｓ３０９）。Ｂフレームに関しては、以下のような方程式が解かれる。
２／１０＝ｘ／２９．９４
当該方程式を解くと、フレームレートｘは、次のように求まる。
ｘ＝２×２９．９４／１０＝５．８４８［ｆｐｓ］
なお、仮に、Ｂフレームの連続数が１１である場合、すなわち、ｆ１＝１１、ｆ２＝４である場合、ｎが２のときに、式（２）が成立する。すなわち、この場合、両辺の値は、９となる。したがって、この場合、１周期あたり４枚のＢフレームが抽出される。各Ｂフレームの間隔を一定にするために、各周期において、１番目、６番目、及び１１番目のＢフレームが抽出される。そうすることで、各Ｂフレームの間隔を４フレームにすることができる。すなわち、式（２）は、一定間隔のフレームが抽出可能であるか否かを判定するための条件式である。

一方、ｎにどの様な値を与えても式（２）が成立しない場合（Ｓ３０７でＮｏ）、ステップＳ３０６以降が実行される。例えば、ｆ１が５である場合、当該式は成立しない。したがって、この場合、各周期から１枚のＢフレームが抽出される。

但し、ｆ１が５である場合であっても、１番目と５番目のＢフレームを抽出すれば、Ｂフレームの間隔を、４、３、４、３、・・・とほぼ一定とすることができる。すなわち、或る周期の最後のＢフレームと次のフレームの最初のＢフレームとの間隔は４フレームであり、当該次の周期の最初のＢフレームと最後のＢフレームとの間隔は３フレームである。この場合であっても、抽出されたフレームの間隔は、間引きが行われない場合に比べて均一性が高くなることが期待できる。したがって、必ずしも、式（２）に基づいて抽出数が決定されなくてもよい。Ｂフレームの間隔が略一定になるのであれば、他の方法によってＢフレームの抽出数及び抽出されるＢフレームの位置が決定されてもよい。

上述したように、本実施の形態によれば、カメラ２０によって時系列に撮像される複数の方向の映像データに含まれる各フレームは、撮像方向ごとに分離される。また、撮像方向ごとに分離された各フレームは、分離前の各フレームの順番に基づいて算出されるフレームレートで符号化され、各撮像方向に対応する視聴装置３０に配信される。したがって、複数の方向を時系列に撮像するカメラ２０からの映像を方向別に出力することができる。

なお、本実施の形態では、カメラ２０の撮像方向が２方向である例について説明したが、３方向以上の撮像方向に関して時系列に撮像を行うカメラ２０について、本実施の形態が適用されてもよい。

なお、本実施の形態において、カメラ２０は、撮像装置の一例である。エンコーダ１０は、符号化装置の一例である。映像受信部１２は、受信部の一例である。映像分離部１３は、分離部の一例である。フレームレート調整部１４は、算出部の一例である。エンコード部１５は、符号化部の一例である。バッファ１６は、記憶部の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

以上の説明に関し、更に以下の項を開示する。
（付記１）
複数の撮像方向において時系列に撮像された、複数のフレームを含む映像データを受信する受信部と、
前記受信部によって受信された映像データに含まれる各フレームを、前記撮像方向ごとに分離する分離部と、
前記分離部によって分離されたフレームを前記撮像方向ごとに記憶する記憶部と、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームを含む映像データのフレームレートを算出する算出部と、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームを当該撮像方向に関して算出されたフレームレートで含む映像データを符号化して出力する符号化部と、
を有することを特徴とする符号化装置。
（付記２）
前記算出部は、前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームの中から一部のフレームを抽出し、抽出されたフレームに関してフレームレートを算出する、
ことを特徴とする付記１記載の符号化装置。
（付記３）
前記算出部は、抽出されるフレームの前記分離前の間隔が一定となるように、前記一部のフレームを抽出する、
ことを特徴とする付記２記載の符号化装置。
（付記４）
複数の撮像方向の映像を時系列に撮像する撮像装置と、符号化装置とを含む符号化システムであって、
前記符号化装置は、
前記撮像装置によって撮像された、複数のフレームを含む映像データを受信する受信部と、
前記受信部によって受信された映像データに含まれる各フレームを、前記撮像方向ごとに分離する分離部と、
前記分離部によって分離されたフレームを前記撮像方向ごとに記憶する記憶部と、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームを含む映像データのフレームレートを算出する算出部と、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームを当該撮像方向に関して算出されたフレームレートで含む映像データを符号化して出力する符号化部と、
を有することを特徴とする符号化システム。
（付記５）
前記算出部は、前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームの中から一部のフレームを抽出し、抽出されたフレームに関してフレームレートを算出する、
ことを特徴とする付記４記載の符号化システム。
（付記６）
前記算出部は、抽出されるフレームの前記分離前の間隔が一定となるように、前記一部のフレームを抽出する、
ことを特徴とする付記５記載の符号化システム。
（付記７）
符号化装置が、
複数の撮像方向において時系列に撮像された、複数のフレームを含む映像データを受信し、
前記する処理において受信された映像データに含まれる各フレームを、前記撮像方向ごとに分離し、
前記分離する処理において分離されたフレームを前記撮像方向ごとに記憶部に記憶し、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームを含む映像データのフレームレートを算出し、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームを当該撮像方向に関して算出されたフレームレートで含む映像データを符号化して出力する、
処理を実行することを特徴とする符号化方法。
（付記８）
前記算出する処理は、前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームの中から一部のフレームを抽出し、抽出されたフレームに関してフレームレートを算出する、
ことを特徴とする付記７記載の符号化方法。
（付記９）
前記算出する処理は、抽出されるフレームの前記分離前の間隔が一定となるように、前記一部のフレームを抽出する、
ことを特徴とする付記８記載の符号化方法。
（付記１０）
符号化装置に、
複数の撮像方向において時系列に撮像された、複数のフレームを含む映像データを受信し、
前記する処理において受信された映像データに含まれる各フレームを、前記撮像方向ごとに分離し、
前記分離する処理において分離されたフレームを前記撮像方向ごとに記憶部に記憶し、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームを含む映像データのフレームレートを算出し、
前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームを当該撮像方向に関して算出されたフレームレートで含む映像データを符号化して出力する、
処理を実行させることを特徴とするプログラム。
（付記１１）
前記算出する処理は、前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された各フレームの分離前の順番に基づいて、当該各フレームの中から一部のフレームを抽出し、抽出されたフレームに関してフレームレートを算出する、
ことを特徴とする付記１０記載のプログラム。
（付記１２）
前記算出する処理は、抽出されるフレームの前記分離前の間隔が一定となるように、前記一部のフレームを抽出する、
ことを特徴とする付記１１記載のプログラム。

１０ エンコーダ
１１ カメラ制御部
１２ 映像受信部
１３ 映像分離部
１４ａ、１４ｂ フレームレート調整部
１５ａ、１５ｂ エンコード部
１６ａ、１６ｂ バッファ
２０ カメラ
３０ａ、３０ｂ 視聴装置
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
Ｂ バス

Claims (5)

1. 周期的に複数の撮像方向において第１のフレームレートで撮像され、第１の前記撮像方向に対するフレーム数と第２の前記撮像方向に対するフレーム数とが異なる複数のフレームを含む第１の映像データを受信する受信部と、
   前記受信部によって受信された前記第１の映像データに含まれる各フレームを、前記撮像方向ごとに分離する分離部と、
   前記分離部によって分離されたフレームを前記撮像方向ごとに記憶する記憶部と、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された周期ごとのフレームの数と、前記第１の映像データの周期ごとのフレームの総数とに基づいて、前記撮像方向ごとに生成される第２の映像データに関する第２のフレームレートを算出する算出部と、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶されたフレームのうちの一部のフレームを当該撮像方向に関して算出された前記第２のフレームレートで含む前記第２の映像データを符号化して出力する符号化部と、
   を有することを特徴とする符号化装置。
2. 前記符号化部は、前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶されたフレームのうち前記第１の映像データにおいて等間隔のフレームを当該撮像方向に関して算出された前記第２のフレームレートで含む前記第２の映像データを符号化して出力する、
   ことを特徴とする請求項１記載の符号化装置。
3. 複数の撮像方向の映像を時系列に撮像する撮像装置と、符号化装置とを含む符号化システムであって、
   前記符号化装置は、
   前記撮像装置によって周期的に複数の撮像方向において第１のフレームレートで撮像され、第１の前記撮像方向に対するフレーム数と第２の前記撮像方向に対するフレーム数とが異なる複数のフレームを含む第１の映像データを受信する受信部と、
   前記受信部によって受信された前記第１の映像データに含まれる各フレームを、前記撮像方向ごとに分離する分離部と、
   前記分離部によって分離されたフレームを前記撮像方向ごとに記憶する記憶部と、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された周期ごとのフレームの数と、前記第１の映像データの周期ごとのフレームの総数とに基づいて、前記撮像方向ごとに生成される第２の映像データに関する第２のフレームレートを算出する算出部と、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶されたフレームのうちの一部のフレームを当該撮像方向に関して算出された前記第２のフレームレートで含む前記第２の映像データを符号化して出力する符号化部と、
   を有することを特徴とする符号化システム。
4. 符号化装置が、
   周期的に複数の撮像方向において第１のフレームレートで撮像され、第１の前記撮像方向に対するフレーム数と第２の前記撮像方向に対するフレーム数とが異なる複数のフレームを含む第１の映像データを受信し、
   前記受信する処理において受信された前記第１の映像データに含まれる各フレームを、前記撮像方向ごとに分離し、
   前記分離する処理において分離されたフレームを前記撮像方向ごとに記憶部に記憶し、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された周期ごとのフレームの数と、前記第１の映像データの周期ごとのフレームの総数とに基づいて、前記撮像方向ごとに生成される第２の映像データに関する第２のフレームレートを算出し、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶されたフレームのうちの一部のフレームを当該撮像方向に関して算出された前記第２のフレームレートで含む前記第２の映像データを符号化して出力する、
   処理を実行することを特徴とする符号化方法。
5. 符号化装置に、
   周期的に複数の撮像方向において第１のフレームレートで撮像され、第１の前記撮像方向に対するフレーム数と第２の前記撮像方向に対するフレーム数とが異なる複数のフレームを含む第１の映像データを受信し、
   前記受信する処理において受信された前記第１の映像データに含まれる各フレームを、前記撮像方向ごとに分離し、
   前記分離する処理において分離されたフレームを前記撮像方向ごとに記憶部に記憶し、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶された周期ごとのフレームの数と、前記第１の映像データの周期ごとのフレームの総数とに基づいて、前記撮像方向ごとに生成される第２の映像データに関する第２のフレームレートを算出し、
   前記撮像方向ごとに、当該撮像方向に関して前記記憶部に記憶されたフレームのうちの一部のフレームを当該撮像方向に関して算出された前記第２のフレームレートで含む前記第２の映像データを符号化して出力する、
   処理を実行させることを特徴とするプログラム。

Images