WO2020230385A1 - 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法 - Google Patents

Abstract

有意映像ストリーム生成プログラムは、コンピュータを、原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、予め定められた条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と、有意なマクロブロックにおける符号化パラメータのフレームと時間的に同期した原映像ストリームのフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段として機能させる。

Description

原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法

　本発明は、カメラによって撮影された映像ストリームから、容量を削減した有意な映像ストリームを生成する技術に関する。
　本願は、２０１９年５月１５日に、日本に出願された特願２０１９－９１８９５号に基づき優先権を主張し、その内容をここに援用する。

　映像ストリームの符号化技術として、代表的にＭＰＥＧ（Moving Picture Experts Group）が知られている。この技術によれば、映像ストリームに対して圧縮効率を高めるために、前および／または後のフレームに基づいて現フレームの予測画像を生成し、入力画像と予測画像の差分（誤差）画像を符号化する「フレーム間予測」方式を用いる。
　映像ストリームとしては、ユーザが家庭用に所持するビデオカメラによって撮影されたものであってもよいし、固定的に設置された防犯カメラによって撮影されたものであってもよい。近年、映像ストリームを生成する機器として、車両から見た視界を撮影するカメラを搭載したドライブレコーダがある。ドライブレコーダは、車両の走行中に撮影した映像ストリームを記憶し続ける。

　図１は、車両に設置されたドライブレコーダとしての端末装置を有するシステム構成図である。

　図１に示すように、ドライブレコーダとしての端末１は、車両の進行方向の映像をカメラで撮影し、その映像ストリームを記憶部（メモリ、ディスク）に記憶する。その端末１は、その映像ストリームを、無線ネットワークを介して、データセンタ２へ送信する。
　また、端末１は、ＣＡＮ（Controller Area Network）を介して車両走行情報を取得することもできる。その車両走行情報も、映像ストリームと一緒に、データセンタ２へ送信してもよい。
　データセンタ２は、端末１から受信した映像ストリーム及び車両走行情報を分析することができる。例えば、映像ストリームに映り込む物体を検出および／または識別すると共に、その車両走行情報を対応付けることもできる。

　従来、車両に設置された複数のカメラを用いて、複数の領域に分割された映像データを、領域毎に異なる符号化率で符号化する技術が、例えば特許文献１に開示されている。この技術によれば、領域毎に、重要度に応じて要求される解像度を算出し、その重要度に応じた符号化率で映像データを符号化する。
　また、特定方向における車両の加速度の値が所定値を超えたときに、ドライブレコーダが、車両に設置された複数のカメラによって取得された画像データを出力する技術が、例えば特許文献２に開示されている。
　更に、作業者が装着するカメラが撮影する映像に対して、データ量を削減する遠隔作業支援システムの技術が、例えば特許文献３に開示されている。この技術によれば、映像フレーム内で物体の動きが大きい領域が存在するかどうかが評価され、動きの大きい領域が存在しない場合には、重要でないとみなして削除する。

特開２０１０－２６３５００号公報 特開２０１３－２１８４３３号公報 特開２０１８－０８２３３３号公報

　特許文献１に記載の技術によれば、符号化前の映像データについて、領域を識別する必要がある。カメラが、既に符号化された映像データを出力する場合、一旦伸張しなければならず、処理が複雑となる。また、領域毎に符号化率は異なるものの、全てのカメラの映像が符号化対象となるために、データ全体の削減効果は小さかった。
　特許文献２に記載の技術によれば、車両の加速度のみを画像データ出力の判定要素としているために、車両の加速度が変化しない走行状態では、画像データを出力しなくなるという欠点があった。
　特許文献３に記載の技術によれば、画像内の物体の動きの大きさを評価して符号化している。そのために、既に符号化された映像データに対して、マクロブロックの符号化パラメータを評価し、削減すべき映像データを特定することはできないという欠点があった。

　これに対し、本願の発明者らは、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成することができれば、蓄積又は伝送すべきデータ容量を削減することができるのではないか、と考えた。また、有意映像ストリームを受信する装置も、その有意映像ストリームに映り込む物体を検出および／または識別するための処理の負荷を軽減することができるのではないか、と考えた。

　そこで、本発明は、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成するプログラム、装置及び方法を提供することを目的とする。

　本発明によれば、コンピュータを、撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置として機能させるプログラムであって、このプログラムは、前記コンピュータを、
　前記原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、
　予め定められた条件を満たす符号化パラメータを持つ前記マクロブロックを有意なマクロブロックとして選別するマクロブロック選別手段と、
　前記有意なマクロブロックにおける符号化パラメータのフレームと時間的に同期した前記原映像ストリームの複数のフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段と、
　として機能させる。

　本発明のプログラムは、前記有意映像ストリーム生成手段を、符号化パラメータのフレームに同期した原映像ストリームのフレームを時系列に結合したものに加えて、当該符号化パラメータのフレームを時系列に結合したものを前記有意映像ストリームとして生成するように機能させることが好ましい。

　　本発明のプログラムは、前記有意映像ストリーム生成手段を、有意映像ストリームとして、フレーム毎に、フレーム番号及び／又はタイムコードを含めるように機能させることも好ましい。

　本発明のプログラムは、前記有意映像ストリーム生成手段を、有意映像ストリームとして、フレーム毎に、有意なマクロブロックと、前記有意なマクロブロックの分布情報とを含めるように機能させることが好ましい。

　本発明のプログラムは、前記有意映像ストリーム生成手段を、有意映像ストリームとして、フレームを含むＧＯＰ（Group Of Pictures）単位で有意なマクロブロックを持つフレームを含めるように機能させることが好ましい。

　本発明のプログラムは、前記有意なマクロブロックにおける符号化パラメータのフレームに相当しないＧＯＰは、削除するか、又は、所定割合以上の高い圧縮率で圧縮するように機能させることが好ましい。

　本発明のプログラムにおいて、前記原映像ストリームは、移動体に搭載されたカメラから出力され、
　前記有意映像ストリームは、前記カメラで撮影された物体の中で、出現又は消滅した物体のみが映り込んだ映像を含むことが好ましい。

　　本発明のプログラムにおいて、　前記符号化は、ＭＰＥＧ（Moving Picture Experts Group）に基づいて行われ、
　前記符号化パラメータは、順方向予測（インター）の動きベクトルの大きさ及び向き、画面内予測（イントラ）の符号量、又は、量子化（Quantization）ステップのサイズを含むことが好ましい。

　本発明のプログラムは、時間的変動が所定以上大きい有意なマクロブロックを選別するために、前記マクロブロック選別手段を、
前記予め定められた条件として、マクロブロック毎に：
　　順方向予測の動きベクトルが、所定長以上の大きさで、且つ、地平線上の収束点の方向に対して所定角度以上であるか；
　　画面内予測の符号量が、第１の符号量以上であるか；又は、
　　量子化ステップサイズが、所定サイズ以上である
　ように機能させることが好ましい。

　本発明のプログラムは、前記有意映像ストリーム生成手段を、画面内予測の符号量が第２の符号量以上となるフレームを、前記移動体が停止中であると判定して、有意映像ストリームから除外するように機能させることが好ましい。

　本発明のプログラムは、前記マクロブロック選別手段を、有意なマクロブロックを分布情報に応じて空間方向に接合した符号化パラメータマップを生成するように機能させ、
　前記符号化パラメータマップは、符号化パラメータが予め定められた条件を満たす度合いが高いほど、当該マクロブロックの部分の色合いの階調が濃く表示されることが好ましい。

　本発明のプログラムにおいて、
　前記原映像ストリームは、符号化されており、
　前記プログラムは、前記符号化パラメータ抽出手段を、原映像ストリームを簡易伸張させて、フレーム毎に各マクロブロックの符号化パラメータを抽出するように機能させることが好ましい。

　撮影及び符号化された原映像ストリームから有意映像ストリームを生成する本発明の有意映像ストリーム生成装置は、前記原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、予め定められた条件を満たす符号化パラメータを持つ前記マクロブロックを有意なマクロブロックとして選別するマクロブロック選別手段と、前記有意なマクロブロックにおける符号化パラメータのフレームと時間的に同期した原映像ストリームの複数のフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段とを有する。

　撮影及び符号化された原映像ストリームから有意映像ストリームを生成する本発明の映像ストリーム生成方法は、前記原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する第１のステップと、予め定められた条件を満たす符号化パラメータを持つマクロブロックを有意なマクロブロックとして選別する第２のステップと、前記有意なマクロブロックにおける符号化パラメータのフレームと時間的に同期した原映像ストリームの複数のフレームを時系列に結合した有意映像ストリームを生成する第３のステップとを有する。

　本発明のプログラム、装置及び方法によれば、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成することができる。

車両に設置されたドライブレコーダとしての端末を有するシステムを示す図である。 本発明の一実施形態における端末を示すブロック図である。 本発明のの一実施形態の端末における符号化パラメータ抽出部を示す説明図である。 本発明の一実施形態において、原映像ストリームに映り込む物体が一定速度で変化している場合のマクロブロック毎の動きベクトルを示す図である。 本発明の一実施形態において、原映像ストリームに映り込む物体が急峻に変化している場合のマクロブロック毎の動きベクトルを示す図である。 本発明の一実施形態における符号化パラメータマップを示す図である。 本発明の一実施形態において、予め定められた条件を満たすマクロブロックの分布部分のみを、符号化パラメータマップとして生成した例を示す図である。 本発明の一実施形態の端末における有意映像ストリーム生成部の動作を示す図である。

　以下、本発明の実施の形態について、図面を用いて詳細に説明する。

　本発明は、「原映像ストリーム」から、映像分析に必要となるであろう、有意な部分のみを含む「有意映像ストリーム」を生成することができる。
　「原映像ストリーム」は、例えば車両のような移動体に搭載されたカメラから撮影されたものであって、符号化された映像ストリームである。
　「有意映像ストリーム」は、例えば物体検出や物体認識、又は、移動体における走行状態（速度や加速度）などを分析するために必要な映像のみを含んだものである。
　有意映像ストリームは、一般的に、当該カメラから見える周辺物体の中で、急に出現し又は消滅した周辺物体のみが映り込んだものとなる。勿論、それに限られるものでもない。
　これによって、有意映像ストリームは、原映像ストリームからみて、伝送又は蓄積すべき映像ストリームの容量を削減したものとなる。

　図２は、本発明における端末の機能構成図である。

　本発明の実施形態によれば、端末１は、カメラＣを搭載したドライブレコーダであって、車両の内部に設置されている。カメラＣの撮影方向Ｄは、車両の進行方向の前方に限られず、後方又は側方であってもよい。

　また、端末１は、任意の無線ネットワークを介してデータセンタ２と通信することができる。データセンタ２は、有意映像ストリームから、映像を分析する機能を有する。勿論、データセンタに限られず、エッジコンピューティング装置であってもよい。

　図２を参照すると、端末１は、カメラＣと、原映像ストリーム記憶部１０と、符号化パラメータ抽出部１１と、マクロブロック選別部１２と、有意映像ストリーム生成部１３と、映像ストリーム送信部１４と、通信インタフェース１５とを有する。カメラＣを除くこれらの機能構成部は、装置に搭載されたコンピュータ（プロセッサ）を、メモリに格納されたプログラムを実行することによって機能させることによって実現される。また、これら機能構成部の処理の流れは、装置の有意映像ストリーム生成方法としてとらえることができる。

　図２を参照すると、カメラＣは、撮影方向Ｄの映像を撮影し、原映像ストリームを出力する。原映像ストリームは、カメラＣの内部で符号化された映像ストリームであってもよい。カメラＣが符号化されていない映像データを出力する場合、その符号化されていない映像データは、カメラＣ以外の装置又はソフトウェアによって符号化されてもよい。
　符号化方式としては、ＭＰＥＧに基づくＨ．２６４やＨ．２６５などの標準フォーマットでもよいし、非標準のフォーマットでもよい。また、空間解像度や時間解像度（フレームレート）、符号化率（ビットレート）についても、任意であってよい。

［原映像ストリーム記憶部１０］
　原映像ストリーム記憶部１０は、カメラＣによって撮影された原映像ストリームを一時的に蓄積する。原映像ストリームは、例えばＭＰＥＧによって符号化されたものである。
　原映像ストリーム記憶部１０は、任意のタイミングで、原映像ストリームを、符号化パラメータ抽出部１１へ出力する。

［符号化パラメータ抽出部１１］
　符号化パラメータ抽出部１１は、符号化された原映像ストリームを簡易的に伸張（デコード）し、ビットストリームを解釈（パース）する。ここでの簡易的な伸張は、符号化された原映像ストリームから符号化パラメータを抽出するのみである。すなわち、原映像ストリームは、完全に伸張されることなく、視覚的な映像フレームとしては復元されない。例えば符号化パラメータが差分で表現されている場合に、元の値に戻すだけでよく、符号化パラメータを処理できる状態にすればよい。

　図３は、本実施形態の端末１における符号化パラメータ抽出部１１の動作を説明するための図である。

　図３に示すように、符号化された原映像ストリームは、シーケンスヘッダとＧＯＰ（Group Of Picture）データとから構成される。
　シーケンスヘッダには、フレームの縦横画素数等が記述される。
　ＧＯＰデータは、ＧＯＰヘッダと、一連の順序を持った複数のピクチャデータ（Ｉ、Ｐ及びＢピクチャデータの集合）とから構成される。ＧＯＰヘッダは、グループの最初に提示する画面の時刻を表すタイムコード等を含む。ピクチャデータは、１枚のフレーム（画像）を表す。
　ピクチャデータは、ピクチャヘッダと、スライスデータ（スライス１～スライス６８）とから構成される。
　図３に示すように、１枚のピクチャデータは、縦１０８８画素（６８ラインスライス）×横１４４０画素（９０マクロブロック）から構成される。スライスは、１枚のピクチャを帯状に断片化したものである。
　各スライスは、スライスヘッダと、９０個のマクロブロックデータ（ＭＢ１～ＭＢ９０）とから構成される。
　各マクロブロックは、１６画素×１６ラインの正方形の画素ブロックである。
　マクロブロック毎に、マクロブロックアドレス、マクロブロックタイプ、量子化ステップサイズ、動きベクトル、及び、ブロックデータが含まれる。勿論、原画像ストリームの構成はこれに限定されるものではなく、ピクチャデータの縦横の画素数やスライスの数、マクロブロックの大きさによって任意となってもよい。

　符号化パラメータ抽出部１１は、原映像ストリームから、フレーム毎に各マクロブロックの符号化パラメータを抽出する。
　符号化パラメータは、以下のいずれかとなる。
　（１）順方向予測（インター）の動きベクトルの大きさ及び向き
　（２）画面内予測（イントラ）ブロックタイプの符号量
　（３）量子化（Quantization）ステップのサイズ

［マクロブロック選別部１２］
　マクロブロック選別部１２は、予め定められた条件を満たす符号化パラメータを持つマクロブロックを有意なマクロブロックとして選別する。ここで、「予め定められた条件」とは、時間的変動が所定以上大きい場合とする。マクロブロック毎に、例えば以下＜１＞、＜２＞および＜３＞のいずれかの予め定められた条件で選別される。
　＜１＞順方向予測の動きベクトルが、所定長以上の大きさで、且つ、地平線上の収束点の方向に対して所定角度以上である
　＜２＞画面内予測の符号量が、第１の符号量以上である
　＜３＞量子化ステップサイズが、所定サイズ以上である

　マクロブロック選別部１２は、相対的に急峻に変化した領域を抽出する。「急峻に変化」とは、当該カメラから見える周辺物体が急激に変化した場合、および当該カメラが搭載された移動体（例えば車両）の走行状態が急激に変化した場合を含む。

＜１．順方向予測の動きベクトルに基づくマクロブロックの選別＞
　図４Ａおよび図４Ｂは、マクロブロック毎の動きベクトルを表す説明図である。
　図４Ａは、原映像ストリームに映り込んだ物体が一定速度で変化している場合を表す。
　図４Ｂは、原映像ストリームに映り込んだ物体が急峻に変化した場合を表す。
　図４Ａおよび図４Ｂのそれぞれには、原映像ストリームの画像フレームと、各マクロブロックの動きベクトルとが表されている。

　図４Ａを参照すると、点線の楕円形の領域４Ｄにおいて、物体の動きベクトルが車両の進行方向と同じ方向へ向かっている。図４Ａにおいては、以下のような動きベクトルの分布が観測される。
　・動きベクトルの方向は、地平線上の収束点の方向へ向き、時間的な変化が小さい。
　・動きベクトルの大きさは、地平線上の収束点に近いほど小さく、地平線上の収束点から遠ざかるほど大きい。
　例えば自車両に対する前方車両も一定速度で走行している場合、その前方車両が映り込んだ領域４Ｄの符号化パラメータは、上記「予め定められた条件」を満たさない。したがって、図４Ａからは、有意なマクロブロックは選別されない。

　図４Ｂを参照すると、領域４Ｌにおいては、物体の動きベクトルが車両の進行方向と同じ方向に向かっている。一方、領域４Ｒにおいては、物体の動きベクトルは車両の進行方向とは異なる方向に向かっている。図４Ｂの領域４Ｒにおいては、以下のような動きベクトルの分布が観測される。
　・動きベクトルの方向は、地平線上の収束点と異なる方向へ向き、時間的な変化が大きい。
　・動きベクトルの大きさは、地平線上の収束点からの距離に拘わらず大きい
　例えば、領域４Ｒに示すように、自車両に対する前方車両が急激に車線変更又は減速した場合、その前方車両が映り込む領域の符号化パラメータは、上記「予め定められた条件」を満たす符号化パラメータとして検出される。したがって、図４Ｂの領域４Ｒからは有意なマクロブロックが選別される。
　この特性を利用して、原映像ストリームにおける急峻な変化のあった領域を有意なマクロブロックとして推定することができる。

　他の実施形態として、例えば以下のようなケース（ａ）、（ｂ）および（ｃ）に応じて、動きベクトルの大きさの選択基準（予め定められた条件）を適応的に変更することが好ましい。
　（ａ）２フレーム以上前の１つのフレームを参照して動きベクトルを算出する場合
　（ｂ）直前の１フレームを参照して動きベクトルを算出する場合
　（ｃ）複数のフレームを参照する場合
　ここで、（ａ）の場合、２フレーム前の１つのフレームを参照するときの動きベクトルの大きさは、（ｂ）の場合の動きベクトルの大きさと比較して、大凡２倍程度大きくなる。
　また、３０フレーム／秒を符号化した動きベクトルの大きさは、１０フレーム／秒を符号化した動きベクトルの大きさと比較して、大凡１／３程度になる。
　そのために、予め定められた条件の判定も、その比較程度に応じて適応的に変更する。

＜２．画面内予測の符号量に基づくマクロブロックの選別＞
　画面内予測されたマクロブロックの符号量は、画面内にエッジ（物体の輪郭）が存在する場合には多くなり、平坦な場合には少なくなる。
　即ち、図４Ａの場合、道路領域が平坦であるために、符号量の少ない画面内予測のマクロブロックが多く観測される。一方で、図４Ｂの場合、領域４Ｒにおいて右折しようとしている車両のエッジ部分に、符号量の多い画面内予測のマクロブロックが多く観測される。
　この特性を利用して、原映像ストリームにおける物体が存在する領域を有意なマクロブロックとして推定することができる。

＜３．画面内予測マクロブロックの個数に基づくマクロブロックの選別＞
　画面内予測されたマクロブロックは、画面内に急峻な変化が生じた場合には多くなり、変化が少ない場合には少なくなる。
　即ち、後述する図６の左側の原画像ストリームの場合、画面内の変化が少ないため画面内予測されるマクロブロックは少なく観測される。一方で、図６の右側の原画像ストリームの場合、車両の画像が新たに出現するため画面内予測のマクロブロックが多く観測される。
　この特性を利用して、原映像ストリームにおける急峻な変化のあった領域を有意なマクロブロックとして推定することができる。

＜４．量子化ステップサイズに基づくマクロブロックの選別＞
　適応量子化（adaptive quantization）方式によれば、圧縮効率を高めるために、マクロブロックの量子化ステップサイズが適応的に変更される。原映像ストリームについて、変化の少ない領域では、人間の視覚が敏感であるために、量子化ステップサイズを小さくする。一方で、変化の激しい領域では、人間の視覚が鈍感なために、量子化ステップサイズを大きくする。
　即ち、図４Ａの場合、量子化ステップサイズが小さいマクロブロックが多く観測される。一方で、図４Ｂの右側の前方車両の車輪部分に、量子化ステップサイズが大きいマクロブロックが多く観測される。
　この特性を利用して、原映像ストリームにおける急峻な変化のあった領域を有意なマクロブロックとして推定することができる。

　また、他の実施形態として、マクロブロック選別部１２は、有意なマクロブロックを分布情報に応じて空間方向に接合した「符号化パラメータマップ」を生成するものであってもよい。

　図５は、本発明の実施形態における符号化パラメータマップを示す図である。

　「符号化パラメータマップ」は、符号化パラメータが予め定められた条件を満たす度合いが高いほど、当該マクロブロックの部分の色合いの階調を濃く表示することもできる。
　このように符号化パラメータマップでは、例えば、マクロブロックの動きベクトルの大きさ及び方向、符号量又は量子化ステップサイズに応じた階調の色で、マクロブロックの分布部分を表示することができる。

（１）例えば順方向予測の動きベクトルの大きさが大きいほど、及び、地平線上の収束点に向かう方向からの変位が大きいほど、濃い階調の色を、そのマクロブロックの分布部分に表示する。
（２）例えば画面内予測の符号量が多いほど（当該マクロブロックが画面内予測の符号化モード）、濃い階調の色を、そのマクロブロックの分布部分に表示する。
（３）例えばマクロブロックの量子化ステップサイズが小さいほど、濃い階調の色を、そのマクロブロックの分布部分に表示する。

　図５の符号化パラメータマップに示すように、一定速度で変化し、急峻な変化が少ない領域５Ｌは、画面内予測の符号量が少ない。一方で、急峻な変化がある領域５Ｒは、画面内予測の符号量が多い。

　更に、他の実施形態として、フレームにおける時間的変動が無い領域を、符号化パラメータの抽出対象外とすることも好ましい。

　図６は、予め定められた条件を満たすマクロブロックの分布部分のみを、符号化パラメータマップとして生成した場合について説明した図である。

　図６の右下の図に示すように、原映像ストリームについて、急峻な変化のあった領域のみが抽出されている。この符号化パラメータマップは、予め定められた条件を満たさないマクロブロックを含まないために、全体のデータ量を大きく削減することができる。
　例えば車両内におけるドライブレコーダの設置場所によっては、カメラによって撮影された原映像ストリームに、ダッシュボードのような領域が映り込んでいる場合もある。このような領域が予め固定的であれば、工場出荷時の設定によって、その領域をマスクすることもできる。勿論、ＧＵＩ（Graphic User Interface）によって、ユーザ自らがマスクすべき領域を設定可能なものであってもよい。
　フレームにおける時間的変動が無い領域が、例えば平坦なものである場合、マクロブロックの符号化モードとして「スキップモード」が選択される。このような領域を、符号化パラメータの抽出対象外とすることもできる。例えば原映像ストリームにおけるダッシュボードの領域は、平坦となっており、マクロブロックの符号化モードとして「スキップモード」が選択されることによって、画面内予測の符号量も少なくなる。
　このように、各マクロブロックについて、所定時間幅における変動状況を観測し、明らかに画面内の他の領域と比べて画面内符号化ブロックの符号量が少なかったり、スキップモードのブロックの出現頻度が高い場合、その領域を削除することが有効である。

［有意映像ストリーム生成部１３］
　有意映像ストリーム生成部１３は、有意なマクロブロックにおける符号化パラメータのフレームと時間的に同期した原映像ストリームの複数のフレームを時系列に結合した有意映像ストリームを生成する（図７参照）。
　また、有意映像ストリーム生成部１３は、符号化パラメータのフレームに同期した原映像ストリームのフレームを時系列に結合したものに加えて、当該符号化パラメータのフレームを時系列に結合したものであってもよい。

　「符号化パラメータのフレーム」とは、図４Ａ、図４Ｂ又は図５に示されるように、マクロブロックの分布に対応付けて、符号化パラメータを分布させたフレームをいう。即ち、符号化パラメータ抽出部１１によって抽出された符号化パラメータをマッピングさせたものである。
　「符号化パラメータのフレームに同期した原映像ストリームのフレーム」とは、文字通りであって、原映像ストリームの各フレームを利用したものである。

　各フレームの符号量によって、原映像ストリームについて、急峻な変化のあったフレームのみを選別することができる。
（１）例えば、原映像ストリームについて、一定速度で変化し、急峻な変化がない場合、画面内に動きが存在し、順方向予測のマクロブロックが多くなる。従って、画面内予測のマクロブロックが少なくなり、フレーム全体の符号量は低下する傾向となる。例えば自車両のカメラから、一定速度で走行中の周辺車両が映り込む原映像ストリームの場合、フレーム全体の符号量は少なくなる。
　例えば毎秒６Ｍビット程度の固定ビットレートで符号化するＨ．２６４では、走行中の原映像ストリームにおけるＩ（イントラ）フレームの符号量は、５００Ｋ～８００Ｋビットで推移する。

（２）一方で、原映像ストリームについて、急峻な変化がある場合、画面内予測のマクロブロックが多くなる。従って、順方向予測のマクロブロックが少なくなり、フレーム全体の符号量は増加する傾向となる。例えば自車両のカメラから、急峻に変化した周辺車両が映り込む原映像ストリームの場合、フレーム全体の符号量は多くなる。

（３）更に、原映像ストリームについて、画面内に動きが存在しない場合（例えば停止中）、順方向予測のマクロブロックが少なくなり、画面内予測のマクロブロックが多くなり、フレーム全体の符号量が増加する傾向となる。例えば停止中で変化のない原映像ストリームについては、Ｉ（イントラ）フレームの符号量は、１Ｍビット以上になる。
　この場合、画像内符号化フレームの符号量として、閾値を１Ｍビットに設定することで、走行／停止の状況を判定することができる。
　このように、フレームの符号量を観測することで、走行状況の急峻な変化などを推定することができる（後述する図７参照）。

　他の実施形態として、各フレームの符号量を観測することなく、各フレームにおける画面内予測のマクロブロック数を計数することによって、走行状況の急峻な変化を推定してもよい。画面内予測のマクロブロック数が所定数以上となるフレームは、フレームに映り込む物体に急峻な変化があったと判定することができる。
　例えば車両がトンネルへ進入・退出した場合や、集中豪雨や煙で視界が急激に悪化した場合、ドライブレコーダのカメラによって撮影された原映像ストリームについて、フレームの大部分の領域が、画面内予測のマクロブロックとなる傾向がある。

　図７は、本発明の実施形態による端末における有意映像ストリーム生成部１３の動作を示す図である。

＜符号量に基づくフレームの選別＞
　有意映像ストリーム生成部１３は、Ｉ（イントラ）フレームの符号量が、第２の符号量（例えば１Ｍビット）以上となるフレームを、撮影している移動体が停止中であると判定して、有意映像ストリームから除外する。
　これによって、有意映像ストリームのフレーム数を削減することができる。

　このとき、上記判定の閾値となる第２の符号量を、ＣＢＲ（固定ビットレート）による符号化の場合と、ＶＢＲ（可変ビットレート）による符号化の場合とで、異なる値を設定することが好ましい。絶対的な符号量を評価すべきか、他の予測符号化フレームとの相対的な符号量の差異で評価するのか、などの基準の変更が必要となる。このように、原映像ストリームの構造の違いなどを考慮して、第２の符号量を適応的に制御することが好ましい。

　他の実施形態として、原映像ストリームの時系列フレームから除外すべきフレームについて、そのフレーム自体を除外することなく、圧縮率（符号化率）のみを高めたものであってもよい。すなわち、少なくとも有意なマクロブロックを持つフレームが十分に再生可能であればよい。

　有意映像ストリーム生成部１３は、有意映像ストリームとして、フレーム毎に、フレーム番号及び／又はタイムコードを含める。
　また、有意映像ストリーム生成部１３は、有意映像ストリームとして、フレーム毎に、有意なマクロブロックと、これらマクロブロックの分布情報とを含めることが好ましい。これによって、有意映像ストリームにおける各フレームの有意な領域を特定することができる。即ち、有意でない領域におけるマクロブロックを削減することができる。

　有意映像ストリームを受信するデータセンタ２は、有意映像ストリームと共に、フレーム番号、タイムコード、マクロブロックの分布情報を受信することによって、有意な映像ストリームを再生することができる。

　他の実施形態として、有意映像ストリーム生成部１３は、有意映像ストリームとして、ＧＯＰ（Group Of Pictures）単位で有意なマクロブロックを持つフレームを含めることも好ましい。これによって、伝送対象となる映像フレーム群を集約することができる。
　また、有意なマクロブロックにおける符号化パラメータのフレームに相当しないＧＯＰは、削除するか、又は、所定割合以上の高い圧縮率で圧縮することができる。

　また、他の実施形態として、有意映像ストリーム生成部１３は、観測開始と終了とが指定されるユーザインタフェースを備えたものであってもよい。車両が停車しており画面全体が変動していない期間のフレームを、有意映像ストリームから除外することができる。

［映像ストリーム送信部１４］
　映像ストリーム送信部１４は、有意映像ストリーム生成部１３から出力された有意映像ストリームを、通信インタフェース１５を介してデータセンタ２へ送信する。

　有意映像ストリームは、任意のタイミングで送信される。例えば、有意映像ストリーム生成部１３から出力された時点で送信してもよいし、一時的にバッファして、所定容量に達した時点で送信してもよい。
　また、有意映像ストリームが、符号化パラメータのフレームによって構成されたものである場合、同時に又は別途、その符号化パラメータのフレームに対応する原映像フレームから構成された原映像ストリームを送信するものであってもよい。
　更に、有意映像ストリームと共に、フレーム番号及び／又はタイムコード、有意なマクロブロックと、これらマクロブロックの分布情報とを、同期又は非同期に送信するものであってもよい。これによって、データセンタは、有意映像ストリームから、有意なマクロブロックを再生することができる。

　他の実施形態として、映像ストリーム送信部１４は、タイムコードが付与された走行状態情報を、有意映像ストリームと一緒に送信することも好ましい。符号化パラメータと走行状態情報とを、タイムコードに基づいて紐付けることができる。このとき、タイムコードの所定時間幅で紐付けることが好ましい。

　以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、原映像ストリームの映像分析に必要となるであろう、有意な部分のみを含む有意映像ストリームを生成することができる。
　これによって、符号化された原映像ストリームから、符号化パラメータを用いて、有意な映像フレーム及び映像領域のみ選別し、データ量全体を削減する。特に、データセンタが物体検出や物体識別を処理する際にも、対象とすべき映像ストリームを限定することができる。

　前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

　　１　端末
　１０　原映像ストリーム記憶部
　１１　符号化パラメータ抽出部
　１２　マクロブロック選別部
　１３　有意映像ストリーム生成部
　１４　映像ストリーム送信部
　１５　通信インタフェース
　　２　データセンタ

Claims (14)

1. 　コンピュータを、撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、
   　前記原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、
   　予め定められた条件を満たす符号化パラメータを持つ前記マクロブロックを有意なマクロブロックとして選別するマクロブロック選別手段と、
   　前記有意なマクロブロックにおける前記符号化パラメータのフレームと時間的に同期した前記原映像ストリームの複数のフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段と、
   　として機能させるプログラム。
2. 　前記プログラムは、前記有意映像ストリーム生成手段を、前記符号化パラメータのフレームに同期した前記原映像ストリームのフレームを時系列に結合したものに加えて、当該符号化パラメータのフレームを時系列に結合したものを前記有意映像ストリームとして生成するように機能させる請求項１に記載のプログラム。
3. 　前記プログラムは、前記有意映像ストリーム生成手段を、前記有意映像ストリームとして、フレーム毎に、フレーム番号及び／又はタイムコードを含めるように機能させる請求項１又は２に記載のプログラム。
4. 　前記プログラムは、前記有意映像ストリーム生成手段を、前記有意映像ストリームとして、フレーム毎に、有意なマクロブロックと、前記有意なマクロブロックの分布情報とを含めるように機能させる請求項３に記載のプログラム。
5. 　前記プログラムは、前記有意映像ストリーム生成手段を、前記有意映像ストリームとして、ＧＯＰ（Group Of Pictures）単位で有意なマクロブロックを持つフレームを含めるように機能させる請求項３又は４に記載のプログラム。
6. 　前記プログラムは、前記有意映像ストリーム生成手段を、前記有意なマクロブロックにおける符号化パラメータのフレームに相当しないＧＯＰは、削除するか、又は、所定割合以上の高い圧縮率で圧縮するように機能させる請求項５に記載のプログラム。
7. 　前記原映像ストリームは、移動体に搭載されたカメラから出力され、
   　前記有意映像ストリームは、前記カメラで撮影された物体の中で、出現又は消滅した物体のみが映り込んだ映像を含む請求項１から６のいずれか１項に記載のプログラム。
8. 　前記符号化は、ＭＰＥＧ（Moving Picture Experts Group）に基づいて行われ、
   　前記符号化パラメータは、順方向予測（インター）の動きベクトルの大きさ及び向き、画面内予測（イントラ）の符号量、又は、量子化（Quantization）ステップのサイズを含む請求項７に記載のプログラム。
9. 　前記プログラムは、時間的変動が所定以上大きい有意なマクロブロックを選別するために、前記マクロブロック選別手段を、前記予め定められた条件として、前記マクロブロック毎に：
   　　順方向予測の動きベクトルが、所定長以上の大きさで、且つ、地平線上の収束点の方向に対して所定角度以上であるか；
   　　画面内予測の符号量が、第１の符号量以上であるか；又は、
   　　量子化ステップサイズが、所定サイズ以上である
   ように機能させる請求項８に記載のプログラム。
10. 　前記プログラムは、前記有意映像ストリーム生成手段を、画面内予測の符号量が第２の符号量以上となるフレームを、前記移動体が停止中であると判定して、前記有意映像ストリームから除外するように機能させる請求項９に記載のプログラム。
11. 　前記プログラムは、前記マクロブロック選別手段を、前記有意なマクロブロックを分布情報に応じて空間方向に接合した符号化パラメータマップを生成するように機能させ、
    　前記符号化パラメータマップは、前記符号化パラメータが前記予め定められた条件を満たす度合いが高いほど、当該マクロブロックの部分の色合いの階調が濃く表示される請求項１から１０のいずれか１項に記載のプログラム。
12. 　前記原映像ストリームは、符号化されており、
    　前記プログラムは、前記符号化パラメータ抽出手段を、前記原映像ストリームを簡易伸張させて、フレーム毎に各マクロブロックの符号化パラメータを抽出するように機能させる請求項１から１１のいずれか１項に記載のプログラム。
13. 　撮影及び符号化された原映像ストリームから有意映像ストリームを生成する装置であって、
    　前記原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する符号化パラメータ抽出手段と、
    　予め定められた条件を満たす符号化パラメータを持つ前記マクロブロックを有意なマクロブロックとして選別するマクロブロック選別手段と、
    　前記有意なマクロブロックにおける前記符号化パラメータのフレームと時間的に同期した前記原映像ストリームの複数のフレームを時系列に結合した有意映像ストリームを生成する有意映像ストリーム生成手段と
    　を有する有意ストリーム生成装置。
14. 　撮影及び符号化された原映像ストリームから有意映像ストリームを生成する映像ストリーム生成方法であって、
    　前記原映像ストリームからフレーム毎に各マクロブロックの符号化パラメータを抽出する第１のステップと、
    　予め定められた条件を満たす符号化パラメータを持つ前記マクロブロックを有意なマクロブロックとして選別する第２のステップと、
    　前記有意なマクロブロックにおける前記符号化パラメータのフレームと時間的に同期した前記原映像ストリームの複数のフレームを時系列に結合した有意映像ストリームを生成する第３のステップと
    　を有する有意映像ストリーム生成方法。

Images