JP7269134B2 - 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 - Google Patents
映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 Download PDFInfo
- Publication number
- JP7269134B2 JP7269134B2 JP2019156166A JP2019156166A JP7269134B2 JP 7269134 B2 JP7269134 B2 JP 7269134B2 JP 2019156166 A JP2019156166 A JP 2019156166A JP 2019156166 A JP2019156166 A JP 2019156166A JP 7269134 B2 JP7269134 B2 JP 7269134B2
- Authority
- JP
- Japan
- Prior art keywords
- video stream
- frame
- encoding
- machine learning
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
映像ストリームとしては、ユーザが家庭用に所持するビデオカメラによって撮影されたものであってもよいし、固定的に設置された防犯カメラによって撮影されたものであってもよい。近年、一般的な需要として、車両から見た視界を撮影するカメラを搭載したドライブレコーダがある。ドライブレコーダは、車両の走行中に撮影した映像ストリームを常時記憶し続ける。
また、端末2は、CAN(Controller Area Network)を介して車両の走行状態情報を取得することもできる。その走行状態情報も、映像ストリームと一緒に、映像分析サーバ1へ送信してもよい。
映像分析サーバ1は、端末2から受信した映像ストリーム及び走行状態情報を分析することができる。例えば、映像ストリームに映り込む物体を検出し且つ識別すると共に、その走行状態情報を対応付けることもできる。
また、ドライブレコーダが、特定方向の加速度の値が所定値を超えたときに、車両に設置された複数のカメラによって取得された画像データを出力する技術もある(例えば特許文献2参照)。加速度に大きい変化が検出された際に、その画像データに映り込む物体を検出することができる。
更に、作業者が装着するカメラが撮影する映像に対して、データ量を削減する遠隔作業支援システムの技術もある(例えば特許文献3参照)。この技術によれば、映像フレーム内で動きの大きい領域が存在するかどうかを評価し、動きの大きい領域が存在しない場合には、重要でないとみなして削除する。動きの大きい領域についてのみ、その映像フレームに映り込む物体を検出することができる。
特許文献2に記載の技術によれば、車両の加速度しか判定要素としていない。そのために、加速度が変化しない定常走行状態では、画像データを出力せず、物体を検出することもできない。
特許文献3に記載の技術によれば、画像内の動きを評価して符号化している。そのために、既に符号化された映像データに対して、マクロブロックの符号化パラメータを評価しした上で、物体を検出することもできない。
映像分析サーバにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレームにおける複数の符号化パラメータを受信する符号化パラメータ受信手段と
を有し、
受信した複数の符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする。
複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段を更に有し、
選別した有意なマクロブロックに対応する複数の符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことも好ましい。
前述した映像分析サーバと、当該映像分析サーバへ複数の符号化パラメータを送信する端末とを有するシステムであって、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
フレームにおける複数の符号化パラメータを、映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とする。
前述した映像分析サーバと、当該映像分析サーバへ複数の符号化パラメータを送信する端末とを有するシステムであって、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
フレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と
選別された複数のマクロブロックの符号化パラメータを、映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とする。
端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
符号化パラメータ抽出手段は、抽出した複数の符号化パラメータを、機械学習エンジンへ入力し、物体検知有りと推定された複数の符号化パラメータのみを、符号化パラメータ送信手段へ出力する
ことも好ましい。
端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
符号化パラメータ抽出手段は、抽出した複数の符号化パラメータを、機械学習エンジンへ入力し、
マクロブロック選別手段は、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを、符号化パラメータ送信手段へ出力する
ことも好ましい。
映像分析サーバと、当該映像分析サーバへ映像ストリームを送信する端末とを有するシステムであって、
映像分析サーバは、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
符号化された映像ストリームのフレームを受信する映像ストリーム受信手段と、
受信した映像ストリームからフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と
を有し、
符号化パラメータ抽出手段によって抽出された複数の符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定するものであり、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、当該マクロブロックを含むフレームのフレーム識別子を出力する有意フレーム選別手段と、
映像ストリームのフレームから、有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と、
有意映像ストリームを、映像分析サーバへ送信する映像ストリーム送信手段と
を有するものである
ことを特徴とする。
映像分析サーバは、
符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、有意なマクロブロックに含まれる符号化パラメータを出力するマクロブロック選別手段を更に有し、
有意なマクロブロックに含まれる符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことも好ましい。
端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
符号化パラメータ抽出手段は、フレームの複数の符号化パラメータを、機械学習エンジンへ入力し、
有意フレーム選別手段は、機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を、有意映像ストリーム生成手段へ出力する
ことも好ましい。
端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを機械学習エンジンへ入力し、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とする。
端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを、機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とする。
端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、複数の符号化パラメータを機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
映像ストリームのフレームから、有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
有意映像ストリームを送信する映像ストリーム送信手段と
してコンピュータを機能させることを特徴とする。
端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを機械学習エンジンへ入力し、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする。
端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを、機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする。
端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、複数の符号化パラメータを機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
映像ストリームのフレームから、有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
有意映像ストリームを送信する映像ストリーム送信手段と
を有することを特徴とする。
図2(a)の学習段階によれば、機械学習エンジン10は、映像ストリームのフレームについて、以下のような教師データによって、予め学習モデルを構築する。
説明変数:当該フレームにおける複数の符号化パラメータ
目的変数:当該フレームに影響した物体の有無(外的要因情報)
図2(a)の推定段階によれば、機械学習エンジン10は、映像ストリームにおけるフレームに対応する「複数の符号化パラメータ」を入力し、当該フレームに影響した「物体の有無」を推定する。
サポートベクタマシン(support vector machine)とは、教師あり学習に基づくパターン認識の分類手法であり、未学習データに対して高い識別性を持つ。
K近傍法(k-nearest neighbor algorithm)とは、特徴空間における最も近い訓練例に基づいたパターン認識の分類手法である。
決定木(decision tree)とは、機械学習の分類手法における予測モデルである。
順方向予測(インター)の動きベクトルの大きさ及び向き、
画面内予測(イントラ)の符号量、
量子化(Quantization)ステップのサイズ
の少なくともいずれかである。勿論、H.264やH.265などの標準フォーマットに基づくものであってもよいし、非標準のフォーマットに基づくものであってもよい。また、空間解像度や時間解像度(フレームレート)、符号化率(ビットレート)についても、任意であってよい。
説明変数:当該フレームにおける複数の符号化パラメータ
目的変数:当該フレームに影響した物体識別子(外的要因情報)
図2(b)の推定段階によれば、機械学習エンジン10は、映像ストリームのフレームにおける「複数の符号化パラメータ」を入力し、当該フレームに影響した「物体識別子」を推定する。物体識別子は、当該フレームに映り込む物体検出情報である。
説明変数:当該フレームにおける複数の符号化パラメータ
目的変数:走行状態情報(外的要因情報)
ここで、走行状態情報とは、当該フレームを撮影する移動体自らの走行状態情報である。
図3(b)の推定段階によれば、機械学習エンジン10は、映像ストリームのフレームにおける複数の符号化パラメータを入力し、走行状態情報を推定する。
この場合、機械学習エンジン10は、外的要因情報と共に、物体領域座標(フレームにおける各マクロブックの空間的位置)を更に出力することができる。図2(a)の場合、物体の有無及び物体領域座標が出力され、図2(b)の場合、物体識別子及び物体領域座標が出力される。
図4によれば、端末2は、例えば車両のような移動体に設置されたドライブレコーダであってもよい。端末2は、カメラを搭載しており、車両の進行方向の前方や、後方又は側方を撮影する。
端末2は、映像ストリーム記憶部221と、映像ストリーム送信部225とを有する。
映像ストリーム記憶部221は、カメラ内部(又は外部)で符号化された映像ストリームを、一時的に記憶する。
映像ストリーム送信部225は、符号化された映像ストリームを、任意の無線ネットワークを介して、映像分析サーバ1へ送信する。
図4によれば、映像分析サーバ1は、端末2から符号化された映像ストリームを受信し、その映像ストリームのフレームに影響した外的要因情報を推定することができる。
映像分析サーバ1は、映像ストリーム受信部111と、符号化パラメータ抽出部112と、マクロブロック選別部113と、機械学習エンジン10とを有する。これら機能構成部は、装置(サーバ)に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の映像分析方法としても理解できる。
映像ストリーム受信部111は、端末2から、符号化された映像ストリームを受信する。映像ストリームのフレームは、任意のタイミングで、符号化パラメータ抽出部112へ出力される。
符号化パラメータ抽出部112は、映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する。
符号化パラメータ抽出部112は、具体的には、符号化された映像ストリームを簡易的に伸張(デコード)し、ビットストリームを解釈(パース)する。ここでの簡易的な伸張は、符号化パラメータを抽出するのみであって、完全に伸張することなく、視覚的な映像フレームとしては復元されない。例えば符号化パラメータが差分で表現されている場合に、元の値に戻すだけでよく、符号化パラメータを処理できる状態にすればよい。
シーケンスヘッダには、フレームの縦横画素数等が記述される。
GOPデータは、GOPヘッダと、一連の順序を持った複数のピクチャデータ(I、P及びBピクチャデータの集合)とから構成される。GOPヘッダは、グループの最初に提示する画面の時刻を表すタイムコード等を含む。ピクチャデータは、1枚のフレーム(画像)を表す。
ピクチャデータは、ピクチャヘッダと、スライスデータとから構成される。図5によれば、1枚のピクチャデータは、縦1088画素(68ラインスライス)×横1440画素(90マクロブロック)から構成される。スライスは、1枚のピクチャを帯状に断片化したものである。
スライスは、スライスヘッダと、90個のマクロブロックデータとから構成される。
マクロブロックは、16画素×16ラインの正方形の画素ブロックである。
そして、マクロブロック毎に、マクロブロックアドレス、マクロブロックタイプ、量子化ステップサイズ、動きベクトル、及び、ブロックデータが含まれる。勿論、原画像ストリームの構成はこれに限定されるものではなく、ピクチャデータの縦横の画素数やマクロブロックの大きさによって任意となってもよい。
符号化パラメータは、以下の少なくともいずれかとなる。
(1)順方向予測(インター)の動きベクトルの大きさ及び向き
(2)画面内予測(イントラ)ブロックタイプの符号量
(3)量子化(Quantization)ステップのサイズ
マクロブロック選別部113は、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。そして、マクロブロック選別部113は、複数の有意なマクロブロックが持つ符号化パラメータを、機械学習エンジン10へ出力する。
<1.順方向予測の動きベクトルに基づくマクロブロックの選別>
順方向予測の動きベクトルが、所定長以上の大きさで、且つ、消失点(地平線上の収束点)の方向に対して所定角度以上である
<2.画面内予測の符号量に基づくマクロブロックの選別>
画面内予測の符号量が、所定符号量以上である
<3.画面内予測マクロブロックの個数に基づくマクロブロックの選別>
画面内予測のマクロブロック数が、所定個以上である
<4.量子化ステップサイズに基づくマクロブロックの選別>
量子化ステップサイズが、所定サイズ以下である
図6は、映像ストリームのフレームに対する、符号化パラメータの動きベクトルを表す説明図である。
図6(a)は、映像ストリームに映り込む物体が一定速度で変化している場合を表す。
図6(b)は、映像ストリームに映り込む物体が急峻に変化した場合を表す。
・動きベクトルの方向は、消失点の方向へ向き、時間的な変化が小さい。
・動きベクトルの大きさは、消失点に近いほど小さく、消失点から遠ざかるほど大きい。
例えば自車両に対する前方車両も一定速度で走行している場合、その前方車両が映り込む領域の符号化パラメータは、「所定条件」を満たさない。
・動きベクトルの方向は、消失点と異なる方向へ向き、時間的な変化が大きい。
・動きベクトルの大きさは、消失点に拘わらず大きい
例えば自車両に対する前方車両が急激に車線変更又は減速した場合、その前方車両が映り込む領域の符号化パラメータは、「所定条件」を満たす符号化パラメータとして検出される。
この特性を利用して、映像ストリームにおける急峻な変化のあった領域を推定することができる。
(a)2フレーム以上前の1フレームを参照して動きベクトルを算出する場合
(b)直前の1フレームを参照して動きベクトルを算出する場合
(c)複数のフレームを参照する場合
ここで、(a)で2フレーム前の1フレームを参照するときの動きベクトルの大きさは、(b)の動きベクトルの大きさと比較して、大凡2倍程度大きくなる。
また、30フレーム/秒を符号化した動きベクトルの大きさは、10フレーム/秒を符号化した動きベクトルの大きさと比較して、大凡3倍程度大きくなる。
そのために、所定条件の判定も、その比較程度に応じて適応的に変更する。
画面内予測されたマクロブロックの符号量は、画面内にエッジ(物体の輪郭)が存在する場合には多くなり、平坦な場合には少なくなる。
即ち、図6(a)の場合、道路領域が平坦であるために、符号量の少ない画面内予測のマクロブロックが多く観測される。一方で、図6(b)の場合、右折しようとしている車両のエッジ部分に、符号量の多い画面内予測のマクロブロックが多く観測される。
この特性を利用して、映像ストリームにおける物体存在領域を推定することができる。
画面内予測されたマクロブロックは、画面内に急峻な変化が生じた場合には多くなり、変化が少ない場合には少なくなる。
即ち、後述する図10側の場合、画面内の変化が少ないため画面内予測されるマクロブロックは少なく観測される。一方で、図10側の場合、車両の領域が新たに出現するため画面内予測のマクロブロックが多く観測される。
この特性を利用して、映像ストリームにおける急峻な変化のあった領域を推定することができる。
適応量子化(adaptive quantization)方式によれば、圧縮効率を高めるために、マクロブロックの量子化ステップサイズが適応的に変更される。映像ストリームについて、変化の少ない領域では、人間の視覚が敏感であるために、量子化ステップサイズを小さくする。一方で、変化の激しい領域では、人間の視覚が鈍感なために、量子化ステップサイズを大きくする。
即ち、図6(a)の場合、比較的車両に近い道路領域には、量子化ステップサイズが小さいマクロブロックが多く観測される。一方で、図6(b)の右側の前方車両の車輪部分に、量子化ステップサイズが大きいマクロブロックが多く観測される。
この特性を利用して、映像ストリームにおける急峻な変化のあった領域を推定することができる。
符号化パラメータのマップでは、例えば、マクロブロックの動きベクトルの大きさ及び方向、符号量又は量子化ステップサイズに応じた階調の色で、マクロブロックの分布部分を表示することができる。
(2)例えば画面内予測の符号量が多いほど(当該マクロブロックが画面内予測の符号化モードで符号化されている場合)、濃い階調の色を、そのマクロブロックの分布部分に表示する。
(3)例えばマクロブロックの量子化ステップサイズが小さいほど、濃い階調の色を、そのマクロブロックの分布部分に表示する。
機械学習エンジン10は、図2及び図3で前述したように、映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習したものである。
そして、機械学習エンジン10は、推定段階として、符号化パラメータ抽出部112から出力された符号化パラメータを入力し、当該フレームに影響した外的要因情報を推定する。また、機械学習エンジン10は、マクロブロック選別部113から出力された、有意なマクロブロックが持つ符号化パラメータを入力し、当該フレームに影響した外的要因情報を推定するものであってもよい。
図4によれば、端末2は、符号化された映像ストリームを映像分析サーバ1へ送信している。これに対し、図8によれば、端末2は、複数の符号化パラメータを、映像分析サーバ1へ送信している。端末2は、符号化パラメータしか送信しないために、映像ストリームよりも、データ量を大幅に削減することができる。
図4によれば、映像分析サーバ1が符号化パラメータ抽出機能を有するのに対し、図8によれば、端末2が符号化パラメータ抽出機能を有する。
符号化パラメータの送信方法の実施形態として、2つのストリームを表す。
端末2は、符号化パラメータ抽出部222と、符号化パラメータ送信部226とを有し、映像ストリームのフレームの符号化パラメータを全て送信する。
符号化パラメータ抽出部222は、図4で前述した、映像分析サーバ1の符号化パラメータ抽出部112と全く同じものである。
符号化パラメータ送信部226は、符号化パラメータ抽出部222から出力された、フレームにおける複数の符号化パラメータを、映像分析サーバ1へ送信する。
端末2は、符号化パラメータ抽出部222と、マクロブロック選別部223と、符号化パラメータ送信部226とを有し、選別されたマクロブロックが持つ符号化パラメータのみを送信する。第2のストリームは、第1のストリームと比較して、マクロブロック選別部223を更に有する。
マクロブロック選別部223は、符号化パラメータ抽出部222から出力された、フレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。そして、マクロブロック選別部223は、選別した有意なマクロブロックが持つ符号化パラメータを出力する。マクロブロック選別部223は、図4で前述した、映像分析サーバ1のマクロブロック選別部113と全く同じものである。
符号化パラメータ送信部226は、マクロブロック選別部223から出力された、複数のマクロブロックの符号化パラメータのみを、映像分析サーバ1へ送信する。これによって、端末2は、映像分析サーバ1へ送信するデータ量を、更に削減することができる。
<第1のストリームを受信する映像分析サーバ1>
映像分析サーバ1は、符号化パラメータ受信部121と、マクロブロック選別部113と、機械学習エンジン10とを有する。
符号化パラメータ受信部121は、映像ストリームのフレームにおける複数の符号化パラメータを受信する。受信した複数の符号化パラメータは、マクロブロック選別部113へ出力する。
マクロブロック選別部113及び機械学習エンジン10は、図4で前述したものと全く同じものである。
結果的に、端末2から受信した複数の符号化パラメータの中から、複数の有意なマクロブロックに対応する符号化パラメータを選別し、それら複数の符号化パラメータを機械学習エンジン10へ入力する。これによって、機械学習エンジン10は、当該フレームに影響した外的要因情報を推定することができる。
映像分析サーバ1は、符号化パラメータ受信部121と、機械学習エンジン10とを有する。
結果的に、端末2から受信した複数の有意なマクロブロックの符号化パラメータを、機械学習エンジン10へ入力し、当該フレームに影響した外的要因情報を推定することができる。
また、端末2の機械学習エンジン10は、以下の2つの実施形態で利用される。
(1)符号化パラメータ抽出部222は、抽出した複数の符号化パラメータを、機械学習エンジン10へ入力する。そして、符号化パラメータ抽出部222は、物体検知有りと推定された複数の符号化パラメータのみを、符号化パラメータ送信部226へ出力する。
(2)符号化パラメータ抽出部222は、抽出した複数の符号化パラメータを、機械学習エンジン10へ入力する。これに対し、マクロブロック選別部223は、機械学習エンジン10によって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを、符号化パラメータ送信部226へ出力する。
これによって、端末2は、「物体検知有り」となる複数の符号化パラメータのみを、映像分析サーバ1へ送信することができる。即ち、端末2は、映像分析サーバ1へ送信するデータ量を、更に削減することができる。
例えば車両内におけるドライブレコーダの設置場所によっては、カメラによって撮影された映像ストリームに、ダッシュボードのような領域が映り込んでいる場合もある。このような領域が予め固定的であれば、工場出荷時の設定によって、その領域をマスクすることもできる。勿論、GUI(Graphic User Interface)によって、ユーザ自ら設定可能なものであってもよい。
フレームにおける時間的変動が無い領域が、例えば平坦なものである場合、マクロブロックの符号化モードとして「スキップモード」が選択される。このような領域を、符号化パラメータの抽出対象外とすることもできる。例えばダッシュボードの領域は、平坦となっており、例えば画面内予測の符号量も少なくなる。
このように、各マクロブロックについて、所定時間幅における変動状況を観測し、明らかに画面内の他の領域と比べて画面内符号化ブロックの符号量が少ない、又は、スキップモードのブロックの出現頻度が高い場合、その領域を削除する。
図11によれば、端末2は、映像ストリーム記憶部221と、符号化パラメータ抽出部222と、有意フレーム選別部227と、有意映像ストリーム生成部224と、映像ストリーム送信部225とを有する。
映像ストリーム記憶部221及び映像ストリーム送信部225は、前述した図4と同様のものである。また、符号化パラメータ抽出部222は、前述した図8と同様のものである。図11によれば、端末2は、図4及び図8と比較して、有意フレーム選別部227及び有意映像ストリーム生成部224を更に有する。
有意フレーム選別部227は、符号化パラメータ抽出部222によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、当該マクロブロックを含むフレームのフレーム識別子を出力する。
有意映像ストリーム生成部224は、有意フレーム選別部227から、有意なフレームのフレーム識別子を入力する。そして、有意映像ストリーム生成部224は、映像ストリームのフレームから、フレーム識別子に対応するフレームからなる「有意映像ストリーム」を生成する。有意映像ストリームは、有意なフレームと時間的に同期した映像ストリームのフレームを時系列に結合したものである。
その有意映像ストリームは、映像ストリーム送信部225へ出力される。
(1)例えば、映像ストリームについて、一定速度で変化し、急峻な変化がない場合、画面内に動きが存在し、順方向予測のマクロブロックが多くなる。また、画面内予測のマクロブロックが少なくなり、フレーム全体の符号量は低下する傾向となる。例えば自車両のカメラから、一定速度で走行中の周辺車両が映り込む映像ストリームの場合、フレーム全体の符号量は少なくなる。
例えば毎秒6Mビット程度の固定ビットレートで符号化するH.264では、走行中の映像ストリームにおけるI(イントラ)フレームの符号量は、500K~800Kビットで推移する。
この場合、画像内符号化フレームの符号量として、閾値を1Mビットに設定することで、走行/停止の状況を判定することができる。
このように、フレームの符号量を観測することで、走行状況の急峻な変化などを推定することができる。
例えば車両がトンネルへ進入・退出した場合や、集中豪雨や煙で視界が急激に悪化した場合、ドライブレコーダのカメラによって撮影された映像ストリームについて、フレームの大部分の領域が、画面内予測のマクロブロックとなる傾向がある。
これによって、有意映像ストリームのフレーム数を削減することができる。
有意映像ストリームを受信した映像分析サーバ1は、有意映像ストリームと共に、フレーム番号、タイムコード、マクロブロックの分布情報を受信することによって、有意な映像ストリームを再生することができる。
また、有意なマクロブロックが持つ符号化パラメータのフレームに相当しないGOPは、削除するか、又は、所定割合以上の高い圧縮率で圧縮することができる。
映像ストリーム送信部225は、有意映像ストリーム生成部224から出力された有意映像ストリームを、映像分析サーバ1へ送信する。
また、有意映像ストリームと共に、フレーム番号及び/又はタイムコード、有意なマクロブロックと、これらマクロブロックの分布情報とを、同期又は非同期に送信するものであってもよい。これによって、データセンタは、有意映像ストリームから、有意なマクロブロックを再生することができる。
符号化パラメータ抽出部222は、映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する。それら複数の符号化パラメータは、有意フレーム選別部227へ入力されると共に、機械学習エンジン10にも入力される。
有意フレーム選別部227は、符号化パラメータ抽出部222によって抽出されたフレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。また、有意フレーム選別部227は、有意なマクロブロックを含む複数のフレームの中で、機械学習エンジン10によって物体検知有りと推定されたフレームのフレーム識別子を出力する。
有意映像ストリーム生成部224は、映像ストリームのフレームから、有意フレーム選別部227から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する。
そして、映像ストリーム送信部225は、生成された有意映像ストリームを、映像分析サーバ1へ送信する。
これによって、端末2は、物体検知有りと推定されたフレームのみからなる映像ストリームを、映像分析サーバ1へ送信することができる。即ち、端末2は、伝送するデータ量を削減すると共に、映像分析サーバ1における計算リソースを低減させる。
これによって、既に符号化された映像データを伸張することなく、その映像ストリームに影響した外的要因情報を推定することができる。検出可能な外的要因情報としては、フレームに映り込む物体検出情報や、フレームを撮影する移動体の走行状態情報である。
また、端末は、有意な及び/又は物体検知された映像ストリームや符号化パラメータのみを伝送することによって、映像分析サーバへ送信するデータ量を削減することができると共に、サーバにおける物体検出情報や走行状態情報を分析するための計算リソースを低減させることもできる。
10 機械学習エンジン
111 映像ストリーム受信部
112 符号化パラメータ抽出部
113 マクロブロック選別部
121 符号化パラメータ受信部
2 端末
221 映像ストリーム記憶部
222 符号化パラメータ抽出部
223 マクロブロック選別部
224 有意映像ストリーム生成部
225 映像ストリーム送信部
226 符号化パラメータ送信部
227 有意フレーム選別部
Claims (15)
- 映像分析サーバにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレームにおける複数の符号化パラメータを受信する符号化パラメータ受信手段と
を有し、
受信した前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする映像分析サーバ。 - 前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段を更に有し、
選別した有意なマクロブロックに対応する複数の符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする請求項1に記載の映像分析サーバ。 - 請求項1又は2に記載の映像分析サーバと、当該映像分析サーバへ前記複数の符号化パラメータを送信する端末とを有するシステムであって、
前記端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
前記フレームにおける前記複数の符号化パラメータを、前記映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とするシステム。 - 請求項1又は2に記載の映像分析サーバと、当該映像分析サーバへ前記複数の符号化パラメータを送信する端末とを有するシステムであって、
前記端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と
選別された複数のマクロブロックの符号化パラメータを、前記映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とするシステム。 - 前記端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
前記符号化パラメータ抽出手段は、抽出した前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、物体検知有りと推定された複数の符号化パラメータのみを、前記符号化パラメータ送信手段へ出力する
ことを特徴とする請求項4に記載のシステム。 - 前記端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
前記符号化パラメータ抽出手段は、抽出した前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、
前記マクロブロック選別手段は、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを、前記符号化パラメータ送信手段へ出力する
ことを特徴とする請求項4に記載のシステム。 - 映像分析サーバと、当該映像分析サーバへ映像ストリームを送信する端末とを有するシステムであって、
映像分析サーバは、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
符号化された映像ストリームのフレームを受信する映像ストリーム受信手段と、
受信した前記映像ストリームからフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と
を有し、
前記符号化パラメータ抽出手段によって抽出された前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定するものであり、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、当該マクロブロックを含むフレームのフレーム識別子を出力する有意フレーム選別手段と、
前記映像ストリームのフレームから、前記有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と、
前記有意映像ストリームを、前記映像分析サーバへ送信する映像ストリーム送信手段と
を有するものである
ことを特徴とするシステム。
- 前記映像分析サーバは、
前記符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、有意なマクロブロックに含まれる符号化パラメータを出力するマクロブロック選別手段と
を有し、
有意なマクロブロックに含まれる符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする請求項7に記載のシステム。 - 前記端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
前記符号化パラメータ抽出手段は、前記フレームの前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、
前記有意フレーム選別手段は、前記機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を、前記有意映像ストリーム生成手段へ出力する
ことを特徴とする請求項7又は8に記載のシステム。 - 端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを前記機械学習エンジンへ入力し、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とするプログラム。 - 端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを、前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
前記マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とするプログラム。 - 端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、前記複数の符号化パラメータを前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
前記映像ストリームのフレームから、前記有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
前記有意映像ストリームを送信する映像ストリーム送信手段と
してコンピュータを機能させることを特徴とするプログラム。 - 端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを前記機械学習エンジンへ入力し、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする端末。 - 端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを、前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
前記マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする端末。 - 端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、前記複数の符号化パラメータを前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
前記映像ストリームのフレームから、前記有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
前記有意映像ストリームを送信する映像ストリーム送信手段と
を有することを特徴とする端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156166A JP7269134B2 (ja) | 2019-08-28 | 2019-08-28 | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156166A JP7269134B2 (ja) | 2019-08-28 | 2019-08-28 | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021034983A JP2021034983A (ja) | 2021-03-01 |
JP7269134B2 true JP7269134B2 (ja) | 2023-05-08 |
Family
ID=74677697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019156166A Active JP7269134B2 (ja) | 2019-08-28 | 2019-08-28 | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7269134B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078563A (ja) | 1998-09-03 | 2000-03-14 | Sony Corp | 被写体認識装置及び自動追尾装置 |
JP2001357402A (ja) | 2000-06-12 | 2001-12-26 | Hitachi Ltd | 車両検出方法及び車両検出装置 |
JP2002262296A (ja) | 2001-02-28 | 2002-09-13 | Mitsubishi Electric Corp | 移動物体検出装置、および画像監視システム |
JP2005258936A (ja) | 2004-03-12 | 2005-09-22 | Mitsubishi Fuso Truck & Bus Corp | 車両走行状態判定装置 |
CN101266132A (zh) | 2008-04-30 | 2008-09-17 | 西安工业大学 | 基于mpfg运动矢量的行车障碍检测方法 |
JP2012244574A (ja) | 2011-05-24 | 2012-12-10 | Mitsubishi Electric Corp | 映像監視装置 |
JP2016031576A (ja) | 2014-07-28 | 2016-03-07 | クラリオン株式会社 | 物体検出装置 |
JP2018195301A (ja) | 2017-05-15 | 2018-12-06 | キヤノン株式会社 | 制御装置及び制御方法 |
WO2019069581A1 (ja) | 2017-10-02 | 2019-04-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2019110420A (ja) | 2017-12-18 | 2019-07-04 | トヨタ自動車株式会社 | 動画編集装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266840A (ja) * | 1993-03-11 | 1994-09-22 | Hitachi Ltd | 移動物体の状態検出装置 |
SG89282A1 (en) * | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
-
2019
- 2019-08-28 JP JP2019156166A patent/JP7269134B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078563A (ja) | 1998-09-03 | 2000-03-14 | Sony Corp | 被写体認識装置及び自動追尾装置 |
JP2001357402A (ja) | 2000-06-12 | 2001-12-26 | Hitachi Ltd | 車両検出方法及び車両検出装置 |
JP2002262296A (ja) | 2001-02-28 | 2002-09-13 | Mitsubishi Electric Corp | 移動物体検出装置、および画像監視システム |
JP2005258936A (ja) | 2004-03-12 | 2005-09-22 | Mitsubishi Fuso Truck & Bus Corp | 車両走行状態判定装置 |
CN101266132A (zh) | 2008-04-30 | 2008-09-17 | 西安工业大学 | 基于mpfg运动矢量的行车障碍检测方法 |
JP2012244574A (ja) | 2011-05-24 | 2012-12-10 | Mitsubishi Electric Corp | 映像監視装置 |
JP2016031576A (ja) | 2014-07-28 | 2016-03-07 | クラリオン株式会社 | 物体検出装置 |
JP2018195301A (ja) | 2017-05-15 | 2018-12-06 | キヤノン株式会社 | 制御装置及び制御方法 |
WO2019069581A1 (ja) | 2017-10-02 | 2019-04-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2019110420A (ja) | 2017-12-18 | 2019-07-04 | トヨタ自動車株式会社 | 動画編集装置 |
Non-Patent Citations (1)
Title |
---|
米山 暁夫、他,MPEGビデオストリームからの移動物体の検出,電子情報通信学会論文誌 (J81-D-II),第8号,社団法人電子情報通信学会,1998年08月25日,pp.1776-1786 |
Also Published As
Publication number | Publication date |
---|---|
JP2021034983A (ja) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210168408A1 (en) | Machine-Learning-Based Adaptation of Coding Parameters for Video Encoding Using Motion and Object Detection | |
JP3363039B2 (ja) | 動画像内の移動物体検出装置 | |
CN108737837B (zh) | 形成视频流的方法及图像处理单元 | |
KR101823537B1 (ko) | 디지털 이미지들에서 관련된 영역들을 식별하는 방법, 디지털 이미지들을 인코딩하는 방법 및 인코더 시스템 | |
CN109587480B (zh) | 图像处理设备、图像处理方法和记录介质 | |
KR101735025B1 (ko) | 후속 움직임 검출 프로세싱을 위해 비디오 스트림을 사전-프로세싱하기 위한 방법, 디바이스, 및 시스템 | |
JPH08205177A (ja) | 動きベクトル検知装置 | |
US20150139500A1 (en) | Method and System for Optimizing Image Processing in Driver Assistance Systems | |
JP7213662B2 (ja) | 画像処理装置、画像処理方法 | |
US20220147567A1 (en) | Method and system for characteristic-based video processing | |
US9367769B2 (en) | Device, method for image analysis and computer-readable medium | |
WO2020230385A1 (ja) | 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法 | |
US20120281756A1 (en) | Complexity change detection for video transmission system | |
JP7269134B2 (ja) | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 | |
CN114157870A (zh) | 编码方法、介质及电子设备 | |
US5204740A (en) | Image signal decoding apparatus | |
EP3379820A1 (en) | Controller, video camera, and method for controlling a video camera | |
JP7143263B2 (ja) | 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム | |
Xue et al. | Fast ROI-based HEVC coding for surveillance videos | |
JP6836614B2 (ja) | ビデオストリーム内のフレームシーケンスを符号化する方法のための方法、装置およびシステム | |
JP7145830B2 (ja) | 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム | |
KR102264252B1 (ko) | 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템 | |
KR200491642Y1 (ko) | 신택스 기반 객체 ROI 압축을 이용한 PoE 카메라 연동형 트랜스코더 장치 | |
WO2024013936A1 (ja) | 映像処理システム、映像処理装置及び映像処理方法 | |
WO2023199696A1 (ja) | 映像圧縮方法、映像圧縮装置、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7269134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |