JP6809731B1 - ビデオ信号処理システムおよびビデオ信号処理方法 - Google Patents

ビデオ信号処理システムおよびビデオ信号処理方法 Download PDF

Info

Publication number
JP6809731B1
JP6809731B1 JP2019220772A JP2019220772A JP6809731B1 JP 6809731 B1 JP6809731 B1 JP 6809731B1 JP 2019220772 A JP2019220772 A JP 2019220772A JP 2019220772 A JP2019220772 A JP 2019220772A JP 6809731 B1 JP6809731 B1 JP 6809731B1
Authority
JP
Japan
Prior art keywords
image
frame
video signal
processing
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019220772A
Other languages
English (en)
Other versions
JP2021089684A (ja
Inventor
福光 齊藤
福光 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Net Smile Inc
Original Assignee
Net Smile Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Net Smile Inc filed Critical Net Smile Inc
Priority to JP2019220772A priority Critical patent/JP6809731B1/ja
Application granted granted Critical
Publication of JP6809731B1 publication Critical patent/JP6809731B1/ja
Publication of JP2021089684A publication Critical patent/JP2021089684A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 ビデオ信号のリアルタイム性を大きく損ねずに、ビデオ信号に基づく動画内の検出対象を検出する。【解決手段】 フレーム画像抽出部11は、所定フレームレートのビデオ信号からフレーム画像を抽出し、オブジェクト検出部12は、そのフレーム画像における検出対象を検出し、検出した検出対象の位置を出力する。画像加工部22は、フレームバッファ21で遅延したビデオ信号の各フレーム画像において、検出された検出対象の位置により指定される画像領域に対して所定の画像処理を施す。特に、オブジェクト検出部12は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、上述のフレームレートに対応するフレーム周期以下で検出対象の位置を検出し、その演算モデルは、機械学習済みのディープニューラルネットワークを含む。【選択図】 図2

Description

本発明は、ビデオ信号処理システムおよびビデオ信号処理方法に関するものである。
ある画像処理装置は、動画ファイルにおける映像の各コマから文字認識技術によって、被写体を特定するテキストとしての個人情報を抽出し、抽出したテキストをダミーテキストに置換している(例えば特許文献1参照)。
特開2012−217631号公報
しかしながら、上述のように記録媒体に保存された動画ファイル内の特定テキストを抽出する場合、その処理時間は重要ではないが、リアルタイムで伝送されてくるビデオ信号における各フレームについて文字認識技術やパターンマッチングなどで文字を検出するようにした場合、処理時間が長くなってしまうとともに、動画の内容(例えば文字の量など)によって処理時間が大きく変化してしまい、ビデオ信号のリアルタイム性を大きく損ねる可能性がある。
本発明は、上記の問題に鑑みてなされたものであり、ビデオ信号のリアルタイム性を大きく損ねずに、ビデオ信号に基づく動画内の特定の検出対象を検出するビデオ信号処理システムおよびビデオ信号処理方法を得ることを目的とする。
本発明に係るビデオ信号処理システムは、所定のフレームレートのビデオ信号からフレーム画像を抽出するフレーム画像抽出部と、そのフレーム画像における検出対象を検出し、検出した検出対象の位置を少なくとも出力するオブジェクト検出部と、フレーム画像抽出部およびオブジェクト検出部の1フレーム画像あたりの処理時間以上の所定ディレイ時間だけビデオ信号を遅延させるフレームバッファと、フレームバッファからのビデオ信号の各フレーム画像において、そのフレーム画像について検出された検出対象の位置により指定される画像領域に対して所定の画像処理を施し、上述のフレームレートで画像処理後のフレーム画像を出力する画像加工部とを備える。そして、オブジェクト検出部は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、上述のフレームレートに対応するフレーム周期以下で、フレーム画像における検出対象の位置を少なくとも検出し、その演算モデルは、機械学習済みのディープニューラルネットワークを含む。上述の検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、上述の画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかである。そして、上述のマスク処理は、特定の画像で上述の画像領域を上書きする処理であり、上述の置換処理は、検出対象に対応する画像を生成し生成した画像で上述の画像領域を置換する処理である。さらに、上述の置換処理は、次の(A),(B)のいずれかとされる。(A)上述の置換処理は、テキストオブジェクトの場合、テキストオブジェクトのテキストを所定言語に翻訳した翻訳テキストの画像で上述の画像領域を置換する処理である。(B)上述の置換処理は、画像オブジェクトの場合、検出対象の所定範囲の周辺画像から上述の画像領域の画像を推定して生成し、生成した画像で上述の画像領域を置換する処理である。
本発明に係るビデオ信号処理方法は、所定のフレームレートビデオ信号からフレーム画像を抽出するフレーム画像抽出ステップと、そのフレーム画像における検出対象を検出し、検出した検出対象の位置を少なくとも出力するオブジェクト検出ステップと、フレーム画像抽出ステップおよびオブジェクト検出ステップの1フレーム画像あたりの処理時間以上の所定ディレイ時間だけビデオ信号をフレームバッファで遅延させるステップと、フレームバッファからのビデオ信号の各フレーム画像において、そのフレーム画像について検出された検出対象の位置により指定される画像領域に対して所定の画像処理を施し、上述のフレームレートで画像処理後のフレーム画像を出力するステップとを備える。そして、オブジェクト検出ステップは、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、上述のフレームレートに対応するフレーム周期以下で、フレーム画像における検出対象の位置を少なくとも検出し、その演算モデルは、機械学習済みのディープニューラルネットワークを含む。上述の検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、上述の画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかである。そして、上述のマスク処理は、特定の画像で上述の画像領域を上書きする処理であり、上述の置換処理は、検出対象に対応する画像を生成し生成した画像で上述の画像領域を置換する処理である。さらに、上述の置換処理は、次の(A),(B)のいずれかとされる。(A)上述の置換処理は、テキストオブジェクトの場合、テキストオブジェクトのテキストを所定言語に翻訳した翻訳テキストの画像で上述の画像領域を置換する処理である。(B)上述の置換処理は、画像オブジェクトの場合、検出対象の所定範囲の周辺画像から上述の画像領域の画像を推定して生成し、生成した画像で上述の画像領域を置換する処理である。
本発明によれば、ビデオ信号のリアルタイム性を大きく損ねずに、ビデオ信号に基づく動画内の特定の検出対象を検出するビデオ信号処理システムおよびビデオ信号処理方法が得られる。
本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。
図1は、本発明の実施の形態に係るビデオ信号処理システムの構成を示すブロック図である。 図2は、図1におけるオブジェクト検出装置2および画像加工装置3の構成を示すブロック図である。 図3は、図1に示すビデオ信号処理システムにおける各フレーム画像の処理のタイミングを説明する図である。
以下、図に基づいて本発明の実施の形態を説明する。
図1は、本発明の実施の形態に係るビデオ信号処理システムの構成を示すブロック図である。図1に示すシステムは、ビデオ信号スプリッタ1、オブジェクト検出装置2、および画像加工装置3を備える。
ビデオ信号スプリッタ1は、例えばSDI(Serial Digital Interface)方式の1系統の、所定フレームレートのビデオ信号を2系統に分配する。例えば、NTSC方式のビデオ信号の場合、フレームレートは、30FPSであり、PAL方式のビデオ信号の場合、フレームレートは、25FPSである。なお、インターレース走査方式のビデオ信号の場合、2フィールドで1フレームとなる。
オブジェクト検出装置2は、ビデオ信号スプリッタ1の出力1系統のビデオ信号を受け付け、そのビデオ信号の各フレーム画像(1フレームごとの静止画像)において検出対象の検出を試み、各フレームについて、検出した検出対象の位置などを示す検出信号を出力する。
画像加工装置3は、ビデオ信号スプリッタ1の別の出力1系統のビデオ信号を受け付け、各フレーム画像について、検出信号により指定される画像領域に対して所定の画像処理を施し、元のビデオ信号と同じフレームレートで各フレーム画像を出力する。
図2は、図1におけるオブジェクト検出装置2および画像加工装置3の構成を示すブロック図である。図2に示すように、オブジェクト検出装置2は、フレーム画像抽出部11およびオブジェクト検出部12を備える。
この実施の形態では、オブジェクト検出装置2は、例えばパーソナルコンピュータ、ワークステーションなどのコンピュータであって、CPU(Central Processing Unit)、ROM(Read Only Memory)、主記憶装置としてのRAM(Random Access Memory)、補助記憶装置(HDD(Hard Disk Drive)、フラッシュメモリなど)などを備え、ROMや補助記憶装置からRAMに所定のプログラムをロードしCPUで実行することで、フレーム画像抽出部11およびオブジェクト検出部12として動作する。
フレーム画像抽出部11は、ビデオ信号スプリッタ1から供給される所定フレームレートのビデオ信号からフレーム画像を抽出する。その際、フレーム画像抽出部11は、必要に応じて、フレーム画像のフォーマット変換を行う。このフォーマット変換では、フレーム画像が、オブジェクト検出部12の入力に適合するフォーマットに変換される。
オブジェクト検出部12は、フレーム画像抽出部11により得られたフレーム画像(ラスター画像)における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力する。この実施の形態では、オブジェクト検出部12は、検出した検出対象の位置、高さおよび幅を出力する。
特に、オブジェクト検出部12は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、フレーム周期(つまり、上述のフレームレートの逆数)以下で、フレーム画像における検出対象の位置を少なくとも検出する。そして、その演算モデルは、機械学習済みのディープニューラルネットワークを含む。
そのディープニューラルネットワークは、R−CNN(Region-Convolutional Neural Network)などのCNNである。
そして、検出対象は、テキストオブジェクト、図形オブジェクト、画像オブジェクトなどである。図形オブジェクトは、例えば特定の会社や製品のロゴマークなどである。画像オブジェクトは、例えば、被写体以外の不要な物体(例えば電線など)の画像、放送コード上で禁止される画像などである。
このような検出対象についてアノテーションによりトレーニングデータが作成され、そのトレーニングデータに基づき上述の演算モデル内のディープニューラルネットワークの機械学習が予め行われる。つまり、機械学習によって、検出対象が、オブジェクト検出部12に指定される。
このようにして、後述の画像加工装置3における画像処理の対象となる画像領域を、ディープニューラルネットワークで特定するため、ディープニューラルネットワークの構成に基づき固定的な演算量が特定され、検出対象の検出において予期せぬ遅延が発生しにくい。つまり、フレーム画像内における検出対象の数に応じて演算量が略変わらない。
例えば、文字認識技術に基づくテキストオブジェクトの検出の場合、まず、フレーム画像内の不特定のオブジェクトが検出され、検出されたオブジェクトの1つ1つに対して文字認識処理が実行されるため、1フレーム画像あたりの演算量は、検出されるオブジェクトの数に線形的に依存し、事前に特定することは困難である。
また、画像加工装置3は、フレームバッファ21と画像加工部22とを備える。例えば、画像加工装置3も、例えばパーソナルコンピュータ、ワークステーションなどのコンピュータであって、所定のプログラムを実行することで、画像加工部22として動作する。
フレームバッファ21は、ビデオ信号を一時的に記憶するメモリ上の記憶領域を備え、フレーム画像抽出部11およびオブジェクト検出部12の1フレーム画像あたりの処理時間以上の所定ディレイ時間だけビデオ信号を遅延させる。なお、ビデオ信号がインターレース方式である場合、フレームバッファ21によって2フィールド分のビデオ信号から1フレーム分のフレーム画像が構築される。
画像加工部22は、フレームバッファ21からのビデオ信号の各フレーム画像において、そのフレーム画像について検出された検出対象の位置などにより指定される画像領域に対して所定の画像処理を施し、上述のフレームレートで画像処理後のフレーム画像を出力する。この実施の形態では、検出対象の位置、高さおよび幅が検出信号としてオブジェクト検出装置2から画像加工装置3に供給され、上述の画像領域は、検出信号で供給された高さおよび幅を有する矩形であって、上述の画像領域の代表点(その矩形の1頂点、中心など)が、検出信号で供給された位置に位置する。
例えば、画像加工部22は、フレームレートに同期して、オブジェクト検出部12があるフレーム画像についてのオブジェクト検出を行っているフレーム期間の次のフレームで、画像処理後のそのフレーム画像を出力する。したがって、画像加工部22からそのフレーム画像が出力されるまで、フレームバッファ21には、画像処理前のそのフレーム画像が一時的に保持される。
ここでは、画像加工部22は、上述のフレーム周期以下で、1つのフレーム画像に対してその画像処理を実行する。
そして、この画像処理は、ブラーフィルタ処理、マスク処理、置換処理などである。マスク処理は、特定の画像で上述の画像領域を上書きする処理である。置換処理は、検出対象に対応する画像を生成したり、検出対象に対応する画像を所定のリストから選択したりして、生成または選択した画像で上述の画像領域を置換する処理である。
例えば、テキストオブジェクトの場合の置換処理では、検出対象としてのテキストオブジェクトと、そのテキストオブジェクトのテキストを所定言語に翻訳した翻訳テキストの画像とが関連付けられたリストが予め設けられ、検出された検出対象に対応する翻訳テキストの画像がそのリストに基づいて特定され、特定された翻訳テキストの画像で画像領域が置換される。
例えば、画像オブジェクトの場合の置換処理は、検出対象の所定範囲の周辺画像から画像領域の画像を推定して生成し、生成した画像で画像領域を置換する処理である。例えば、周辺画像における前景オブジェクトや背景オブジェクトの周期性などに基づいて、画像領域の画像が推定される。あるいは、GAN(Generative Adversarial Network)などのディープニューラルネットワークを使用した画像生成によって、周辺画像に対応する画像領域の画像を生成するようにしてもよい。
次に、上記ビデオ信号処理システムの動作について説明する。図3は、図1に示すビデオ信号処理システムにおける各フレーム画像の処理のタイミングを説明する図である。
例えば図3に示すように、フレーム画像抽出部11(フレーム画像抽出)とオブジェクト検出部12(AIモデル演算、つまり、上述の演算モデルに基づくオブジェクト検出)と画像加工部22(オブジェクト検出で指定された画像領域に対する画像加工)は並列に動作しており、第(i−1)フレームについてのフレーム画像抽出と、第iフレームについてのAIモデル演算と、第(i+1)フレームについての画像加工とが並列に実行される。
また、フレーム画像抽出など、AIモデル演算、および画像加工は、それぞれ1フレーム周期以下で実行される。したがってフレームバッファ21では、例えば、2フレーム周期程度ビデオ信号が遅延される。
例えば、第iフレームについて、フレーム画像抽出部11がフレーム画像抽出とフォーマット変換とを実行し、オブジェクト検出部12が、所定の演算モデルを実行し、フレーム画像内に検出対象が含まれている場合には、第iフレームにおけるその検出対象についての検出信号を出力する。他方、フレーム画像抽出部11およびオブジェクト検出部12が第iフレームについての処理を実行している間、第iフレームについてのビデオ信号は、フレームバッファ21で滞留しており、画像加工部22は、第iフレームについての検出信号を受け付けると、その検出信号により指定された画像領域に対して所定の画像処理を実行し、画像処理後のフレーム画像を所定フレームレートで例えばSDI方式で出力する。
なお、フレーム画像内に検出対象が含まれていない場合、画像加工部22は、そのフレーム画像について上述の画像処理を実行せずにそのフレーム画像を出力する。
以上のように、上記実施の形態によれば、フレーム画像抽出部11は、所定のフレームレートのビデオ信号からフレーム画像を抽出し、オブジェクト検出部12は、そのフレーム画像における検出対象を検出し、検出した検出対象の位置を少なくとも出力する。他方、フレームバッファ21は、フレーム画像抽出部11およびオブジェクト検出部12の1フレーム画像あたりの処理時間以上の所定ディレイ時間だけビデオ信号を遅延させる。画像加工部22は、フレームバッファ21からのビデオ信号の各フレーム画像において、そのフレーム画像について検出された検出対象の位置により指定される画像領域に対して所定の画像処理を施し、上述のフレームレートで画像処理後のフレーム画像を出力する。そして、オブジェクト検出部12は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、上述のフレームレート周期以下で、フレーム画像における検出対象の位置を少なくとも検出し、その演算モデルは、機械学習済みのディープニューラルネットワークを含む。
これにより、ビデオ信号のリアルタイム性を大きく損ねずに、ビデオ信号に基づく動画内の特定の検出対象を検出することができる。
したがって、録画済みのメディアから再生されるビデオ信号や、生放送のためのライブ映像のビデオ信号などを、2〜3フレーム程度の小さな遅延で、略リアルタイムに、上述のオブジェクト検出および画像処理を実行することができる。
なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。
例えば、上記実施の形態では、検出信号として、検出された検出対象の位置、高さおよび幅が出力されるが、高さおよび幅が予めわかっている場合では、検出信号に、検出された検出対象の高さおよび幅は含まれなくてもよい。
また、上記実施の形態では、ビデオ信号は、SDI方式のものであるが、他の方式の信号でもよい。例えば、サーバ上の動画ファイルを生成して得られるストリーミングのビデオ信号でもよい。その場合でも、リアルタイム性が要求される。
本発明は、例えば、動画像における特定の検出対象のマスキングに適用可能である。
11 フレーム画像抽出部
12 オブジェクト検出部
21 フレームバッファ
22 画像加工部

Claims (6)

  1. 所定のフレームレートのビデオ信号を処理するビデオ信号処理システムにおいて、
    前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出部と、
    前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出部と、
    前記フレーム画像抽出部および前記オブジェクト検出部の1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号を遅延させるフレームバッファと、
    前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力する画像加工部とを備え、
    前記オブジェクト検出部は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
    前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
    前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
    前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
    前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
    前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
    前記置換処理は、前記テキストオブジェクトの場合、前記テキストオブジェクトのテキストを所定言語に翻訳した翻訳テキストの画像で前記画像領域を置換する処理であること、
    を特徴とするビデオ信号処理システム。
  2. 所定のフレームレートのビデオ信号を処理するビデオ信号処理システムにおいて、
    前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出部と、
    前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出部と、
    前記フレーム画像抽出部および前記オブジェクト検出部の1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号を遅延させるフレームバッファと、
    前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力する画像加工部とを備え、
    前記オブジェクト検出部は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
    前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
    前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
    前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
    前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
    前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
    前記置換処理は、前記画像オブジェクトの場合、前記検出対象の所定範囲の周辺画像から前記画像領域の画像を推定して生成し、生成した前記画像で前記画像領域を置換する処理であること
    を特徴とするビデオ信号処理システム。
  3. 前記画像加工部は、前記フレーム周期以下で、1フレーム画像に対する前記画像処理を実行することを特徴とする請求項1または請求項2記載のビデオ信号処理システム。
  4. 所定のフレームレートのビデオ信号を処理するビデオ信号処理方法において、
    前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出ステップと、
    前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出ステップと、
    前記フレーム画像抽出ステップおよび前記オブジェクト検出ステップの1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号をフレームバッファで遅延させるステップと、
    前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力するステップとを備え、
    前記オブジェクト検出ステップは、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
    前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
    前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
    前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
    前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
    前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
    前記置換処理は、前記テキストオブジェクトの場合、前記テキストオブジェクトのテキストを所定言語に翻訳した翻訳テキストの画像で前記画像領域を置換する処理であること、
    を特徴とするビデオ信号処理方法。
  5. 所定のフレームレートのビデオ信号を処理するビデオ信号処理方法において、
    前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出ステップと、
    前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出ステップと、
    前記フレーム画像抽出ステップおよび前記オブジェクト検出ステップの1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号をフレームバッファで遅延させるステップと、
    前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力するステップとを備え、
    前記オブジェクト検出ステップは、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
    前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
    前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
    前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
    前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
    前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
    前記置換処理は、前記画像オブジェクトの場合、前記検出対象の所定範囲の周辺画像から前記画像領域の画像を推定して生成し、生成した前記画像で前記画像領域を置換する処理であること、
    を特徴とするビデオ信号処理方法。
  6. 前記フレーム周期以下で、1フレーム画像に対する前記画像処理を実行することを特徴とする請求項4または請求項5記載のビデオ信号処理方法。
JP2019220772A 2019-12-05 2019-12-05 ビデオ信号処理システムおよびビデオ信号処理方法 Active JP6809731B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019220772A JP6809731B1 (ja) 2019-12-05 2019-12-05 ビデオ信号処理システムおよびビデオ信号処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019220772A JP6809731B1 (ja) 2019-12-05 2019-12-05 ビデオ信号処理システムおよびビデオ信号処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020186362A Division JP2021090191A (ja) 2020-11-09 2020-11-09 ビデオ信号処理システムおよびビデオ信号処理方法

Publications (2)

Publication Number Publication Date
JP6809731B1 true JP6809731B1 (ja) 2021-01-06
JP2021089684A JP2021089684A (ja) 2021-06-10

Family

ID=73992899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019220772A Active JP6809731B1 (ja) 2019-12-05 2019-12-05 ビデオ信号処理システムおよびビデオ信号処理方法

Country Status (1)

Country Link
JP (1) JP6809731B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112843677A (zh) * 2021-02-08 2021-05-28 脸萌有限公司 一种系统延时确定方法、装置、设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145660A (ja) * 2002-10-24 2004-05-20 Fuji Heavy Ind Ltd 障害物検出装置
JP4448477B2 (ja) * 2004-12-28 2010-04-07 株式会社テレビ朝日データビジョン 字幕付き映像信号の遅延制御装置及び遅延制御プログラム
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2009111761A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 字幕番組編集装置および字幕編集方法
EP2889840A1 (en) * 2013-12-31 2015-07-01 Patents Factory Ltd. Sp. z o.o. A method for visualising dynamics of motion in a video image
JP6795195B2 (ja) * 2017-10-25 2020-12-02 ネットスマイル株式会社 文字種推定システム、文字種推定方法、および文字種推定プログラム
KR102015945B1 (ko) * 2018-04-19 2019-08-28 주식회사 크라우드웍스 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112843677A (zh) * 2021-02-08 2021-05-28 脸萌有限公司 一种系统延时确定方法、装置、设备和存储介质
CN112843677B (zh) * 2021-02-08 2023-07-11 脸萌有限公司 一种系统延时确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JP2021089684A (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
CN107707931B (zh) 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN106686452B (zh) 一种动态图片的生成方法及装置
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
KR20160013984A (ko) 비디오 편집을 위한 터치 최적화 디자인
US20160173787A1 (en) Surveillance camera with heat map function
US10410059B2 (en) Cloud platform with multi camera synchronization
CN112419132B (zh) 视频水印检测方法、装置、电子设备及存储介质
WO2022188510A1 (zh) 审核视频的方法、装置及计算机可读存储介质
CN112887510A (zh) 基于视频检测的视频播放方法及系统
JP6809731B1 (ja) ビデオ信号処理システムおよびビデオ信号処理方法
KR101281850B1 (ko) 영상 디스크립터 생성 장치
CN114554267A (zh) 基于数字孪生技术的音频视频的同步方法及装置
US8165387B2 (en) Information processing apparatus and method, program, and recording medium for selecting data for learning
CN111625661A (zh) 一种音视频片段分类方法及装置
US20240062545A1 (en) Information processing device, information processing method, and recording medium
EP3484145B1 (en) Compact video generation device and method, and recording medium in which computer program is recorded
JP2021090191A (ja) ビデオ信号処理システムおよびビデオ信号処理方法
JP2010039877A (ja) 要約コンテンツ生成装置および要約コンテンツ生成プログラム
CN112235600A (zh) 视频数据及视频业务请求的处理方法、装置及系统
US11521656B2 (en) Incorporating visual objects into video material
US20170069348A1 (en) Method and method for shortening video with event preservation
CN113992979A (zh) 一种视频扩展方法及系统、计算机设备
JP2011097229A (ja) 撮影データ処理装置及び撮影データ処理用プログラム
JP2015177471A (ja) 抽出プログラム、方法、及び装置
WO2023139760A1 (ja) データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200908

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201203

R150 Certificate of patent or registration of utility model

Ref document number: 6809731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250