JP7159582B2 - 監視ビデオにおけるデータの拡張方法及び装置 - Google Patents

監視ビデオにおけるデータの拡張方法及び装置 Download PDF

Info

Publication number
JP7159582B2
JP7159582B2 JP2018056917A JP2018056917A JP7159582B2 JP 7159582 B2 JP7159582 B2 JP 7159582B2 JP 2018056917 A JP2018056917 A JP 2018056917A JP 2018056917 A JP2018056917 A JP 2018056917A JP 7159582 B2 JP7159582 B2 JP 7159582B2
Authority
JP
Japan
Prior art keywords
data
processing
sub
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018056917A
Other languages
English (en)
Other versions
JP2018190394A (ja
Inventor
リィウ・シアオチン
タヌ・ジミン
バイ・シアンホォイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2018190394A publication Critical patent/JP2018190394A/ja
Application granted granted Critical
Publication of JP7159582B2 publication Critical patent/JP7159582B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、データ処理の分野に関し、具体的には、監視ビデオにおけるデータの拡張方法及び装置に関する。
機械学習に基づく監視ビデオの分析では、訓練データは高価であり、数が不十分であり、特にカスタマイズされたアプリケーションではより深刻である。
従って、監視ビデオにおける不十分な数のデータを拡張する方法が求められている。
以下は、本発明の態様を基本的に理解させるために、本発明の簡単な概要を説明する。なお、この簡単な概要は、本発明を網羅的な概要ではなく、本発明のポイント又は重要な部分を意図的に特定するものではなく、本発明の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
本発明は、監視ビデオにおけるデータの拡張の方法及び装置を提供することを目的とする。
上記の目的を実現するために、本発明の１つの態様では、監視ビデオにおけるデータの拡張方法であって、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含む、方法を提供する。
本発明のもう１つの態様では、監視ビデオにおけるデータの拡張装置であって、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含む、装置を提供する。
本発明のもう１つの態様では、上記の方法を実現するためのコンピュータプログラムをさらに提供する。
本発明のもう１つの態様では、少なくともコンピュータが読み取り可能なコンピュータプログラムプロダクトであって、上記の方法を実現するためのコンピュータプログラムコードを記録しているコンピュータプログラムプロダクトをさらに提供する。
以下の図面を参照しながら本発明の好ましい実施例を詳細に説明することによって、本発明の上記の利点及び他の利点がより明確になる。
本発明の上記及び他の目的、特徴及び利点を理解させるために、以下は図面を参照しながら本発明の実施例を説明する。図面における構成は単なる本発明の原理を示すためのものである。図面において、同一又は類似の技術的特徴又は構成は、同一又は類似の符号で示されている。
本発明の監視ビデオにおけるデータの拡張方法を実現するためのシステムを示す図である。 本発明の１つの実施例の監視ビデオにおけるデータの拡張方法の一例を示すフローチャートである。 図３Ａ～図３Ｅは画像空間伸長を示す図である。 図３Ａ～図３Ｅは画像空間伸長を示す図である。 図３Ａ～図３Ｅは画像空間伸長を示す図である。 図３Ａ～図３Ｅは画像空間伸長を示す図である。 図３Ａ～図３Ｅは画像空間伸長を示す図である。 図４Ａ～図４Ｄは画像回転を示す図である。 図４Ａ～図４Ｄは画像回転を示す図である。 図４Ａ～図４Ｄは画像回転を示す図である。 図４Ａ～図４Ｄは画像回転を示す図である。 画像トリミングを示す図である。 ビデオシーンに基づく画像の照明変更を示す図である。 イベントの削除を示すフローチャートである。 イベントの追加を示すフローチャートである。 本発明のもう１つの実施例の監視ビデオにおけるデータの拡張装置８００の構成の一例を示すブロック図である。 本発明の実施例の監視ビデオにおけるデータの拡張方法及び装置を実施するためのコンピュータ装置の構成の一例を示す図である。
以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件又は処理のステップのみが示され、本発明と関係のない細部が省略されている。
本発明は、監視ビデオにおけるデータ量が不足している場合、機械学習のために訓練データを拡張する方法を提供する。本発明の方法によれば、少ない入力サンプルのみで、小さいサイズ及び多様性を有する監視データを実現できる。拡張データのランダム性及び包括性を確保するために、本発明の方法は、各機能及び機能のパラメータ選択のランダム性を提供する。
データの拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）は、画像及びビデオに対して処理を行って実際の監視環境、例えば異なるカメラの品質、異なる視野角、昼と夜、画像シーン及び異なる天候状況をシミュレートすることを含む。これは、監視アプリケーションにおける訓練及び分析に役に立つ。
本発明のデータ拡張方法は、入力画像又はビデオに対して、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更などの機能を実現してもよい。各機能は、機能を満たすための異なる方法を含み、異なる結果が得られる。
異なる結果が得られるように、データに適用するための１つ又は複数の機能をランダムに選択し、或いは組み合わせてもよい。図１は本発明の監視ビデオにおけるデータの拡張方法を実現するためのシステムを示す図である。図１において、全てのアルゴリズムは、データに対して実行する全ての機能及び機能の関連方法を意味する。ユーザ要求は、使用可能な機能と、選択された機能に適用可能な方法及びパラメータ設定又は範囲を指定する。論理フィルタリングは、アルゴリズムがどのように画像に用いられることを明確化するように、ユーザ要求及び全てのアルゴリズムに基づいて、アルゴリズムの実行順序を自動的に導出し、パラメータ範囲から値をランダムに選択する。実行順序は、論理フィルタリングにより生成されたアルゴリズムの実行順序である。アルゴリズムは、最終的に選択されたアルゴリズム及び対応するパラメータである。
図１に示すシステムは、ユーザ要求に基づいて、データに対して実行される全ての機能から画像に対して実行される機能及び実行順序を自動的に選択し、新たな画像を生成できる。
以下は、図面を参照しながら、本発明の実施例の監視ビデオにおけるデータの拡張方法及び装置を詳細に説明する。以下の説明は、以下の順序で行われる。
１．ビデオ監視におけるデータの拡張方法
２．ビデオ監視におけるデータの拡張装置
３．本発明の方法及び装置を実施するためのコンピュータ装置
＜１．ビデオ監視におけるデータの拡張方法＞
図２は本発明の１つの実施例の監視ビデオにおけるデータの拡張方法の一例を示すフローチャートである。
まず、ステップＳ２０２において、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択する。
そして、ステップＳ２０４において、選択された１つ又は複数の処理機能を用いてデータを処理し、新たなデータを取得する。
最後に、ステップＳ２０６において、所定数のデータを生成するまで、上記のステップを繰り返し実行する。
１つの態様では、複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含んでもよい。
以下は、各処理機能を詳細に説明する。
＜空間変換＞
空間変換は、像生成空間関係及び画像における対象位置を変換し、具体的には、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションを含んでもよい。
画像空間伸長は、所定のアスペクト比、画像の幅又は高さに基づいて、画像を伸長させる。例えば、画像のサイズを指定し、且つ元のアスペクト比を維持する場合、画像充填アルゴリズムが必要である場合はある。
図３Ａ～図３Ｅは画像空間伸長を示す図である。図３Ａは元の画像を示し、図３Ｂは画像全体を所定のアスペクト比に伸長させることを示し、図３Ｃ及び図３Ｄは画像を拡大又は縮小することを示し、図３Ｅは画像を所定のサイズに伸長させて、幾何学的不変性を維持するように充填を行うことを示す。
画像回転は、従来の視角に違反しないように、画像を回転させることである。
図４Ａ～図４Ｄは画像回転を示す図である。図４Ａは元の画像であり、図４Ｂは回転された画像であり、図４Ｃ及び図４Ｄは従来の視角に違反している誤った画像である。
画像を反転させることで、満足できる新たな画像を取得できる。また、［－ａ°，＋ａ°］内の回転角度で元／反転の画像をランダムに回転させてもよく、ここで、ａは任意の整数であり、通常５未満に設定される。
画像トリミングは、所定のサイズ及びサンプリング規則に従って画像を切り取ることである。例えば、画像のサイズは（ｗ，ｈ）であり、切り取られた画像のサイズは（αｗ，βｈ）であり、α、β∈（０，１］である（ｗは幅であり、ｈは高さであり、α及びβは縮小拡大の因子である）。切り取られた画像の数Ｎは以下の通りである。
Ｎ＝ｒｏｕｎｄ（１／α）＊ｒｏｕｎｄ（１／β）＝Ａ＊Ｂ
該等式では、ｒｏｕｎｄは切り上げ（ｒｏｕｎｄ－ｕｐ）を意味するため、ｒｏｕｎｄ（１／０．４）＝３となる。まず、幅をＡ個の部分に等分し、この場合は幅方向にＡ＋１個のトリミング点（即ち端点及び等分点）がある。Ａが偶数の場合は、Ａ／２個のサブ画像の左上の隅点がトリミング点と一致し、且つ残りのＡ／２個のサブ画像の右上の隅点がトリミング点と一致するように、（αｗ，βｈ）のサイズで左から右へＡ／２個のサブ画像、右から左へ残りのＡ／２個のサブ画像を順次にトリミングする。Ａが奇数の場合は、上記の方法に従って（Ａ－１）個のサブ画像をトリミングする。そして、残りの１個のサブ画像がトリミングされた（Ａ－１）個のサブ画像と高さで位置合わせ、その中心点のｘ座標が元画像の中心点ｘの座標と一致する（ｘは幅方向における位置を意味する）ようにする。同様な方法を用いて高さ方向におけるトリミング位置を決定し、各高さトリミング位置において幅トリミング処理を繰り返し、画像全体をカバーする全てのサブ画像を取得できる。
図５は画像トリミングを示す図であり、図５において、α＝０．４、β＝０．８となるようにする。
画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションである。
まず、撮像装置の既知のパラメータに基づいて画像歪みを補正する。
そして、補正された画像に新たなカメラ撮像パラメータを適用する。
＜照明変化＞
照明変化は、異なる撮像光条件をシミュレートするために用いられる。照明変化は、ランダムな照明変更、及びビデオシーンに基づく照明変更を含む。
ランダムな照明変更は、色度を含む色空間、例えばＨＳＶ（色度、彩度、明度）又はＨＳＬ（色度、彩度、輝度）の色空間において、色度の成分を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することである。
ビデオシーンに基づく照明変更は、同一のシーンで取得されたビデオが一日の異なる時刻で異なる照明を有するため、照明が合理的になるように直後のフレーム又は直前のフレームに基づいて画像の色を変更することである。
具体的には、ビデオにおけるｎ番目のフレームについて、ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ－ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得する。ｎ及びｍは、任意の正整数である。ビデオにおける各フレームについて上記の処理を実行して、新たな画像を取得する。ヒストグラムは、全てのフレーム、自己適応なアルゴリズム若しくはユーザにより指定されたアルゴリズムにより選択されたフレームにおける領域に基づいて算出されてもよい。図６はビデオシーンに基づく画像の照明変更を示す図である。
＜ノイズフィルタリング＞
ノイズフィルタリングはランダム干渉の下での画像生成の差異を考慮する。ノイズフィルタリングは、ノイズ追加及び焦点外れシミュレーションを含む。
前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することである。ノイズ追加は、乱数発生器、例えばガウス又は平均乱数発生器を用いて行われてもよい。１つ又は複数のノイズ追加方法を用いて新たな画像を取得してもよい。
焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことである。
また、推定された目標距離に基づいて焦点外れを再現してもよい。具体的には、まず目標距離を推定し、そして、カメラのパラメータ及び推定された目標距離に基づいて焦点外れのシミュレーションを行う。
＜シーン合成＞
シーン合成機能は、資料ライブラリ、動作生成器及びシーン制御器という３つの部分を含む仮想画像を提供する。
資料ライブラリは、監視ビデオにおいて発生する対象及びシーンの資料を提供する。
動作生成器は、イベント生成をサポートするように、各種の動作、例えば車の衝突、転倒、走り、制動などに対してシミュレーションを行う。
シーン制御器は、組み込まれた論理ブロックにより、資料ライブラリからの資料をまとめ、仮想監視画像を生成する。制御器は、各種のシーン、天候、一日の時間、目標、目標位置、イベント、撮影角度及び画像生成装置などを指定してもよい。例えば、画像における道路上キューブの形状を合成し、残留物をシミュレートしてもよい。また、歩行者を１つのシーンからもう１つのシーンに複製して、混雑した環境をシミュレートしてもよい。
＜イベント変更＞
イベント変更の機能は、元の画像を編集して画像におけるシーン又は態様を変更するツールを提供する。イベント変更は、イベントの削除及びイベントの追加を含んでもよい。
イベントの削除は、イベントを検出することと、関連対象を削除することと、シーンを修復し、新たな画像を生成することとを含む。図７Ａはイベントの削除を示すフローチャートである。
イベントの追加は、シーン情報を抽出することと、イベントの範囲（ＲＯＩ：感心領域）を指定することと、シーン合成からの機能を用いて具体的なイベントを追加することとを含む。図７Ｂはイベントの追加を示すフローチャートである。
以上のデータを処理するための複数の処理機能はランダムな順序で実行されてもよい。選択された処理機能に前記シーン合成が含まれている場合、データに対してシーン合成の処理を実行した後に、ランダムな順序で他の処理機能を実行する。
本発明は、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータを自動的に選択することで、監視ビデオのデータを容易、且つ効果的に拡張できる統合された監視ビデオにおけるデータの拡張方法を提供する。本発明の方法によれば、少ない入力サンプルのみで、小さいサイズ及び多様性を有する監視データを実現できると共に、拡張データのランダム性及び包括性を確保できる。
＜２．ビデオ監視におけるデータの拡張装置＞
図８は本発明のもう１つの実施例の監視ビデオにおけるデータの拡張装置８００の構成の一例を示すブロック図である。
図８に示すように、監視ビデオにおけるデータの拡張装置８００は、機能選択部８０２、処理部８０４及び繰り返し制御部８０６を含む。
機能選択部８０２は、ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ部をランダムに選択する。
処理部８０４は、選択された１つ又は複数の機能サブ部を用いてデータを処理し、新たなデータを取得する。
繰り返し制御部８０６は、所定数のデータを生成するまで、機能選択部及び処理部による処理を繰り返し実行する。
ここで、機能サブ部は、空間変換サブ部、照明変化サブ部、ノイズフィルタリングサブ部、シーン合成サブ部及びイベント変更サブ部を含む。
ここで、ランダムな順序で選択された複数の機能サブ手段を実行する。ここで、選択された機能サブ部にシーン合成が含まれている場合、シーン合成サブ部を用いてデータに対して処理を実行した後に、ランダムな順序で他の機能サブ部の処理を実行する。
空間変換サブ部は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を実行する。
ここで、画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、該シミュレーションは、撮像装置の既知のパラメータに基づいて画像歪みを補正することと、補正された画像に新たな撮像パラメータを適用することと、を含む。
照明変化サブ部は、ランダムな照明変更、及びビデオシーンに基づく照明変更の１つ以上を実行する。
ここで、ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含む。
ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ－ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である。
ノイズフィルタリングサブ部は、ノイズ追加及び焦点外れシミュレーションの１つ以上を実行する。
ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含む。
焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む。
シーン合成サブ部は、資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供し、各種の動作に対してシミュレーションを行い、資料ライブラリからの資料をまとめ、仮想監視画像を生成する。
イベント変更サブ部は、イベントの削除及びイベントの追加の１つ以上を実行する。
ここで、イベントの削除は、イベントを検出することと、関連対象を削除することと、シーンを修復し、新たな画像を生成することと、を含む。
イベントの追加は、シーン情報を抽出することと、イベントの範囲を指定することと、前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む。
監視ビデオにおけるデータの拡張装置８００の各部の処理及び機能の詳細は、図１～図７に説明された本発明の監視ビデオにおけるデータの拡張方法の実施例を参照してもよく、ここで詳細な説明が省略される。
なお、図８に示す監視ビデオにおけるデータの拡張装置８００の構成部の構成は単なる例示的なものであり、当業者は必要に応じて図８に示す構成を変更してもよい。
＜３．本発明の方法及び装置を実施するためのコンピュータ装置＞
以上は具体的な実施例を参照しながら本発明の基本的な原理を説明しているが、当業者は本発明の方法及び装置の全て又は一部のステップ又は構成部を理解でき、任意のコンピュータ装置（処理装置、記憶媒体などを含む）又はコンピュータ装置のネットワークにおいてハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより実現してもよい。用いられる具体的な手段又は方式の構成は当業者にとって周知であり、ここでその説明が省略される。
このため、本発明は、任意のコンピュータ装置で１つ又は一連のプログラムを実行することで実現されてもよい。該コンピュータ装置は周知の汎用装置である。よって、本発明は、該方法又は装置を実現するためのプログラムコードを含むプログラムプロダクトにより実現されてもよい。即ち、このようなプログラムプロダクトも本発明に属し、このようなプログラムプロダクトを記憶している記録媒体も本発明に属する。なお、記憶媒体は、任意の周知の記憶媒体又は将来に開発される任意の記憶媒体であってもよい。
ソフトウェア及び／又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ、例えば図９示されている汎用コンピュータ９００に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。
図９において、中央処理部（ＣＰＵ）９０１は、読み出し専用メモリ（ＲＯＭ）９０２に記憶されているプログラム、又は記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ９０３には、必要に応じて、ＣＰＵ９０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９０４を介して互いに接続されている。入力／出力インターフェース４０５もバス９０４に接続されている。
入力部９０６（キーボード、マウスなどを含む）、出力部９０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部９０８（例えばハードディスクなどを含む）、通信部９０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース９０５に接続されている。通信部９０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部９１０は、入力／出力インターフェース９０５に接続されてもよい。取り外し可能な媒体９１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部９１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部９０８にインストールされている。
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体９１１を介してソフトウェアを構成するプログラムをインストールする。
これらの記憶媒体は、図９に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体９１１に限定されない。取り外し可能な媒体９１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク－読み出し専用メモリ（ＣＤ－ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ９０２、記憶部９０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
本発明は、機器に読み取り可能な命令コードを記憶するプログラムプロダクトをさらに提供する。該命令コードは機器により読み出されて、上述した本発明の実施例に係る方法を実行できる。
それに応じて、本発明は、機器読み取り可能な命令コードを記憶するプログラムのプロダクトが記録されている記憶媒体をさらに含む。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックを含むが、これらに限定されない。
ここで列挙されたものは単なる例示的なものであり、本発明はこれに限定されない。
本明細書では、「第１」、「第２」及び「第Ｎ」等の表現は、本発明を明確に説明するため、説明される特徴を文言上で区別するためのものである。よって、それらの表現は、限定的な意味をものではない。
１つの例では、上記方法の各ステップ及び上記装置の各構成モジュール及び／又はユニットはソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせにより実現されてもよい。用いられる具体的な手段又は方式の構成は当業者にとって周知であり、ここでその説明が省略される。
１つの例では、ソフトウェア及び／又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ、例えば図９示されている汎用コンピュータ９００に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。
なお、本発明の具体的な実施例の上記の説明では、１つの態様について説明及び／又は例示された特徴は同一又は類似の方式で１つ又は複数の他の態様に用いられてもよいし、他の態様における特徴と組み合わせてもよいし、他の態様における特徴の代わりに用いられてもよい。
なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。
以上は本発明の具体的な実施例の説明を通じて本発明を開示するが、上記の全ての実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本発明の保護範囲に含まれるものである。
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
監視ビデオにおけるデータの拡張方法であって、
ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、
選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、
所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含む、方法。
（付記２）
前記複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含む、付記１に記載の方法。
（付記３）
ランダムな順序で選択された複数の処理機能を実行し、
選択された処理機能に前記シーン合成が含まれている場合、データに対して前記シーン合成の処理を実行した後に、ランダムな順序で他の処理機能を実行する、付記２に記載の方法。
（付記４）
前記空間変換は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を含む、付記２に記載の方法。
（付記５）
前記画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、該シミュレーションは、
撮像装置の既知のパラメータに基づいて画像歪みを補正することと、
補正された画像に新たな撮像パラメータを適用することと、を含む、付記４に記載の方法。
（付記６）
前記照明変化は、ランダムな照明変更、及びビデオシーンに基づく照明変更を含み、
前記ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含み、
前記ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ－ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である、付記２に記載の方法。
（付記７）
前記ノイズフィルタリングは、ノイズ追加及び焦点外れシミュレーションを含み、
前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含み、
前記焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む、付記２に記載の方法。
（付記８）
前記シーン合成は、
資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供することと、
各種の動作に対してシミュレーションを行うことと、
前記資料ライブラリからの資料をまとめ、仮想監視画像を生成することと、を含む、付記２に記載の方法。
（付記９）
前記イベント変更は、イベントの削除及びイベントの追加を含み、
前記イベントの削除は、
イベントを検出することと、
関連対象を削除することと、
シーンを修復し、新たな画像を生成することと、を含み、
前記イベントの追加は、
シーン情報を抽出することと、
イベントの範囲を指定することと、
前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む、付記２に記載の方法。
（付記１０）
監視ビデオにおけるデータの拡張装置であって、
ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、
選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、
所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含む、装置。
（付記１１）
前記機能サブ手段は、空間変換サブ手段、照明変化サブ手段、ノイズフィルタリングサブ手段、シーン合成サブ手段及びイベント変更サブ手段を含む、付記１０に記載の装置。
（付記１２）
ランダムな順序で選択された複数の機能サブ手段を実行し、
選択された機能サブ手段に前記シーン合成サブ手段が含まれている場合、前記シーン合成サブ手段を用いてデータに対して処理を実行した後に、ランダムな順序で他の機能サブ手段の処理を実行する、付記１１に記載の装置。
（付記１３）
前記空間変換サブ手段は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を実行する、付記１１に記載の装置。
（付記１４）
前記画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、該シミュレーションは、
撮像装置の既知のパラメータに基づいて画像歪みを補正することと、
補正された画像に新たな撮像パラメータを適用することと、を含む、付記１３に記載の装置。
（付記１５）
前記照明変化サブ手段は、ランダムな照明変更、及びビデオシーンに基づく照明変更の１つ以上を実行し、
前記ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含み、
前記ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ－ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である、付記１１に記載の装置。
（付記１６）
前記ノイズフィルタリングサブ手段は、ノイズ追加及び焦点外れシミュレーションの１つ以上を実行し、
前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含み、
前記焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む、付記１１に記載の装置。
（付記１７）
前記シーン合成サブ手段は、
資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供し、
各種の動作に対してシミュレーションを行い、
前記資料ライブラリからの資料をまとめ、仮想監視画像を生成する、付記１１に記載の装置。
（付記１８）
前記イベント変更サブ手段は、イベントの削除及びイベントの追加の１つ以上を実行し、
前記イベントの削除は、
イベントを検出することと、
関連対象を削除することと、
シーンを修復し、新たな画像を生成することと、を含み、
前記イベントの追加は、
シーン情報を抽出することと、
イベントの範囲を指定することと、
前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む、付記１１に記載の装置。

Claims (10)

  1. 監視ビデオにおけるデータの拡張方法であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、
    選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、
    所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含み、
    前記複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含み、
    前記空間変換は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を含み、
    前記画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、
    該シミュレーションは、
    撮像装置の既知のパラメータに基づいて画像歪みを補正することと、
    補正された画像に新たな撮像パラメータを適用することと、を含む、方法。
  2. ランダムな順序で選択された複数の処理機能を実行し、
    選択された処理機能に前記シーン合成が含まれている場合、データに対して前記シーン合成の処理を実行した後に、ランダムな順序で他の処理機能を実行する、請求項１に記載の方法。
  3. 監視ビデオにおけるデータの拡張方法であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、
    選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、
    所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含み、
    前記複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含み、
    前記照明変化は、ランダムな照明変更、及びビデオシーンに基づく照明変更を含み、
    前記ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含み、
    前記ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ－ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である、方法。
  4. 前記ノイズフィルタリングは、ノイズ追加及び焦点外れシミュレーションを含み、
    前記ノイズ追加は、画像におけるランダムな位置において乱数により元の画素値を変更することを含み、
    前記焦点外れシミュレーションは、隣接画素の値に基づいてフィルタリング関数により算出された画像において全て又は一部の画素をリセットすること、或いはカメラのパラメータ及び推定された目標距離に基づいて焦点外れシミュレーションを行うことを含む、請求項１乃至３の何れかに記載の方法。
  5. 監視ビデオにおけるデータの拡張方法であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、
    選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、
    所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含み、
    前記複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含み、
    前記シーン合成は、
    資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供することと、
    各種の動作に対してシミュレーションを行うことと、
    前記資料ライブラリからの資料をまとめ、仮想監視画像を生成することと、を含む、方法。
  6. 監視ビデオにおけるデータの拡張方法であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の処理機能及び処理機能のパラメータをランダムに選択するステップと、
    選択された１つ又は複数の処理機能を用いて前記データを処理し、新たなデータを取得するステップと、
    所定数のデータを生成するまで、上記のステップを繰り返し実行するステップと、を含み、
    前記複数の処理機能は、空間変換、照明変化、ノイズフィルタリング、シーン合成及びイベント変更を含み、
    前記イベント変更は、イベントの削除及びイベントの追加を含み、
    前記イベントの削除は、
    イベントを検出することと、
    関連対象を削除することと、
    シーンを修復し、新たな画像を生成することと、を含み、
    前記イベントの追加は、
    シーン情報を抽出することと、
    イベントの範囲を指定することと、
    前記シーン合成からの機能を用いて具体的なイベントを追加することと、を含む、方法。
  7. 監視ビデオにおけるデータの拡張装置であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、
    選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、
    所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含み、
    前記機能サブ手段は、空間変換サブ手段、照明変化サブ手段、ノイズフィルタリングサブ手段、シーン合成サブ手段及びイベント変更サブ手段を含み、
    前記空間変換サブ手段は、画像空間伸長、画像回転、画像トリミング及び画像歪みシミュレーションの１つ以上を実行し、
    前記画像歪みシミュレーションは、異なる撮像装置により撮像された画像に対するシミュレーションであり、
    該シミュレーションは、
    撮像装置の既知のパラメータに基づいて画像歪みを補正することと、
    補正された画像に新たな撮像パラメータを適用することと、を含む、装置。
  8. 監視ビデオにおけるデータの拡張装置であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、
    選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、
    所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含み、
    前記機能サブ手段は、空間変換サブ手段、照明変化サブ手段、ノイズフィルタリングサブ手段、シーン合成サブ手段及びイベント変更サブ手段を含み、
    前記照明変化サブ手段は、ランダムな照明変更、及びビデオシーンに基づく照明変更の１つ以上を実行し、
    前記ランダムな照明変更は、色度を含む色空間において、色度を変更せずに維持し、１つ又は複数の他の色成分の値をランダムに変更することを含み、
    前記ビデオシーンに基づく照明変更は、ビデオにおける各フレームについて、ビデオにおけるｎ番目のフレームについて前記ｎ番目のフレームの前又は後のｍ個のフレームの間隔を有するフレームを基準としてランダムに選択し、ｎ＋ｍ番目又はｎ－ｍ番目のフレームに対してヒストグラムのマッチングを行って新たなｎ番目のフレームを取得することを含み、ｎ及びｍは任意の正整数である、装置。
  9. 監視ビデオにおけるデータの拡張装置であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、
    選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、
    所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含み、
    前記機能サブ手段は、空間変換サブ手段、照明変化サブ手段、ノイズフィルタリングサブ手段、シーン合成サブ手段及びイベント変更サブ手段を含み、
    前記シーン合成サブ手段は、
    資料ライブラリにより、監視ビデオにおいて発生する対象及びシーンの資料を提供し、
    各種の動作に対してシミュレーションを行い、
    前記資料ライブラリからの資料をまとめ、仮想監視画像を生成する、装置。
  10. 監視ビデオにおけるデータの拡張装置であって、
    ユーザ設定又はデフォルトのデータに対して実施される機能又はパラメータ範囲に基づいて、データを処理するための１つ又は複数の機能サブ手段をランダムに選択する機能選択手段と、
    選択された１つ又は複数の機能サブ手段を用いて前記データを処理し、新たなデータを取得する処理手段と、
    所定数のデータを生成するまで、前記機能選択手段及び前記処理手段による処理を繰り返し実行する繰り返し制御手段と、を含み、
    前記機能サブ手段は、空間変換サブ手段、照明変化サブ手段、ノイズフィルタリングサブ手段、シーン合成サブ手段及びイベント変更サブ手段を含み、
    前記イベント変更サブ手段は、イベントの削除及びイベントの追加の１つ以上を実行し、
    前記イベントの削除は、
    イベントを検出することと、
    関連対象を削除することと、
    シーンを修復し、新たな画像を生成することと、を含み、
    前記イベントの追加は、
    シーン情報を抽出することと、
    イベントの範囲を指定することと、
    前記シーン合成サブ手段からの機能を用いて具体的なイベントを追加することと、を含む、装置。
JP2018056917A 2017-05-09 2018-03-23 監視ビデオにおけるデータの拡張方法及び装置 Active JP7159582B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710321532.9A CN108881807A (zh) 2017-05-09 2017-05-09 用于对监控视频中的数据进行扩充的方法和装置
CN201710321532.9 2017-05-09

Publications (2)

Publication Number Publication Date
JP2018190394A JP2018190394A (ja) 2018-11-29
JP7159582B2 true JP7159582B2 (ja) 2022-10-25

Family

ID=64097315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018056917A Active JP7159582B2 (ja) 2017-05-09 2018-03-23 監視ビデオにおけるデータの拡張方法及び装置

Country Status (3)

Country Link
US (1) US11037311B2 (ja)
JP (1) JP7159582B2 (ja)
CN (1) CN108881807A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884003A (zh) * 2021-01-18 2021-06-01 中国船舶重工集团公司第七二四研究所 一种基于样本扩充器的雷达目标样本扩充生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016168046A (ja) 2015-03-09 2016-09-23 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
CN101859224B (zh) * 2010-04-30 2012-04-18 陈铸 一种从数字图片图像中抠取目标对象的方法和系统
CN102004552A (zh) * 2010-12-06 2011-04-06 深圳泰山在线科技有限公司 一种基于跟踪点识别的加强用户现场运动体验的方法和系统
CN102156960B (zh) * 2010-12-16 2012-11-14 新奥特（北京）视频技术有限公司 一种图像噪声添加方法
US8473981B1 (en) * 2011-06-30 2013-06-25 Google Inc. Augmenting metadata of digital media objects using per object classifiers
CN102625129A (zh) * 2012-03-31 2012-08-01 福州一点通广告装饰有限公司 远程真人三维虚拟仿场景互动的实现方法
CN103678836B (zh) * 2012-08-30 2019-03-22 北京三星通信技术研究有限公司 虚拟试衣系统及方法
CN104125385B (zh) * 2013-04-24 2017-09-01 晨星半导体股份有限公司 影像编辑方法以及影像处理装置
CN103413229A (zh) * 2013-08-30 2013-11-27 郝晓伟 试戴佩饰物的效果呈现方法及装置
RU2016127260A (ru) * 2013-12-31 2018-02-06 Мемориал Слоун Кеттеринг Кэнсэ Сентр Системы, способы и устройство для многоканального отображения флюоресцентных источников в режиме реального времени
CN104954741B (zh) * 2015-05-29 2019-01-04 东方浩联（北京）智能科技有限公司 深层次自我学习网络实现矿车空满状态的检测方法和系统
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016168046A (ja) 2015-03-09 2016-09-23 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム

Also Published As

Publication number Publication date
US20180330513A1 (en) 2018-11-15
CN108881807A (zh) 2018-11-23
US11037311B2 (en) 2021-06-15
JP2018190394A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
US8824821B2 (en) Method and apparatus for performing user inspired visual effects rendering on an image
US9311901B2 (en) Variable blend width compositing
EP3218870B1 (en) Parallax tolerant video stitching with spatial-temporal localized warping and seam finding
US8606042B2 (en) Blending of exposure-bracketed images using weight distribution functions
JP5319415B2 (ja) 画像処理装置、画像処理方法
US8879835B2 (en) Fast adaptive edge-aware matting
Afifi et al. Cie xyz net: Unprocessing images for low-level computer vision tasks
CN109493297B (zh) 低质量人脸图像增强方法、系统、设备及存储介质
US10726524B2 (en) Low-resolution tile processing for real-time bokeh
Conde et al. Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
CN110852965A (zh) 一种基于生成对抗网络的视频光照增强方法及系统
CN102572219B (zh) 移动终端及其图像处理方法
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
JP7159582B2 (ja) 監視ビデオにおけるデータの拡張方法及び装置
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
JP2008046608A (ja) ビデオウィンドウ検出器
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
CN110557522A (zh) 一种去除视频抖动的方法及装置
KR20150019192A (ko) Avm 시스템을 위한 영상 합성 장치 및 그 방법
Lumentut et al. 6-DOF motion blur synthesis and performance evaluation of light field deblurring
JP6857104B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
KR101831138B1 (ko) 비디오를 이용한 애니메이션 스티커 제작 방법 및 장치
Bouzaraa et al. CNN Based Non-Local Color Mapping
WO2023166852A1 (ja) 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7159582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150