JP7079294B2 - 動画ブレの検出方法及び装置 - Google Patents

動画ブレの検出方法及び装置 Download PDF

Info

Publication number
JP7079294B2
JP7079294B2 JP2020134860A JP2020134860A JP7079294B2 JP 7079294 B2 JP7079294 B2 JP 7079294B2 JP 2020134860 A JP2020134860 A JP 2020134860A JP 2020134860 A JP2020134860 A JP 2020134860A JP 7079294 B2 JP7079294 B2 JP 7079294B2
Authority
JP
Japan
Prior art keywords
moving image
subset
sample
video
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020134860A
Other languages
English (en)
Other versions
JP2021089711A (ja
Inventor
ティエンバオ ユイ
ティエンション トン
ポン トゥ
ティン ユン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021089711A publication Critical patent/JP2021089711A/ja
Application granted granted Critical
Publication of JP7079294B2 publication Critical patent/JP7079294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • H04L43/087Jitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Environmental & Geological Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、データ処理技術の分野に関し、特に、動画ブレの検出方法及び装置に関する。
近年、情報取得、レクリエーションの方式が徐々に変化しており、動画関連製品に対するニーズが急速に伸びている。動画において画面ブレの現象があれば、動画を見るユーザに悪い体験を与えることがある。
動画ブレの検出方法には、通常、画像変位に基づくオプティカルフローの方法、特徴点のマッチングの方法及び画像の濃淡レベルの度数分布の特徴に基づく動画ブレの検出方法がある。動画ブレで画面がある程度で揺れるので、画像変位に基づくオプティカルフローの方法は、画像フレーム間のオプティカルフローにより画面の移動方向を識別することで、動画ブレがあるか否かを検出する。特徴点のマッチングの方法は、特徴点のマッチングアルゴリズムを用いて画像における物体の移動方向を識別することで、動画ブレがあるか否かを検出する。画像の濃淡レベルの度数分布の特徴に基づく動画ブレの検出方法は、行の濃淡レベルの度数の期待値と二乗偏差及び列の濃淡レベルの度数の期待値と二乗偏差を取得することにより、行方向及び列方向においてそれぞれ仮説検定を行うことで、動画ブレがあるか否かを検出する。
上記の方法はいずれも画像処理技術を用いて動画に対して検出を行うもので、演算が複雑であり、正確率が低く、ロバスト性が悪い。
本発明は、動画ブレの検出の正確率及びロバスト性を向上させる動画ブレの検出方法及び装置を提供する。
本発明の第1の態様の実施例にて提供される動画ブレの検出方法は、
動画を取得することと、
前記動画を検出モデルに入力し、前記動画のブレの程度を示すための前記動画の評価値を得ることと、を含み、前記検出モデルは動画サンプルセット中の動画サンプルを入力とし、前記動画サンプルセット中の動画サンプルの評価値を出力として、トレーニングして得られたモデルである。
好ましくは、前記動画を検出モデルに入力する前に、さらに、
前記動画の時間の長さを取得することと、
前記時間の長さがプリセット時間の長さより大きければ、前記動画から、時間の長さが前記プリセット時間の長さに等しい第1の動画を取得することと、を含み、
前記動画を検出モデルに入力することは、
前記第1の動画を検出モデルに入力することを含む。
好ましくは、前記動画から第1の動画を取得することは、
前記動画の開始時刻から、前記動画から前記第1の動画を取得すること、又は
前記動画から複数の短い動画を取得し、前記複数の短い動画の間に時間間隔が置かれ、前記複数の短い動画を接続した後に、前記第1の動画とすることを含む。
好ましくは、前記動画サンプルセットは第1のサブセット及び第2のサブセットを含み、前記第1のサブセットに含まれる動画サンプルに評価値が付けられており、前記第2のサブセットに含まれる動画サンプルに評価値が付けられておらず、
前記動画を検出モデルに入力する前に、さらに、
前記検出モデルをトレーニングすることを含み、
前記検出モデルをトレーニングすることは、
前記第1のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプルの評価値を出力として、トレーニングして第1のモデルを得ることと、
前記第2のサブセット中の動画サンプルを前記第1のモデルに入力し、前記第2のサブセット中の動画サンプルの評価値を得ることと、
前記第2のサブセット中の評価値が第1の数値より大きい動画サンプルに対して評価値の人工補正を行うことにより、補正後の第2のサブセットを取得することであって、前記補正後の第2のサブセット中の動画サンプルに評価値が付けられている、取得することと、
前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルにそれぞれ対応する評価値を出力として、トレーニングして前記検出モデルを得ることと、を含む。
好ましくは、評価値が付けられていない複数の動画サンプルを含む第3のサブセットを取得することと、
前記第3のサブセット中の動画サンプルを前記検出モデルに入力し、前記第3のサブセット中の動画サンプルの評価値を得ることと、
前記第3のサブセットから、前記検出モデルにより得られた評価値が第2の数値より大きく、且つ評価値の人工補正により得られた評価値が前記第2の数値より小さい第3の数値より小さい動画サンプルである校正サンプルを取得することと、
前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルを入力とし、前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルにそれぞれ対応する評価値を出力として、前記検出モデルをトレーニングすることにより前記検出モデルを補正することとをさらに含む。
好ましくは、前記第1のサブセットに含まれる動画サンプルの数は前記第2のサブセットに含まれる動画サンプルの数より小さい。
本発明の第2の態様の実施例にて提供される動画ブレの検出装置は、
動画を取得するための取得モジュールと、
前記動画を検出モデルに入力し、前記動画のブレの程度を示すための前記動画の評価値を得るための検出モジュールと、を含み、前記検出モデルは動画サンプルセット中の動画サンプルを入力とし、前記動画サンプルセット中の動画サンプルの評価値を出力として、トレーニングして得られたモデルである。
好ましくは、前記取得モジュールはさらに、
前記動画の時間の長さを取得し、
前記時間の長さがプリセット時間の長さより大きければ、前記動画から、時間の長さが前記プリセット時間の長さに等しい第1の動画を取得するために用いられ、
前記検出モジュールは、具体的に、前記第1の動画を検出モデルに入力するために用いられる。
好ましくは、前記取得モジュールは、具体的に、
前記動画の開始時刻から、前記動画から前記第1の動画を取得するか、又は
前記動画から複数の短い動画を取得し、前記複数の短い動画の間に時間間隔が置かれ、前記複数の短い動画を接続した後に、前記第1の動画とするために用いられる。
好ましくは、前記動画サンプルセットは第1のサブセット及び第2のサブセットを含み、前記第1のサブセットに含まれる動画サンプルに評価値が付けられており、前記第2のサブセットに含まれる動画サンプルに評価値が付けられておらず、
トレーニングモジュールをさらに含み、前記トレーニングモジュールは、
前記第1のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプルの評価値を出力として、トレーニングして第1のモデルを得て、
前記第2のサブセット中の動画サンプルを前記第1のモデルに入力し、前記第2のサブセット中の動画サンプルの評価値を得て、
前記第2のサブセット中の評価値が第1の数値より大きい動画サンプルに対して評価値の人工補正を行うことにより、補正後の第2のサブセットを取得し、前記補正後の第2のサブセット中の動画サンプルに評価値が付けられており、
前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルにそれぞれ対応する評価値を出力として、トレーニングして前記検出モデルを得るために用いられる。
好ましくは、前記トレーニングモジュールはさらに、
評価値が付けられていない複数の動画サンプルを含む第3のサブセットを取得し、
前記第3のサブセット中の動画サンプルを前記検出モデルに入力し、前記第3のサブセット中の動画サンプルの評価値を得て、
前記第3のサブセットから、前記検出モデルにより得られた評価値が第2の数値より大きく、且つ評価値の人工補正により得られた評価値が前記第2の数値より小さい第3の数値より小さい動画サンプルである校正サンプルを取得し、
前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルを入力とし、前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルにそれぞれ対応する評価値を出力として、前記検出モデルをトレーニングすることにより前記検出モデルを補正するために用いられる。
好ましくは、前記第1のサブセットに含まれる動画サンプルの数は前記第2のサブセットに含まれる動画サンプルの数より小さい。
本発明の第3の態様の実施例にて提供される動画ブレの検出装置は、メモリと、プロセッサとを含み、
前記メモリは、プログラムコマンドを記憶するために用いられ、
前記プロセッサは、前記メモリに記憶された前記プログラムコマンドを呼び出して本発明の第1の態様のいずれかの実施形態にて提供される方法を実施するために用いられる。
本発明の第4の態様の実施例にて提供されるコンピュータ可読記憶媒体は、可読記憶媒体と、コンピュータプログラムとを含み、前記コンピュータプログラムは、本発明の第1の態様のいずれかの実施形態にて提供される方法を実施するために用いられる。
本発明の第5の態様の実施例にて提供されるプログラム製品は、可読記憶媒体に記憶されたコンピュータプログラム(即ち、実行コマンド)を含む。プロセッサは可読記憶媒体から当該コンピュータプログラムを読み取ることができ、プロセッサは、本発明の第1の態様のいずれかの実施形態にて提供される方法を実施するために、当該コンピュータプログラムを実行する。
本発明は、動画ブレの検出方法及び装置を提供し、検出対象である動画を検出モデルに入力し、検出モデルにより動画の評価値を得ることができ、それにより、動画ブレがあるか否かを確定する。検出モデルは大量のサンプルに基づいてトレーニングされたモデルであるため、本発明にて提供される動画ブレの検出方法は、適用場面がより広く、動画ブレの検出の正確率及びロバスト性を向上させる。
本発明の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に用いる必要がある図面について簡単に紹介する。当然ながら、以下の説明における図面は、本発明のいくつかの実施例であり、当業者であれば、創造的な労力を要せず、これらの図面に基づいて他の図面を得ることができる。
本発明の実施例にて提供される動画ブレの検出方法のフローチャートである。 本発明の実施例にて提供される動画ブレの検出方法の別のフローチャートである。 本発明の実施例にて提供される動画ブレの検出装置の構造模式図である。 本発明の実施例にて提供される動画ブレの検出装置の別の構造模式図である。 本発明の実施例にて提供される本発明の実施例を実現するための例示的なコンピュータシステム/サーバの構造模式図である。
本発明の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本発明の実施例における図面を用いて、本発明の実施例における技術的解決手段について、明確で完全に説明する。当然ながら、説明される実施例は、本発明の実施例の一部であり、実施例の全部ではない。本発明における実施例に基づき、当業者が創造的な労力を要せずに得る他の実施例は、すべて本発明の保護範囲に属する。
本発明の明細書及び図面における「第1」、「第2」、「第3」、「第4」などの用語(あれば)は、類似の対象を区別するものであり、一定の順序又は前後の順を説明するものではない。このように用いられる用語は、ここで説明される本発明の実施例がここで図示又は説明される順序以外の順序で実施できるように、適当に交換してもよいことが理解される。また、用語の「含む」、「有する」及びこれらの任意の変形は、排他的でない包含を含めることを意図するものであり、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明らかに挙げられたステップ又はユニットに限定されず、明らかに挙げられないか、又はこれらのプロセス、方法、製品又は機器に対して固有の他のステップ又はユニットを含んでもよい。
以下、具体的な実施例を用いて本発明の技術的解決手段について詳細に説明する。以下のようないくつかの具体的な実施例は互いに結び合ってもよく、同じ若しくは類似の概念又はプロセスについて、いくつかの実施例において重複する説明は省略することがある。
図1は本発明の実施例にて提供される動画ブレの検出方法のフローチャートである。本実施例にて提供される動画ブレの検出方法は、実行主体を動画ブレの検出装置としてもよい。図1に示すように、本実施例にて提供される動画ブレの検出方法は、S101とS102とを含んでもよい。
S101、動画を取得する。
S102、動画を検出モデルに入力し、動画のブレの程度を示すための動画の評価値を得る。
ただし、検出モデルは動画サンプルセット中の動画サンプルを入力とし、動画サンプルセット中の動画サンプルの評価値を出力として、トレーニングして得られたモデルである。
具体的には、検出対象である動画を取得し、検出モデルにより、エンドツーエンドで検出対象である動画に対応する評価値を得て、さらに、動画の評価値に基づいて動画にブレの現象があるか否かを確定することができる。検出モデルは、大量の動画サンプルを入力とし、各動画サンプルに対応する評価値を出力として、トレーニングして得られたエンドツーエンドのモデルであるため、動画に動画ブレがあるか否か、動画ブレがある場合における動画ブレの程度について、良好な判定効果があり、従来技術における画像処理技術に基づいて動画にブレがあるか否かを検出することに比べて、演算の複雑さを低下させ、各種の動画の検出に適用でき、適用範囲を拡大し、動画ブレの検出の正確率及びロバスト性を向上させる。
なお、本実施例は、取得する動画の大きさ、ファイルフォーマット、動画の長さなどについて限定しない。
なお、本実施例は評価値の実現について限定しない。好ましくは、評価値は有限個の離散値を含んでもよい。例を挙げて説明する。評価値は、ブレ無しと、ブレありとを含んでもよい。評価値は、ブレ無しと、軽微なブレありと、ひどいブレありとを含んでもよい。評価値は、0と、1とを含んでもよく、ここで、0はブレ無しを表し、1はブレありを表す。評価値は、0と、1と、2とを含んでもよく、ここで、0はブレ無しを表し、1は軽微なブレありを表し、2はひどいブレありを表す。好ましくは、評価値を連続する範囲における数値としてもよい。例を挙げて説明する。評価値の値の範囲を0以上、且つ100以下としてもよい。評価値の値が大きいほど、動画がよりぶれることが説明される。例えば、評価値が80である動画は、評価値が60である動画よりもブレがひどい。又は、評価値の値が小さいほど、動画がよりぶれることが説明される。本実施例は評価値の値の範囲について限定せず、例えば、評価値の値の範囲を0以上、且つ1以下としてもよい。好ましくは、評価値に一定の値の範囲を有する場合、プリセット数値を設定してもよい。当該プリセット数値は、動画ブレがあるか否かを確定するために用いられる。例えば、評価値の値の範囲が0以上、且つ1以下であり、評価値の値が大きいほど、動画がよりぶれることが説明される。0.7をプリセット数値としてもよい。動画の評価値が0.7より大きい場合、動画ブレに確定し、動画の評価値が0.7以下である場合、動画ブレ無しに確定する。本実施例はプリセット数値の値について限定しない。
なお、本実施例は、動画サンプルセットに含まれる動画サンプルの数について限定しない。ただし、検出モデルの正確性の向上及びトレーニングの過程における過剰適合問題の解決のために、動画サンプルの数を可能な限り大きくする。例えば、動画サンプルの数を1万個より多くしてもよく、例えば、1.7万個とする。
なお、本実施例は、検出モデルのタイプについて限定しない。好ましくは、検出モデルのタイプは、ニューラルネットワークモデル、ディープラーニングアルゴリズムモデル及び機械アルゴリズムモデルのうちいずれか1つであってもよい。好ましくは、ニューラルネットワークモデルは、完全畳み込みネットワーク(Fully Convolutional Networks、FCN)モデル、生体医用画像セグメンテーション用の畳み込みネットワーク(Convolutional Networks for Biomedical Image Segmentation、U-net)モデルを含んでもよいが、これらに限定されない。
好ましくは、S102において、動画を検出モデルに入力する前に、動画の時間の長さを取得することと、動画の時間の長さがプリセット時間の長さより大きければ、動画から、時間の長さがプリセット時間の長さに等しい第1の動画を取得することとをさらに含んでもよい。
それに対応して、S102において、動画を検出モデルに入力することは、第1の動画を検出モデルに入力することを含んでもよい。
具体的には、検出対象である動画の長さが長すぎると、検出の時間を増加させることがある。そして、通常、動画の撮影環境が一般的に変化しないため、検出対象である動画が長すぎる場合、動画中の一部を検出するだけで動画ブレがあるか否かを検出でき、通常、完全な動画に対して検出する必要がない。したがって、検出対象である動画の時間の長さがプリセット時間の長さより大きい場合、検出対象である動画から、プリセット時間の長さの第1の動画を取得し、第1の動画を検出モデルに入力し、動画ブレがあるか否かを確定することで、演算量を低下させ、検出時間を短縮させ、検出効率を向上させる。
なお、本実施例はプリセット時間の長さの値について限定しない。例えば、プリセット時間の長さを40秒としてもよい。
好ましくは、1つの実現形態において、動画から第1の動画を取得することは、動画の開始時刻から、動画から第1の動画を取得することを含んでもよい。
例を挙げて説明する。プリセット時間の長さを40秒とし、検出対象である動画の時間の長さを3分間とすれば、検出対象である動画の最初の40秒の動画を第1の動画とする。
ユーザが動画を見る習慣に従って、通常、動画をクリックした後、最初から見始める。動画が最初からぶれると、ユーザが動画を見る気持ちに影響を及ぼすことになる。このため、動画の開始時刻から第1の動画を取得することは、ユーザの見る習慣を考慮し、動画検出の正確性及び有効性を向上させ、ユーザの気持ちにより近い。
好ましくは、別の実現形態において、動画から第1の動画を取得することは、動画から複数の短い動画を取得し、複数の短い動画の間に時間間隔が置かれ、複数の短い動画を接続した後に、第1の動画とすることを含んでもよい。
例を挙げて説明する。プリセット時間の長さを40秒とし、検出対象である動画の時間の長さを3分間とすれば、第1の動画は、検出対象である動画中の0~20秒、60~70秒、120~130秒の期間、又は0~20秒、60~80秒の期間を含んでもよい。
ユーザが動画を見る習慣に従って、通常、動画をクリックした後、最初から見始め、見る途中で何度もジャンプして動画の異なる部分を見ることがある。したがって、動画中の複数の短い動画を第1の動画とすることは、ユーザの見る習慣を考慮し、動画検出の正確性及び有効性を向上させ、ユーザの気持ちにより近い。
なお、本実施例は、短い動画の数、短い動画の持続時間の長さ及び検出対象である動画における位置について限定しない。
好ましくは、S102において、動画を検出モデルに入力する前に、検出モデルをトレーニングすることをさらに含んでもよい。
なお、本実施例は検出モデルのトレーニング方法について限定せず、モデルのタイプにより異なってもよい。例えば、トレーニングの過程において、動画に対してフレーム切り出しの処理を行ってもよく、1秒ごとに5フレームを切り出し、動画フレームを224*224のサイズにスケーリングし、フォーマットを三原色(Red‐Green‐Blue、RGB)画像とする。
以上から分かるように、本実施例は、動画ブレの検出方法を提供し、検出対象である動画を検出モデルに入力し、検出モデルにより動画の評価値を得ることができ、それにより、動画ブレがあるか否かを確定する。検出モデルは大量のサンプルに基づいてトレーニングされたモデルであるため、本実施例にて提供される動画ブレの検出方法は、適用場面がより広く、動画ブレの検出の正確率及びロバスト性を向上させる。
図2は本発明の実施例にて提供される動画ブレの検出方法の別のフローチャートである。本実施例は検出モデルのトレーニングの過程について説明する。本実施例において、動画サンプルセットは第1のサブセット及び第2のサブセットを含んでもよく、第1のサブセットに含まれる動画サンプルに評価値が付けられており、第2のサブセットに含まれる動画サンプルに評価値が付けられていない。図2に示すように、検出モデルをトレーニングすることは、S201~S204を含んでもよい。
S201、第1のサブセット中の動画サンプルを入力とし、第1のサブセット中の動画サンプルの評価値を出力として、トレーニングして第1のモデルを得る。
S202、第2のサブセット中の動画サンプルを第1のモデルに入力し、第2のサブセット中の動画サンプルの評価値を得る。
S203、第2のサブセット中の評価値が第1の数値より大きい動画サンプルに対して評価値の人工補正を行うことにより、補正後の第2のサブセットを取得し、補正後の第2のサブセット中の動画サンプルに評価値が付けられている。
S204、第1のサブセット中の動画サンプル及び補正後の第2のサブセット中の動画サンプルを入力とし、第1のサブセット中の動画サンプル及び補正後の第2のサブセット中の動画サンプルにそれぞれ対応する評価値を出力として、トレーニングして検出モデルを得る。
以下、例を用いて説明する。
動画サンプルセットが合計で1.7万個の動画サンプルを含むと仮定する。ただし、第1のサブセットは1000個の動画サンプルを含み、この1000個の動画サンプルに評価値が付けられている。本実施例は、第1のサブセット中の動画サンプルの評価値の取得方式について限定せず、例えば、人工で付けてもよい。第2のサブセットは1.6万個の動画サンプルを含み、この1.6万個の動画サンプルに評価値が付けられていない。
検出モデルのトレーニングの過程は以下を含んでもよく、
第1のサブセット中の1000個の動画サンプルを入力とし、この1000個の動画サンプルにそれぞれ対応する評価値を出力として、トレーニングして第1のモデルを得る。次に、第2のサブセット中の1.6万個の動画サンプルを第1のモデルに入力し、この1.6万個の動画サンプルにそれぞれ対応する評価値を得る。続いて、第2のサブセットに対応する補正後の第2のサブセットを取得する。具体的には、人工補正の方式により、第2のサブセット中の評価値が第1の数値より大きい動画サンプルに対して評価値の人工補正を行う。説明の便宜上、第2のサブセット中の動画サンプルの評価値に対して、第1のモデルにより得られた評価値を評価値P1として表し、人工補正の方式により得られた評価値を評価値P2として表す。例えば、第1の数値は0.7である。第2のサブセット中の動画サンプル1の評価値P1は0.8である。動画サンプル1に対して人工補正を行うことにより、動画サンプル1の評価値P2が得られ、0.6であることが可能である。最後に、第1のサブセット中の1000個の動画サンプル及び補正後の第2のサブセット中の1.6万個の動画サンプルを入力とし、各動画サンプルの評価値を出力として、トレーニングして検出モデルを得る。
以上から分かるように、第1のモデルは、動画サンプルセット中の一部の動画サンプルのトレーニングにより得られたものであり、さらに正確率の向上に余地がある。第2のサブセットに含まれる動画サンプルに評価値が付けられておらず、まず、第1のモデルにより各動画サンプルの評価値を得ることができる。第1のモデルに誤差が存在する可能性があるため、人工補正の方式により、第1のモデルが出力した評価値がより高い動画サンプルに対して補正を行う。続いて、第1のサブセット及び補正後の第2のサブセット中の動画サンプルにより、第1のモデルを基としてトレーニングを続け、正確な検出モデルを得る。
ただし、S203~S204は複数回繰り返して実行してもよく、本実施例は実行の回数について限定しない。
ただし、本実施例は第1の数値の値について限定しない。
好ましくは、第1のサブセットに含まれる動画サンプルの数を第2のサブセットに含まれる動画サンプルの数より小さくしてもよく、第1のサブセットの取得の難易度を低減させる。
好ましくは、S204の後に、さらに、
評価値が付けられていない複数の動画サンプルを含む第3のサブセットを取得することと、
第3のサブセット中の動画サンプルを検出モデルに入力し、第3のサブセット中の動画サンプルの評価値を得ることと、
第3のサブセットから、検出モデルにより得られた評価値が第2の数値より大きく、且つ評価値の人工補正により得られた評価値が第2の数値より小さい第3の数値より小さい動画サンプルである校正サンプルを取得することと、
第1のサブセット中の動画サンプル、補正後の第2のサブセット中の動画サンプル及び校正サンプルを入力とし、第1のサブセット中の動画サンプル、補正後の第2のサブセット中の動画サンプル及び校正サンプルにそれぞれ対応する評価値を出力として、検出モデルをトレーニングすることにより検出モデルを補正することとを含む。
以下、上記の例と組み合わせて説明する。
第3のサブセットは1万個の動画サンプルを含み、この1万個の動画サンプルに評価値が付けられていないと仮定する。
検出モデルのトレーニングの過程は以下をさらに含んでもよく、
第3のサブセット中の1万個の動画サンプルを検出モデルに入力し、この1万個の動画サンプルにそれぞれ対応する評価値を得る。第3のサブセットから校正サンプルを取得する。具体的には、第3のサブセット中の検出モデルにより得られた評価値が第2の数値より大きい動画サンプルに対して人工補正を行う。説明の便宜上、第3のサブセット中の動画サンプルの評価値に対して、検出モデルにより得られた評価値を評価値Q1として表し、人工補正の方式により得られた評価値を評価値Q2として表す。例えば、第2の数値は0.7である。第3のサブセット中の動画サンプル1の評価値Q1は0.8である。動画サンプル1に対して人工補正を行うことにより、動画サンプル1の評価値Q2が得られ、0.6であることが可能である。動画サンプル1が校正サンプルである。校正サンプルの数は2000個であると仮定する。最後に、第1のサブセット中の1000個の動画サンプル、補正後の第2のサブセット中の1.6万個の動画サンプル及び2000個の校正サンプルを入力とし、各動画サンプルの評価値を出力として、検出モデルをトレーニングすることにより検出モデルを補正する。
以上から分かるように、第3のサブセットにより検出モデルを補正すると、検出モデルの正確性をさらに向上させる。
図3は本発明の実施例にて提供される動画ブレの検出装置の構造模式図である。本実施例にて提供される動画ブレの検出装置は、図1~図2に示す実施例にて提供される動画ブレの検出方法を実行するために用いられる。図3に示すように、本実施例にて提供される動画ブレの検出装置は、
動画を取得するための取得モジュール31と、
前記動画を検出モデルに入力し、前記動画のブレの程度を示すための前記動画の評価値を得るための検出モジュール32と、を含み、ただし、前記検出モデルは動画サンプルセット中の動画サンプルを入力とし、前記動画サンプルセット中の動画サンプルの評価値を出力として、トレーニングして得られたモデルである。
好ましくは、前記取得モジュール31はさらに、
前記動画の時間の長さを取得し、
前記時間の長さがプリセット時間の長さより大きければ、前記動画から、時間の長さが前記プリセット時間の長さに等しい第1の動画を取得するために用いられる。
前記検出モジュール32は、具体的に、前記第1の動画を検出モデルに入力するために用いられる。
好ましくは、前記取得モジュール31は、具体的に、
前記動画の開始時刻から、前記動画から前記第1の動画を取得するか、又は、
前記動画から複数の短い動画を取得し、前記複数の短い動画の間に時間間隔が置かれ、前記複数の短い動画を接続した後に、前記第1の動画とするために用いられる。
好ましくは、前記動画サンプルセットは第1のサブセット及び第2のサブセットを含み、前記第1のサブセットに含まれる動画サンプルに評価値が付けられており、前記第2のサブセットに含まれる動画サンプルに評価値が付けられておらず、
トレーニングモジュールをさらに含み、前記トレーニングモジュールは、
前記第1のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプルの評価値を出力として、トレーニングして第1のモデルを得て、
前記第2のサブセット中の動画サンプルを前記第1のモデルに入力し、前記第2のサブセット中の動画サンプルの評価値を得て、
前記第2のサブセット中の評価値が第1の数値より大きい動画サンプルに対して評価値の人工補正を行うことにより、補正後の第2のサブセットを取得し、前記補正後の第2のサブセット中の動画サンプルに評価値が付けられており、
前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルにそれぞれ対応する評価値を出力として、トレーニングして前記検出モデルを得るために用いられる。
好ましくは、前記トレーニングモジュールは、さらに、
評価値が付けられていない複数の動画サンプルを含む第3のサブセットを取得し、
前記第3のサブセット中の動画サンプルを前記検出モデルに入力し、前記第3のサブセット中の動画サンプルの評価値を得て、
前記第3のサブセットから、前記検出モデルにより得られた評価値が第2の数値より大きく、且つ評価値の人工補正により得られた評価値が前記第2の数値より小さい第3の数値より小さい動画サンプルである校正サンプルを取得し、
前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルを入力とし、前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルにそれぞれ対応する評価値を出力として、前記検出モデルをトレーニングすることにより前記検出モデルを補正するために用いられる。
好ましくは、前記第1のサブセットに含まれる動画サンプルの数は前記第2のサブセットに含まれる動画サンプルの数より小さい。
本実施例にて提供される動画ブレの検出装置は、図1~図2に示す実施例にて提供される動画ブレの検出方法を実行するために用いられ、その技術原理及び技術効果が類似するため、ここで重複する説明は省略する。
図4は本発明の実施例にて提供される動画ブレの検出装置の別の構造模式図である。図4に示すように、動画ブレの検出装置は、プロセッサ41とメモリ42とを含んでもよい。前記メモリ42はコマンドを記憶するために用いられ、前記プロセッサ41は、前記メモリ42に記憶されたコマンドを実行することにより、前記動画ブレの検出装置に図1~図2に示す実施例にて提供される動画ブレの検出方法を実行させるために用いられ、技術原理及び技術効果が類似するため、ここで重複する説明は省略する。
なお、本発明は、動画ブレの検出装置の機器形態及び具体的な構造について限定しない。
一例として、図5は本発明の実施例にて提供される本発明の実施例を実現するための例示的なコンピュータシステム/サーバの構造模式図である。図5に示されるコンピュータシステム/サーバ012は一例にすぎず、本発明の実施例の機能及び使用範囲を限定するものではない。
図5に示すように、コンピュータシステム/サーバ012は汎用計算機器の形態で示されている。コンピュータシステム/サーバ012のコンポーネントは、1つ以上のプロセッサ又は処理ユニット016と、システムメモリ028と、異なるシステムコンポーネント(システムメモリ028とプロセッサ016とを含む)を接続させるバス018とを含んでもよいが、これらに限定されない。
バス018はいくつかのタイプのバス構造のうちの1種又は多種を表し、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多種のバス構造のうちの任意のバス構造を用いるローカルバスを含む。例を挙げると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ(ISA)バス、マイクロチャネルアーキテクチャ(MAC)バス、拡張型ISAバス、ビデオエレクトロニクススタンダーズアソシエーション(VESA)ローカルバス及びペリフェラルコンポーネントインターコネクト(PCI)バスを含むが、これらに限定されない。
典型的に、コンピュータシステム/サーバ012は多種のコンピュータシステム可読媒体を含む。これらの媒体はコンピュータシステム/サーバ012がアクセス可能であるあらゆる使用可能な媒体であってもよく、揮発性及び不揮発性媒体と、持ち運び可能及び持ち運び不可能な媒体とを含む。
システムメモリ028は揮発性メモリ形態のコンピュータシステム可読媒体、例えばランダムアクセスメモリ(RAM)030及び/又はキャッシュメモリ032を含んでもよい。コンピュータシステム/サーバ012は、他の持ち運び可能/持ち運び不可能な、揮発性/不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。一例として、記憶システム034は、持ち運び不可能な、不揮発性磁気媒体(図5に示せず、通常は「ハードディスクドライブ」と呼ばれる)をリード/ライトするために用いられる。図5に示さなくても、持ち運び可能な不揮発性磁気ディスク(例えば「ソフトディスク」)をリード/ライトするための磁気ディスクドライブ、及び持ち運び可能な不揮発性光ディスク(例えばコンパクトディスク 読み取り専用メモリ(CD-ROM)、デジタルビデオディスクROM(DVD-ROM)又は他の光媒体)をリード/ライトするための光ディスクドライブを提供してもよい。このような場合に、各ドライブは1つ又は複数のデータ媒体インタフェースを介してバス018に接続することができる。メモリ028は少なくとも1つのプログラム製品を含んでもよく、当該プログラム製品は1セット(例えば少なくとも1つ)のプログラムモジュールを有し、これらのプログラムモジュールは、本発明の各実施例の機能を実行するように配置される。
1セット(少なくとも1つ)のプログラムモジュール042を有するプログラム/ユーティリティツール040は、例えばメモリ028に記憶してもよく、このようなプログラムモジュール042は、オペレーティングシステム、1つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されず、これらの例のうち、それぞれ又はある組み合わせには、ネットワーク環境の実現を含む可能性がある。通常、プログラムモジュール042は本発明に記載される実施例における機能及び/又は方法を実行する。
コンピュータシステム/サーバ012は、1つ又は複数の外付けデバイス014(例えばキーボード、ポインティングデバイス、ディスプレイ024など)と通信してもよいし、ユーザが当該コンピュータシステム/サーバ012と対話できるようにさせる1つ又は複数のデバイスと通信し、及び/又は当該コンピュータシステム/サーバ012が1つ又は複数の他の計算機器と通信できるようにさせるあらゆるデバイス(例えばネットワークカード、モデムなど)と通信してもよい。このような通信は、入力/出力(I/O)インタフェース022を介して行ってもよい。そして、コンピュータシステム/サーバ012は、さらに、ネットワークアダプタ020を介して、1つ又は複数のネットワーク(例えばローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)及び/又はパブリックネットワーク、例えばインターネット)と通信してもよい。図5に示すように、ネットワークアダプタ020はバス018を介してコンピュータシステム/サーバ012の他のモジュールと通信する。図5に示さなくても、コンピュータシステム/サーバ012と組み合わせて、マイクロコード、デバイスドライバ、冗長プロセッサ、外付けディスクアレイ、独立したディスクの冗長アレイ(RAID)システム、テープドライブ、及びデータバックアップ記憶システムなどを含むがこれらに限定されない他のハードウェア及び/又はソフトウェアモジュールを用いてもよいことを理解すべきである。
プロセッサ016は、システムメモリ028に記憶されるプログラムを実行することにより、本発明に記載される実施例における機能及び/又は方法を実行する。
上記のコンピュータプログラムはコンピュータ記憶媒体に配置されてもよく、即ち、当該コンピュータ記憶媒体にはコンピュータプログラムがコーディングされており、当該プログラムが1つ又は複数のコンピュータにより実行されると、1つ又は複数のコンピュータに本発明の上記の実施例に示される方法のフロー及び/又は装置の操作を実行させる。
当業者であれば、上記の各方法に係る実施例のステップの全部又は一部の実施はプログラムコマンドに関連するハードウェアにより完了できることを理解すべきである。前記プログラムはコンピュータ可読記憶媒体に記憶することができる。当該プログラムが実行されると、上記の各方法に係る実施例のステップが実行される。前記記憶媒体は、ROM、RAM、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種媒体を含む。
なお、以上の各実施例は、本発明の実施例の技術的解決手段を限定するものではく、説明するために用いられる。前記各実施例を参照しながら本発明の実施例を詳細に説明したが、当業者であれば、前記各実施例に記載された技術的解決手段を補正するか、又はそのうち一部又は全部の技術的解決手段に対して等価置換を行うことができ、これらの補正又は置換が対応する技術的解決手段の本質を本発明の実施例の技術的解決手段の範囲から逸脱させないことが理解されるべきである。

Claims (14)

  1. 動画を取得することと、
    前記動画を検出モデルに入力し、前記動画のブレの程度を示すための前記動画の評価値を得ることと、を含み、
    前記検出モデルは動画サンプルセット中の動画サンプルを入力とし、前記動画サンプルセット中の動画サンプルの評価値を出力として、トレーニングして得られたモデルであり、
    前記動画サンプルセットは第1のサブセット及び第2のサブセットを含み、前記第1のサブセットに含まれる動画サンプルに評価値が付けられており、前記第2のサブセットに含まれる動画サンプルに評価値が付けられていないことを特徴とする、動画ブレの検出方法。
  2. 前記動画を検出モデルに入力する前に、さらに、
    前記動画の時間の長さを取得することと、
    前記時間の長さがプリセット時間の長さより大きければ、前記動画から、時間の長さが前記プリセット時間の長さに等しい第1の動画を取得することと、を含み、
    前記動画を検出モデルに入力することは、
    前記第1の動画を検出モデルに入力することを含むことを特徴とする、請求項1に記載の動画ブレの検出方法。
  3. 前記動画から第1の動画を取得することは、
    前記動画の開始時刻から、前記動画から前記第1の動画を取得すること、又は
    前記動画から複数の短い動画を取得し、前記複数の短い動画の間に時間間隔が置かれ、前記複数の短い動画を接続した後に、前記第1の動画とすることを含むことを特徴とする、請求項2に記載の動画ブレの検出方法。
  4. 記動画を検出モデルに入力する前に、さらに、
    前記検出モデルをトレーニングすることを含み、
    前記検出モデルをトレーニングすることは、
    前記第1のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプルの評価値を出力として、トレーニングして第1のモデルを得ることと、
    前記第2のサブセット中の動画サンプルを前記第1のモデルに入力し、前記第2のサブセット中の動画サンプルの評価値を得ることと、
    前記第2のサブセット中の評価値が第1の数値より大きい動画サンプルに対して評価値の人工補正を行うことにより、補正後の第2のサブセットを取得することであって、前記補正後の第2のサブセット中の動画サンプルに評価値が付けられている、取得することと、
    前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルにそれぞれ対応する評価値を出力として、トレーニングして前記検出モデルを得ることと、を含むことを特徴とする、請求項1から請求項3のいずれか一項に記載の動画ブレの検出方法。
  5. 評価値が付けられていない複数の動画サンプルを含む第3のサブセットを取得することと、
    前記第3のサブセット中の動画サンプルを前記検出モデルに入力し、前記第3のサブセット中の動画サンプルの評価値を得ることと、
    前記第3のサブセットから、前記検出モデルにより得られた評価値が第2の数値より大きく、且つ評価値の人工補正により得られた評価値が前記第2の数値より小さい第3の数値より小さい動画サンプルである校正サンプルを取得することと、
    前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルを入力とし、前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルにそれぞれ対応する評価値を出力として、前記検出モデルをトレーニングすることにより前記検出モデルを補正することと、をさらに含むことを特徴とする、請求項4に記載の動画ブレの検出方法。
  6. 前記第1のサブセットに含まれる動画サンプルの数は前記第2のサブセットに含まれる動画サンプルの数より小さいことを特徴とする、請求項4に記載の動画ブレの検出方法。
  7. 動画を取得するための取得モジュールと、
    前記動画を検出モデルに入力し、前記動画のブレの程度を示すための前記動画の評価値を得るための検出モジュールと、を含み、
    前記検出モデルは動画サンプルセット中の動画サンプルを入力とし、前記動画サンプルセット中の動画サンプルの評価値を出力として、トレーニングして得られたモデルであり、
    前記動画サンプルセットは第1のサブセット及び第2のサブセットを含み、前記第1のサブセットに含まれる動画サンプルに評価値が付けられており、前記第2のサブセットに含まれる動画サンプルに評価値が付けられていないことを特徴とする、動画ブレの検出装置。
  8. 前記取得モジュールはさらに、
    前記動画の時間の長さを取得し、
    前記時間の長さがプリセット時間の長さより大きければ、前記動画から、時間の長さが前記プリセット時間の長さに等しい第1の動画を取得するために用いられ、
    前記検出モジュールは、前記第1の動画を検出モデルに入力するために用いられることを特徴とする、請求項7に記載の動画ブレの検出装置。
  9. 前記取得モジュールは、
    前記動画の開始時刻から、前記動画から前記第1の動画を取得するか、又は
    前記動画から複数の短い動画を取得し、前記複数の短い動画の間に時間間隔が置かれ、前記複数の短い動画を接続した後に、前記第1の動画とするために用いられることを特徴とする、請求項8に記載の動画ブレの検出装置。
  10. レーニングモジュールをさらに含み、前記トレーニングモジュールは、
    前記第1のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプルの評価値を出力として、トレーニングして第1のモデルを得て、
    前記第2のサブセット中の動画サンプルを前記第1のモデルに入力し、前記第2のサブセット中の動画サンプルの評価値を得て、
    前記第2のサブセット中の評価値が第1の数値より大きい動画サンプルに対して評価値の人工補正を行うことにより、補正後の第2のサブセットを取得し、前記補正後の第2のサブセット中の動画サンプルに評価値が付けられており、
    前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルを入力とし、前記第1のサブセット中の動画サンプル及び前記補正後の第2のサブセット中の動画サンプルにそれぞれ対応する評価値を出力として、トレーニングして前記検出モデルを得るために用いられることを特徴とする、請求項7から請求項9のいずれか一項に記載の動画ブレの検出装置。
  11. 前記トレーニングモジュールはさらに、
    評価値が付けられていない複数の動画サンプルを含む第3のサブセットを取得し、
    前記第3のサブセット中の動画サンプルを前記検出モデルに入力し、前記第3のサブセット中の動画サンプルの評価値を得て、
    前記第3のサブセットから、前記検出モデルにより得られた評価値が第2の数値より大きく、且つ評価値の人工補正により得られた評価値が前記第2の数値より小さい第3の数値より小さい動画サンプルである校正サンプルを取得し、
    前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルを入力とし、前記第1のサブセット中の動画サンプル、前記補正後の第2のサブセット中の動画サンプル及び前記校正サンプルにそれぞれ対応する評価値を出力として、前記検出モデルをトレーニングすることにより前記検出モデルを補正するために用いられることを特徴とする、請求項10に記載の動画ブレの検出装置。
  12. 前記第1のサブセットに含まれる動画サンプルの数は前記第2のサブセットに含まれる動画サンプルの数より小さいことを特徴とする、請求項10に記載の動画ブレの検出装置。
  13. メモリと、プロセッサとを含み、
    前記メモリは、プログラムコマンドを記憶するために用いられ、
    前記プロセッサは、前記メモリに記憶された前記プログラムコマンドを呼び出して請求項1から請求項6のいずれか一項に記載の動画ブレの検出方法を実施するために用いられることを特徴とする、動画ブレの検出装置。
  14. 可読記憶媒体と、コンピュータプログラムとを含み、前記コンピュータプログラムは請求項1から請求項6のいずれか一項に記載の動画ブレの検出方法を実施するために用いられることを特徴とする、コンピュータ可読記憶媒体。
JP2020134860A 2019-12-18 2020-08-07 動画ブレの検出方法及び装置 Active JP7079294B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911310784.7A CN110971895B (zh) 2019-12-18 2019-12-18 视频抖动检测方法和装置
CN201911310784.7 2019-12-18

Publications (2)

Publication Number Publication Date
JP2021089711A JP2021089711A (ja) 2021-06-10
JP7079294B2 true JP7079294B2 (ja) 2022-06-01

Family

ID=70034970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020134860A Active JP7079294B2 (ja) 2019-12-18 2020-08-07 動画ブレの検出方法及び装置

Country Status (4)

Country Link
US (1) US11546577B2 (ja)
EP (1) EP3817392A1 (ja)
JP (1) JP7079294B2 (ja)
CN (1) CN110971895B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015102A1 (ko) * 2010-07-30 2012-02-02 한국전력공사 케이블의 고장점 탐지 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401395A (zh) * 2021-12-30 2022-04-26 中铁第四勘察设计院集团有限公司 一种基于视频智能分析检测摄像机安装松旷的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110193978A1 (en) 2010-02-11 2011-08-11 Microsoft Corporation Generic platform video image stabilization
WO2015025704A1 (ja) 2013-08-23 2015-02-26 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP2016143351A (ja) 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2017098637A (ja) 2015-11-18 2017-06-01 カシオ計算機株式会社 画像特定装置、画像特定方法及びプログラム
JP2019003585A (ja) 2017-06-20 2019-01-10 日本放送協会 要約映像生成装置およびそのプログラム
JP2019152964A (ja) 2018-03-01 2019-09-12 コニカミノルタ株式会社 学習方法および学習装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1176546C (zh) * 1999-07-09 2004-11-17 松下电器产业株式会社 图像质量修正装置
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US20150341812A1 (en) * 2003-08-29 2015-11-26 Ineoquest Technologies, Inc. Video quality monitoring
CN102421008A (zh) * 2011-12-07 2012-04-18 浙江捷尚视觉科技有限公司 视频质量智能检测系统
US9854168B2 (en) * 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization
CN104410855A (zh) * 2014-11-05 2015-03-11 广州中国科学院先进技术研究所 一种监控视频的抖动检测方法
CN108122234B (zh) * 2016-11-29 2021-05-04 北京市商汤科技开发有限公司 卷积神经网络训练及视频处理方法、装置和电子设备
KR20190032818A (ko) * 2017-09-20 2019-03-28 삼성전자주식회사 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
KR102475912B1 (ko) * 2017-12-01 2022-12-09 삼성전자 주식회사 전자 장치 및 그의 이미지 획득 방법
WO2019124055A1 (ja) * 2017-12-18 2019-06-27 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7233162B2 (ja) * 2017-12-18 2023-03-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN108337505B (zh) * 2018-01-30 2020-11-10 百度在线网络技术(北京)有限公司 信息获取方法和装置
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技(深圳)有限公司 图像的处理方法、装置、存储介质和电子装置
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN109784391B (zh) * 2019-01-04 2021-01-05 杭州比智科技有限公司 基于多模型的样本标注方法及装置
KR20200110906A (ko) * 2019-03-18 2020-09-28 삼성전자주식회사 자동 초점 조절 기능을 제공하기 위한 전자 장치 및 그 동작 방법
CN110062160B (zh) * 2019-04-09 2021-07-02 Oppo广东移动通信有限公司 图像处理方法和装置
JP7427370B2 (ja) * 2019-05-17 2024-02-05 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP2020190690A (ja) * 2019-05-23 2020-11-26 オリンパス株式会社 像ぶれ補正装置、像ぶれ補正方法、及び像ぶれ補正プログラム
CN110414321B (zh) * 2019-06-13 2022-02-01 北京百度网讯科技有限公司 自动识别晃动视频的方法和系统
CN110248048B (zh) * 2019-06-21 2021-11-09 苏宁云计算有限公司 一种视频抖动的检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110193978A1 (en) 2010-02-11 2011-08-11 Microsoft Corporation Generic platform video image stabilization
WO2015025704A1 (ja) 2013-08-23 2015-02-26 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP2016143351A (ja) 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2017098637A (ja) 2015-11-18 2017-06-01 カシオ計算機株式会社 画像特定装置、画像特定方法及びプログラム
JP2019003585A (ja) 2017-06-20 2019-01-10 日本放送協会 要約映像生成装置およびそのプログラム
JP2019152964A (ja) 2018-03-01 2019-09-12 コニカミノルタ株式会社 学習方法および学習装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015102A1 (ko) * 2010-07-30 2012-02-02 한국전력공사 케이블의 고장점 탐지 장치 및 방법

Also Published As

Publication number Publication date
EP3817392A1 (en) 2021-05-05
CN110971895A (zh) 2020-04-07
US11546577B2 (en) 2023-01-03
JP2021089711A (ja) 2021-06-10
CN110971895B (zh) 2022-07-08
US20210195170A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US10755173B2 (en) Video deblurring using neural networks
US9396523B2 (en) Image restoration cascade
JP6961139B2 (ja) 知覚的な縮小方法を用いて画像を縮小するための画像処理システム
CN109300179B (zh) 动画制作方法、装置、终端和介质
JP7079294B2 (ja) 動画ブレの検出方法及び装置
US20220383479A1 (en) Method for detecting defects in images, computer device, and storage medium
CN111811694B (zh) 一种温度校准方法、装置、设备及存储介质
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN114885112A (zh) 基于数据融合的高帧率视频生成方法及装置
CN109324967A (zh) 应用程序弹窗控件测试的方法、装置及终端设备
WO2023179342A1 (zh) 重定位方法及相关设备
CN116912187A (zh) 图像生成模型训练及图像生成方法、装置、设备和介质
US11823359B2 (en) Systems and methods for leveling images
CN111915587A (zh) 视频处理方法、装置、存储介质和电子设备
US20220284563A1 (en) Method for discovering defects in products by detecting abnormalities in images, electronic device, and storage medium
CN113361380B (zh) 人体关键点检测模型训练方法、检测方法及装置
CN113361381B (zh) 人体关键点检测模型训练方法、检测方法及装置
CN110728732A (zh) 一种图像重建方法、装置、设备及介质
CN112100075B (zh) 一种用户界面回放方法、装置、设备及存储介质
CN115410133A (zh) 视频密集预测方法及其装置
US20090245580A1 (en) Modifying parameters of an object detector based on detection information
CN115035042A (zh) 动作迁移模型的评价方法、装置、电子设备及存储介质
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
TWI844873B (zh) 產品瑕疵檢測方法、電子設備及電腦可讀存儲媒體
CN113207037B (zh) 全景视频动画的模板剪辑方法、装置、终端、系统及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220520

R150 Certificate of patent or registration of utility model

Ref document number: 7079294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150