JP7490082B2

JP7490082B2 - 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器

Info

Publication number: JP7490082B2
Application number: JP2022567668A
Authority: JP
Inventors: 明星任
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-09-25
Filing date: 2021-08-18
Publication date: 2024-05-24
Anticipated expiration: 2041-08-18
Also published as: WO2022062772A1; EP4129430A1; JP2023525283A; EP4129430A4; US20220415038A1; CN112206508A

Description

［関連出願の相互参照］
本出願は、２０２０年０９月２５日に中国特許局で提出された、出願番号が２０２０１１０２４４８３．０であり、発明名称が「画像検出方法、装置及びコンピュータ可読記憶媒体」の中国特許出願の優先権を主張しており、その内容のすべては、援用で本出願に取り込まれる。
［技術分野］
本出願は、通信技術分野に関し、具体的に、画像検出方法、装置、コンピュータ機器及びコンピュータ可読記憶媒体に関する。

インターネット技術の急速な発展に伴い、コンピュータ機器の処理能力もますます強くなり、それによって、多くのヒューマン・マシン・インタラクションに基づくアプリケーション、例えばクラウドゲームが誕生し、このクラウドゲームのゲームホストコンピュータがサーバにあり、プレイヤーがローカルネットワークを介してサーバに接続し、サーバは、ゲームをプレイしている間に、ネットワークを介してゲーム画面をリアルタイムに伝送し、生き生きとしたインタラクティブ・エンターテインメントを行う。

従来技術では、クラウドゲームの起動及び使用中に、ゲームがフリーズする可能性が高く、コンピュータ機器は、中央処理装置（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ、ＣＰＵ）の使用頻度をリアルタイムに取得することにより、この中央処理装置の使用頻度に異常が生じた場合、ゲームがフリーズすると判定し、対応するゲームの最適化処理を行うことができる。

従来技術の研究と実践の過程では、本出願の発明者らは、従来技術では、ゲームにおける異なるシーンの、中央処理装置に対する消費が異なるため、異常判定の閾値を正確に設定することが困難であり、正確率が比較的に悪くなってしまうことを見出した。

本出願の各実施例は、画像検出方法、装置、コンピュータ機器及びコンピュータ可読記憶媒体を提供する。それは、以下のものが含まれる。

サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って前記第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うステップと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップとを含む。

画像検出装置であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るための切り取りユニットと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うための検出ユニットと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含む。

コンピュータ機器であって、メモリと、処理装置と、メモリに記憶されており且つ処理装置で動作できるコンピュータプログラムとを含み、前記処理装置が前記プログラムを実行すると、本出願の実施例によるいずれかの画像検出方法におけるステップを実現する。

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムが処理装置により実行されると、本出願の実施例によるいずれかの画像検出方法におけるステップを実現する。

コンピュータプログラム製品又はコンピュータプログラムであって、コンピュータ可読記憶媒体に記憶されたコンピュータ命令を含む。コンピュータ機器の処理装置は、コンピュータ可読記憶媒体からこのコンピュータ命令を読み取り、処理装置がこのコンピュータ命令を実行することにより、このコンピュータ機器に上記各選択的な実施例による画像検出方法を実行させる。

本出願の実施例による画像検出システムのシーン概略図である。本出願の実施例による画像検出システムの別のシーン概略図である。本出願の実施例による画像検出方法のフローチャートである。本出願の実施例による画像検出方法の別のフローチャートである。本出願の実施例による画像検出方法のシーン概略図である。本出願の実施例による画像検出方法の別のシーン概略図である。本出願の実施例による画像検出装置の構造概略図である。本出願の実施例によるサーバの構造概略図である。

本出願の実施例は、画像検出方法、装置、コンピュータ機器及びコンピュータ可読記憶媒体を提供する。

図１を参照すると、図１は、本出願の実施例による画像検出システムのシーン概略図であり、ベースサーバＡ、及び、仮想化されたクラウドホストコンピュータＢを含み（このベースサーバＡと仮想化されたクラウドホストコンピュータＢは、さらに、より多く含まれてもよく、具体的な数は、ここで限定されない）、このベースサーバＡは、物理マシンであり、エンティティサーバとも呼ばれ、仮想マシン（ＶｉｒｔｕａｌＭａｃｈｉｎｅ）に対するエンティティコンピュータの称呼であり、物理マシンが仮想マシンに提供するハードウェア環境は、「ドナー」又は「ホスト」とも呼ばれる。ベースサーバＡは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散型システムであってもよく、さらに、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドメモリ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、ＣＤＮ、及びビッグデータや人工知能プラットフォームなどの基礎的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。このベースサーバＡを仮想化することにより、各台のベースサーバＡをいずれも複数のクラウドホストコンピュータＢとして仮想化することができ、このクラウドホストコンピュータＢは、仮想マシンであり、仮想プライベートサーバ（ＶｉｒｔｕａｌＰｒｉｖａｔｅＳｅｒｖｅｒ、ＶＰＳ）とも呼ばれてもよく、１つのサーバを複数の仮想独立プライベートサーバに分割する技術である。ＶＰＳ技術を用いる各仮想独立サーバは、それぞれ独立したパブリックインターネットプロトコルアドレス（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌＡｄｄｒｅｓｓ、ＩＰ）、オペレーティングシステム、ハードディスクスペース、メモリスペース、処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵ）リソースなどを有し、さらにプログラムインストール、サーバ再起動などの操を行うことができ、１台の独立サーバの動作と完全に同様である。つまり、ソフトウェアレベルで、１台のサーバを仮想的に分割し、複数台のサーバを仮想化し、このように、わずかな計算能力だけで、ユーザが大型サーバの計算リソースを楽しむことができる。広義に言えば、クラウドホストコンピュータＢは、ＶＰＳであり、ただし、クラウドホストコンピュータＢは、全てのベースサーバＡ又は仮想マシンでさらに全ての基礎的なリソース、例えばメモリ帯域幅などを仮想化する。クラウドホストコンピュータＢの利点は、データを分散して記憶し、基礎的なリソースを動的に拡張できることである。安全性と拡張性が比較的に高い。

この各台のクラウドホストコンピュータＢは、独立したオペレーティングシステムとハードウェア構造を有し、１台の独立ホストコンピュータの動作と完全に同様であり、ただし、各台のクラウドホストコンピュータＢにおける物理アドレスは、いずれも仮想マシンの物理アドレスであり、各台のクラウドホストコンピュータＢに複数の処理装置がインストールされてもよく、例えば１台のクラウドホストコンピュータＢに複数のグラフィックス処理装置（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＧＰＵ）がインストールされ、１台のクラウドホストコンピュータＢは、ＶＭｗａｒｅ仮想マシンと似てもよく、１つの物理マシンは、複数のアンドロイド（登録商標）オペレーティングシステムを仮想化することができ、この１台のクラウドホストコンピュータＢは、ユーザの端末環境をシミュレートするゲームのボードカード又はコンテナがインストールされてもよく、物理ディスプレイがない。

本出願の実施例をより良く記述するために、図２を併せて参照すると、ゲームの動作環境は、１台のクラウドホストコンピュータＢのボードカード又はコンテナＣにインストールされてもよく、このボードカード又はコンテナＣは、ユーザの端末と似ているが、画面表示を行う物理ディスプレイがなく、このボードカード又はコンテナＣは、プッシュストリーム処理装置があり、プッシュストリームサーバＤによって、ゲームビデオと音声を端末にプッシュし、この端末は、スマートフォン、タブレットコンピュータ、ノートパソコン、デスクトップパソコン、スマートスピーカー、スマートウォッチなどであってもよいが、これらに限定されない。端末とサーバは、有線又は無線通信方式で直接又は間接接続されてもよく、本出願は、ここで限定しない。この端末は、アプリケーション又はウェブページＥをインストールしてオンにし、このアプリケーション又はウェブページＥによってゲームビデオと音声を受信してロードすることができ、一実施形態では、ユーザは、端末に制御イベントを入力し、行動するようにビデオにおける仮想ゲーム人物を制御し、端末は、この制御イベントをクラウドホストコンピュータＢのボードカード又はコンテナＣにバックホールし、ゲームの制御を実現する。

これにより、クラウドホストコンピュータＢにおけるボードカード又はコンテナＣにおけるゲームビデオがフリーズすると、端末側の表示に影響を与えるため、さらにユーザが操作できなくなってしまい、ゲームを行うことができなくなってしまうことによって、タイムリーな処理を実現し、ゲームのハングアップを防止するに、ゲームのビデオが異常であるか否かをリアルタイム且つ効果的に監視する必要がある。

上記アプリケーションシーンの記述に基づいて、以下、それぞれ詳細に説明する。なお、以下の実施例の番号は、実施例の好適な順序を限定するものではない。

本実施例では、画像検出装置の観点から記述する。この画像検出装置は、具体的にサーバに統合されてもよく、このサーバは、独立したサーバ又は複数のサーバからなるサーバクラスタによって実現されてもよい。サーバは、具体的に、保存ユニットを有し、且つマイクロ処理装置がインストリームされて演算能力を有するクラウドホストコンピュータ又は物理サーバであってもよい。

図３を参照すると、図３は、本出願の実施例による画像検出方法のフローチャートである。この画像検出方法は、以下のステップを含む。
ステップ１０１において、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取る。
そのうち、このビデオストリームは、複数のフレームのゲーム画像から構成されるものであってもよく、即ち、このビデオストリームは、ゲーム画面であってもよく、理解できるように、関連技術では、ゲーム画面のレンダリング負荷が比較的に大きいか、又はクラウドホストコンピュータのいくつかのコンポーネントがゲームの動作と互換性がないため、ゲーム起動時又はゲーム中にフリーズしてしまい、ゲームがフリーズしていると、画像を視覚だけで観察すると、ゲームが本当にフリーズして動かないか否かを決定することができない。

これによって、本出願の実施では、サーバによって、予め設定された期間を空けた第１の画像と第２の画像をゲームビデオストリームから定期的に切り取ることができ、この予め設定された期間は、例えば１０秒、２０秒又は３０秒など、必要に応じて自由に設定されてもよく、ここで具体的に限定せず、例えばゲームビデオストリームの動作中に、現在フレームの第１の画像を切り取り、動作してから１０秒経過した時に、１０秒目のフレームの第２の画像を切り取り、この第１の画像と第２の画像の画素数は、同じであり、この画素は、画像の小さな格子からなるものであり、これらの小さな格子は、いずれも明確な位置と割り当てられた色の数値を有し、小さな格子の色と位置により、この画像の現れる様子が決定され、画素を画像全体における分割できない単位又はエレメントとすることができ、各画像は、一定量の画素を含み、これらの画素により、スクリーンに表示される画像のサイズが決定される。

ステップ１０２において、第１の画像と第２の画像に対して画素マッチングを行って第１の画像と第２の画像との間の画素の合計マッチング値を取得する。
そのうち、ゲームビデオストリームに対応するゲーム画面が静止して動かないか否かを判断するために、予め設定された期間を空けた第１の画像と第２の画像に対して画素マッチングを行う必要がある。この第１の画像と第２の画像の画素の数が同じであるため、サーバにより、第１の画像における各画素と第２の画像における対応する位置での画素との類似度を計算することができ、例えば、第１の画像と第２の画像における同様な位置を有する２つの画素の類似度を計算し、全ての類似度を統合し、類似スコア値を得、この類似スコア値は、第１の画像と第２の画像との間の画素の合計マッチング値であり、この類似スコア値は、第１の画像と第２の画像の類似度を示し、この類似スコア値に基づいて、この第１の画像と第２の画像が予め設定されたマッチング条件を満たすか否かを判定し、即ち、このゲーム画面が静止して動かないか否かを判定することができる。

一実施例では、サーバは、二乗差マッチングアルゴリズムにより、この第１の画像とこの第２の画像との間の画素の合計マッチング値を計算することができる。そのうち、テンプレートマッチング（ＴｅｍｐｌａｔｅＭａｔｃｈｉｎｇ）原理に基づいて、該当する二乗差マッチングアルゴリズムを決定することができる。このテンプレートマッチング原理は、１ペアのマッチングすべき画像から、テンプレート画像と最も類似する領域を探すことができ、この方法は、原理が簡単であり、計算速度が速く、ターゲット識別、ターゲット追跡などの複数の分野に用いることができる。

サーバは、第１の画像における各画素をテンプレート画像とし、第２の画像における対応する位置での画素をマッチングすべき画像とすることができ、第２の画像における複数の画素のうちの各画素に対して、いずれも二乗差マッチングアルゴリズムに基づいて、第２の画像における現在の画素と第１の画像における対応する位置での画素とのマッチング値を計算し、第１の画像と第２の画像との間の各画素の各々に対応するマッチング値を統計し、第１の画像と第２の画像との間の画素の合計マッチング値を得、この合計マッチング値は、第１の画像と第２の画像とのマッチング度を示し、この画素の合計マッチング値が０である場合、第１の画像と第２の画像は、完全に同様であり、この画素の合計マッチング値が大きいほど、第１の画像と第２の画像は、類似してない。

一実施例では、第１の画像と第２の画像に対して画素マッチングを行って第１の画像と第２の画像との間の画素の合計マッチング値を取得する当該ステップは、
第１の画像の画素を第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るステップ（１）と、
この第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、この第１の画像とこの第２の画像との間の画素の合計マッチング値を得るステップ（２）とを含んでもよい。
そのうち、二乗差マッチングアルゴリズムにより、第１の画像と第２の画像との間の画素の合計マッチング値を決定することができ、二乗差マッチングアルゴリズムは、以下のとおりである。

この
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第１の画像をテンプレート画像として、第１の画像における各画素からなるマトリクスであり、Ｉ（ｘ，ｙ）は、ソース画像マトリクスであり、このソース画像マトリクスは、第２の画像における各画素からなるマトリクスであり、
は、この第１の画像の画素をこの第２の画像の画素にカバーして得られたカバー後の第２のターゲット画像の各画素からなるマトリクスである。本ステップでは、この
は、画素の合計マッチング値である。

これによって、上記式に基づいて、サーバは、各画像の各画素と第２のターゲット画像における対応する関係の画素との差の二乗の和を統計し、画素の合計マッチング値
を得ることができ、この画素の合計マッチング値が０に近いほど、第１の画像と第２の画像が類似し、この画素の合計マッチング値が大きいほど、第１の画像と第２の画像が類似しない。

ステップ１０３において、画素の合計マッチング値に基づいて、第１の画像と第２の画像が予め設定されたマッチング条件を満たすと決定した場合、第２の画像に対して画面内容の検出を行う。
そのうち、予め設定されたマッチング条件を設定することができ、この予め設定されたマッチング条件は、予め設定されたスコア閾値であってもよく、この予め設定されたスコア閾値は、第１の画像と第２の画像がマッチングするか否かを画定する臨界値であり、即ち、サーバは、画素の合計マッチング値が予め設定されたスコア閾値よりも高い場合、第１の画像と第２の画像が予め設定されたマッチング条件を満たすと決定し、第１の画像と第２の画像とがマッチングに成功したと判定し、即ち、第１の画像と第２の画像との類似度が条件を満たす場合、ゲーム画面が静止して動かないと決定し、サーバは、画素の合計マッチング値が予め設定されたスコア閾値よりも高くない場合、第１の画像と第２の画像との間の画素が予め設定されたマッチング条件を満たさないと決定し、第１の画像と第２の画像とのマッチングが失敗したと判定し、即ち、第１の画像と第２の画像との類似度が条件を満たさない場合、ゲーム画面が依然として変化しており、フリーズしないと決定する。

さらに、第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、予め設定された期間を空けたビデオストリームのゲーム画面が静的で且つ変化していないものであり、即ち、ゲームビデオストリームがフリーズしている可能性があることが示され、いくつかのゲーム画面に静的で且つ変化していない画面が短期的に存在する可能性があり、フリーズしているゲーム画面が一般的に純色であるか又は明るさの変化が大きくない画像であるので、サーバは、フリーズの誤判定を防止するために、さらに第２の画像に対して画面内容の検出を行う必要がある。

画像がいずれも純色であるか又は明るさの変化が大きくない画像であれば、即ち、第２の画像に画面内容が存在すれば、全体のぼかし程度は、必ず一定の範囲より小さく、この範囲は、１．５よりも小さくてもよく、この画面内容の検出は、第２の画像に対する画像ぼかし程度の検出であってもよい。

一実施例では、ラプラスアルゴリズムにより第２の画像の画像ぼかし程度に対して総合検出を行い、対応する画面内容の検出を実現することができ、このラプラスアルゴリズムは、画像のエッジ検出に用いられ、画像のぼかし程度を決定するために、画像の明暗変化の検出に用いられてもよい。

一実施例では、第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たさない場合、予め設定された期間を空けたビデオストリームのゲーム画面が静的で且つ変化していないものではないことが示され、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップに戻って、実行を続行して、検出を続行することができる。

一実施例では、上記画像検出方法は、画素の合計マッチング値に基づいて、第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定するステップをさらに含み、そのうち、画素の合計マッチング値に基づいて、第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定するステップは、
この画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップ（１）と、
正規化処理後のマッチング値をスコア値に変換するステップ（２）と、

このスコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第１の画像とこの第２の画像が予め設定されたマッチング条件を満たすと決定するステップ（３）とを含んでもよい。
そのうち、この画素の合計マッチング値の区間が比較的に大きく、基準スコアを用いて第１の画像と第２の画像とがマッチングするか否かを判定することに不利であるのを防止するために、本出願の実施例では、正規化処理を用いてこの合計マッチング値を０～１の間に縮小し、正規化処理後のマッチング値が０に近いほど、第１の画像と第２の画像が類似し、正規化処理後のマッチング値が１に近いほど、第１の画像と第２の画像が類似しない。

実際の使用では、両者の類似度をより良く判定するために、正規化処理後のマッチング値をスコア値に変換することができ、０に近いほど、スコアが高く、１に近いほど、スコアが低く、さらに予め設定されたスコア閾値により、マッチング度の画定を行うことができ、サーバがこのスコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第１の画像とこの第２の画像が予め設定されたマッチング条件を満たし、この第１の画像とこの第２の画像とがマッチングに成功したと決定する。サーバがこのスコア値が予め設定されたスコア閾値以下であることを検出した場合、この第１の画像とこの第２の画像が予め設定されたマッチング条件を満たさず、この第１の画像とこの第２の画像とがマッチングするが失敗したと決定する。

一実施例では、このマッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得る当該ステップは、
この第１の画像の各画素と第２のターゲット画像における対応する画素との積の和を統計するステップ（２．１）と、
統計した積の和に対して２乗根式の計算を行い、ターゲット値を得るステップ（２．２）と、
この画素の合計マッチング値とこのターゲット値との比値を計算し、正規化処理後のマッチング値を得るステップ（２．３）とを含んでもよい。
そのうち、以下の式により、画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得ることができ、この式は、具体的に、正規化二乗差マッチング法であってもよい。
この
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第１の画像をテンプレート画像とし、第１の画像における各画素からなるマトリクスであり、Ｉ（ｘ，ｙ）は、ソース画像マトリクスであり、このソース画像マトリクスは、第２の画像における各画素からなるマトリクスであり、
は、この第１の画像の画素をこの第２の画像の画素にカバーして得られたカバー後の第２のターゲット画像の各画素からなるマトリクスであり、この本ステップにおいて、この
は、正規化処理後のマッチング値である。

これにより、上記式の分母部分に基づいて、この第１の画像の各画素と第２のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して２乗根式の計算（即ち、平方根を開く計算）を行い、ターゲット値を得、上記式の分子は、画素の合計マッチング値であり、分子の画素の合計マッチング値とこの分母のターゲット値との比値を計算し、正規化処理後のマッチング値を得ることにより、マッチング値を０～１の間に縮小し、この正規化処理後のマッチング値が０に近いほど、第１の画像と第２の画像が類似し、正規化処理後のマッチング値が１に近いほど、第１の画像と第２の画像が類似しない。

一実施例では、正規化処理後のマッチング値をスコア値に変換する当該ステップは、
予め設定された基礎値とこの正規化処理後のマッチング値との差分を計算するステップ（３．１）と、
この差分に予め設定された拡大閾値を乗算し、スコア値を得るステップ（３．２）と、を含んでもよい。

そのうち、正規化処理後のマッチング値が０～１の間にあり、後期に閾値を設定する必要があり、０に近い部分が閾値を設定して判定することに不利であるため、この予め設定された基礎値を１として設定し、この予め設定された基礎値とこの正規化処理後のマッチング値との差分を計算することで、判定ルールを逆方向に調整し、１に近いとマッチングし、０に近いとマッチングしないことを実現することができ、閾値を手動で設定して判定するのに有利であり、この差分が０に近いほど、第１の画像と第２の画像が類似しない一方、差分が１に近いほど、第１の画像と第２の画像が類似する。

さらに、この差分に予め設定された拡大閾値を乗算し、例えばこの予め設定された拡大閾値は、１０００であってもよく、１０００を最大スコアとし、予め設定されたスコア閾値を９５０として設定してもよく、スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第１の画像とこの第２の画像とがマッチングすることを検出したと判定する。

一実施例では、第２の画像に対して画面内容の検出を行う当該ステップは、
この第２の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るステップ（４．１）と、
この検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るステップ（４．２）と、
このターゲット検出すべき画像のターゲットぼかし程度を計算するステップ（４．３）と、
このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第２の画像に画面内容が存在しないことを検出したと判定するステップ（４．４）とを含んでもよい。

そのうち、第２の画像の枠領域に往々にしてタイトルなどの内容が存在するため、干渉を排除するために、まず、この第２の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得ることができる。

サーバは、データ平滑化技術（ｄａｔａｓｍｏｏｔｈｉｎｇ）によってガウスぼかし処理を行うことができ、理解できるように、計算した重みを用いて対応する画素に対して重み付け処理を行うことによって、画像の平滑化処理を実現することができ、そのうち、この重みは、周辺画素の平均値であってもよい。これにより、サーバは、この検出すべき画像に対してガウスぼかし処理を行い、検出すべき画像に対して平滑化処理を行って、ガウスぼかし処理後のターゲット検出すべき画像を得ることによって、後続のぼかし程度の計算がより正確になることができる。

さらに、サーバは、このターゲット検出すべき画像のターゲットぼかし程度を計算することができ、一実施形態では、サーバは、ラプラスアルゴリズムにより、ターゲット検出すべき画像のターゲットぼかし程度を計算することができ、このターゲットぼかし程度が低いほど、画素変化率が低く、第２の画像に画面内容が存在しない確率が大きいことが示され、このターゲットぼかし程度が高いほど、画素変化率が大きく、第２の画像に画面内容が存在しない確率が低いことが示される。

第２の画像に画面内容が存在するか否かを画定する臨界値を予め設定されたぼかし程度閾値として設定することができ、サーバは、このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第２の画像に画面内容が存在しないことを検出したと判定する。

一実施例では、このターゲット検出すべき画像のターゲットぼかし程度を計算する当該ステップは、
ラプラスアルゴリズムによりこのターゲット検出すべき画像を計算し、波形データセットを得るステップ（５．１）と、
この波形データセットの平均値を計算し、且つこの平均値に基づいてこの波形データセットに対応する基準差を得るステップ（５．２）と、
この基準差をターゲットぼかし程度として決定するステップ（５．３）とを含んでもよい。

そのうち、サーバは、ラプラスアルゴリズムにおける二階導関数により、ターゲット検出すべき画像における各画素の明暗値の波形データセットを得ることができ、画素が比較的に明るい波形データは、負数であり、画素が比較的に暗い波形データは、正数である。

さらに、サーバは、この波形データセットの平均値を計算し、この基準差は、分散の平方根であり、この基準差は、この波形データセットの分散度を表すことができ、基準差が大きいほど、波形データセットにおけるほとんどのデータと平均値との差異が比較的に大きく、基準差が小さいことが示され、波形データセットにおけるほとんどのデータと平均値との差異が小さいことが示され、これにより、サーバは、この基準差により、第２の画像における画素の明るさが比較的に大きく変化したか否かを判断し、即ち、平均値に基づいて波形データセットに対応する基準差を得、この基準差をターゲットぼかし程度として決定することができる。

ステップ１０４において、第２の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定する。
そのうち、サーバが第２の画像に画面内容が存在しないことを検出した場合、この第２の画像における画素の全体的な明るさの変化が一定の範囲内にあることが示され、即ち、第２の画像にはあまり画素変化がなく、画面に内容がなく、純色画面であると判定し、ビデオストリームに異常が生じており、ゲームがフリーズしていると決定する。

上記から分かるように、本出願の実施例では、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取り、第１の画像と第２の画像に対して画素マッチングを行って第１の画像と第２の画像との間の画素の合計マッチング値を取得し、第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、第２の画像に対して画面内容の検出を行い、第２の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定する。これにより、画像識別の方式を採用して、ビデオストリームの、予め設定された期間を空けた画像画面を検出することができ、予め設定された期間を空けた画像画面が変化していないことを検出した場合、第２の画像に対して画面内容の検出を行い、第２の画像に同時に画面内容が存在しない場合、ビデオストリームに異常が生じたと判定する。本出願の実施例は、中央処理装置の使用頻度に対して異常判定を行い、且つ異常判定の閾値を正確に設定することが困難であり、検出正確率が比較的に低い従来技術の態様に比べて、ゲームのコード設計やログ抽出を変更せずに、画像間の画素の合計マッチング値を用いて、ビデオ画面が静止して動かないか否かを決定し、そして静止して動かない画像に対して内容検出を行い、ビデオストリームがフリーズして動かないか否かを決定することができ、様々な色及び輝度と互換性があり、画面輝度や色の変化により検出が不正確になることがなく、画像検出の正確率が大幅に向上する。

以下に例を挙げてさらに詳細に説明する。
本実施例では、この画像検出装置が具体的にサーバに統合され、このサーバがクラウドホストコンピュータであることを例にしてについて説明し、具体的に以下の説明を参照する。

図４を参照すると、図４は、本出願の実施例による画像検出方法の別のフローチャートである。この方法のフローは、以下のステップを含んでもよい。
ステップ２０１において、サーバは、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取る。

そのうち、本出願のビデオストリームは、クラウドゲームビデオストリームであってもよく、このクラウドゲームビデオストリームに対応するゲーム画面に、ゲーム画面のレンダリング負荷が比較的に大きいか、一時的に互換性がない場合が発生しやすいため、ゲーム起動時又はゲーム中にフリーズしてしまう。

ゲームがフリーズしており、修復していないため、ユーザの待ち時間が長くなるのを防ぐために、本出願の実施例では、サーバによって、１０秒を空けた第１のゲーム画像と第２のゲーム画像をビデオストリームから定期的に切り取ることができ、この第１の画像と第２の画像の画素数は、同じである。

ステップ２０２において、サーバは、第１の画像の画素を第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得、第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、第１の画像と第２の画像との間の画素の合計マッチング値を得る。

そのうち、以下の式により、第１の画像と第２の画像との間の画素の合計マッチング値を決定することができ、この式は、具体的に、二乗差マッチングアルゴリズムであってもよい。
この
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第１の画像をテンプレート画像とし、第１の画像における各画素からなるマトリクスであり、Ｉ（ｘ，ｙ）は、ソース画像マトリクスであり、このソース画像マトリクスは、第２の画像における各画素からなるマトリクスであり、
は、この第１の画像の画素をこの第２の画像の画素にカバーして得られたカバー後の第２のターゲット画像の各画素からなるマトリクスであり、本ステップにおいて、この
は、画素の合計マッチング値である。

これにより、サーバは、第１の画像の画素を第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得、且つ上記式に基づいて、各画像の各画素と第２のターゲット画像における対応する関係の画素との差の二乗の和を統計し、画素の合計マッチング値
を得、この画素の合計マッチング値が０に近いほど、第１の画像と第２の画像が類似することが示され、この画素の合計マッチング値が大きいほど、第１の画像と第２の画像が類似しないことが示される。

ステップ２０３において、サーバは、第１の画像の各画素と第２のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して２乗根式の計算を行い、ターゲット値を得、マッチング値とターゲット値との比値を計算し、正規化処理後のマッチング値を得る。

そのうち、以下の式により、合計マッチング値に対して正規化処理を行うことができ、この式は、具体的に、正規化二乗差マッチング法であってもよい。
この
は、テンプレート画像マトリクスであり、本出願の実施例では、このテンプレート画像マトリクスは、第１の画像をテンプレート画像とし、第１の画像における各画素からなるマトリクスであり、Ｉ（ｘ，ｙ）は、ソース画像マトリクスであり、このソース画像マトリクスは、第２の画像における各画素からなるマトリクスであり、
は、この第１の画像の画素をこの第２の画像の画素にカバーして得られたカバー後の第２のターゲット画像の各画素からなるマトリクスであり、当該ステップでは、この
は、正規化処理後のマッチング値である。

これにより、上記式の分母部分に基づいて、この第１の画像の各画素と第２のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して２乗根式の計算を行い、ターゲット値を得、分子の画素の合計マッチング値とこの分母のターゲット値との比値を計算し、正規化処理後のマッチング値を得ることにより、マッチング値を０～１の間に縮小し、この正規化処理後のマッチング値が０に近いほど、第１の画像と第２の画像が類似し、正規化処理後のマッチング値が１に近いほど、第１の画像と第２の画像が類似しない。

ステップ２０４において、サーバは、予め設定された基礎値と正規化処理後のマッチング値との差分を計算し、差分に予め設定された拡大閾値を乗算し、スコア値を得、スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、第１の画像と第２の画像が予め設定されたマッチング条件を満たすと決定する。

そのうち、この予め設定された基礎値は、１であってもよく、サーバは、この予め設定された基礎値１から正規化処理後のマッチング値を引いた差分を計算することにより、正規化処理後に判定ルールを逆方向に調整し、差分が０に近いほど、第１の画像と第２の画像が類似しない一方、差分が１に近いほど、第１の画像と第２の画像が類似する。

これにより、閾値を手動で設定して判定することに寄与するために、この予め設定された拡大閾値を１０００として設定することができ、差分に予め設定された拡大閾値１０００を乗算して得られたスコア値の区間は、０～１０００であり、スコア値が１０００に等しい場合、第１の画像と第２の画像とが完全に同様であることが示され、実際の使用シーンでは、予め設定されたスコア閾値を９５０として設定することができ、スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、第１の画像と第２の画像とがマッチングすることを検出したと判定し、第１の画像と第２の画像が予め設定されたマッチング条件を満たすと決定する。スコア値が予め設定されたスコア閾値よりも大きくないことを検出した場合、第１の画像と第２の画像が変化しており、ゲームビデオストリームが正常に動作することが示され、返って、サーバが予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップを実行し、検出を続行することができる。

ステップ２０５において、サーバは、第１の画像と第２の画像に対して予め設定された期間を空けて画素マッチングを行い、第１の画像と第２の画像に対する画素マッチングを検出した回数を記録する。

そのうち、一部のゲームビデオストリームには、短時間にロードする状況、例えば１２秒のロード時間が存在する可能性があるので、短時間にロードする状況をゲームビデオストリームのフリーズとして誤判定することを防止するために、サーバは、予め設定された期間を空けて画素マッチングを行い、第１の画像と第２の画像とのマッチング成功を検出した回数を記録し、１回マッチング成功が発生する条件は、１０秒を空けた第１の画像と第２の画像が予め設定されたマッチング条件を満たすことであってもよい。そのうち、第１の画像と第２の画像が予め設定されたマッチング条件を満たす場合、第１の画像と第２の画像とがマッチングに成功したと決定することができる。

ステップ２０６において、サーバは、回数が予め設定された回数を超えるか否かを検出する。
そのうち、この予め設定された回数は、ゲーム画面が本当に静止していることを画定する画定値であり、例えば３回であり、サーバは回数が予め設定された回数を超えることを検出した場合、第１の画像と第２の画像が３０秒内にいずれも変化しておらず、画面静止の状態にあることが示され、ステップ２０７を実行する。サーバは回数が予め設定された回数を超えないことを検出した場合、第１の画像と第２の画像が３０秒内に変化しており、ゲームビデオストリームがフリーズしないことが示され、ステップ２０１に戻って実行し、検出を続行する。ステップ２０７において、サーバは、第２の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得、検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得る。

そのうち、サーバは回数が予め設定された回数を超えることを検出した場合、第１の画像と第２の画像が３０秒内にいずれも変化せず、画面静止の状態にあり、即ち、ゲームビデオストリームがフリーズする可能性があることが示され、フリーズしているゲーム画面が一般的に純色であるか又は明るさの変化が大きくない画像であるので、フリーズの誤判定を防止するために、さらに第２の画像を検出する必要があり、第２の画像の枠領域に対して除去処理を行うことができ、図５ａを併せて参照する。第２の画像１の枠におけるタイトルバーにさらに「王者Ｘ耀」が存在し、この部分を処理すれば、処理結果に影響を与え、これにより、サーバは、第２の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像１１を得ることができる。

さらに、この検出すべき画像１１に対してガウスぼかし処理を行って、ガウスぼかし処理後のターゲット検出すべき画像を得ることができ、ガウスぼかし処理の原理をより良く解釈するために、図５ｂを併せて参照し、検出すべき画像１１の一部の領域２の中心点の画素のＲＧＢ値を２とすると、ガウスぼかし処理後、ガウスぼかし処理後のターゲット検出すべき画像の一部の領域３の中心点の画素のＲＧＢ値が周辺画素を参考した平均値を得て、１になることで、画素点が部分的な詳細を失うようになり、画像ぼかし処理を実現し、このガウスぼかし処理は、ぼかし半径を表す重要なパラメータｋｓｉｚｅを有し、この半径が大きいほど、ガウスぼかし処理の効果がぼけ、このぼかし半径は、周辺画素を参考する数値であり、本出願の実施例では、このぼかし半径を１として設定することができる。

ステップ２０８において、サーバは、ラプラスアルゴリズムによりターゲット検出すべき画像を計算し、波形データセットを得、波形データセットの平均値を計算し、且つ平均値波形に基づいてデータセットに対応する基準差を得、基準差をターゲットぼかし程度として決定する。

そのうち、サーバは、さらに、ターゲット検出すべき画像に対して階調処理を行い、階調とは、色がないことであり、このターゲット検出すべき画像のＲＧＢ色成分を等しく設定し、グレースケール画像を得、ラプラスアルゴリズムの演算子サイズがぼかし半径と同じであることを指定し、ラプラスアルゴリズムによりグレースケール画像を計算し、グレースケール画像における各画素の波形データからなる波形データセットを得、この波形データは、画素の明るさを反映することができる。

さらに、波形データセットの平均値を計算し、且つこの平均値に基づいて波形データセットに対応する基準差を得ることができ、この基準差は、波形データセットにおける波形データと平均値との差異状況を反映し、この基準差が大きいほど、波形データセットにおけるほとんどのデータと平均値との差異が比較的に大きく、基準差が小さいことが示され、波形データセットにおけるほとんどのデータと平均値との差異が小さいことが示される。

ステップ２０９において、サーバはターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、第２の画像に画面内容が存在しないと決定し、ビデオストリームに異常が生じたと決定する。

そのうち、この予め設定されたぼかし程度閾値は、第２の画像に画面内容が存在するか否かを画定する臨界値であり、本出願の実施例では、この予め設定されたぼかし程度閾値を１．５として設定することができ、サーバはターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、第２の画像における画素の明るさの変化率が低いほど、第２の画像に画面内容が存在しないことが示され、純色画面では、ゲームビデオストリームに異常が生じており、ゲームがフリーズしていると決定し、対応する修復手段を講じることができる。

いくつかの実施形態では、本出願の実施例は、フリーズしていると判定された第２の画像を畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ、ＣＮＮ）モデルにアップロードして学習させることができることにより、畳み込みニューラルネットワークは、学習し続けることにより、ゲームビデオストリームがフリーズしている画面を識別する能力を学習し、迅速な識別を実現することができる。

一実施例では、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップは、現在の検出時刻に、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップを含む。第２の画像に対して画面内容の検出を行う前、上記方法は、画素の合計マッチング値に基づいて、現在の検出時刻に対応する第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、現在のマッチング結果がマッチング成功であると決定するステップと、記憶された履歴マッチング結果を取得するステップであって、履歴マッチング結果は、履歴検出時刻に、切り取った予め設定された期間を空けた第１の画像と第２の画像に対して画素マッチング処理を行って得られたマッチング結果である、ステップと、履歴マッチング結果と現在のマッチング結果に基づいて、予め設定された検出期間内にマッチングに成功した回数を決定するステップと、画素の合計マッチング値に基づいて、第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、第２の画像に対して画面内容の検出を行うステップとを含み、予め設定された検出期間内にマッチングに成功した回数が予め設定された回数以上である場合、現在の第２の画像に対して画面内容の検出を行うステップを含む。

サーバは、現在の検出時刻に、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取る。そのうち、現在の検出時刻とは、現在の時点であり、第１の画像と第２の画像は、予め設定された期間を空けており、例えば、第１の画像と第２の画像は、１０秒を空けている。サーバは、上記方法により、現在の時刻にビデオストリームから切り取る第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすか否かを決定し、且つ予め設定されたマッチング条件を満たすと決定した場合、即ち、現在のマッチング結果がマッチング成功であると決定した場合、記憶された履歴マッチング結果を取得する。そのうち、履歴マッチング結果は、履歴検出時刻に、切り取った予め設定された期間を空けた第１の画像と第２の画像に対して画素マッチング処理を行って得られたマッチング結果である。履歴時刻とは、現在の時刻の前の時刻である。

サーバは、ビデオストリームから第１の画像と第２の画像を一定時間ごとに切り取り、第１の画像と第２の画像に対して画素マッチング処理を行い、マッチング結果を得、マッチング結果をメモリに記憶することにより、現在の時刻に切り取る第１の画像と第２の画像とがマッチングに成功したと決定した場合、サーバは、メモリから、予め設定された検出期間内の履歴マッチング結果を取得することができることを理解しやすい。そのうち、予め設定された検出期間とは、現在の検出時刻を終点とする予め設定された時間であり、例えば、予め設定された検出期間は、現在の検出時刻を含む前の３０秒であってもよい。

サーバは、履歴マッチング結果と現在のマッチング結果に基づいて、予め設定された検出期間内にマッチングに成功した回数を判断する。そのうち、この予め設定された回数は、ゲーム画面が本当に静止することを画定する画定値であり、例えば３回であり、サーバは回数が予め設定された回数以上であることを検出した場合、第１の画像と第２の画像が３０秒内にいずれも変化せず、画面静止の状態にあることが示され、この時、サーバは、現在の第２の画像に対して画面内容の検出を行う。そのうち、サーバは、上記実施例で第２の画像に対して画面内容の検出を行う方法によって、現在の第２の画像に対して画面検出を行うことができる。

サーバは回数が予め設定された回数よりも小さいことを検出した場合、第１の画像と第２の画像が３０秒内に変化しており、ゲームビデオストリームがフリーズしないことが示され、次の検出時刻に進み、且つ前記次の検出時刻を現在の時刻とし、現在の検出時刻に、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップに戻って、検出を続行し、前記ビデオストリームの再生が完了すると停止する。

一実施例では、現在の時刻にビデオストリームから切り取る第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たさない場合、サーバは、現在の検出時刻に、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップに戻って、検出を続行する。

以上の方法をより良く実施するために、本出願の実施例は、画像検出方法の装置をさらに提供する。この装置は、サーバに統合されてもよい。そのうち名詞の意味は、上記画像検出方法での意味と同様であり、具体的な実現詳細について、方法の実施例における説明を参照することができる。

図６を参照すると、図６は、本出願の実施例による画像検出装置の構造概略図であり、そのうちこの画像検出装置は、切り取りユニット３０１、マッチングユニット３０２、検出ユニット３０３、及び決定ユニット３０４などを含んでもよい。
切り取りユニット３０１は、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るために用いられる。

マッチングユニット３０２は、この第１の画像とこの第２の画像に対して画素マッチングを行って第１の画像とこの第２の画像との間の画素の合計マッチング値を取得するために用いられる。

一実施例では、このマッチングユニット３０２は、
この第１の画像の画素をこの第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るためのカバーサブユニットと、
この第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、この第１の画像とこの第２の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む。

検出ユニット３０３は、画素の合計マッチング値に基づいて、この第１の画像とこの第２の画像が予め設定されたマッチング条件を満たすと決定した場合、この第２の画像に対して画面内容の検出を行うために用いられる。

一実施例では、この検出ユニット３０３は、
この合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
このスコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第１の画像とこの第２の画像が予め設定されたマッチング条件を満たすと決定し、この第２の画像に対して画面内容の検出を行うための決定サブユニットとを含む。

一実施例では、決定サブユニットは、さらに、スコア値が予め設定されたスコア閾値以下であることを検出した場合、第１の画像と第２の画像が予め設定されたマッチング条件を満たさないと決定するために用いられる。

一実施例では、この正規化サブユニットは、さらに、この第１の画像の各画素と第２のターゲット画像における対応する画素との積の和を統計し、統計した積の和に対して２乗根式の計算を行い、ターゲット値を得、この画素の合計マッチング値とこのターゲット値との比値を計算し、正規化処理後のマッチング値を得るために用いられる。

一実施例では、この変換サブユニットは、さらに、予め設定された基礎値とこの正規化処理後のマッチング値との差分を計算し、この差分に予め設定された拡大閾値を乗算し、スコア値を得るために用いられる。

一実施例では、この検出ユニット３０３は、
この第１の画像とこの第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、この第２の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るための除去サブユニットと、
この検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るための処理サブユニットと、
このターゲット検出すべき画像のターゲットぼかし程度を計算するための計算サブユニットと、
このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第２の画像に画面内容が存在しないと決定するための決定サブユニットとを含む。

一実施例では、この計算サブユニットは、さらに、ラプラスアルゴリズムによりこのターゲット検出すべき画像を計算し、波形データセットを得、この波形データセットの平均値を計算し、且つこの平均値に基づいてこの波形データセットに対応する基準差を得、この基準差をターゲットぼかし程度として決定するために用いられる。

決定ユニット３０４は、この第２の画像に画面内容が存在しないことを検出した場合、このビデオストリームに異常が生じたと決定するために用いられる。

一実施例では、この画像検出装置は、この第１の画像とこの第２の画像に対して予め設定された期間を空けて画素マッチングを行い、この第１の画像とこの第２の画像に対する画素マッチングを検出した回数を記録し、この回数が予め設定された回数を超えることを検出した場合、この第２の画像に対して画面内容の検出を行うステップを実行し、この回数が予め設定された回数を超えないことを検出した場合、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップに戻って、実行するための記録ユニットをさらに含んでもよい。

一実施例では、この画像検出装置は、さらに、現在の検出時刻に、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取り、画素の合計マッチング値に基づいて、現在の検出時刻に対応する第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、現在のマッチング結果がマッチング成功であると決定し、記憶された履歴マッチング結果を取得し、履歴マッチング結果が、履歴検出時刻に、切り取った予め設定された期間を空けた第１の画像と第２の画像に対して画素マッチング処理を行って得られたマッチング結果であり、履歴マッチング結果と前記現在のマッチング結果に基づいて、予め設定された検出期間内にマッチングに成功した回数を決定し、予め設定された検出期間内にマッチングに成功した回数が予め設定された回数以上である場合、現在の第２の画像に対して画面内容の検出を行うために用いられる。

一実施例では、この画像検出装置は、さらに、予め設定された検出期間内にマッチングに成功した回数が予め設定された回数よりも小さい場合、次の検出時刻に進み、且つ次の検出時刻を現在の時刻とし、現在の検出時刻に、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップに戻って、検出を続行し、ビデオストリームの再生が完了すると停止するために用いられる。
以上の各ユニットの具体的な実施については、前の実施例を参照することができ、ここではこれ以上説明しない。

上記から分かるように、本出願の実施例では、切り取りユニット３０１は、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取り、マッチングユニット３０２は、第１の画像と第２の画像に対して画素マッチングを行って第１の画像と第２の画像との間の画素の合計マッチング値を取得し、検出ユニット３０３は、第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、第２の画像に対して画面内容の検出を行い、決定ユニット３０４は、第２の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定する。これにより、画像識別の方式を採用して、ビデオストリームの、予め設定された期間を空けた画像画面を検出することができ、予め設定された期間を空けた画像画面が変化していないことを検出した場合、第２の画像に対して画面内容の検出を行い、第２の画像に同時に画面内容が存在しない場合、ビデオストリームに異常が生じたと判定する。本出願の実施例は、中央処理装置の使用頻度に対して異常判定を行い、且つ異常判定の閾値を正確に設定することが困難であり、検出正確率が比較的に低い従来技術の態様に比べて、ゲームのコード設計やログ抽出を変更せずに、画像間の画素の合計マッチング値を用いて、ビデオ画面が静止して動かないか否かを決定し、そして静止して動かない画像に対して内容検出を行い、ビデオストリームがフリーズして動かないか否かを決定することができ、様々な色及び輝度と互換性があり、画面輝度や色の変化により検出が不正確になることがなく、画像検出の正確率が大幅に向上する。

本出願の実施例は、サーバをさらに提供する。図７に示すように、本出願の実施例に係るサーバの構造概略図を示し、具体的には、
このサーバは、クラウドホストコンピュータであってもよく、１つ以上の処理コアの処理装置４０１、１つ以上のコンピュータ可読記憶媒体のメモリ４０２、電源４０３及び入力ユニット４０４などの部品を含んでもよい。当業者であれば理解できるように、図７に示すサーバ構造は、サーバに対する限定を構成するものではなく、図示よりも多くまたは少ない部品、又はいくつかの部品の組み合わせ、又は異なる部品配置を含んでもよい。そのうち、
処理装置４０１は、このサーバの制御センターであり、様々なインターフェースと回線を用いてサーバ全体の各部を接続し、メモリ４０２に記憶されたソフトウェアプログラム及び／又はモジュールを動作させ又は実行し、メモリ４０２に記憶されたデータを呼び出すことにより、サーバの様々な機能と処理データを実行し、それによって、サーバ全体をモニタリングする。選択的に、処理装置４０１は、１つ又は複数の処理コアを含んでもよく、好適には、処理装置４０１は、主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理するアプリケーション処理装置と、主に無線通信を処理するモデム処理装置とが統合されてもよい。理解できるように、上記モデム処理装置は、処理装置４０１に統合されなくてもよい。

メモリ４０２は、ソフトウェアプログラム及びモジュールを記憶するために用いられ、処理装置４０１は、メモリ４０２に記憶されたソフトウェアプログラム及びモジュールを動作させることにより、様々な機能アプリケーション及びデータ処理を実行する。メモリ４０２は、主にプログラム記憶領域及びデータ記憶領域を含んでもよい、そのうち、プログラム記憶領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラム（例えば音声再生機能、画像再生機能など）などを記憶することができ、データ記憶領域は、サーバの使用に基づいて構成されたデータなどを記憶することができる。なお、メモリ４０２は、高速ランダムアクセスメモリを含んでもよく、非揮発性メモリ、例えば少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の揮発性ソリッドステートメモリデバイスをさらに含んでもよい。それに応じて、メモリ４０２は、処理装置４０１によるメモリ４０２に対するアクセスを提供するためにメモリコントローラをさらに含んでもよい。

サーバは、各部材に電力を供給する電源４０３をさらに含み、好ましくは、電源４０３は、電源管理システムを介して処理装置４０１にロジック的に接続されてもよく、それにより、電源管理システムによって、充放電管理、及び消費電力管理などの機能を実現することができる。電源４０３は、１つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源コンバータ又はインバータ、電源状態インジケータなどのいずれかのコンポーネントをさらに含んでもよい。

このサーバは、この入力ユニット４０４は、入力された数字又はキャラクタ情報を受信し、ユーザ設定および機能制御に関連するキーボード、マウス、操作レバー、光学的又はトラックボール信号入力を生成するための入力ユニット４０４をさらに含んでもよい。

図示していないが、サーバは、ディスプレイ処理装置などをさらに含んでもよいが、ここではこれ以上説明しない。具体的に本実施例では、サーバにおける処理装置４０１は、以下の命令に従って、１つ以上のアプリケーションプログラムの処理装置に対応する実行可能なファイルをメモリ４０２にロードすることができ、且つ処理装置４０１は、メモリ４０２に記憶されたアプリケーションプログラムを動作させることにより、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取る機能と、この第１の画像とこの第２の画像に対して画素マッチングを行ってこの第１の画像とこの第２の画像との間の画素の合計マッチング値を取得する機能と、画素の合計マッチング値に基づいて、第１の画像と第２の画像が予め設定されたマッチング条件を満たすと決定した場合、この第２の画像に対して画面内容の検出を行う機能と、この第２の画像に画面内容が存在しないことを検出した場合、このビデオストリームに異常が生じたと決定する機能との様々な機能を実現する。

上記実施例では、各実施例の記述にそれぞれ重点が置かれており、ある実施例に詳細に記述されていない部分は、画像検出方法についての以上の詳細な記述を参照することができ、ここでこれ以上説明しない。

上記から分かるように、本出願の実施例のサーバは、予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取り、第１の画像と第２の画像に対して画素マッチングを行って第１の画像と第２の画像との間の画素の合計マッチング値を取得し、第１の画像と第２の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、第２の画像に対して画面内容の検出を行い、第２の画像に画面内容が存在しないことを検出した場合、ビデオストリームに異常が生じたと決定することができる。これにより、画像識別の方式を採用して、ビデオストリームの、予め設定された期間を空けた画像画面を検出することができ、予め設定された期間を空けた画像画面が変化していないことを検出した場合、第２の画像に対して画面内容の検出を行い、第２の画像に同時に画面内容が存在しない場合、ビデオストリームに異常が生じたと判定する。本出願の実施例は、中央処理装置の使用頻度に対して異常判定を行い、且つ異常判定の閾値を正確に設定することが困難であり、検出正確率が比較的に低い従来技術の態様に比べて、ゲームのコード設計やログ抽出を変更せずに、画像間の画素の合計マッチング値を用いて、ビデオ画面が静止して動かないか否かを決定し、そして静止して動かない画像に対して内容検出を行い、ビデオストリームがフリーズして動かないか否かを決定することができ、様々な色及び輝度と互換性があり、画面輝度や色の変化により検出が不正確になることがなく、画像検出の正確率が大幅に向上する。

いくつかの実施例では、メモリと１つ又は複数の処理装置とを含むコンピュータ機器を提供し、メモリにコンピュータ可読命令が記憶されており、コンピュータ可読命令が前記処理装置により実行されると、１つ又は複数の処理装置に上記通話オーディオミキシング処理方法のステップを実行させる。ここで通話オーディオミキシング処理方法のステップは、上記各実施例の画像検出方法におけるステップであってもよい。

いくつかの実施例では、１つ又は複数のコンピュータ可読命令が記憶された非揮発性可読記憶媒体を提供し、コンピュータ可読命令が１つ又は複数の処理装置により実行されると、１つ又は複数の処理装置に上記画像検出方法のステップを実行させる。ここで画像検出方法のステップは、上記各実施例の画像検出方法におけるステップであってもよい。

本出願の一側面によれば、コンピュータ可読記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品又はコンピュータプログラムを提供する。コンピュータ機器の処理装置は、コンピュータ可読記憶媒体からこのコンピュータ命令を読み取り、処理装置は、このコンピュータ命令を実行することにより、このコンピュータ機器に上記実施例による各選択的な実現形態による方法を実行させる。
以上各操作の具体的な実施について前の実施例を参照することができ、ここではこれ以上説明しない。

そのうち、このコンピュータ可読記憶媒体は、リードオンリーメモリ（ＲＯＭ、ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスク又は光ディスクなどを含んでもよい。

１第２の画像
１１検出すべき画像
３０２マッチングユニット
３０３検出ユニット
３０４決定ユニット
４０１処理装置
４０２メモリ
４０３電源
４０４入力ユニット
Ａベースサーバ
Ｂクラウドホストコンピュータ
Ｃボードガード又はコンテナ
Ｄプッシュストリームサーバ
Ｅアプリケーション又はウェブページ

Claims

サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って前記第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うステップと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップと、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップであって、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との積の和を統計することと、
統計した積の和に対して２乗根式の計算を行い、ターゲット値を得ることと、
前記画素の合計マッチング値と前記ターゲット値との比値を計算し、正規化処理後のマッチング値を得ることとを含む、ステップと、
正規化処理後のマッチング値をスコア値に変換するステップと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定するステップと、
を含むことを特徴とする、画像検出方法。
前記第１の画像と前記第２の画像に対して画素マッチングを行って前記第１の画像と前記第２の画像との間の画素の合計マッチング値を取得する前記ステップは、
前記第１の画像の画素を前記第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るステップと、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、前記第１の画像と前記第２の画像との間の画素の合計マッチング値を得るステップとを含む、ことを特徴とする、請求項１に記載の画像検出方法。
前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たさないと決定するステップをさらに含む、ことを特徴とする、請求項１に記載の画像検出方法。
サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って前記第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うステップと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップと、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップと、
正規化処理後のマッチング値をスコア値に変換するステップであって、
予め設定された基礎値と前記正規化処理後のマッチング値との差分を計算することと、
前記差分に予め設定された拡大閾値を乗算し、スコア値を得ることと、を含む、ステップと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定するステップと、を含むことを特徴とする、画像検出方法。
前記第１の画像と前記第２の画像に対して画素マッチングを行って前記第１の画像と前記第２の画像との間の画素の合計マッチング値を取得する前記ステップは、
前記第１の画像の画素を前記第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るステップと、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、前記第１の画像と前記第２の画像との間の画素の合計マッチング値を得るステップと、を含むことを特徴とする、請求項４に記載の画像検出方法。
前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たさないと決定するステップをさらに含む、ことを特徴とする、請求項４に記載の画像検出方法。
サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るステップと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って前記第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うステップであって、
前記第２の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得ることと、
前記検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得ることと、
前記ターゲット検出すべき画像のターゲットぼかし程度を計算することと、
前記ターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、前記第２の画像に画面内容が存在しないと決定することとを含む、ステップと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップとを含む、ことを特徴とする、画像検出方法。
前記ターゲット検出すべき画像のターゲットぼかし程度を計算する前記ステップは、
ラプラスアルゴリズムにより前記ターゲット検出すべき画像を計算し、波形データセットを得るステップと、
前記波形データセットの平均値を計算し、且つ前記平均値に基づいて前記波形データセットに対応する基準差を得るステップと、
前記基準差をターゲットぼかし程度として決定するステップとを含む、ことを特徴とする、請求項７に記載の画像検出方法。
前記第１の画像と前記第２の画像に対して画素マッチングを行って前記第１の画像と前記第２の画像との間の画素の合計マッチング値を取得する前記ステップは、
前記第１の画像の画素を前記第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るステップと、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、前記第１の画像と前記第２の画像との間の画素の合計マッチング値を得るステップとを含む、ことを特徴とする、請求項７に記載の画像検出方法。
画像検出装置であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るための切り取りユニットと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うための検出ユニットと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含み、
前記検出ユニットは、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットであって、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との積の和を統計し、
統計した積の和に対して２乗根式の計算を行い、ターゲット値を得、
前記画素の合計マッチング値と前記ターゲット値との比値を計算し、正規化処理後のマッチング値を得るために用いられる、ことを特徴とする、正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定し、前記第２の画像に対して画面内容の検出を行うための決定サブユニットとを含む、
画像検出装置。
前記マッチングユニットは、
前記第１の画像の画素を前記第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るためのカバーサブユニットと、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、前記第１の画像と前記第２の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む、ことを特徴とする、請求項１０に記載の画像検出装置。
前記決定サブユニットは、さらに、前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たさないと決定するために用いられる、ことを特徴とする、請求項１０に記載の画像検出装置。
画像検出装置であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るための切り取りユニットと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うための検出ユニットであって、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定し、前記第２の画像に対して画面内容の検出を行うための決定サブユニットとを含む、ことを特徴とする、検出ユニットと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含み、
前記変換サブユニットは、さらに、
予め設定された基礎値と前記正規化処理後のマッチング値との差分を計算し、
前記差分に予め設定された拡大閾値を乗算し、スコア値を得るために用いられる、ことを特徴とする、画像検出装置。
前記マッチングユニットは、
前記第１の画像の画素を前記第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るためのカバーサブユニットと、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、前記第１の画像と前記第２の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む、ことを特徴とする、請求項１３に記載の画像検出装置。
前記決定サブユニットは、さらに、前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たさないと決定するために用いられる、ことを特徴とする、請求項１３に記載の画像検出装置。
画像検出装置であって、
予め設定された期間を空けた第１の画像と第２の画像をビデオストリームから切り取るための切り取りユニットと、
前記第１の画像と前記第２の画像に対して画素マッチングを行って第１の画像と前記第２の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第１の画像と前記第２の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第２の画像に対して画面内容の検出を行うための検出ユニットであって、
前記第１の画像と前記第２の画像との間の前記画素の前記合計マッチング値が予め設定されたマッチング条件を満たす場合、前記第２の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るための除去サブユニットと、
前記検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るための処理サブユニットと、
前記ターゲット検出すべき画像のターゲットぼかし程度を計算するための計算サブユニットと、
前記ターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、前記第２の画像に画面内容が存在しないと決定するための決定サブユニットとを含む、ことを特徴とする、検出ユニットと、
前記第２の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットと、を含む、画像検出装置。
前記計算サブユニットは、さらに、
ラプラスアルゴリズムにより前記ターゲット検出すべき画像を計算し、波形データセットを得、
前記波形データセットの平均値を計算し、且つ前記平均値に基づいて前記波形データセットに対応する基準差を得、
前記基準差をターゲットぼかし程度として決定するために用いられる、ことを特徴とする、請求項１６に記載の画像検出装置。
前記マッチングユニットは、
前記第１の画像の画素を前記第２の画像の画素にカバーし、カバー後の第２のターゲット画像を得るためのカバーサブユニットと、
前記第１の画像の各画素と第２のターゲット画像における対応する画素との差の二乗の和を統計し、前記第１の画像と前記第２の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む、ことを特徴とする、請求項１６に記載の画像検出装置。
コンピュータに、請求項１～９のいずれか１項に記載の方法を実施させる、コンピュータプログラム。
メモリと、処理装置と、メモリに記憶されており且つ処理装置で動作できるコンピュータプログラムとを含むコンピュータ機器であって、
前記処理装置が前記プログラムを実行すると、請求項１～９のいずれか１項に記載の方法のステップを実現する、コンピュータ機器。