JP2023525283A - 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 - Google Patents
画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 Download PDFInfo
- Publication number
- JP2023525283A JP2023525283A JP2022567668A JP2022567668A JP2023525283A JP 2023525283 A JP2023525283 A JP 2023525283A JP 2022567668 A JP2022567668 A JP 2022567668A JP 2022567668 A JP2022567668 A JP 2022567668A JP 2023525283 A JP2023525283 A JP 2023525283A
- Authority
- JP
- Japan
- Prior art keywords
- image
- matching
- value
- preset
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 137
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 69
- 238000010606 normalization Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 abstract description 15
- 239000011159 matrix material Substances 0.000 description 28
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/535—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for monitoring, e.g. of user parameters, terminal parameters, application parameters, network parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2404—Monitoring of server processing errors or hardware failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Acoustics & Sound (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
Description
本出願は、2020年09月25日に中国特許局で提出された、出願番号が202011024483.0であり、発明名称が「画像検出方法、装置及びコンピュータ可読記憶媒体」の中国特許出願の優先権を主張しており、その内容のすべては、援用で本出願に取り込まれる。
[技術分野]
本出願は、通信技術分野に関し、具体的に、画像検出方法、装置、コンピュータ機器及びコンピュータ可読記憶媒体に関する。
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うステップと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップとを含む。
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るための切り取りユニットと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うための検出ユニットと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含む。
ステップ101において、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る。
そのうち、このビデオストリームは、複数のフレームのゲーム画像から構成されるものであってもよく、即ち、このビデオストリームは、ゲーム画面であってもよく、理解できるように、関連技術では、ゲーム画面のレンダリング負荷が比較的に大きいか、又はクラウドホストコンピュータのいくつかのコンポーネントがゲームの動作と互換性がないため、ゲーム起動時又はゲーム中にフリーズしてしまい、ゲームがフリーズしていると、画像を視覚だけで観察すると、ゲームが本当にフリーズして動かないか否かを決定することができない。
そのうち、ゲームビデオストリームに対応するゲーム画面が静止して動かないか否かを判断するために、予め設定された期間を空けた第1の画像と第2の画像に対して画素マッチングを行う必要がある。この第1の画像と第2の画像の画素の数が同じであるため、サーバにより、第1の画像における各画素と第2の画像における対応する位置での画素との類似度を計算することができ、例えば、第1の画像と第2の画像における同様な位置を有する2つの画素の類似度を計算し、全ての類似度を統合し、類似スコア値を得、この類似スコア値は、第1の画像と第2の画像との間の画素の合計マッチング値であり、この類似スコア値は、第1の画像と第2の画像の類似度を示し、この類似スコア値に基づいて、この第1の画像と第2の画像が予め設定されたマッチング条件を満たすか否かを判定し、即ち、このゲーム画面が静止して動かないか否かを判定することができる。
第1の画像の画素を第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るステップ(1)と、
この第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、この第1の画像とこの第2の画像との間の画素の合計マッチング値を得るステップ(2)とを含んでもよい。
そのうち、二乗差マッチングアルゴリズムにより、第1の画像と第2の画像との間の画素の合計マッチング値を決定することができ、二乗差マッチングアルゴリズムは、以下のとおりである。
そのうち、予め設定されたマッチング条件を設定することができ、この予め設定されたマッチング条件は、予め設定されたスコア閾値であってもよく、この予め設定されたスコア閾値は、第1の画像と第2の画像がマッチングするか否かを画定する臨界値であり、即ち、サーバは、画素の合計マッチング値が予め設定されたスコア閾値よりも高い場合、第1の画像と第2の画像が予め設定されたマッチング条件を満たすと決定し、第1の画像と第2の画像とがマッチングに成功したと判定し、即ち、第1の画像と第2の画像との類似度が条件を満たす場合、ゲーム画面が静止して動かないと決定し、サーバは、画素の合計マッチング値が予め設定されたスコア閾値よりも高くない場合、第1の画像と第2の画像との間の画素が予め設定されたマッチング条件を満たさないと決定し、第1の画像と第2の画像とのマッチングが失敗したと判定し、即ち、第1の画像と第2の画像との類似度が条件を満たさない場合、ゲーム画面が依然として変化しており、フリーズしないと決定する。
この画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップ(1)と、
正規化処理後のマッチング値をスコア値に変換するステップ(2)と、
そのうち、この画素の合計マッチング値の区間が比較的に大きく、基準スコアを用いて第1の画像と第2の画像とがマッチングするか否かを判定することに不利であるのを防止するために、本出願の実施例では、正規化処理を用いてこの合計マッチング値を0~1の間に縮小し、正規化処理後のマッチング値が0に近いほど、第1の画像と第2の画像が類似し、正規化処理後のマッチング値が1に近いほど、第1の画像と第2の画像が類似しない。
この第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計するステップ(2.1)と、
統計した積の和に対して2乗根式の計算を行い、ターゲット値を得るステップ(2.2)と、
この画素の合計マッチング値とこのターゲット値との比値を計算し、正規化処理後のマッチング値を得るステップ(2.3)とを含んでもよい。
そのうち、以下の式により、画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得ることができ、この式は、具体的に、正規化二乗差マッチング法であってもよい。
予め設定された基礎値とこの正規化処理後のマッチング値との差分を計算するステップ(3.1)と、
この差分に予め設定された拡大閾値を乗算し、スコア値を得るステップ(3.2)と、を含んでもよい。
この第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るステップ(4.1)と、
この検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るステップ(4.2)と、
このターゲット検出すべき画像のターゲットぼかし程度を計算するステップ(4.3)と、
このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第2の画像に画面内容が存在しないことを検出したと判定するステップ(4.4)とを含んでもよい。
ラプラスアルゴリズムによりこのターゲット検出すべき画像を計算し、波形データセットを得るステップ(5.1)と、
この波形データセットの平均値を計算し、且つこの平均値に基づいてこの波形データセットに対応する基準差を得るステップ(5.2)と、
この基準差をターゲットぼかし程度として決定するステップ(5.3)とを含んでもよい。
そのうち、サーバが第2の画像に画面内容が存在しないことを検出した場合、この第2の画像における画素の全体的な明るさの変化が一定の範囲内にあることが示され、即ち、第2の画像にはあまり画素変化がなく、画面に内容がなく、純色画面であると判定し、ビデオストリームに異常が生じており、ゲームがフリーズしていると決定する。
本実施例では、この画像検出装置が具体的にサーバに統合され、このサーバがクラウドホストコンピュータであることを例にしてについて説明し、具体的に以下の説明を参照する。
ステップ201において、サーバは、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る。
そのうち、この予め設定された回数は、ゲーム画面が本当に静止していることを画定する画定値であり、例えば3回であり、サーバは回数が予め設定された回数を超えることを検出した場合、第1の画像と第2の画像が30秒内にいずれも変化しておらず、画面静止の状態にあることが示され、ステップ207を実行する。サーバは回数が予め設定された回数を超えないことを検出した場合、第1の画像と第2の画像が30秒内に変化しており、ゲームビデオストリームがフリーズしないことが示され、ステップ201に戻って実行し、検出を続行する。ステップ207において、サーバは、第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得、検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得る。
切り取りユニット301は、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るために用いられる。
この第1の画像の画素をこの第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るためのカバーサブユニットと、
この第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、この第1の画像とこの第2の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む。
この合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
このスコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、この第1の画像とこの第2の画像が予め設定されたマッチング条件を満たすと決定し、この第2の画像に対して画面内容の検出を行うための決定サブユニットとを含む。
この第1の画像とこの第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たす場合、この第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るための除去サブユニットと、
この検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るための処理サブユニットと、
このターゲット検出すべき画像のターゲットぼかし程度を計算するための計算サブユニットと、
このターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、この第2の画像に画面内容が存在しないと決定するための決定サブユニットとを含む。
以上の各ユニットの具体的な実施については、前の実施例を参照することができ、ここではこれ以上説明しない。
このサーバは、クラウドホストコンピュータであってもよく、1つ以上の処理コアの処理装置401、1つ以上のコンピュータ可読記憶媒体のメモリ402、電源403及び入力ユニット404などの部品を含んでもよい。当業者であれば理解できるように、図7に示すサーバ構造は、サーバに対する限定を構成するものではなく、図示よりも多くまたは少ない部品、又はいくつかの部品の組み合わせ、又は異なる部品配置を含んでもよい。そのうち、
処理装置401は、このサーバの制御センターであり、様々なインターフェースと回線を用いてサーバ全体の各部を接続し、メモリ402に記憶されたソフトウェアプログラム及び/又はモジュールを動作させ又は実行し、メモリ402に記憶されたデータを呼び出すことにより、サーバの様々な機能と処理データを実行し、それによって、サーバ全体をモニタリングする。選択的に、処理装置401は、1つ又は複数の処理コアを含んでもよく、好適には、処理装置401は、主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理するアプリケーション処理装置と、主に無線通信を処理するモデム処理装置とが統合されてもよい。理解できるように、上記モデム処理装置は、処理装置401に統合されなくてもよい。
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る機能と、この第1の画像とこの第2の画像に対して画素マッチングを行ってこの第1の画像とこの第2の画像との間の画素の合計マッチング値を取得する機能と、画素の合計マッチング値に基づいて、第1の画像と第2の画像が予め設定されたマッチング条件を満たすと決定した場合、この第2の画像に対して画面内容の検出を行う機能と、この第2の画像に画面内容が存在しないことを検出した場合、このビデオストリームに異常が生じたと決定する機能との様々な機能を実現する。
以上各操作の具体的な実施について前の実施例を参照することができ、ここではこれ以上説明しない。
11 検出すべき画像
302 マッチングユニット
303 検出ユニット
304 決定ユニット
401 処理装置
402 メモリ
403 電源
404 入力ユニット
A ベースサーバ
B クラウドホストコンピュータ
C ボードガード又はコンテナ
D プッシュストリームサーバ
E アプリケーション又はウェブページ
Claims (20)
- サーバにより実行される画像検出方法であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するステップと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うステップと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するステップとを含む、画像検出方法。 - 前記第1の画像と前記第2の画像に対して画素マッチングを行って前記第1の画像と前記第2の画像との間の画素の合計マッチング値を取得する前記ステップは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るステップと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るステップとを含む、ことを特徴とする、請求項1に記載の画像検出方法。 - 前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るステップと、
正規化処理後のマッチング値をスコア値に変換するステップと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定するステップとをさらに含む、ことを特徴とする、請求項1に記載の画像検出方法。 - 前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たさないと決定するステップをさらに含む、ことを特徴とする、請求項3に記載の画像検出方法。
- 前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得る前記ステップは、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計するステップと、
統計した積の和に対して2乗根式の計算を行い、ターゲット値を得るステップと、
前記画素の合計マッチング値と前記ターゲット値との比値を計算し、正規化処理後のマッチング値を得るステップとを含む、ことを特徴とする、請求項3に記載の画像検出方法。 - 正規化処理後のマッチング値をスコア値に変換する前記ステップは、
予め設定された基礎値と前記正規化処理後のマッチング値との差分を計算するステップと、
前記差分に予め設定された拡大閾値を乗算し、スコア値を得るステップと、を含む、ことを特徴とする、請求項3に記載の画像検出方法。 - 前記第2の画像に対して画面内容の検出を行う前記ステップは、
前記第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るステップと、
前記検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るステップと、
前記ターゲット検出すべき画像のターゲットぼかし程度を計算するステップと、
前記ターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、前記第2の画像に画面内容が存在しないと決定するステップとを含む、ことを特徴とする、請求項1に記載の画像検出方法。 - 前記ターゲット検出すべき画像のターゲットぼかし程度を計算する前記ステップは、
ラプラスアルゴリズムにより前記ターゲット検出すべき画像を計算し、波形データセットを得るステップと、
前記波形データセットの平均値を計算し、且つ前記平均値に基づいて前記波形データセットに対応する基準差を得るステップと、
前記基準差をターゲットぼかし程度として決定するステップとを含む、ことを特徴とする、請求項7に記載の画像検出方法。 - 予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取る前記ステップは、
現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップを含み、
前記第2の画像に対して画面内容の検出を行う前記ステップの前、 前記画素の合計マッチング値に基づいて、現在の検出時刻に対応する第1の画像と第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、現在のマッチング結果がマッチング成功であると決定するステップと、
記憶された履歴マッチング結果を取得するステップであって、前記履歴マッチング結果は、履歴検出時刻に、切り取った予め設定された期間を空けた第1の画像と第2の画像に対して画素マッチング処理を行って得られたマッチング結果である、ステップと、
前記履歴マッチング結果と前記現在のマッチング結果に基づいて、予め設定された検出期間内にマッチングに成功した回数を決定するステップとをさらに含み、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像との間の画素の合計マッチング値が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うステップは、
予め設定された検出期間内にマッチングに成功した回数が予め設定された回数以上である場合、前記現在の第2の画像に対して画面内容の検出を行うステップを含む、ことを特徴とする、請求項1に記載の画像検出方法。 - 予め設定された検出期間内にマッチングに成功した回数が予め設定された回数よりも小さい場合、次の検出時刻に進み、且つ前記次の検出時刻を現在の時刻とし、前述した、現在の検出時刻に、予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るステップに戻って、検出を続行し、前記ビデオストリームの再生が完了すると停止するステップをさらに含む、ことを特徴とする、請求項9に記載の方法。
- 画像検出装置であって、
予め設定された期間を空けた第1の画像と第2の画像をビデオストリームから切り取るための切り取りユニットと、
前記第1の画像と前記第2の画像に対して画素マッチングを行って第1の画像と前記第2の画像との間の画素の合計マッチング値を取得するためのマッチングユニットと、
前記画素の合計マッチング値に基づいて、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定した場合、前記第2の画像に対して画面内容の検出を行うための検出ユニットと、
前記第2の画像に画面内容が存在しないことを検出した場合、前記ビデオストリームに異常が生じたと決定するための決定ユニットとを含む、ことを特徴とする画像検出装置。 - 前記マッチングユニットは、
前記第1の画像の画素を前記第2の画像の画素にカバーし、カバー後の第2のターゲット画像を得るためのカバーサブユニットと、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との差の二乗の和を統計し、前記第1の画像と前記第2の画像との間の画素の合計マッチング値を得るための統計サブユニットとを含む、ことを特徴とする、請求項11に記載の画像検出装置。 - 前記検出ユニットは、
前記画素の合計マッチング値に対して正規化処理を行い、正規化処理後のマッチング値を得るための正規化サブユニットと、
正規化処理後のマッチング値をスコア値に変換するための変換サブユニットと、
前記スコア値が予め設定されたスコア閾値よりも大きいことを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たすと決定し、前記第2の画像に対して画面内容の検出を行うための決定サブユニットとを含む、ことを特徴とする、請求項11に記載の画像検出装置。 - 前記決定サブユニットは、さらに、前記スコア値が予め設定されたスコア閾値以下であることを検出した場合、前記第1の画像と前記第2の画像が予め設定されたマッチング条件を満たさないと決定するために用いられる、ことを特徴とする、請求項13に記載の画像検出装置。
- 前記正規化サブユニットは、さらに、
前記第1の画像の各画素と第2のターゲット画像における対応する画素との積の和を統計し、
統計した積の和に対して2乗根式の計算を行い、ターゲット値を得、
前記画素の合計マッチング値と前記ターゲット値との比値を計算し、正規化処理後のマッチング値を得るために用いられる、ことを特徴とする、請求項13に記載の画像検出装置。 - 前記変換サブユニットは、さらに、
予め設定された基礎値と前記正規化処理後のマッチング値との差分を計算し、
前記差分に予め設定された拡大閾値を乗算し、スコア値を得るために用いられる、ことを特徴とする、請求項13に記載の画像検出装置。 - 前記検出ユニットは、
前記第1の画像と前記第2の画像画素マッチング値が予め設定されたマッチング条件を満たす場合、前記第2の画像の枠領域に対して除去処理を行い、除去処理後の検出すべき画像を得るための除去サブユニットと、
前記検出すべき画像に対してぼかし処理を行い、ぼかし処理後のターゲット検出すべき画像を得るための処理サブユニットと、
前記ターゲット検出すべき画像のターゲットぼかし程度を計算するための計算サブユニットと、
前記ターゲットぼかし程度が予め設定されたぼかし程度閾値よりも低いことを検出した場合、前記第2の画像に画面内容が存在しないと決定するための決定サブユニットとを含む、ことを特徴とする、請求項11に記載の画像検出装置。 - 前記計算サブユニットは、さらに、
ラプラスアルゴリズムにより前記ターゲット検出すべき画像を計算し、波形データセットを得、
前記波形データセットの平均値を計算し、且つ前記平均値に基づいて前記波形データセットに対応する基準差を得、
前記基準差をターゲットぼかし程度として決定するために用いられる、ことを特徴とする、請求項17に記載の画像検出装置。 - コンピュータ可読命令が記憶された1つ又は複数の非揮発性可読記憶媒体であって、
前記コンピュータ可読命令が1つ又は複数の処理装置により実行されると、前記1つ又は複数の処理装置に請求項1~10のいずれか1項に記載の方法のステップを実行させる、非揮発性可読記憶媒体。 - メモリと、処理装置と、メモリに記憶されており且つ処理装置で動作できるコンピュータプログラムとを含むコンピュータ機器であって、
前記処理装置が前記プログラムを実行すると、請求項1~10のいずれか1項に記載の方法のステップを実現する、コンピュータ機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011024483.0 | 2020-09-25 | ||
CN202011024483.0A CN112206508A (zh) | 2020-09-25 | 2020-09-25 | 一种图像检测方法、装置及计算机可读存储介质 |
PCT/CN2021/113175 WO2022062772A1 (zh) | 2020-09-25 | 2021-08-18 | 图像检测方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023525283A true JP2023525283A (ja) | 2023-06-15 |
JP7490082B2 JP7490082B2 (ja) | 2024-05-24 |
Family
ID=74051130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022567668A Active JP7490082B2 (ja) | 2020-09-25 | 2021-08-18 | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220415038A1 (ja) |
EP (1) | EP4129430A4 (ja) |
JP (1) | JP7490082B2 (ja) |
CN (1) | CN112206508A (ja) |
WO (1) | WO2022062772A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112206508A (zh) * | 2020-09-25 | 2021-01-12 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
CN113112448A (zh) * | 2021-02-25 | 2021-07-13 | 惠州华阳通用电子有限公司 | 一种显示画面检测方法及存储介质 |
CN116156157B (zh) * | 2023-04-24 | 2023-08-18 | 长沙海信智能系统研究院有限公司 | 一种摄像头遮挡异常的检测方法及电子设备 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003108051A (ja) * | 2001-09-28 | 2003-04-11 | Namco Ltd | ゲーム装置 |
JP2010056729A (ja) * | 2008-08-27 | 2010-03-11 | Mitsubishi Electric Corp | フレーム補間装置及び方法並びに画像表示装置 |
JP5600954B2 (ja) | 2010-02-10 | 2014-10-08 | セイコーエプソン株式会社 | 検査システム、その方法及びプログラム |
JP5557189B2 (ja) | 2010-03-31 | 2014-07-23 | トヨタ自動車株式会社 | 位置推定装置、位置推定方法及びプログラム |
US8786625B2 (en) * | 2010-09-30 | 2014-07-22 | Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
CN104166614B (zh) * | 2013-05-17 | 2017-12-15 | 腾讯科技(深圳)有限公司 | 一种移动设备的帧率探测方法和相关装置 |
CN103810106A (zh) * | 2014-03-06 | 2014-05-21 | 安一恒通(北京)科技有限公司 | 一种测试界面流畅度的方法和装置 |
CN105872760A (zh) * | 2015-12-02 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种视频播放监测方法及装置 |
CN106375755B (zh) * | 2016-08-31 | 2018-12-28 | 福建省天奕网络科技有限公司 | 一种视频数据卡顿检测方法及系统 |
CN106599783B (zh) * | 2016-11-09 | 2020-01-14 | 浙江宇视科技有限公司 | 一种视频遮挡检测方法及装置 |
CN107657591A (zh) * | 2017-09-05 | 2018-02-02 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN107509107B (zh) * | 2017-09-20 | 2020-04-24 | 广州视源电子科技股份有限公司 | 视频播放故障的检测方法、装置及设备、可读介质 |
US11039146B2 (en) * | 2018-03-01 | 2021-06-15 | Arris Enterprises Llc | Visual artifact detector |
CN109062651A (zh) * | 2018-08-01 | 2018-12-21 | 深圳Tcl新技术有限公司 | Ui界面的图片加载方法、装置、存储介质及智能终端 |
CN109766953B (zh) | 2019-01-22 | 2021-07-13 | 中国人民公安大学 | 对象识别方法及装置 |
CN109996063B (zh) * | 2019-04-04 | 2020-08-11 | 广东省安心加科技有限公司 | 视频图像花屏检测方法、装置、计算机设备和存储介质 |
CN111654756B (zh) * | 2020-06-03 | 2021-06-11 | 腾讯科技(深圳)有限公司 | 卡顿检测方法、装置、设备及可读存储介质 |
CN112206508A (zh) * | 2020-09-25 | 2021-01-12 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
-
2020
- 2020-09-25 CN CN202011024483.0A patent/CN112206508A/zh active Pending
-
2021
- 2021-08-18 WO PCT/CN2021/113175 patent/WO2022062772A1/zh active Application Filing
- 2021-08-18 JP JP2022567668A patent/JP7490082B2/ja active Active
- 2021-08-18 EP EP21871145.5A patent/EP4129430A4/en active Pending
-
2022
- 2022-09-01 US US17/901,707 patent/US20220415038A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022062772A1 (zh) | 2022-03-31 |
CN112206508A (zh) | 2021-01-12 |
JP7490082B2 (ja) | 2024-05-24 |
EP4129430A1 (en) | 2023-02-08 |
US20220415038A1 (en) | 2022-12-29 |
EP4129430A4 (en) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023525283A (ja) | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 | |
US20210383838A1 (en) | Determining high-interest durations of gameplay sessions from user inputs | |
US11712621B2 (en) | Video clip classification using feature vectors of a trained image classifier | |
DE102020127706A1 (de) | Inferenz, markenzeichen und tm spielereigniserfassung | |
US11586842B2 (en) | System and method for machine learning based video quality assessment | |
US10949325B1 (en) | Automated cross-session video game testing | |
EP2766809A1 (en) | Methods and systems for identifying action for responding to anomaly in cloud computing system | |
KR20140091555A (ko) | 웹 페이지 렌더링 시간 측정 기법 | |
US11789846B2 (en) | Method and system for using stacktrace signatures for bug triaging in a microservice architecture | |
US8495637B2 (en) | Apparatus and method for temporarily freeing up resources in a computer | |
US20220280867A1 (en) | Server load prediction and advanced performance measures | |
US11282179B2 (en) | System and method for machine learning based video quality assessment | |
US10279267B2 (en) | Monitoring game activity to detect a surrogate computer program | |
CA3147528A1 (en) | Systems and methods for video streaming analysis | |
CN111770352A (zh) | 安全检测方法、装置、电子设备及存储介质 | |
US9539514B2 (en) | Method and system for generating signatures and locating/executing associations for a game program | |
CN113032278A (zh) | 应用程序的运行方式、终端设备的等级确认方法及装置 | |
CN113312238A (zh) | 一种资源池监控方法及其相关设备 | |
JP7389532B2 (ja) | アプリケーション・クラッシュ・テスト・プラットフォーム | |
US20230115603A1 (en) | Scene entity processing using flattened list of sub-items in computer game | |
CN115445179A (zh) | 一种游戏中的信息处理方法、装置、设备及介质 | |
CN117122907A (zh) | 用于提供游戏重新沉浸的方法和系统 | |
KR20220079157A (ko) | 가상화 서버, 이의 동작 방법, 및 프로그램 | |
CN117270658A (zh) | 一种服务器散热智能管理方法、装置及电子设备 | |
CN115944926A (zh) | 模型处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240403 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7490082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |