JP7253573B2 - マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体 - Google Patents

マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP7253573B2
JP7253573B2 JP2020568312A JP2020568312A JP7253573B2 JP 7253573 B2 JP7253573 B2 JP 7253573B2 JP 2020568312 A JP2020568312 A JP 2020568312A JP 2020568312 A JP2020568312 A JP 2020568312A JP 7253573 B2 JP7253573 B2 JP 7253573B2
Authority
JP
Japan
Prior art keywords
matching
reference image
image
distance
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020568312A
Other languages
English (en)
Other versions
JP2022543934A (ja
Inventor
カイゴー チェン
リュエ ウー
シューアイ イー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SG10202003292XA external-priority patent/SG10202003292XA/en
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Publication of JP2022543934A publication Critical patent/JP2022543934A/ja
Application granted granted Critical
Publication of JP7253573B2 publication Critical patent/JP7253573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Description

(関連出願の相互参照)
本願は、2020年4月9日に提出された出願番号10202003292Xのシンガポール特許出願に基づく優先権を主張し、該シンガポール特許出願の全内容が参照として本願に組み込まれる。
本願は、画像認識分野に関し、特にマッチング方法、装置、電子機器及びコンピュータ可読記憶媒体に関する。
現在、インテリジェント監視システムにおいて、現在のシーンの平面レイアウトに含まれる異なる機能性区画に基づいて、それそれ具体的な異なる監視方式を手動で設定することが多い。これにより、監視シーンが変わった場合、正常な監視を継続するために、人間の介入を必要とし、機能の設定を手動で再実行する必要がある。なお、監視装置が干渉を受けるか又は遮蔽される場合、リマインドを直ちに出して、関連の保守及び検査を行う必要がある。
上記技術的課題を解決するために、本願の実施例は、画像マッチングの知能性を向上させることができるマッチング方法、装置、電子機器及びコンピュータ可読記憶媒体を提供することが望ましい。
本願の技術的解決手段は、以下のように実現する。
本願の実施例は、マッチング方法を提供する。前記方法は、
マッチング待ち画像を取得することと、
前記マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出することと、
少なくとも1つの参照画像のうちの1つの参照画像に対して、前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得て、該参照画像に対応する距離集合は、前記少なくとも1つのマッチング待ち特徴点と前記少なくとも1つの参照特徴点との距離からなる距離集合であり、1つの参照画像に1つの基準サンプルの画像が含まれ、異なる参照画像に、異なる基準サンプルが含まれることと、
各参照画像に対応する距離集合に基づいて、前記マッチング待ち画像が各参照画像とマッチングするかどうかを決定することと、を含む。
本願の実施例は、マッチング装置を提供する。前記マッチング装置は、取得ユニットと、抽出ユニットと、マッチングユニットと、決定ユニットと、を備え、
前記取得ユニットは、マッチング待ち画像を取得するように構成され、
前記抽出ユニットは、前記マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出するように構成され、
前記マッチングユニットは、少なくとも1つの参照画像のうちの1つの参照画像に対して、前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得て、該参照画像に対応する距離集合は、前記少なくとも1つのマッチング待ち特徴点と前記少なくとも1つの参照特徴点との距離からなる距離集合であり、1つの参照画像に1つの基準サンプルの画像が含まれ、異なる参照画像に、異なる基準サンプルが含まれるように構成され、
前記決定ユニットは、各参照画像に対応する距離集合に基づいて、前記マッチング待ち画像が各参照画像とマッチングするかどうかを決定するように構成される。
本願の実施例は、電子機器を提供する。前記電子機器は、プロセッサと、メモリと、通信バスと、を備え、前記メモリは、前記通信バスを経由して前記プロセッサと通信し、前記メモリは、前記プロセッサによる実行可能な1つ又は複数のプログラムを記憶し、前記1つ又は複数のプログラムが実行される時、前記プロセッサは、上記いずれか一項に記載のマッチング方法を実行する。
本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に1つ又は複数のプログラムが記憶されており、前記1つ又は複数のプログラムが1つ又は複数のプロセッサにより実行され、上記いずれか一項に記載のマッチング方法を実現させる。
本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器で実行される時、前記機器におけるプロセッサは、上記いずれか一項に記載のマッチング方法を実現させるための命令を実行する。
本願の実施例は、マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体を提供する。前記方法は、マッチング待ち画像を取得することと、前記マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出することと、少なくとも1つの参照画像のうちの1つの参照画像に対して、少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得て、該参照画像に対応する距離集合は、少なくとも1つのマッチング待ち特徴点と少なくとも1つの参照特徴点との距離からなる距離集合であり、1つの参照画像に1つの基準サンプルの画像が含まれ、異なる参照画像に、異なる基準サンプルが含まれることと、各参照画像に対応する距離集合に基づいて、マッチング待ち画像が各参照画像とマッチングするかどうかを決定することと、を含む。上記方法によれば、現在の平面レイアウトのマッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出し、異なる基準サンプルを表す少なくとも1つの参照画像における参照特徴点とマッチングし、マッチング待ち画像と各参照画像に対応する距離集合を得る。マッチング待ち画像と各参照画像に対応する距離集合は、マッチング待ち画像と各参照画像との間の類似度を表す。マッチング待ち画像と各参照画像に対応する距離集合に基づいて、現在の平面レイアウトが1つの基準サンプルとマッチングするかどうかを決定し、また、どの基準サンプルとマッチングするかを決定する。これにより、現在の平面レイアウトにおいて、基準サンプルにおいて事前設定された機能実現を自動的に適用することができる。マッチング及び機能設定を手動で行う必要がなく、画像マッチングの知能性を向上させる。
本願の実施例による平面レイアウトを示す概略図である。 本願の実施例によるマッチング方法を示す第1フローチャートである。 本願の実施例によるマッチング方法を示す第2フローチャートである。 本願の実施例によるマッチング方法を示す第3フローチャートである。 本願の実施例によるマッチング方法を示す第4フローチャートである。 本願の実施例によるマッチング方法を示す第5フローチャートである。 本願の実施例によるマッチング方法を示す第6フローチャートである。 本願の実施例によるマッチング装置の構造を示す第1概略図である。 本願の実施例によるマッチング装置の構造を示す第2概略図である。
以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。本願の実施例において、平面レイアウトと基準平面レイアウトとのマッチングを例として、本願の実施例のマッチング方法を説明する。
本願の実施例による平面レイアウトを示す概略図である図1を参照すると、図1において、現在の平面レイアウト100は、テーブルクロス又は平面図などであってもよい。現在の平面レイアウトに、少なくとも1つの機能領域200_1...200_nが含まれる。各機能領域において、監視画像の変動により事前設定された異なる処理方法をトリガすることができる。例えば、機能領域200_1において、放置されたマーカの数及び価値を自動的に統計することができる。従って、本稼働に入る前に、まず、現在の平面レイアウトに対して画像認識を行い、予め機能領域設定された複数の参照平面レイアウトの基準サンプルとマッチングさせる。現在の平面レイアウトが1つの基準サンプルとマッチングした時、現在の平面レイアウトで、該基準サンプルにおいて設定された機能実現を適用する。つまり、該基準サンプルの機能領域を現在の平面レイアウトの機能領域にマッピングする。現在の平面レイアウトの少なくとも1つの機能領域200_1...200_nにおけるある機能領域でトリガイベントを検出した時、該基準サンプルに対応する機能領域に設定された機能実現により、対応する処理を実行する。また、監視装置が干渉を受けるか又は遮蔽された時、又は、現在の平面レイアウトが如何なる基準サンプルにも属しない時、現在の平面レイアウトが如何なる参照平面レイアウトとマッチングできなくなる。この場合、警報をタイムリーに出し、保守処理を行うように作業者にリマインドする。
本願の実施例において、図1に示す平面レイアウト模式図によれば、図2は、本願の実施例によるマッチング方法を示すフローチャートであり、S101-S104を含む。以下、図2に示すステップについて説明する。
S101において、マッチング待ち画像を取得する。
本願の実施例で提供される平面レイアウトマッチング方法は、現在の平面レイアウトを敷設する時、基準平面レイアウトとマッチングするシーンに適用する。例示的に、現在の平面レイアウトを監視する時、レイアウトタイプの異なる基準平面レイアウト(即ち、異なる基準サンプル)とマッチングすることで、現在の平面レイアウトを1つの基準平面レイアウトと自動的にマッチングさせ、現在の平面レイアウトで、該基準平面レイアウトにおいて事前設定された機能実現のインテリジェント監視シーンを適用する。
本願の実施例において、マッチング待ち画像のコンテンツは多様である。例えば、幾つかの実施例において、前記マッチング待ち画像は、ゲームテーブル上のテーブルクロスの画像を含み、前記テーブルクロスの画像は、テーブルクロス上のパターンを含む。
本願の実施例において、鳥瞰角度で設けられた画像収集装置により、現在の平面レイアウトの鳥瞰図を取得し、マッチング待ち画像とすることができる。
本願の実施例において、収集された現在の平面レイアウトの画像フレームから一部の画像を切り出して、マッチング待ち画像とすることもできる。
本願の実施例において、画像収集装置は、カメラなどの機器であってもよく、本願の実施例は、これを限定するものではない。
本願の実施例において、画像収集装置がカメラである時、収集された現在の平面レイアウトの画像ストリームから、マッチング待ち画像を抽出することができる。
S102において、マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出する。
本願の実施例において、マッチング待ち画像を得た後、まず、マッチング待ち画像から少なくとも1つのマッチング待ち特徴点を抽出し、抽出された少なくとも1つのマッチング待ち特徴点に基づいて、画像マッチングを更に行う。
本願の実施例において、特徴点は、二値頑健独立基本特徴(BRIEF,Binary robust independent elementary feature)であってもよく、他のデータ形態であってもよい。具体的には、実際の状況に応じて選択し、本願の実施例は、具体的に限定しない。
本願の実施例において、ORB(Oriented FAST and Rotated BRIEF)におけるコーナー検出(Harris corner detection)方法とFAST(Features from accelerated segment test)特徴抽出アルゴリズムに基づいて、マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出することができる。具体的には、以下のとおりである。
マッチング待ち画像から少なくとも1つのオリジナル画素点を選択する。少なくとも1つのオリジナル画素点のうちの各オリジナル画素点について、各オリジナル画素点の所定の範囲内に、所定の数のターゲット画素点の階調値が各オリジナル画素点の階調値と異なる場合、ターゲット画素点に対して特徴抽出を行い、1つの少なくとも1つのマッチング待ち特徴点を得る。
本願の実施例において、1つのオリジナル画素点の所定の範囲内で、所定の数の画素点の階調値が該オリジナル画素点の階調値に等しくない場合、例示的に、1枚の画像における物体の隅部、縁での画素点の階調値が周囲の他の画素点と異なると、該オリジナル画素点がコーナー境界を表すコーナー点であり、画像認識において、より高い識別度及び代表性を有し、該オリジナル画素点の所定の範囲内の画素点に対して特徴抽出を行い、マッチング待ち特徴点とすることができる。
本願の幾つかの実施例において、マッチング待ち画像から、画素点Pを選択してオリジナル画素点とし、画素点Pの周囲で、3画素を半径として円を描く。円周において、12個の画素点の階調値がP点の階調値より大きい又は小さい場合、P点周囲の画素値の二値頑健独立基本特徴BRIEFを抽出して、P点に対応するマッチング待ち特徴点とする。上記と同様な方法により、マッチング待ち画像から、1500個のマッチング待ち特徴点を抽出することができる。
本願の実施例において、他の特徴抽出方法で、マッチング待ち特徴点を抽出することもでき、本願の実施例は、これを限定するものではない。
本願の幾つかの実施例において、マッチング待ち画像を得た後、まず、マッチング待ち画像からマッチング待ちレイアウト領域を区画し、マッチング待ちレイアウト領域から、マッチング待ちレイアウト領域の形状輪郭特徴を効果的に反映してマッチング待ちレイアウト領域における物体を標識するための画素点を抽出して、少なくとも1つのマッチング待ち特徴点とする。
本願の実施例において、マッチング待ちレイアウト領域は、現在の平面レイアウトにおけるマッチング待ち領域を表す。マッチング待ち画像に、一般的には多くの画像コンテンツ情報が含まれる。そこから、現在の平面レイアウトを表す画像コンテンツ部分を区画して、マッチング待ちレイアウト領域とする必要がある。続いて、マッチング待ちレイアウト領域のみに対して処理を行い、マッチング待ちレイアウト領域の範囲以外の部分に対して、平面レイアウトのマッチングを行わない。
本願の幾つかの実施例において、図1に示すように、平面レイアウト100から、点線範囲内のプレイヤー領域、ディーラー領域、ベット領域などの機能領域を区画して、マッチング待ちレイアウト領域300とする。続いて、マッチング待ちレイアウト領域300から、少なくとも1つのマッチング待ち特徴点を抽出して、後続のマッチングを行う。
S103において、少なくとも1つの参照画像のうちの1つの参照画像に対して、少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得て、該参照画像に対応する距離集合は、少なくとも1つのマッチング待ち特徴点と少なくとも1つの参照特徴点との距離からなる距離集合であり、1つの参照画像に1つの基準サンプルの画像が含まれ、異なる参照画像に、異なる基準サンプルが含まれる。
本願の実施例において、1つの参照画像は、1つの平面レイアウトの基準サンプルに対応する。各基準サンプルの鳥瞰図を予め収集し、収集された基準平面レイアウトの鳥瞰図が鮮明であるかどうか、遮蔽されていないか、レイアウト領域が完全であるかどうかを判定し、基準平面レイアウトの鳥瞰図に対して歪み除去処理を行い、少なくとも1つの参照画像とすることができる。又は、上記収集されて処理された鳥瞰図から一部の画像を切り出して、少なくとも1つの参照画像とすることもできる。
本願の実施例において、少なくとも1つの参照画像のうちの各参照画像に対して、各参照画像から少なくとも1つの参照特徴点を抽出する。
本願の幾つかの実施例において、各参照画像から、各参照画像の参照レイアウト領域を区画し、参照レイアウト領域から、少なくとも1つの参照特徴点を抽出する。
本願の実施例において、各参照画像から、少なくとも1つの参照特徴点を抽出する方法の原理は、S102における方法の原理と同じであり、本願の実施例において、詳細な説明を省略する。
本願の実施例において、少なくとも1つのマッチング待ち特徴点及び少なくとも1つの参照特徴点を得た後、1つの参照画像に対して、マッチング待ち画像における少なくとも1つのマッチング待ち特徴点を該参照画像における少なくとも1つの参照特徴点とマッチングし、少なくとも1つのマッチング待ち特徴点と少なくとも1つの参照特徴点との距離集合を得る。1つの距離集合に、マッチング待ち画像と参照画像との複数の距離が含まれる。少なくとも1つの参照画像に対して、同様な方法で、マッチング待ち画像を各参照画像とマッチングし、マッチング待ち画像と少なくとも1つの参照画像との対応する少なくとも1つの距離集合を得る。
本願の実施例において、少なくとも1つのマッチング待ち特徴点を少なくとも1つの参照特徴点とマッチングする時、ブルートフォースマッチング方法を用いてもよく、他のマッチングアルゴリズムを用いてもよい。具体的には、実際の状況に応じて選択する。本願の実施例は、これを限定するものではない。
本願の実施例において、少なくとも1つのマッチング待ち特徴点と少なくとも1つの参照特徴点との距離集合を算出する時、両者のハミング距離を算出してもよく、両者のユークリッド距離を算出してもよい。具体的には、実際の状況に応じて選択する。本願の実施例は、これを限定するものではない。
本願の実施例において、距離集合は、少なくとも1つのマッチング待ち特徴点と少なくとも1つの参照特徴点との間の類似度を表し、つまり、マッチング待ち画像と参照画像との間の類似度を表す。距離集合が大きいほど、マッチング待ち画像と参照画像との類似度が低くなることを表す。逆に、距離集合が小さいほど、マッチング待ち画像と参照画像との類似度が高くなることを表す。
S104において、各参照画像に対応する距離集合に基づいて、マッチング待ち画像が各参照画像とマッチングするかどうかを決定する。
本願の実施例において、各参照画像に対応する距離集合を得た後、各参照画像に対応する距離集合に基づいて、マッチング待ち画像が少なくとも1つの参照画像のうちの各参照画像とマッチングするかどうかを決定し、平面レイアウトの機能認識を更に実現させる。
本願の実施例において、マッチング待ち画像と各参照画像に対応する特徴点とマッチングする距離集合に基づいて、現在の平面レイアウトが1つの基準サンプルとマッチングできるかどうか、どの基準サンプルとマッチングするかを決定することで、現在の平面レイアウトにおいて、基準サンプルにおいて事前設定された機能実現を自動的に適用することができ、手動によるマッチング及び機能設定を必要とせず、画像マッチングの知能性を向上させることが理解されるべきである。
本願の実施例において、図2によれば、S104において、少なくとも1つの距離集合に基づいて、マッチング待ち画像が少なくとも1つの参照画像とマッチングするかどうかを決定することは、図3に示すように、S1041-S1042を含んでもよい。
S1041において、各参照画像に対応する距離集合から、最小距離を決定する。
本願の実施例において、各参照画像に対応する距離集合に少なくとも1つのマッチング待ち特徴点と該参照画像の少なくとも1つの参照特徴点との距離が含まれる。各参照画像に対応する距離集合に含まれる全ての距離の最小値を最小距離とする。
S1042において、最小距離が所定の閾値より大きい場合、マッチング待ち画像と少なくとも1つの参照画像とのマッチングがいずれも失敗したと決定する。
本願の実施例において、少なくとも1つの距離集合における最小距離が依然として所定の閾値より大きい場合、マッチング待ち画像と少なくとも1つの参照画像のうちの全ての参照画像との類似度が低いことを表す。マッチング待ち画像に対応する現在の平面レイアウトと少なくとも1つの参照画像とのマッチングが全て失敗したと決定することができる。つまり、現在の平面レイアウトは、如何なる基準平面レイアウトにも属しない。
本願の実施例において、マッチング待ち画像と少なくとも1つの参照画像とのマッチングがいずれも失敗したと決定した後、警告情報を出して、現在の平面レイアウトに対して相応的な処理を行うようにする。これにより、現在の平面レイアウトに基づいて監視を行う時、基準平面レイアウトとマッチングできないことにより、基準平面レイアウトにおいて事前設定された機能実現を実行できないという問題を避けることができる。
本願の実施例において、生成した警告情報は、インタフェースリマインドであってもよく、音声リマインドであってもよく、又は、両者を組み合わせたリマインド情報であってもよく、本願の実施例は、これを限定するものではない。
本願の幾つかの実施例において、監視装置の画像収集モジュールが遮蔽されて、完全なマッチング待ち領域を撮影できなく、又は監視シーンに新たなデスクトップが用いられた時、最小距離が所定の閾値より大きいことに基づいて、現在の平面レイアウトと各基準平面レイアウトとのマッチングが全て失敗したと決定できる。従って、監視インタフェースに、警告ウインドウをポップアップし、可能な限り早く処理するように保守員にリマインドする。
本願の実施例において、各参照画像に対応する距離集合における最小距離が所定の閾値より大きいかどうかに基づいて、マッチング待ち画像が少なくとも1つの参照画像のうち、対応する参照画像とマッチングできるかどうかを決定することができる。マッチング待ち画像がいずれか1つの参照画像とマッチングできないと、本願の実施例における方法により、タイムリーに発見して、更に警告情報を出すことができる。
本願の実施例において、図2によれば、S104は、図4に示すように、S1043-S1044を更に含んでもよい。
S1043において、各参照画像に対応する距離集合から、最小距離を決定し、最小距離が所定の閾値以下である場合、各参照画像に対応する距離集合の距離平均値を算出する。
本願の実施例において、各参照画像に対応する距離集合から、最小距離を決定するプロセスは、S1041と同じであり、ここで、詳細な説明を省略する。
本願の実施例において、最小距離が所定の閾値以下である時、マッチング待ち画像が、少なくとも1つの参照画像から、マッチングする参照画像を見付けることができることを表明する。少なくとも1つの参照画像から、マッチング待ち画像とマッチングする1つの参照画像を見付けるために、1つの参照画像において、該参照画像に対応する距離集合に含まれる少なくとも1つのマッチング待ち特徴点と少なくとも1つの参照特徴点との距離の平均値を算出して、該参照画像に対応する距離集合の平均値とし、各参照画像に対応する距離集合の距離平均値を得ることができる。
S1044において、各参照画像に対応する距離集合の距離平均値に基づいて、各参照画像から、マッチング待ち画像とマッチングするターゲット参照画像を決定し、ターゲット参照画像は、少なくとも1つの参照画像のうち、距離平均値が最も小さい距離集合に対応する参照画像である。
本願の実施例において、各参照画像に対応する距離集合の距離平均値は、マッチング待ち画像と各参照画像との間の類似度を表す。従って、各参照画像に対応する距離集合の距離平均値のうち、最小の距離平均値に対応する参照画像は、マッチング待ち画像との類似度が最も高い参照画像である。
本願の実施例において、少なくとも1つの参照画像のうち、距離平均値が最も小さい距離集合に対応する参照画像を、マッチング待ち画像とマッチングするターゲット参照画像とすることができ、従って、マッチング待ち画像における現在の平面レイアウトがターゲット参照画像における基準平面レイアウトとマッチングしたと決定することができる。
本願の実施例において、最小距離が所定の閾値のマッチング要件を満たす時、更に、各参照画像に対応する距離集合の距離平均値により、少なくとも1つの参照画像から、現在のマッチング待ち画像とのマッチング度が最も高くて、類似度が最も高い参照画像を決定することができる。更に、マッチングした参照画像に基づいて、基準サンプルをマッチング待ち画像にマッピングすることで、現在の平面レイアウトにおいて、基準サンプルにおいて事前設定された機能実現を自動的に適用し、手動による基準サンプルのマッチング及び機能設定プロセスを減少させ、画像マッチングの知能性を向上させる。
本願の実施例において、図2によれば、S103において、少なくとも1つの参照画像のうちの1つの参照画像に対して、少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得ることは、図5に示すように、S201-S205を含んでもよい。
S201において、少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、第1マッチング点ペア集合を得る。
本願の実施例において、特徴点マッチングアルゴリズムを利用して、少なくとも1つのマッチング待ち特徴点を少なくとも1つの参照特徴点とマッチングし、第1マッチング点ペア集合を得ることができる。
本願の実施例において、図5によれば、ブルートフォースマッチング方法により、第1マッチング点ペア集合を得ることができる。具体的には、図6に示すように、S2011-S2013を含む。
S2011において、少なくとも1つのマッチング待ち特徴点のうちの各マッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点のうちの各参照特徴点と1つずつ組み合わせ、少なくとも1つの特徴点ペアを得る。
S2012において、各特徴点ペアにおけるマッチング待ち特徴点と参照特徴点との特徴値距離を算出し、各特徴点ペアの特徴値距離を得る。
本願の実施例において、1つの特徴点ペアに対して、該特徴点ペアにおけるマッチング待ち特徴点と参照特徴点との特徴値距離を算出し、1つの特徴値距離を得る。各特徴点ペアに対して、同様な処理方法により、各特徴点ペアの特徴値距離を得る。
本願の実施例において、算出された特徴値距離は、ハミング距離であってもよく、ユークリッド距離であってもよい。具体的には、実際の状況に応じて選択する。本願の実施例は、これを限定するものではない。
S2013において、特徴値距離が所定の距離閾値未満である特徴点ペアにより、第1マッチング点ペア集合を構成する。
本願の実施例において、各特徴点ペアの特徴値距離から、所定の距離閾値未満である特徴値距離を選択し、所定の距離閾値未満である特徴値距離に対応する特徴点ペアを第1マッチング点ペア集合とすることができる。
本願の幾つかの実施例において、少なくとも1つのマッチング待ち特徴点はA1、A2、A3である。少なくとも1つの参照特徴点は、B1、B2、B3である。少なくとも1つのマッチング待ち特徴点を各参照特徴点と1つずつ組み合わせ、9個の特徴点ペア(A1,B1)、(A1,B2)、(A1,B3)、(A2,B1)、(A2,B2)、(A2,B3)、(A3,B1)、(A3,B2)、(A3,B3)を得ることができる。各特徴点ペアにおけるマッチング待ち特徴点と参照特徴点との特徴値距離を算出し、対応的に9個の特徴値距離D1-D9を得る。ここで、D1=80、D2=90、D3=70、D4=100、D5=60、D6=200、D7=50、D8=30、D9=150である。所定の距離閾値は、80である。D8、D7、D5、D3に対応する特徴点ペア(A3,B2)、(A3,B1)、(A2,B2)及び(A1,B3)を選択して第1マッチング点ペア集合とする。
S202において、第1マッチング点ペア集合から、所定の数の第1マッチング点ペアを選択して組み合わせ、少なくとも1つの第1マッチング点ペア組み合わせを得て、少なくとも1つの第1マッチング点ペア組み合わせのうちの各組み合わせに、所定の数の第1マッチング点ペアが含まれる。
本願の実施例において、第1マッチング点ペア集合から、所定の数の第1マッチング点ペアを選択して組み合わせ、少なくとも1つの第1マッチング点ペア組み合わせを得る。
本願の幾つかの実施例において、第1マッチング点ペアから、4対の第1マッチング点ペアをランダムに選択して組み合わせることができる。演算精度を向上させ、誤差を低下させるために、引き続き、第1マッチング点ペアから、4対のマッチング点ペアをランダムに選択し、100回繰り返し、100組のランダムに選択された第1マッチング点ペア組み合わせを得ることができる。各組み合わせに、4対のマッチング点ペアが含まれる。
S203において、少なくとも1つの第1マッチング点ペア組み合わせのうちの各組み合わせに基づいて、第1マッチング点ペア集合に対応するホモグラフィ行列を決定し、ホモグラフィ行列は、第1マッチング点ペア集合におけるマッチング待ち特徴点と参照特徴点との間の座標マッピング変換を表す。
本願の実施例において、少なくとも1つの第1マッチング点ペア組み合わせのうちの各組み合わせを利用して、初期ホモグラフィ行列に対して演算を行い、第1マッチング点ペア集合に含まれる特徴点ペアにおけるマッチング待ち特徴点と参照特徴点との座標に基づいて、ホモグラフィ行列における各行列要素の値を算出する。
ホモグラフィ行列は、同一の平面の画素点が1つのカメラ座標系からもう1つのカメラ座標系にマッピングする時、2つのカメラ座標系の間の画素点のマッピング関係である。本願の実施例において、ホモグラフィ行列は、第1マッチング点ペア集合におけるマッチング待ち特徴点と参照特徴点との間の座標マッピング変換を表す。
本願の実施例において、ホモグラフィ行列の作用下の、第1マッチング点ペア集合の座標マッピング変換の演算式は、以下のとおりである。
Figure 0007253573000001
(1)
ただし、
Figure 0007253573000002
は、ホモグラフィ行列を表し、
Figure 0007253573000003
及び
Figure 0007253573000004
は、第1マッチング点ペア組み合わせに含まれる一対のマッチング点ペアであり、
Figure 0007253573000005
は、画素座標系での、マッチング待ち画像の座標
Figure 0007253573000006
を表し、
Figure 0007253573000007
は、画素座標系での、参照画像の座標
Figure 0007253573000008
を表す。
Figure 0007253573000009
及び
Figure 0007253573000010
の画素座標を式(1)に代入し、展開し、以下を得る。
Figure 0007253573000011
(2)
(2)において、
Figure 0007253573000012
から
Figure 0007253573000013
は、ホモグラフィ行列を3*3行列と書く時、各行列要素の値を表す。sは、非ゼロファクタを表す。行列の第3行を
Figure 0007253573000014
で乗算すると、1を得る。つまり、
Figure 0007253573000015
である。従って、非ゼロファクタsにより、等式を成立させる必要がある。本願の幾つかの実施例において、sにより、
Figure 0007253573000016
を成立させ、更に、(2)により該非ゼロファクタを除去し、以下を得る。
Figure 0007253573000017
(3)
Figure 0007253573000018
(4)
整理すると、以下を得る。
Figure 0007253573000019
(5)
Figure 0007253573000020
(6)
(5)及び(6)から分かるように、1対のマッチング点ペアに基づいて、ホモグラフィ行列
Figure 0007253573000021
を算出するための2つの拘束方程式が得られる。ホモグラフィ行列
Figure 0007253573000022
をベクトルとして展開する。
Figure 0007253573000023
(7)
Figure 0007253573000024
(8)
このように類推すると、1つの第1マッチング点ペア組み合わせに、4対のマッチング点ペアが含まれる。4対のマッチング点ペアにより、ホモグラフィ行列に関わる8個の方程式を得ることができる。
Figure 0007253573000025
の値は、既知のものであり、1である。従って、線形方程式系を解くことで、ホモグラフィ行列における各行列要素の値を得ることができる。
本願の実施例において、線形方程式系を解くための演算方式は、一般的には、直接線形変換方法(DLT:Direct Linear Transform)を用いる。実際の状況に応じて他の方法を用いてよい。本願の実施例は、これを具体的に限定するものではない。
S204において、ホモグラフィ行列に基づいて、第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である第2マッチング点ペア集合を選別する。
本願の実施例において、ホモグラフィ行列を得た後、ホモグラフィ行列に基づいて、第1マッチング点ペア集合に対して選別を行い、マッチング誤差が所定の誤差閾値未満である正確なマッチング点ペアを更に選別して、第2マッチング点ペア集合とすることができる。
本願の実施例において、図5によれば、S204において、ホモグラフィ行列に基づいて、第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である第2マッチング点ペア集合を選別することは、図7に示すように、S2041-S2042を含んでもよい。
S2041において、第1マッチング点ペア集合とホモグラフィ行列に基づいて、第1マッチング点ペア集合における各第1マッチング点ペアのマッチング誤差を決定する。
本願の実施例において、第1マッチング点ペア集合とホモグラフィ行列に基づいて、第1マッチング点ペア集合における各第1マッチング点ペアのマッチング誤差を決定することは、下記式により行われてもよい。
Figure 0007253573000026
(9)
Figure 0007253573000027
(10)
(9)及び(10)において、
Figure 0007253573000028
及び
Figure 0007253573000029
は、未知の中間パラメータである。
Figure 0007253573000030
及び
Figure 0007253573000031
を求めた後、ホモグラフィ行列誤差算出式(11)により、
Figure 0007253573000032
の値を算出する。
Figure 0007253573000033
(11)
ただし、式(11)により算出された
Figure 0007253573000034
の値は、ホモグラフィ行列作用下の、マッチング点ペアの誤差を表す。
Figure 0007253573000035
を、ホモグラフィ行列作用下の、第1マッチング点ペアのマッチング誤差とする。
本願の実施例において、同様な方法で、ホモグラフィ行列作用下の、第1マッチング点ペア集合における各第1マッチング点ペアの誤差を決定し、第1マッチング点ペア集合における各第1マッチング点ペアのマッチング誤差とする。
S2042において、各第1マッチング点ペアのマッチング誤差に基づいて、第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である第1マッチング点ペアを決定し、第2マッチング点ペア集合を構成する。
本願の実施例において、第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である第1マッチング点ペアを決定し、第2マッチング点ペア集合とする。
S205において、第2マッチング点ペア集合における各対の第2マッチング点ペアに含まれるマッチング待ち特徴点と参照特徴点との距離を該参照画像に対応する距離集合とする。
本願の実施例において、1つの参照画像に対して、第2マッチング点ペア集合を得た後、第2マッチング点ペア集合において、各対の第2マッチング点ペアに含まれるマッチング待ち特徴点と参照特徴点との距離を算出し、該参照画像に対応する距離集合とする。これにより、各参照画像に対応する距離集合に基づいて、マッチング待ち画像が各参照画像とマッチングするかどうかを決定することができる。
本願の実施例において、1つの参照画像に対して、少なくとも1つのマッチング待ち特徴点を少なくとも1つの参照特徴点とマッチングし、ホモグラフィ行列により、マッチング結果を計量化することで、マッチング待ち画像と該参照画像に対応する距離集合を得ることができることが理解されるべきである。ここで、該参照画像に対応する距離集合は、該参照画像とマッチング待ち画像との間の類似度を表し、少なくとも1つの参照画像のうちの各参照画像に対応する距離集合により、マッチング待ち画像と各参照画像との間の類似度を決定し、マッチング待ち画像が各参照画像とマッチングするかどうかを決定することができる。
本願の実施例は、マッチング装置4を提供する。図8に示すように、前記マッチング装置は、取得ユニット400と、抽出ユニット401と、マッチングユニット402と、決定ユニット403と、を備え、
前記取得ユニット400は、マッチング待ち画像を取得するように構成され、
前記抽出ユニット401は、前記マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出するように構成され、
前記マッチングユニット402は、少なくとも1つの参照画像のうちの1つの参照画像に対して、前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得て、該参照画像に対応する距離集合は、前記少なくとも1つのマッチング待ち特徴点と前記少なくとも1つの参照特徴点との距離からなる距離集合であり、1つの参照画像に1つの基準サンプルの画像が含まれ、異なる参照画像に、異なる基準サンプルが含まれるように構成され、
前記決定ユニット403は、各参照画像に対応する距離集合に基づいて、前記マッチング待ち画像が各参照画像とマッチングするかどうかを決定するように構成される。
本願の幾つかの実施例において、前記決定ユニット403は、第1決定サブユニットと、第2決定サブユニットと、を備え、
前記第1決定サブユニットは、各参照画像に対応する距離集合から、最小距離を決定するように構成され、
前記第2決定サブユニットは、最小距離が所定の閾値より大きい場合、前記マッチング待ち画像と各参照画像とのマッチングがいずれも失敗したと決定するように構成される。
本願の幾つかの実施例において、前記決定ユニット403は、第3決定サブユニットと、第4決定サブユニットと、を更に備え、
前記第3決定サブユニットは、各参照画像に対応する距離集合から、最小距離を決定し、前記最小距離が所定の閾値以下である場合、前記各参照画像に対応する距離集合の距離平均値を算出するように構成され、
前記第4決定サブユニットは、前記各参照画像に対応する距離集合の距離平均値に基づいて、各参照画像から、前記マッチング待ち画像とマッチングするターゲット参照画像を決定し、前記ターゲット参照画像は、前記少なくとも1つの参照画像のうち、距離平均値が最も小さい距離集合に対応する参照画像であるように構成される。
本願の幾つかの実施例において、前記マッチングユニット402は、第1マッチングサブユニットと、第1組み合わせユニットと、第5決定サブユニットと、選別ユニットと、第6決定サブユニットと、を備え、
前記第1マッチングサブユニットは、前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、第1マッチング点ペア集合を得るように構成され、
前記第1組み合わせユニットは、前記第1マッチング点ペア集合から、所定の数の前記第1マッチング点ペアを選択して組み合わせ、少なくとも1つの第1マッチング点ペア組み合わせを得るように構成され、前記少なくとも1つの第1マッチング点ペア組み合わせのうちの各組み合わせに、前記所定の数の前記第1マッチング点ペアが含まれ、
前記第5決定サブユニットは、前記少なくとも1つの第1マッチング点ペア組み合わせのうちの各組み合わせに基づいて、前記第1マッチング点ペア集合に対応するホモグラフィ行列を決定し、前記ホモグラフィ行列は、前記第1マッチング点ペア集合におけるマッチング待ち特徴点と参照特徴点との間の座標マッピング変換を表すように構成され、
前記選別ユニットは、前記ホモグラフィ行列に基づいて、前記第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である第2マッチング点ペア集合を選別するように構成され、
前記第6決定サブユニットは、前記第2マッチング点ペア集合における各対の第2マッチング点ペアに含まれるマッチング待ち特徴点と参照特徴点との距離を該参照画像に対応する距離集合とするように構成される。
本願の幾つかの実施例において、前記第1マッチングサブユニットは、第2組み合わせユニットと、算出ユニットと、構成ユニットと、を備え、
前記第2組み合わせユニットは、前記少なくとも1つのマッチング待ち特徴点のうちの各マッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点のうちの各参照特徴点と1つずつ組み合わせ、少なくとも1つの特徴点ペアを得るように構成され、
前記算出ユニットは、各特徴点ペアにおけるマッチング待ち特徴点と参照特徴点との特徴値距離を算出し、各特徴点ペアの特徴値距離を得るように構成され、
前記構成ユニットは、特徴値距離が所定の距離閾値未満である少なくとも1つの特徴点ペアにより、前記第1マッチング点ペア集合を構成するように構成される。
本願の幾つかの実施例において、前記選別ユニットは、第5決定サブユニットと、第6決定サブユニットと、を備え、
前記第5決定サブユニットは、前記第1マッチング点ペア集合と前記ホモグラフィ行列に基づいて、前記第1マッチング点ペア集合における各第1マッチング点ペアのマッチング誤差を決定するように構成され、
前記第6決定サブユニットは、前記各第1マッチング点ペアのマッチング誤差に基づいて、前記第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である少なくとも1つの第1マッチング点ペアを決定し、前記第2マッチング点ペア集合を構成するように構成される。
本願の幾つかの実施例において、前記抽出ユニット401は、選択ユニットと、特徴抽出ユニットと、を備え、
前記選択ユニットは、前記マッチング待ち画像から少なくとも1つのオリジナル画素点を選択し、1つの選択されたオリジナル画素点の所定の範囲内に、階調値が該選択されたオリジナル画素点の階調値と異なる所定の数のターゲット画素点が存在するように構成され、
前記特徴抽出ユニットは、1つの選択されたオリジナル画素点に対して特徴抽出を行い、1つのマッチング待ち特徴点を得るように構成される。
本願の実施例において、マッチング装置は、現在の平面レイアウトのマッチング待ち画像から、マッチング待ち特徴点を抽出し、少なくとも1つの参照画像の基準サンプルにおける参照特徴点とマッチングし、マッチング待ち画像と各参照画像との距離集合を得る。更に、マッチング待ち画像と各参照画像との距離集合に基づいて、現在の平面レイアウトが基準サンプルとマッチングするかどうかを決定し、また、どの基準サンプルとマッチングするかを決定する。これにより、現在の平面レイアウトにおいて、基準サンプルにおいて事前設定された機能実現を自動的に適用することができる。マッチング及び機能設定を手動で行う必要がなく、画像マッチングの知能性を向上させる。
本願の実施例は、電子機器5を提供する。図9に示すように、前記電子機器5は、プロセッサ54と、メモリ55と、通信バス56と、を備え、前記メモリ55は、前記通信バス56を経由して前記プロセッサ54と通信し、前記メモリ55は、前記プロセッサ54による実行可能な1つ又は複数のプログラムを記憶し、前記1つ又は複数のプログラムが実行される時、前記プロセッサ54は、上記いずれか一項に記載の平面レイアウトマッチング方法を実行する。
本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に1つ又は複数のプログラムが記憶されており、前記1つ又は複数のプログラムが1つ又は複数のプロセッサ54により実行され、上記いずれか一項に記載の平面マッチング方法を実現させる。
本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器で実行される時、前記機器におけるプロセッサは、上記いずれか一項に記載のマッチング方法を実現させるための命令を実行する。
本願の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよい。従って、本願は、ハードウェア実施例、ソフトウェア実施例又は、ソフトウェアとハードウェアを組み合わせる実施例の形態を用いてもよいことが当業者であれ理解すべきである。また、本願は、コンピュータによる利用可能なコンピュータコードを含む1つ又は複数のコンピュータによる利用可能な記憶媒体(磁気ディスクメモリ及び光学メモリなどを含むが、これらに限定されない)で実行されるコンピュータプログラム製品の形態を利用することができる。
本願は、本願の実施例の方法、機器(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照しながら、説明される。コンピュータプログラム命令により、フローチャート及び/又はブロック図における各フロー及び/又はブロック、及びフローチャート及び/又はブロック図におけるフロー及び/又はブロックの組み合わせを実現することができることが理解されるべきである。これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における1つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。
これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ又は他のプログラマブルデータ処理装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び/又はブロック図おける1つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。
コンピュータ可読プログラム命令をコンピュータ又は他のプログラマブルデータ処理装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び/又はブロック図における1つ又は複数のブロック中で規定している機能/操作を実現させる。
上記は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定するものではない。

Claims (12)

  1. マッチング方法であって、前記方法は、
    マッチング待ち画像を取得することと、
    前記マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出することと、
    少なくとも1つの参照画像のうちの1つの参照画像に対して、前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得て、該参照画像に対応する距離集合は、前記少なくとも1つのマッチング待ち特徴点と前記少なくとも1つの参照特徴点との距離からなる距離集合であり、1つの参照画像に1つの基準サンプルの画像が含まれ、異なる参照画像に、異なる基準サンプルが含まれることと、
    各参照画像に対応する距離集合に基づいて、前記マッチング待ち画像が各参照画像とマッチングするかどうかを決定することと、を含
    各参照画像に対応する距離集合に基づいて、前記マッチング待ち画像が各参照画像とマッチングするかどうかを決定することは、
    前記各参照画像に対応する距離集合から、最小距離を決定し、前記最小距離が所定の閾値以下である場合、前記各参照画像に対応する距離集合の距離平均値を算出することと、
    前記各参照画像に対応する距離集合の距離平均値に基づいて、各参照画像から、前記マッチング待ち画像とマッチングするターゲット参照画像を決定し、前記ターゲット参照画像は、前記少なくとも1つの参照画像のうち、距離平均値が最も小さい距離集合に対応する参照画像であることと、を含むことを特徴とする
    マッチング方法。
  2. 各参照画像に対応する距離集合に基づいて、前記マッチング待ち画像が各参照画像とマッチングするかどうかを決定することは
    記最小距離が所定の閾値より大きい場合、前記マッチング待ち画像と各参照画像とのマッチングがいずれも失敗したと決定することと、をさらに含むことを特徴とする
    請求項1に記載の方法。
  3. 1つの参照画像に対して、前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得ることは、
    前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、第1マッチング点ペア集合を得ることと、
    前記第1マッチング点ペア集合から、所定の数の第1マッチング点ペアを選択して組み合わせ、少なくとも1つの第1マッチング点ペア組み合わせを得ることであって、前記少なくとも1つの第1マッチング点ペア組み合わせのうちの各組み合わせに、所定の数の前記第1マッチング点ペアが含まれることと、
    前記少なくとも1つの第1マッチング点ペア組み合わせのうちの各組み合わせに基づいて、第1マッチング点ペア集合に対応するホモグラフィ行列を決定することであって、前記ホモグラフィ行列は、前記第1マッチング点ペア集合におけるマッチング待ち特徴点と参照特徴点との間の座標マッピング変換を表すことと、
    前記ホモグラフィ行列に基づいて、前記第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である第2マッチング点ペア集合を選別することと、
    前記第2マッチング点ペア集合における各対の第2マッチング点ペアに含まれるマッチング待ち特徴点と参照特徴点との距離を該参照画像に対応する距離集合とすることと、を含むことを特徴とする
    請求項1に記載の方法。
  4. 前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、第1マッチング点ペア集合を得ることは、
    前記少なくとも1つのマッチング待ち特徴点のうちの各マッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点のうちの各参照特徴点と1つずつ組み合わせ、少なくとも1つの特徴点ペアを得ることと、
    各特徴点ペアにおけるマッチング待ち特徴点と参照特徴点との特徴値距離を算出し、各特徴点ペアの特徴値距離を得ることと、
    特徴値距離が所定の距離閾値未満である少なくとも1つの特徴点ペアにより、第1マッチング点ペア集合を構成することと、を含むことを特徴とする
    請求項に記載の方法。
  5. 前記ホモグラフィ行列に基づいて、前記第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である第2マッチング点ペア集合を選別することは、
    前記第1マッチング点ペア集合と前記ホモグラフィ行列に基づいて、前記第1マッチング点ペア集合における各第1マッチング点ペアのマッチング誤差を決定することと、
    前記各第1マッチング点ペアのマッチング誤差に基づいて、前記第1マッチング点ペア集合から、マッチング誤差が所定の誤差閾値未満である少なくとも1つの第1マッチング点ペアを決定し、前記第2マッチング点ペア集合を構成することと、を含むことを特徴とする
    請求項に記載の方法。
  6. 前記マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出することは、
    前記マッチング待ち画像から少なくとも1つのオリジナル画素点を選択することであって、1つの選択されたオリジナル画素点の所定の範囲内に、階調値が該選択されたオリジナル画素点の階調値と異なる所定の数のターゲット画素点が存在することと、
    前記1つの選択されたオリジナル画素点のターゲット画素点に対して特徴抽出を行い、1つのマッチング待ち特徴点を得ることと、を含むことを特徴とする
    請求項1に記載の方法。
  7. 前記マッチング待ち画像は、ゲームテーブル上のテーブルクロスの画像であり、前記テーブルクロスの画像は、テーブルクロス上のパターンを含むことを特徴とする
    請求項1からのいずれか一項に記載の方法。
  8. 前記方法は、
    前記マッチング待ち画像と各参照画像とのマッチングがいずれも失敗したと決定した後、前記マッチング待ち画像のマッチングが失敗したことを通知するためのリマインド情報を生成することを更に含むことを特徴とする
    請求項1又は2に記載の方法。
  9. マッチング装置であって、前記マッチング装置は、取得ユニットと、抽出ユニットと、マッチングユニットと、決定ユニットと、を備え、
    前記取得ユニットは、マッチング待ち画像を取得するように構成され、
    前記抽出ユニットは、前記マッチング待ち画像から、少なくとも1つのマッチング待ち特徴点を抽出するように構成され、
    前記マッチングユニットは、少なくとも1つの参照画像のうちの1つの参照画像に対して、前記少なくとも1つのマッチング待ち特徴点を該参照画像から抽出された少なくとも1つの参照特徴点とマッチングし、該参照画像に対応する距離集合を得て、該参照画像に対応する距離集合は、前記少なくとも1つのマッチング待ち特徴点と前記少なくとも1つの参照特徴点との距離からなる距離集合であり、1つの参照画像に1つの基準サンプルの画像が含まれ、異なる参照画像に、異なる基準サンプルが含まれるように構成され、
    前記決定ユニットは、各参照画像に対応する距離集合に基づいて、前記マッチング待ち画像が各参照画像とマッチングするかどうかを決定するように構成され、
    前記決定ユニットは、さらに、
    前記各参照画像に対応する距離集合から、最小距離を決定し、前記最小距離が所定の閾値以下である場合、前記各参照画像に対応する距離集合の距離平均値を算出することと、
    前記各参照画像に対応する距離集合の距離平均値に基づいて、各参照画像から、前記マッチング待ち画像とマッチングするターゲット参照画像を決定し、前記ターゲット参照画像は、前記少なくとも1つの参照画像のうち、距離平均値が最も小さい距離集合に対応する参照画像であることと、を行うように構成される、
    マッチング装置。
  10. 電子機器であって、前記電子機器は、プロセッサと、メモリと、通信バスと、を備え、前記メモリは、前記通信バスを経由して前記プロセッサと通信し、前記メモリは、前記プロセッサによる実行可能な1つ又は複数のプログラムを記憶し、前記1つ又は複数のプログラムが実行される時、前記プロセッサは、請求項1-のいずれか一項に記載の方法を実行する、電子機器。
  11. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に1つ又は複数のプログラムが記憶されており、前記1つ又は複数のプログラムが1つ又は複数のプロセッサにより実行され、1つ又は複数のプロセッサに請求項1-のいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
  12. コンピュータプログラムであって、前記コンピュータプログラムが機器で実行される時、前記機器におけるプロセッサに、請求項1-のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2020568312A 2020-04-09 2020-09-09 マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体 Active JP7253573B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202003292X 2020-04-09
SG10202003292XA SG10202003292XA (en) 2020-04-09 2020-04-09 Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
PCT/IB2020/058349 WO2021205219A1 (en) 2020-04-09 2020-09-09 Matching method and apparatus, electronic device, computer-readable storage medium, and computer program

Publications (2)

Publication Number Publication Date
JP2022543934A JP2022543934A (ja) 2022-10-17
JP7253573B2 true JP7253573B2 (ja) 2023-04-06

Family

ID=77465252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568312A Active JP7253573B2 (ja) 2020-04-09 2020-09-09 マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体

Country Status (4)

Country Link
US (1) US11461997B2 (ja)
JP (1) JP7253573B2 (ja)
AU (1) AU2020289853B2 (ja)
PH (1) PH12020551732A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941989A (zh) * 2019-10-18 2020-03-31 北京达佳互联信息技术有限公司 图像校验、视频校验方法、装置、设备及存储介质
CN112669784B (zh) * 2021-01-07 2022-07-19 三星半导体(中国)研究开发有限公司 液晶显示装置以及驱动该液晶显示装置的方法
TWI765706B (zh) * 2021-05-11 2022-05-21 凌華科技股份有限公司 彈出視窗的非侵入式共享處理方法及系統
CN115457387A (zh) * 2022-08-29 2022-12-09 武汉理工光科股份有限公司 一种特殊场景预警屏蔽方法、装置、电子设备及存储介质
CN115880248B (zh) * 2022-12-13 2024-02-09 哈尔滨耐是智能科技有限公司 一种表面划痕缺陷识别方法及视觉检测设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001982A (ja) 2013-06-14 2015-01-05 富士通株式会社 画像類似度確定装置及び方法並びに画像特徴取得装置及び方法
JP2017187971A (ja) 2016-04-07 2017-10-12 東芝テック株式会社 画像処理装置
JP2017211765A (ja) 2016-05-24 2017-11-30 アイシン精機株式会社 物体認識装置
US20190244054A1 (en) 2014-07-09 2019-08-08 Slyce Acquisition Inc. Systems, methods, and devices for image matching and object recognition in images
US20190266737A1 (en) 2016-12-01 2019-08-29 Boe Technology Group Co., Ltd. Image matching method, image matching apparatus, image matching system, and storage medium

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254269B2 (en) * 2000-08-31 2007-08-07 Hewlett-Packard Development Company, L.P. Character recognition system
GB0212748D0 (en) * 2002-05-31 2002-07-10 Qinetiq Ltd Feature mapping between data sets
US8155451B2 (en) * 2004-11-12 2012-04-10 Kitakyushu Foundation For The Advancement Of Industry, Science And Technology Matching apparatus, image search system, and histogram approximate restoring unit, and matching method, image search method, and histogram approximate restoring method
WO2009148411A1 (en) * 2008-06-06 2009-12-10 Agency For Science, Technology And Research Method and system for maintaining a database of reference images
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
KR101234046B1 (ko) 2011-11-11 2013-02-15 재단법인대구경북과학기술원 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치
WO2013071981A1 (en) 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
US11620733B2 (en) * 2013-03-13 2023-04-04 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
WO2015170461A1 (ja) * 2014-05-07 2015-11-12 日本電気株式会社 画像処理装置、画像処理方法およびコンピュータ可読記録媒体
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images
KR101618996B1 (ko) * 2014-12-31 2016-05-09 인하대학교 산학협력단 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
US11412209B2 (en) * 2015-11-20 2022-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
US9727775B2 (en) * 2015-12-01 2017-08-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
US10217312B1 (en) 2016-03-30 2019-02-26 Visualimits, Llc Automatic region of interest detection for casino tables
WO2017207015A1 (en) * 2016-05-30 2017-12-07 The Graffter S.L. Localization of planar objects in images bearing repetitive patterns
US10453204B2 (en) 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
CN108965687B (zh) 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
US10530997B2 (en) 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
KR101999797B1 (ko) 2018-01-15 2019-07-12 충북대학교 산학협력단 헤리스 코너 벡터 클러스터링 알고리즘을 이용한 스테레오 영상 특징점 매칭 시스템 및 방법
CN109117778B (zh) * 2018-08-06 2021-05-11 百度在线网络技术(北京)有限公司 信息处理方法、装置、服务器及存储介质
US11914638B2 (en) * 2019-04-09 2024-02-27 Hewlett-Packard Development Company, L.P. Image selection from a database
CN110738273B (zh) 2019-10-23 2023-07-21 成都极米科技股份有限公司 图像特征点的匹配方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001982A (ja) 2013-06-14 2015-01-05 富士通株式会社 画像類似度確定装置及び方法並びに画像特徴取得装置及び方法
US20190244054A1 (en) 2014-07-09 2019-08-08 Slyce Acquisition Inc. Systems, methods, and devices for image matching and object recognition in images
JP2017187971A (ja) 2016-04-07 2017-10-12 東芝テック株式会社 画像処理装置
JP2017211765A (ja) 2016-05-24 2017-11-30 アイシン精機株式会社 物体認識装置
US20190266737A1 (en) 2016-12-01 2019-08-29 Boe Technology Group Co., Ltd. Image matching method, image matching apparatus, image matching system, and storage medium

Also Published As

Publication number Publication date
AU2020289853A1 (en) 2021-10-28
JP2022543934A (ja) 2022-10-17
AU2020289853B2 (en) 2022-02-03
US11461997B2 (en) 2022-10-04
PH12020551732A1 (en) 2021-07-26
US20210319250A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7253573B2 (ja) マッチング方法、装置、電子機器及びコンピュータ可読記憶媒体
CN109685060B (zh) 图像处理方法和装置
US10510148B2 (en) Systems and methods for block based edgel detection with false edge elimination
JP6192271B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109948497B (zh) 一种物体检测方法、装置及电子设备
Reddy et al. Analysis of classification algorithms for plant leaf disease detection
CN106934794A (zh) 信息处理装置,信息处理方法和检查系统
KR102433313B1 (ko) 매칭 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 및 컴퓨터 프로그램
US20180253852A1 (en) Method and device for locating image edge in natural background
JP6245880B2 (ja) 情報処理装置および情報処理手法、プログラム
JP6936961B2 (ja) 情報提供装置、端末、本人確認システム、情報提供方法及びプログラム
CN107464245B (zh) 一种图像结构边缘的定位方法及装置
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
WO2022126908A1 (zh) 楼道杂物检测方法、装置、终端设备及存储介质
CN117115117B (zh) 基于小样本下的病理图像识别方法、电子设备及存储介质
US20040114830A1 (en) Method and apparatus for image processing
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
CN111507252A (zh) 人体跌倒检测装置、方法、电子终端及存储介质
CN115601684A (zh) 突发事件预警方法、装置、电子设备及存储介质
KR20210028966A (ko) 작물 이미지의 병해충 검출 방법 및 장치
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
CN113762027A (zh) 一种异常行为的识别方法、装置、设备及存储介质
KR101823792B1 (ko) 컨텍스트 기반 다중 객체 검출 방법 및 시스템
KR101592110B1 (ko) 눈 모양 분류 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

A603 Late request for extension of time limit during examination

Free format text: JAPANESE INTERMEDIATE CODE: A603

Effective date: 20221228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R150 Certificate of patent or registration of utility model

Ref document number: 7253573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150