JP7121132B2 - 画像処理方法、装置及び電子機器 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年１２月３０日に提出された、出願の名称が「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ，ＡＮＤ ＥＬＥＣＴＲＯＮＩＣ ＤＥＶＩＣＥ（画像処理方法、装置及び電子機器）」であり、出願番号が１０２０１９１３７９８Ｗであるシンガポール特許出願の優先権を主張し、この特許出願の全ての内容が参照によって本願に組み込まれる。

本発明は、画像処理技術に関するが、それに限定されなく、具体的には、画像処理方法、装置及び電子機器に関する。

画像認識分野において、画像内の目標物体の認識や位置決定はそのうちの課題の１種となっている。しかしながら、ソース画像を取得するカメラが震動による妨害を回避不可能であり、目標物体が画像内で変位して目標物体の認識や位置決定に大きい影響を及ぼしてしまう。

本発明の実施例は、画像処理方法、装置及び電子機器を提供する。

本発明の実施例の技術的解決手段は以下のように実現される。

本発明の実施例は、
目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するステップと、
前記キーフレーム画像内の１つ又は複数の特徴点と前記被処理フレーム画像内の１つ又は複数の特徴点をそれぞれ抽出するステップと、
前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するステップと、
マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定するステップと、
前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るステップと、を含む画像処理方法を提供する。

上記態様では、前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定する前記ステップは、
前記キーフレーム画像内の第１特徴点に関連する第１組の画素点ペアを取得し、前記被処理フレーム画像内の第２特徴点に関連する第２組の画素点ペアを取得するステップであって、前記第１特徴点が前記キーフレーム画像内の１つの特徴点であり、前記第２特徴点が前記被処理フレーム画像内の１つの特徴点であり、前記第１組の画素点ペア内の第１画素点ペアと前記第１特徴点の相対的位置関係が、前記第２組の画素点ペア内の第２画素点ペアと前記第２特徴点の相対的位置関係と一致しており、前記第１組の画素点ペアが少なくとも１組の第１画素点ペアを含み、前記第２組の画素点ペアが少なくとも１組の第２画素点ペアを含むステップと、
第１画素点ペアに含まれる２つの画素点の画素値を比較して第１比較結果を取得し、第２画素点ペアに含まれる２つの画素点の画素値を比較して第２比較結果を取得するステップと、
前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、
前記類似度が第１所定閾値に到達した場合に、前記第１特徴点と前記第２特徴点がマッチング関係を満たしたと決定するステップと、を含む。

上記態様では、前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定する前記ステップは、
前記少なくとも１つの第１比較結果に基づいて第１文字列を生成するステップと、
前記少なくとも１つの第２比較結果に基づいて第２文字列を生成するステップと、
前記第１文字列と前記第２文字列に基づいて第１ハミング距離を決定し、前記第１ハミング距離に基づいて前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、を含む。

上記態様では、マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定する前記ステップは、特徴点ペア集合から選別して目標特徴点ペア集合を取得するステップであって、各特徴点ペアが、マッチング関係を有する前記キーフレーム画像内の１つの特徴点と前記被処理フレーム画像内の１つの特徴点から構成され、前記特徴点ペア集合が複数組の特徴点ペアを含むステップと、
前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定するステップと、を含む。

上記態様では、特徴点ペア集合から選別して目標特徴点ペア集合を取得する前記ステップは、前記特徴点ペア集合内の各特徴点ペアに含まれる前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点との間の類似度を取得するステップと、
前記特徴点ペア集合内の全ての特徴点ペアに対応する類似度の最大値を決定し、前記最大値に基づいて第１閾値を決定するステップと、
対応類似度が前記第１閾値より小さい前記特徴点ペア集合内の特徴点ペアを除去して、目標特徴点ペア集合を取得するステップと、を含む。

上記態様では、前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点をそれぞれ抽出する前記ステップは、
前記キーフレーム画像又は前記被処理フレーム画像内の第１画素点の所定領域範囲内の複数の第２画素点を決定するステップと、
前記複数の第２画素点の階調値が前記第１画素点の階調値と異なるか否かを判断するステップと、
前記複数の第２画素点の階調値が前記第１画素点の階調値と異なる場合に、前記第１画素点が前記キーフレーム画像又は前記被処理フレーム画像内の特徴点であると決定するステップと、を含む。

上記態様では、前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定する前記ステップは、前記目標特徴点ペア集合内の目標特徴点ペアに含まれる前記キーフレーム画像内の特徴点の座標と前記被処理フレーム画像内の特徴点の座標に基づいて変換行列を決定するステップを含む。

上記態様では、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得る前記ステップは、前記変換行列に基づいて前記被処理フレーム画像内の、前記目標対象を含む目標領域に対して変換し、目標フレーム画像を得るステップを含む。

上記態様では、目標フレーム画像を得た後、前記方法は、前記目標フレーム画像内の特徴点を抽出するステップと、
前記キーフレーム画像内の特徴点と前記目標フレーム画像内の特徴点に基づいて第１損失値を決定するステップであって、前記第１損失値を決定するための前記キーフレーム画像内の特徴点が、前記変換関係を決定するための前記キーフレーム画像内の特徴点と異なるものであるステップと、
前記第１損失値が第２閾値を超えていない場合に、前記得られた目標フレーム画像を保留するステップと、を更に含む。

上記態様では、前記方法は、前記第１損失値が第２閾値を超えた場合に、前記得られた目標フレーム画像を削除するステップを更に含む。

本発明の実施例は、
目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するための画像取得ユニットと、
前記キーフレーム画像内の１つ又は複数の特徴点と前記被処理フレーム画像内の１つ又は複数の特徴点をそれぞれ抽出するための特徴抽出ユニットと、
前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するためのマッチングユニットと、
マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定し、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るための変換ユニットと、を含む画像処理装置を更に提供する。

上記態様では、前記マッチングユニットは、前記キーフレーム画像内の第１特徴点に関連する第１組の画素点ペアを取得し、前記被処理フレーム画像内の第２特徴点に関連する第２組の画素点ペアを取得するステップであって、前記第１特徴点が前記キーフレーム画像内の１つの特徴点であり、前記第２特徴点が前記被処理フレーム画像内の１つの特徴点であり、前記第１組の画素点ペア内の第１画素点ペアと前記第１特徴点の相対的位置関係が、前記第２組の画素点ペア内の第２画素点ペアと前記第２特徴点の相対的位置関係と一致しており、前記第１組の画素点ペアが少なくとも１組の第１画素点ペアを含み、前記第２組の画素点ペアが少なくとも１組の第２画素点ペアを含むステップと、第１画素点ペアに含まれる２つの画素点の画素値を比較して第１比較結果を取得し、第２画素点ペアに含まれる２つの画素点の画素値を比較して第２比較結果を取得するステップと、前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、前記類似度が第１所定閾値に到達した場合に、前記第１特徴点と前記第２特徴点がマッチング関係を満たしたと決定するステップと、を実行するために用いられる。

上記態様では、前記マッチングユニットは、前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定する場合において、前記複数の第１比較結果に基づいて第１文字列を生成するステップと、前記複数の第２比較結果に基づいて第２文字列を生成するステップと、前記第１文字列と前記第２文字列に基づいて第１ハミング距離を決定し、前記第１ハミング距離に基づいて前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、を実行するために用いられる。

上記態様では、前記装置は、特徴点ペア集合から選別して目標特徴点ペア集合を取得するための選別ユニットを更に含み、各特徴点ペアが、マッチング関係を有する前記キーフレーム画像内の１つの特徴点と前記被処理フレーム画像内の１つの特徴点から構成され、前記特徴点ペア集合が複数組の特徴点ペアを含み、
前記変換ユニットは、マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定する場合において、前記選別ユニットの取得した前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定するために用いられる。

上記態様では、前記選別ユニットは、前記特徴点ペア集合内の各特徴点ペアに含まれる前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点との間の類似度を取得するステップと、前記特徴点ペア集合内の全ての特徴点ペアに対応する類似度の最大値を決定し、前記最大値に基づいて第１閾値を決定するステップと、対応類似度が前記第１閾値より小さい前記特徴点ペア集合内の特徴点ペアを除去して、目標特徴点ペア集合を取得するステップと、を実行するために用いられる。

上記態様では、前記特徴抽出ユニットは、前記キーフレーム画像又は前記被処理フレーム画像内の第１画素点の所定領域範囲内の複数の第２画素点を決定するステップと、前記複数の第２画素点の階調値が前記第１画素点の階調値と異なるか否かを判断するステップと、前記複数の第２画素点の階調値が前記第１画素点の階調値と異なる場合に、前記第１画素点が前記キーフレーム画像又は前記被処理フレーム画像内の特徴点であると決定するステップと、を実行するために用いられる。

上記態様では、前記変換ユニットは、前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定する場合において、前記目標特徴点ペア集合内の目標特徴点ペアに含まれる前記キーフレーム画像内の特徴点の座標と前記被処理フレーム画像内の特徴点の座標に基づいて変換行列を決定するために用いられる。

上記態様では、前記変換ユニットは、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得る場合において、前記変換行列に基づいて前記被処理フレーム画像内の、前記目標対象を含む目標領域に対して変換処理を行い、目標フレーム画像を得るために用いられる。

上記態様では、前記装置は決定ユニットと処理ユニットを更に含み、
前記特徴抽出ユニットは、更に、前記目標フレーム画像内の特徴点を抽出するために用いられ、
前記決定ユニットは、前記キーフレーム画像内の特徴点と前記目標フレーム画像内の特徴点に基づいて第１損失値を決定するために用いられ、前記第１損失値を決定するための前記キーフレーム画像内の特徴点が、前記変換関係を決定するための前記キーフレーム画像内の特徴点と異なるものであり、
前記処理ユニットは、前記第１損失値が第２閾値を超えていない場合に、前記得られた目標フレーム画像を保留するために用いられる。

上記態様では、前記処理ユニットは、更に、前記第１損失値が第２閾値を超えた場合に、前記得られた目標フレーム画像を削除するために用いられる。

本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、このプログラムがプロセッサにより実行される時に本発明の実施例に記載の方法のステップを実現するコンピュータ可読記憶媒体を更に提供する。

本発明の実施例は、メモリと、プロセッサと、メモリに記憶され且つプロセッサ上で動作可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行する時に本発明の実施例に記載の方法のステップを実現する電子機器を更に提供する。

本発明の実施例で提供された画像処理方法、装置及び電子機器によれば、前記方法は、目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するステップと、前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点をそれぞれ抽出するステップと、前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するステップと、マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定するステップと、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るステップと、を含む。本発明の実施例の技術的解決手段を採用すれば、得られた変換関係によって被処理フレーム画像を処理して、得られた目標フレーム画像内の目標対象の目標領域の視角をキーフレーム画像内の目標対象の目標領域の視角とほぼ一致させ、つまり、目標フレーム画像を得る装置と目標フレーム画像内の目標対象との相対的位置関係を、キーフレーム画像を取得する装置とキーフレーム画像内の目標対象との相対的位置関係とほぼ一致させることで、カメラの震動による妨害又はカメラの変位によって取得された画像内の目標対象が変位するという問題を解決して、目標対象の位置を正確に決定することを実現した。

本発明の実施例の画像処理方法のフローチャート１である。 本発明の実施例の画像処理方法のフローチャート２である。 本発明の実施例の画像処理方法における画素点ペアの選択模式図である。 本発明の実施例の画像処理方法のフローチャート３である。 本発明の実施例の画像処理装置の構成の構造模式図１である。 本発明の実施例の画像処理装置の構成の構造模式図２である。 本発明の実施例の画像処理装置の構成の構造模式図３である。 本発明の実施例の電子機器のハードウェア構成の構造模式図である。

以下、図面及び具体的な実施例を参照しながら本発明を更に詳細に説明する。

本発明の実施例は、画像処理方法を提供する。図１は本発明の実施例の画像処理方法のフローチャート１であり、図１に示すように、前記方法は、
目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するステップ１０１と、
前記キーフレーム画像内の１つ又は複数の特徴点と前記被処理フレーム画像内の１つ又は複数の特徴点をそれぞれ抽出するステップ１０２と、
前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するステップ１０３と、
マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定するステップ１０４と、
前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るステップ１０５と、を含む。

本実施例では、前記キーフレーム画像は遮られていない完全且つ鮮明な目標対象を含む画像である。前記被処理フレーム画像は前記目標対象を含む画像である。ここで、前記キーフレーム画像と前記被処理フレーム画像のそれぞれは少なくとも１つの目標対象を含んでもよい。

本実施例では、前記キーフレーム画像と前記被処理フレーム画像は同じ画像取得装置で取得された画像であってもよい。他の実施例では、前記キーフレーム画像と前記被処理フレーム画像は別々の画像取得装置で取得された画像であってもよい。被処理フレーム画像が複数のフレーム画像であってよく、前記複数のフレーム画像のうちの一部のフレーム画像が第１画像取得装置によって取得されてもよく、一部のフレーム画像が第２画像取得装置によって取得されてもよく、第１画像取得装置と第２画像取得装置の配置位置が近く、又は第１画像取得装置と被取得領域の相対的位置関係と第２画像取得装置と被取得領域の相対的位置関係が近いことが理解可能である。

本発明の選択可能な一実施例では、前記キーフレーム画像は前記目標対象の平面図であってもよい。即ち、前記キーフレーム画像を取得する画像取得装置が目標対象の上方に設置され、目標対象の上方に設置された画像取得装置によって複数のフレーム画像を取得し、前記複数のフレーム画像から遮られていない鮮明且つ完全な目標対象を含む画像を選択してキーフレーム画像とする。対応的に、前記被処理フレーム画像は前記目標対象の平面図であってもよい。

一例として、目標対象の上方に設置された画像取得装置によって目標対象を含むビデオを取得し、ビデオから、鮮明で遮られていなく且つ完全な目標対象を含む１フレームの画像を選択してキーフレーム画像とし、ビデオにおけるキーフレーム画像以外の他のフレーム画像を被処理画像とするようにしてもよい。

本発明の選択可能な一実施例では、前記目標対象はゲームテーブルであってよく、そのため、本実施例の画像認識方法は、キーフレーム画像と被処理フレーム画像内の目標対象（例えば、ゲームテーブル）を認識し、被処理フレーム画像内の目標対象をキーフレーム画像内の目標対象の位置に位置合わせ、目標対象の位置決定を実現して、後続の画像検出認識を可能にすることに利用可能であり、ゲームのインテリジェント操作及び監視の研究や開発に適用可能である。前記目標対象がゲームテーブルに限定されず、他の物体を目標対象としてもよいことが理解可能であり、本実施例では限定されない。

本実施例では、前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点は画像内の角点であってもよい。前記角点は、極値点であり、即ち、ある方面において属性が特に目立つ点であり、例えば、ある属性上で強度が最も大きく又は最も小さい点である。例えば、２本の線又は２本以上の線のエッジの交点、又は画像内の勾配値や勾配方向の変化率が最も大きい点等が挙げられる。角点が画像内の重要な特徴を残させると共に、データ量を効果的に減少することができるので、本実施例では、画像内の角点を抽出し、角点を特徴点として後続のマッチング、変換関係の決定を行うことで、計算速度を向上でき、後続のリアルタイム処理を可能にする。本実施例で抽出される画像内の特徴点が角点に限定されなく、他の種類の特徴点、例えばキーポイント等であってもよいことが理解可能である。

本実施例では、濃淡画像に基づく方法、２値化画像に基づく方法、輪郭曲線に基づく方法等で前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点を抽出することができる。一実施形態において、濃淡画像に基づく方法で画像内の特徴点を抽出する（例えば、画像内の角点を抽出する）ことを例とすれば、画像内の勾配を計算することで画像内のエッジ特徴点を決定し、エッジ特徴点に基づいてエッジ曲線を決定し、エッジ曲線の曲率を計算して画像内の角点を決定することができる。本実施例が上記手法で画像内の特徴点（例えば、角点）を抽出することに限定されなく、いかなる角点検出手法も本発明の実施例に適用可能であることが理解できる。

本実施例では、キーフレーム画像と被処理フレーム画像において、マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点は、具体的には、前記キーフレーム画像における第１特徴点の特徴（例えば、ある方面における属性）と前記被処理フレーム画像における前記第２特徴点の特徴（例えば、ある方面における属性）が対応してよく、ここで、キーフレーム画像内の特徴点を第１特徴点（１つ以上あってもよい）としてよく、被処理フレーム画像内の特徴点を第２特徴点（１つ以上あってもよい）としてもよい。

本発明の選択可能な一実施例では、マッチング関係を有する第１特徴点と第２特徴点の座標に基づいて、変換行列を決定してよく、前記変換行列が、前記被処理フレーム画像の取得視角を前記キーフレーム画像の取得視角と同様に変換するためのものである。しかしながら、何らかの原因で、例えば、取得された第１特徴点と第２特徴点が完全にマッチング関係を有するわけではなく、即ち、取得された特徴点ペアに一定の誤差が存在し、更に例えば、決定された変換関係によって、被処理フレーム画像の取得視角をぴったりとキーフレーム画像の取得視角と同様に変換できなく、即ち、決定された変換関係に一定の誤差が存在することがあり、従って、本実施例では、被処理フレーム画像の取得視角をキーフレーム画像の取得視角と同様に変換しようとしているが、変換後の画像がキーフレーム画像の取得視角に近いが一致しない画像に変換される可能性が非常に高いため、変換処理後の画像を目標フレーム画像と称し、前記目標フレーム画像の取得視角が前記キーフレーム画像の取得視角と一致する可能性もあるし、前記キーフレーム画像の取得視角と相違する可能性もある。

本発明の実施例の技術的解決手段を採用すれば、得られた変換関係によって被処理フレーム画像を処理して、得られた目標フレーム画像内の目標対象の目標領域の視角をキーフレーム画像内の目標対象の目標領域の視角とほぼ一致させて、カメラの震動による妨害又はカメラの変位によって取得された画像内の目標対象が変位するという問題を解決して、目標対象の位置を正確に決定することを実現した。

上記実施例によれば、本発明の実施例は、画像処理方法を更に提供する。図２は本発明の実施例の画像処理方法のフローチャート２である。図２に示すように、前記方法は、
目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するステップ２０１と、
前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点をそれぞれ抽出するステップ２０２と、
前記キーフレーム画像内の第１特徴点に関連する第１組の画素点ペアを取得し、前記被処理フレーム画像内の第２特徴点に関連する第２組の画素点ペアを取得するステップ２０３であって、前記第１特徴点が前記キーフレーム画像内の１つの特徴点であり、前記第２特徴点が前記被処理フレーム画像内の１つの特徴点であり、前記第１組の画素点ペア内の第１画素点ペアと前記第１特徴点の相対的位置関係が、前記第２組の画素点ペア内の第２画素点ペアと前記第２特徴点の相対的位置関係と一致しており、前記第１組の画素点ペアが少なくとも１組の第１画素点ペアを含み、前記第２組の画素点ペアが少なくとも１組の第２画素点ペアを含むステップ２０３と、
第１画素点ペアに含まれる２つの画素点の画素値を比較して第１比較結果を取得し、第２画素点ペアに含まれる２つの画素点の画素値を比較して第２比較結果を取得するステップ２０４と、
前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップ２０５と、
前記類似度が第１所定閾値に到達した場合に、前記第１特徴点と前記第２特徴点がマッチング関係を満たしたと決定するステップ２０６と、
特徴点ペア集合から選別して目標特徴点ペア集合を取得するステップ２０７であって、各特徴点ペアが、マッチング関係を有する前記キーフレーム画像内の１つの特徴点と前記被処理フレーム画像内の１つの特徴点から構成され、前記特徴点ペア集合が複数組の特徴点ペアを含むステップ２０７と、
前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定するステップ２０８と、
前記変換関係に基づいて前記被処理フレーム画像内の、前記目標対象に対応する目標領域に対して変換処理を行い、目標フレーム画像を得るステップ２０９と、を含む。

本実施例のステップ２０１～ステップ２０２についての詳細な説明は具体的には上記実施例内のステップ１０１～ステップ１０２の説明を参照してもよく、ここで詳細な説明を省略する。

本発明の選択可能な一実施例では、本実施例のステップ２０２において、前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点をそれぞれ抽出する前記ステップは、前記キーフレーム画像又は前記被処理フレーム画像内の第１画素点の所定領域範囲内の複数の第２画素点を決定するステップと、前記複数の第２画素点の階調値が前記第１画素点の階調値と異なるか否かを判断するステップと、前記複数の第２画素点の階調値が前記第１画素点の階調値と異なる場合に、前記第１画素点が前記キーフレーム画像又は前記被処理フレーム画像内の特徴点であると決定するステップと、を含む。

本実施例では、前記キーフレーム画像と前記被処理フレーム画像内の特徴点の抽出手法として、いずれも上記手法を採用してもよく、即ち、キーフレーム画像と被処理フレーム画像を共に濃淡画像に変換し、各画素点について、選択された画素点を中心して所定画素距離を半径とする所定領域範囲内で、前記所定領域範囲内の他の画素点の階調値が選択された画素点の階調値と異なるか否かを判断する。例えば、キーフレーム画像における任意画素点Ｐを選択し、画素点Ｐを中心にして３画素の距離を半径として円を描いて円形領域を得、円形領域内の画素点の階調値が画素点Ｐの階調値より大きいか又は小さい場合に、画素点Ｐを１つの特徴点とすることができる。本実施例における前記所定領域範囲が円形領域範囲に限定されなく、他の形状の領域範囲であってもよいことが理解可能である。

前記キーフレーム画像と前記被処理フレーム画像内の特徴点の抽出手法として、いずれも上記手法を採用してもよく、更にそれぞれ異なる特徴点抽出手法を採用してもよいことが理解可能であり、本実施例では限定されない。

本実施例では、被処理フレーム画像内の各特徴点（第２特徴点としてもよい）をキーフレーム画像内の特徴点（第１特徴点としてもよい）とマッチングすることは、具体的には、被処理フレーム画像内の各第２特徴点に関連する第２組の画素点ペアを選択して、キーフレーム画像内の各第１特徴点に関連する第１組の画素点ペアとマッチングすることであり、ここで、前記第１組の画素点ペアと前記第２組の画素点ペアのそれぞれは少なくとも１組の画素点ペアを含んでよく、各画素点ペアが２つの画素点を含んでよい。前記第１組の画素点ペアは、関連する第１特徴点を中心とする所定領域範囲中から選択された少なくとも１組の画素点ペアを含み、対応的に、前記第２組の画素点ペアは、関連する第２特徴点を中心とする前記所定領域範囲中から選択された少なくとも１組の画素点ペアを含む。

ここで、第１組の画素点ペア内の各第１画素点ペアが、前記所定領域範囲中からランダムに選択された画素点ペアであれば、前記第２組の画素点ペア内の各第２画素点ペアとそれに関連する特徴点の相対的位置関係が、前記第１組の画素点ペア内の各画素点ペアとそれに関連する特徴点の相対的位置関係と一致する。

図３は本発明の実施例の画像処理方法における画素点ペアの選択模式図であり、図３に示すように、図３における各格子は１つの画素点を示し、図３における画素点Ｐを特徴点とし、キーフレーム画像内の第１特徴点Ｐと称し、特定規則（例えば、ランダム方式）によって第１特徴点Ｐに関連する第１組の画素点ペアを選択し、図３に示される第１組の画素点ペアは、３組の画素点ペアを含んでよく、前記３組の画素点ペアが、第１特徴点Ｐを中心として所定画素距離を半径とする円形領域中からランダムに選択されてもよい。対応的に、第１特徴点Ｐと共にマッチング関係を満たす第２特徴点を決定するために、被処理フレーム画像において、各特徴点について、第１組の画素点ペア内の各画素点ペアとそれに関連する第１特徴点の相対的位置関係と一致する第２組の画素点ペアを決定し、即ち、第１組の画素点ペア内の各画素点ペアとそれに関連する第１特徴点の相対的位置関係によって第２画素点ペアを決定し、つまり、被処理フレーム画像内の各特徴点について、図３に示される画素点ペアとそれに関連する特徴点と同じ相対的位置関係を有する画素点ペアを選択する。例えば、被処理フレーム画像内の各特徴点に対して、例えば、図３に示す方式と同様に、特徴点に対して垂直方向に上に向かって３画素点の間隔をおいた画素点１、垂直方向に下に向かって１画素点の間隔をおいており、水平方向に左に向かって２画素点の間隔をおいた画素点２を選択し、画素点１と画素点２の構成した画素点ペアを被処理フレーム画像内の１組の画素点ペアとする。前記第１組の画素点ペアと前記第２組の画素点ペアにおける対応する第１画素点ペアと第２画素点ペアに同じ選択規則が採用され、即ち第１画素点ペアに含まれる２つの画素点とそれに関連する第１特徴点の相対的位置関係が対応する第２画素点ペアに含まれる２つの画素点とそれに関連する第２特徴点（即ち、被処理フレーム画像内の１つの特徴点）の相対的位置関係と同じであることが理解可能である。

本発明の選択可能な一実施例では、前記第１特徴点は前記キーフレーム画像における前記目標対象を含む目標領域内の特徴点であってよく、対応的に、前記第２特徴点は前記被処理フレーム画像内の、前記目標対象を含む目標領域内の特徴点であってもよい。本実施例では、キーフレーム画像と被処理フレーム画像における目標領域以外の他の領域の特徴点を無視して、目標対象の目標領域内の特徴点に対してマッチングすることができ、データ処理量が低減可能になることが理解できる。

本実施例のステップ２０４において、第１組の画素点ペア内の少なくとも１組の第１画素点ペアについて、各画素点ペア内の２つの画素点の画素値をそれぞれ比較して、第１組の画素点ペア内の少なくとも１組の第１画素点ペアについて少なくとも１つの第１比較結果を取得することができる。対応的に、第２組の画素点ペア内の少なくとも１組の第２画素点ペアについて少なくとも１つの第２比較結果を取得することができる。いくつかの実施例では、更に第１画素点ペアに含まれる２つの画素点の階調値を比較して、階調値の差で示される第１比較結果を取得してもよく、対応的に、階調値の差で示される第２比較結果を取得してもよい。

一例として、上から下へ、左から右への方向に位置が上又は左に近い画素点の画素値又は階調値を減数とし、位置が下又は右に近い画素点の画素値又は階調値を被減数としてもよい。本実施例における２つの画素点の比較規則が以上に限定されなく、前記第１比較結果と前記第２比較結果に同じ比較規則が採用されることが理解可能である。

本発明の選択可能な一実施例では、本実施例のステップ２０５において、前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定する前記ステップは、前記少なくとも１つの第１比較結果に基づいて第１文字列を生成するステップと、前記少なくとも１つの第２比較結果に基づいて第２文字列を生成するステップと、前記第１文字列と前記第２文字列に基づいて第１ハミング距離を決定し、前記第１ハミング距離に基づいて前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、を含む。

本実施例では、第１組の画素点ペアと第２組の画素点ペアをそれぞれ関連する特徴点の特徴記述子としてよく、そして、本実施例では、２つの特徴記述子間の類似度を決定する方式で、対応する第１特徴点と第２特徴点が関連付け関係を満たすか否かを決定することができる。キーフレーム画像と被処理フレーム画像における対応する２つの特徴点の周りの画素点ペアが類似するか否かを決定することで、キーフレーム画像と被処理フレーム画像における対応する２つの特徴点が関連付けられるか否かを決定することが理解可能である。

一例として、第１組の画素点ペアに対応する少なくとも１つの第１比較結果を順に並べ、且つ１つのバイナリ文字列に変換し、対応的に、第２組の画素点ペアに対応する少なくとも１つの第２比較結果を順に並べ、且つもう１つのバイナリ文字列に変換し、取得された２つのバイナリ文字列により前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定する。ここで、前記少なくとも１つの第１比較結果の並び順と前記少なくとも１つの第２比較結果の並び順が一致する。図３に示す３組の画素点ペアを例とすれば、３つの第１比較結果と３つの第２比較結果をそれぞれ取得でき、３つの第１比較結果と３つの第２比較結果を同じ並び規則で並べ、例えば、図３に示される「１」に対応する２つの画素点の比較結果を第１比較結果とし、図３に示される「２」に対応する２つの画素点の比較結果を第２比較結果とし、図３に示される「３」に対応する２つの画素点の比較結果を第３比較結果とし、第１比較結果の順位が高い位置であり、第２比較結果の順位が中央位置であり、第３比較結果の順位が低い位置である。本実施例における比較結果の並び規則も以上に限定されなく、前記少なくとも１つの第１比較結果と前記少なくとも１つの第２比較結果に同じ並び規則が採用されることが理解可能である。

本実施例では、一例として、２つのバイナリ文字列間のハミング距離を計算し、前記ハミング距離に基づいて前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するようにしてもよい。本実施例では他の距離によって前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定してもよいことが理解可能であり、本実施例では限定されない。

本実施例では、算出された第１組の画素点ペアと第２組の画素点ペアの類似度が第１所定閾値に到達した場合に、第１特徴点と第２特徴点がマッチング関係を満たすと決定可能である。しかしながら、この時に取得されたマッチング関係を満たした第１特徴点と第２特徴点の形成した特徴点ペアが正確でない可能性があり、間違ってマッチングされることがあるので、ステップ２０７によって、マッチング関係を満たした第１特徴点と第２特徴点を含む特徴点ペアから選別する必要がある。

いくつかの選択可能な実施例では、本実施例のステップ２０７において、特徴点ペア集合から選別して目標特徴点ペア集合を取得する前記ステップは、前記特徴点ペア集合内の各特徴点ペアに含まれる前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点との間の類似度を取得するステップと、前記特徴点ペア集合内の全ての特徴点ペアに対応する類似度の最大値を決定し、前記最大値に基づいて第１閾値を決定するステップと、対応類似度が前記第１閾値より小さい前記特徴点ペア集合内の特徴点ペアを除去して、目標特徴点ペア集合を取得するステップと、を含む。

本実施例では、特徴点ペア集合内の各特徴点ペアの類似度を決定してよく、即ち各特徴点ペアに含まれる前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点との間の類似度を決定してよく、ここで、各特徴点ペアの類似度が即ち上記の第１組の画素点ペアと第２組の画素点ペアの類似度であり、前記特徴点ペア集合内の各特徴点ペアに対応する類似度の最小値を決定する。例えば、特徴点ペア集合はそれぞれＡ１とＡ２、Ｂ１とＢ２、Ｃ１とＣ２と称する３組の特徴点ペアを含んでよく、そのうち、Ｂ１とＢ２の類似度が最も大きく、類似度の最大値をｋと称し、そのようにｋに基づいて第１閾値を決定してよく、前記第１閾値がｋより小さく、即ち前記第１閾値が類似度の最大値より小さく、Ａ１とＡ２の類似度が第１閾値より小さければ、Ａ１とＡ２が間違ってマッチングされる特徴点ペアであると決定可能であり、特徴点ペア集合からＡ１とＡ２を削除し、Ｃ１とＣ２の類似度が前記第１閾値より大きければ、Ｃ１とＣ２が正確にマッチングされる特徴点ペアであることを示す。それに基づいて少なくとも１組の目標特徴点ペアを含んでよい目標特徴点ペア集合を取得する。

いくつかの実施形態では、本実施例内の特徴点ペアに対応する類似度は即ち特徴点ペアにそれぞれに対応する第１組の画素点ペアと第２組の画素点ペアの類似度である。第１組の画素点ペアと第２組の画素点ペアの類似度をハミング距離（例えば、第１ハミング距離）で示す場合に、第１ハミング距離が大きいほど、第１組の画素点ペアと第２組の画素点ペアの類似度が小さいことを示し、第１ハミング距離が小さいほど、第１組の画素点ペアと第２組の画素点ペアの類似度が大きいことを示す。それに基づければ、本実施例では第１組の画素点ペアと第２組の画素点ペアの対応する第１ハミング距離に基づいて第１閾値を決定してもよい。例えば、特徴点ペア集合はそれぞれＡ１とＡ２、Ｂ１とＢ２、Ｃ１とＣ２と称する３組の特徴点ペアを含んでよく、そのうち、Ｂ１とＢ２のハミング距離が最も小さく、ｋと称し、そのように前記第１閾値がｋより大きいと決定可能であり、例えば、２ｋを第１閾値とする。Ａ１とＡ２に対応するハミング距離が第１閾値（即ち、２ｋ）より大きければ、Ａ１とＡ２が間違ってマッチングされる特徴点ペアであると決定可能であり、特徴点ペア集合からＡ１とＡ２を削除し、Ｃ１とＣ２の類似度が前記第１閾値（即ち、２ｋ）以下であれば、Ｃ１とＣ２が正確にマッチングされる特徴点ペアであることを示す。

本実施例のステップ２０８において、前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定する前記ステップは、前記目標特徴点ペア集合内の目標特徴点ペアに含まれる前記キーフレーム画像内の特徴点の座標と前記被処理フレーム画像内の特徴点の座標に基づいて変換行列を決定するステップを含む。

本実施例では、目標特徴点ペア集合内の目標特徴点に含まれるキーフレーム画像に対応する第１特徴点の第１座標と被処理フレーム画像に対応する第２特徴点の第２座標に基づいて変換行列を決定してもよい。一実施形態として、前記変換行列はホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）行列であってよく、そのように前記の目標特徴点ペア集合内の目標特徴点ペアに含まれるキーフレーム画像に対応する第１特徴点の第１座標と被処理フレーム画像に対応する第２特徴点の第２座標に基づいて変換行列を決定することは、目標特徴点ペア集合内の目標特徴点ペアに含まれるキーフレーム画像に対応する第１特徴点の第１座標と被処理フレーム画像に対応する第２特徴点の第２座標に対して、１つの平面からもう１つの平面への変換関係を記述するためのホモグラフィ変換を行って、ホモグラフィ行列を取得するようになっている。例えば、キーフレーム画像内の目標対象の１つの特徴点の座標が（ｘ１，ｙ１）であり、被処理フレーム画像内の前記目標対象の同一の特徴点の座標が（ｘ２，ｙ２）であり、そのようホモグラフィ変換によって、座標（ｘ２，ｙ２）を座標（ｘ１，ｙ１）に変換可能である。

本実施例のステップ２０９において、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得る前記ステップは、前記変換行列に基づいて前記被処理フレーム画像内の、前記目標対象を含む目標領域に対して変換処理を行って目標フレーム画像を得るステップを含む。

一例として、変換行列をＨとし、被処理フレーム画像をｑで示し、キーフレーム画像をＱで示せば、ｑ＝Ｈ・Ｑである。そのように、目標フレーム画像＝ｑ・Ｈ^－１。変換行列によって被処理フレーム画像を変化処理することで、被処理フレーム画像を取得した時の画像取得装置の移動による被処理フレーム画像の取得視角のキーフレーム画像の取得視角との差が除去又は低減されて、目標フレーム画像の取得視角がキーフレーム画像の取得視角と同様又は基本的に同様になる。

本発明の実施例の技術的解決手段を採用すれば、得られた変換関係によって被処理フレーム画像を処理して、目標フレーム画像の取得視角をキーフレーム画像の取得視角と同様又はほぼ一致させて、カメラの震動による妨害又はカメラの変位によって取得された画像内の目標対象が変位するという問題を解決して、目標対象の位置を正確に決定することを実現した。

本発明の実施例は、画像処理方法を更に提供する。図４は本発明の実施例の画像処理方法のフローチャート３であり、図４に示すように、前記方法は、
目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するステップ３０１と、
前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点をそれぞれ抽出するステップ３０２と、
前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するステップ３０３と、
マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定するステップ３０４と、
前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るステップ３０５と、
前記目標フレーム画像内の特徴点を抽出し、前記キーフレーム画像内の特徴点と前記目標フレーム画像内の特徴点に基づいて第１損失値を決定するステップ３０６であって、前記第１損失値を決定するための前記キーフレーム画像内の特徴点が、前記変換関係を決定するための前記キーフレーム画像内の特徴点と異なるものであるステップ３０６と、
前記第１損失値が第２閾値を超えていない場合に、前記得られた目標フレーム画像を保留し、前記第１損失値が第２閾値を超えた場合に、前記得られた目標フレーム画像を削除するステップ３０７と、を含む。

本実施例のステップ３０１～ステップ３０５についての詳細な説明は具体的には上記実施例内のステップ１０１～ステップ１０５及びステップ２０１～ステップ２０７の説明を参照してもよく、ここで詳細な説明を省略する。

本実施例のステップ３０６において、前記目標フレーム画像内の特徴点の抽出手法については上記述実施例内のキーフレーム画像と被処理フレーム画像内の特徴点の抽出手法の説明を参照してもよく、ここで詳細な説明を省略する。

本実施例では、前記第１損失値を決定するための前記キーフレーム画像内の特徴点が、前記変換関係を決定するための前記キーフレーム画像内の特徴点と異なるものである。一例として、キーフレーム画像から１００個の特徴点が抽出され、そのうちの５０個の特徴点が選択されて変換関係の決定に利用された場合に、残りの５０個の特徴点内の少なくとも一部の特徴点を選択して第１損失値の決定に利用することができる。対応的に、前記目標フレーム画像から抽出された特徴点から、前記キーフレーム画像内の第１損失値の決定のための特徴点に対応する特徴点を選択する。

本実施例のステップ３０６において、前記キーフレーム画像内の特徴点と前記目標フレーム画像内の特徴点に基づいて第１損失値を決定する前記ステップは、前記キーフレーム画像内の特徴点の座標と前記目標フレーム画像内の特徴点の座標に基づいて、マッチング関係を満たす複数組の特徴点ペアを決定するステップであって、前記複数組の特徴点ペア内の各特徴点ペアは１つの前記キーフレーム画像内の特徴点と１つの前記目標フレーム画像内の特徴点を含むステップと、各特徴点ペアに含まれる２つの特徴点の座標に基づいて第１損失値を決定するステップと、を含む。前記第１損失値は前記目標フレーム画像と前記キーフレーム画像の相違程度を表すことができる。

いくつかの実施例では、各特徴点ペアに含まれる２つの特徴点の座標に基づいて第１損失を決定する前記ステップは、各特徴点ペアに含まれる２つの特徴点の座標に基づいて第１距離を決定するステップと、複数の第１距離の平均値を取得して前記平均値に基づいて第１損失を決定するステップと、を含む。ここで、前記第１距離はオイラー距離、ユークリッド距離等であってよく、本実施例では限定されるものではない。

本実施例では、目標フレーム画像内の目標対象の位置が既にキーフレーム画像内の目標対象の位置と同様又は類似的になったので、目標フレーム画像内の各特徴点の座標とキーフレーム画像内の各特徴点の座標を比較することで、マッチング関係を有する特徴点ペアを取得することができる。他の実施形態では、上記実施例におけるステップ２０３～ステップ２０６の記載をもとにマッチング関係を満たす特徴点ペアを決定してもよく、ここで詳細な説明を省略する。

本実施例では、第１損失値が第２閾値を超えた場合に、変換関係（又は変換行列）が間違ったものであり、又は被処理フレーム画像への変化処理が間違ったことを示し、そのため、この目標フレーム画像を削除してもよく、即ち、後続の画像処理過程でこの目標フレーム画像を処理しなくなり、更に、警告情報を出力して、変換が成功したか否かを自動的に判定し且つ対応する目標フレーム画像を処理する目的を達成するようにしてもよい。

本実施例では、第１損失値が第２閾値を超えていなければ、変換関係（又は変換行列）が比較的正確であり、被処理フレーム画像への変換処理が成功したことを示し、そのため、前記目標フレーム画像を保留してもよく、更に、変換関係（又は変換行列）によって被処理フレーム画像内の、他の目標対象に対応する目標領域に対して変換処理を行い、キーフレーム画像における前記他の目標対象に対応する目標領域に対応する位置を得るようにしてもよい。

ゲームテーブルの画像を適応的に変換するシーンに本実施例の画像処理方法を利用する場合に、別々のゲームテーブルに配置されたカメラの位置、角度が完全に同様なものであることを保証できなく、各ゲームテーブルに対応するキーフレーム画像内の目標対象（例えば、ゲームテーブル）に対応する目標領域の位置が完全に同様なものであることも保証できないので、各ゲームテーブルのカメラが配置された後、本実施例の画像処理方法で変換関係（変換行列）を決定して、各カメラが取得した画像を同一のキーフレーム画像の取得視角と同様な視角に変換することで、各カメラが取得した画像を全て目標対象が同じ位置にある画像に変換して、後続の目標対象の検出認識等の各種処理を可能にすることができる。

本発明の実施例は、画像処理装置を更に提供する。図５は本発明の実施例の画像処理装置の構成の構造模式図１であり、図５に示すように、前記装置は、
目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するための画像取得ユニット４１と、
前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点をそれぞれ抽出するための特徴抽出ユニット４２と、
前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するためのマッチングユニット４３と、
マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定し、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るための変換ユニット４４と、を含む。

本発明の選択可能な一実施例では、前記マッチングユニット４３は、前記キーフレーム画像内の第１特徴点に関連する第１組の画素点ペアを取得し、前記被処理フレーム画像内の第２特徴点に関連する第２組の画素点ペアを取得するステップであって、前記第１特徴点が前記キーフレーム画像内の１つの特徴点であり、前記第２特徴点が前記被処理フレーム画像内の１つの特徴点であり、前記第１組の画素点ペア内の第１画素点ペアと前記第１特徴点の相対的位置関係が、前記第２組の画素点ペア内の第２画素点ペアと前記第２特徴点の相対的位置関係と一致しており、前記第１組の画素点ペアが少なくとも１組の第１画素点ペアを含み、前記第２組の画素点ペアが少なくとも１組の第２画素点ペアを含むステップと、第１画素点ペアに含まれる２つの画素点の画素値を比較して第１比較結果を取得し、第２画素点ペアに含まれる２つの画素点の画素値を比較して第２比較結果を取得するステップと、前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、前記類似度が第１所定閾値に到達した場合に、前記第１特徴点と前記第２特徴点がマッチング関係を満たしたと決定するステップと、を実行するために用いられる。

本発明の選択可能な一実施例では、前記マッチングユニット４３は、前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定する場合において、前記少なくとも１つの第１比較結果に基づいて第１文字列を生成するステップと、前記少なくとも１つの第２比較結果に基づいて第２文字列を生成するステップと、前記第１文字列と前記第２文字列に基づいて第１ハミング距離を決定し、前記第１ハミング距離に基づいて前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、を実行するために用いられる。

本発明の選択可能な一実施例では、図６に示すように、前記装置は、特徴点ペア集合から選別して目標特徴点ペア集合を取得するための選別ユニット４５を更に含み、各特徴点ペアが、マッチング関係を有する前記キーフレーム画像内の１つの特徴点と前記被処理フレーム画像内の１つの特徴点から構成され、前記特徴点ペア集合が複数組の特徴点ペアを含み、
前記変換ユニット４４は、マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定する場合において、前記選別ユニット４５の取得した前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定するために用いられる。

本発明の選択可能な一実施例では、前記選別ユニット４５は、前記特徴点ペア集合内の各特徴点ペアに含まれる前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点との間の類似度を取得するステップと、前記特徴点ペア集合内の全ての特徴点ペアに対応する類似度の最大値を決定し、前記最大値に基づいて第１閾値を決定するステップと、対応類似度が前記第１閾値より小さい前記特徴点ペア集合内の特徴点ペアを除去して、目標特徴点ペア集合を取得するステップと、を実行するために用いられる。

本発明の選択可能な一実施例では、前記特徴抽出ユニット４２は、前記キーフレーム画像又は前記被処理フレーム画像内の第１画素点の所定領域範囲内の複数の第２画素点を決定するステップと、前記複数の第２画素点の階調値が前記第１画素点の階調値と異なるか否かを判断するステップと、前記複数の第２画素点の階調値が前記第１画素点の階調値と異なる場合に、前記第１画素点が前記キーフレーム画像又は前記被処理フレーム画像内の特徴点であると決定するステップと、を実行するために用いられる。

本発明の選択可能な一実施例では、前記変換ユニット４４は、マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定する場合において、前記目標特徴点ペア集合内の目標特徴点ペアに含まれる前記キーフレーム画像内の特徴点の座標と前記被処理フレーム画像内の特徴点の座標に基づいて変換行列を決定するために用いられる。

本発明の選択可能な一実施例では、前記変換ユニット４４は、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得る場合において、前記変換行列に基づいて前記被処理フレーム画像内の、前記目標対象を含む目標領域に対して変換処理を行い、目標フレーム画像を得るために用いられる。

本発明の選択可能な一実施例では、図７に示すように、前記装置は決定ユニット４６と処理ユニット４７を更に含み、
前記特徴抽出ユニット４２は、更に、前記目標フレーム画像内の特徴点を抽出するために用いられ、
前記決定ユニット４６は、前記キーフレーム画像内の特徴点と前記目標フレーム画像内の特徴点に基づいて第１損失値を決定するために用いられ、前記第１損失値を決定するための前記キーフレーム画像内の特徴点が、前記変換関係を決定するための前記キーフレーム画像内の特徴点と異なるものであり、
前記処理ユニット４７は、前記第１損失値が第２閾値を超えていない場合に、前記得られた目標フレーム画像を保留するために用いられる。

本発明の選択可能な一実施例では、前記処理ユニット４７は、更に、前記第１損失が第２閾値を超えた場合に、前記得られた目標フレーム画像を削除するために用いられる。

本発明の実施例では、前記装置における画像取得ユニット４１、特徴抽出ユニット４２、マッチングユニット４３、変換ユニット４４、選別ユニット４５、決定ユニット４６及び処理ユニット４７は、実用上、いずれも中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ディジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコントローラーユニット（ＭＣＵ、Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実現することができる。

上記実施例で提供された画像処理装置によって画像処理を行う時に、上述したように分割した各プログラムモジュールを例にして説明したが、実用において、必要に応じて上記処理を異なるプログラムモジュールによって完了するように割り当ててもよく、即ち装置の内部構造を異なるプログラムモジュールに分割して上述した全てまたは一部の処理を完了するようにしてもよいことを説明する必要がある。なお、上記実施例で提供された画像処理装置及び画像処理方法の実施例が同じ構想によるものであり、その具体的な実施過程の詳細については方法の実施例を参照し、ここで重複説明を省略する。

本発明の実施例は、電子機器を更に提供し、図８は本発明の実施例の電子機器のハードウェア構成の構造模式図であり、図８に示すように、前記電子機器５０は、メモリ５２と、プロセッサ５１と、メモリ５２に記憶され且つプロセッサ５１上で作動可能なコンピュータプログラムと、を含み、前記プロセッサ５１が前記プログラムを実行する時に本発明の実施例に記載の画像処理方法のステップを実現する。

本実施例の電子機器５０における各コンポーネントがバスシステム５３によって接続されてもよいことが理解可能である。バスシステム５３がこれらのコンポーネントの間の接続通信を実現するためのものであることが理解可能である。バスシステム５３はデータバスに加えて、更に電源バス、制御バス及び状態信号バスを含む。ただし、説明を明瞭にするために、図８において各種のバスがすべてバスシステム５３とされている。

メモリ５２は揮発性メモリ又は不揮発性メモリであってもよく、揮発性及び不揮発性メモリの両方を含んでもよいことが理解可能である。ここで、不揮発性メモリは、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ、ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁性面メモリ、光ディスク又はシーディーロム（ＣＤ－ＲＯＭ、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）であってよく、磁性面メモリは磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性メモリはランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってよく、外部キャッシュとして用いられる。例示的なものであり限定する意図がない説明によれば、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期スタティックランダムアクセスメモリ（ＳＳＲＡＭ、Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ、Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ、Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、強化型同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ、Ｅｎｈａｎｃｅｄ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期接続ダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ、ＳｙｎｃＬｉｎｋ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイレクトラムバスランダムアクセスメモリ（ＤＲＲＡＭ、Ｄｉｒｅｃｔ Ｒａｍｂｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような多くの形のＲＡＭが使用可能である。本発明の実施例に記載のメモリ５２は、これらのメモリ及び他のいかなる適切なメモリを含むが、それらに限定されない。

上記の本発明の実施例で開示された方法は、プロセッサ５１に用いることができ、又はプロセッサ５１によって実現することができる。プロセッサ５１は信号処理能力を有する集積回路チップであってもよい。実施過程では、上記方法の各ステップはプロセッサ５１のハードウェアの集積論理回路又はソフトウェア形態のコマンドによって完成可能である。上記プロセッサ５１は共通プロセッサ、ＤＳＰまたは他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理デバイス、離散ハードウェアコンポーネント等であってもよい。プロセッサ５１は、本発明の実施例で開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。共通プロセッサは、マイクロプロセッサ又はいかなる一般のプロセッサ等であってもよい。本発明の実施例で開示された方法のステップによれば、ハードウェア復号プロセッサにより実行、完成し、又は復号プロセッサ内のハードウェア及びソフトウェアモジュールの組合により実行、完成するように直接体現することができる。ソフトウェアモジュールは記憶媒体にあってもよく、該記憶媒体はメモリ５２に位置し、プロセッサ５１はメモリ５２内の情報を読み取り、そのハードウェアと組み合わせて上記方法のステップを完成する。

例示的な実施例では、電子機器５０は、一つ以上の特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、複雑プログラマブルロジックデバイス（ＣＰＬＤ、Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ、共通プロセッサ、コントローラ、ＭＣＵ、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）または他の電子要素によって実現されて、上記方法を実行するために用いることが可能である。

例示的な実施例では、本発明の実施例はさらにコンピュータ読み取り可能な記憶媒体、例えば、電子機器５０のプロセッサ５１によって実行して、前記方法の前記ステップを完了することができるコンピュータプログラムを含むメモリ５２を提供する。コンピュータ読み取り可能な記憶媒体はＦＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、Ｆｌａｓｈ Ｍｅｍｏｒｙ、磁性面記憶装置、光ディスク、またはＣＤ－ＲＯＭなどのメモリであってもよい。

本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、このプログラムがプロセッサにより実行される時に本発明の実施例に記載の画像処理方法のステップを実現するコンピュータ可読記憶媒体を更に提供する。

なお、本願が提供するいくつかの実施例では、開示した機器および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。

別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。

また、本発明の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。

当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。

あるいは、本発明の上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本発明の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）に本発明の各実施例に記載の方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。

以上で説明したのは本発明の具体的な実施形態に過ぎず、本発明の保護範囲がそれに限定されるものでなく、本発明に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本発明の保護範囲に含まれる。従って、本発明の保護範囲は請求項の保護範囲に準ずるべきである。

Claims (19)

1. 目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するステップと、
   前記キーフレーム画像内の１つ又は複数の特徴点と前記被処理フレーム画像内の１つ又は複数の特徴点をそれぞれ抽出するステップと、
   前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するステップと、
   マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定するステップと、
   前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るステップと、を含み、
   前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点をそれぞれ抽出する前記ステップは、
   前記キーフレーム画像又は前記被処理フレーム画像内の第１画素点の所定領域範囲内の複数の第２画素点を決定するステップと、
   前記複数の第２画素点の階調値が前記第１画素点の階調値と異なるか否かを判断するステップと、
   前記複数の第２画素点の階調値が前記第１画素点の階調値と異なる場合に、前記第１画素点が前記キーフレーム画像又は前記被処理フレーム画像内の特徴点であると決定するステップと、を含むことを特徴とする画像処理方法。
2. 前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するステップは、
   前記キーフレーム画像内の第１特徴点に関連する第１組の画素点ペアを取得し、前記被処理フレーム画像内の第２特徴点に関連する第２組の画素点ペアを取得するステップであって、前記第１特徴点が前記キーフレーム画像内の１つの特徴点であり、前記第２特徴点が前記被処理フレーム画像内の１つの特徴点であり、前記第１組の画素点ペア内の第１画素点ペアと前記第１特徴点の相対的位置関係が、前記第２組の画素点ペア内の第２画素点ペアと前記第２特徴点の相対的位置関係と一致しており、前記第１組の画素点ペアが少なくとも１組の第１画素点ペアを含み、前記第２組の画素点ペアが少なくとも１組の第２画素点ペアを含むステップと、
   第１画素点ペアに含まれる２つの画素点の画素値を比較して第１比較結果を取得し、第２画素点ペアに含まれる２つの画素点の画素値を比較して第２比較結果を取得するステップと、
   前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、
   前記類似度が第１所定閾値に到達した場合に、前記第１特徴点と前記第２特徴点がマッチング関係を満たしたと決定するステップと、を含むことを特徴とする請求項１に記載の方法。
3. 前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定する前記ステップは、
   前記少なくとも１つの第１比較結果に基づいて第１文字列を生成するステップと、
   前記少なくとも１つの第２比較結果に基づいて第２文字列を生成するステップと、
   前記第１文字列と前記第２文字列に基づいて第１ハミング距離を決定し、前記第１ハミング距離に基づいて前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、を含むことを特徴とする請求項２に記載の方法。
4. マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定する前記ステップは、
   特徴点ペア集合から選別して目標特徴点ペア集合を取得するステップであって、各特徴点ペアが、マッチング関係を有する前記キーフレーム画像内の１つの特徴点と前記被処理フレーム画像内の１つの特徴点から構成され、前記特徴点ペア集合が複数組の特徴点ペアを含むステップと、
   前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定するステップと、を含むことを特徴とする請求項１～３のいずれか一項に記載の方法。
5. 特徴点ペア集合から選別して目標特徴点ペア集合を取得する前記ステップは、
   前記特徴点ペア集合内の各特徴点ペアに含まれる前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点との間の類似度を取得するステップと、
   前記特徴点ペア集合内の全ての特徴点ペアに対応する類似度の最大値を決定し、前記最大値に基づいて第１閾値を決定するステップと、
   対応類似度が前記第１閾値より小さい前記特徴点ペア集合内の特徴点ペアを除去して、目標特徴点ペア集合を取得するステップと、を含むことを特徴とする請求項４に記載の方法。
6. 前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定する前記ステップは、
   前記目標特徴点ペア集合内の目標特徴点ペアに含まれる前記キーフレーム画像内の特徴点の座標と前記被処理フレーム画像内の特徴点の座標に基づいて変換行列を決定するステップを含むことを特徴とする請求項４に記載の方法。
7. 前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得る前記ステップは、
   前記変換行列に基づいて前記被処理フレーム画像内の、前記目標対象を含む目標領域に対して変換し、目標フレーム画像を得るステップを含むことを特徴とする請求項６に記載の方法。
8. 目標フレーム画像を得た後、
   前記目標フレーム画像内の特徴点を抽出するステップと、
   前記キーフレーム画像内の特徴点と前記目標フレーム画像内の特徴点に基づいて第１損失値を決定するステップであって、前記第１損失値を決定するための前記キーフレーム画像内の特徴点が、前記変換関係を決定するための前記キーフレーム画像内の特徴点と異なるものであるステップと、
   前記第１損失値が第２閾値を超えていない場合に、前記得られた目標フレーム画像を保留するステップと、
   前記第１損失値が第２閾値を超えた場合に、前記得られた目標フレーム画像を削除するステップと、を更に含むことを特徴とする請求項１～７のいずれか一項に記載の方法。
9. 目標対象を含むキーフレーム画像を取得し、前記目標対象を含む被処理フレーム画像を取得するための画像取得ユニットと、
   前記キーフレーム画像内の１つ又は複数の特徴点と前記被処理フレーム画像内の１つ又は複数の特徴点をそれぞれ抽出するための特徴抽出ユニットと、
   前記キーフレーム画像内の各特徴点と前記被処理フレーム画像内の各特徴点との間のマッチング関係を決定するためのマッチングユニットと、
   マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定し、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得るための変換ユニットと、を含み、
   前記特徴抽出ユニットは、
   前記キーフレーム画像又は前記被処理フレーム画像内の第１画素点の所定領域範囲内の複数の第２画素点を決定するステップと、
   前記複数の第２画素点の階調値が前記第１画素点の階調値と異なるか否かを判断するステップと、
   前記複数の第２画素点の階調値が前記第１画素点の階調値と異なる場合に、前記第１画素点が前記キーフレーム画像又は前記被処理フレーム画像内の特徴点であると決定するステップと、を実行するために用いられることを特徴とする画像処理装置。
10. 前記マッチングユニットは、
    前記キーフレーム画像内の第１特徴点に関連する第１組の画素点ペアを取得し、前記被処理フレーム画像内の第２特徴点に関連する第２組の画素点ペアを取得するステップであって、前記第１特徴点が前記キーフレーム画像内の１つの特徴点であり、前記第２特徴点が前記被処理フレーム画像内の１つの特徴点であり、前記第１組の画素点ペア内の第１画素点ペアと前記第１特徴点の相対的位置関係が、前記第２組の画素点ペア内の第２画素点ペアと前記第２特徴点の相対的位置関係と一致しており、前記第１組の画素点ペアが少なくとも１組の第１画素点ペアを含み、前記第２組の画素点ペアが少なくとも１組の第２画素点ペアを含むステップと、
    第１画素点ペアに含まれる２つの画素点の画素値を比較して第１比較結果を取得し、第２画素点ペアに含まれる２つの画素点の画素値を比較して第２比較結果を取得するステップと、
    前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、
    前記類似度が第１所定閾値に到達した場合に、前記第１特徴点と前記第２特徴点がマッチング関係を満たしたと決定するステップと、を実行するために用いられることを特徴とする請求項９に記載の装置。
11. 前記マッチングユニットは、前記少なくとも１組の第１画素点ペアの対応する少なくとも１つの第１比較結果と前記少なくとも１組の第２画素点ペアの対応する少なくとも１つの第２比較結果に基づいて、前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定する場合において、
    前記少なくとも１つの第１比較結果に基づいて第１文字列を生成するステップと、
    前記少なくとも１つの第２比較結果に基づいて第２文字列を生成するステップと、
    前記第１文字列と前記第２文字列に基づいて第１ハミング距離を決定し、前記第１ハミング距離に基づいて前記第１組の画素点ペアと前記第２組の画素点ペアの類似度を決定するステップと、を実行するために用いられることを特徴とする請求項１０に記載の装置。
12. 特徴点ペア集合から選別して目標特徴点ペア集合を取得するための選別ユニットであって、各特徴点ペアが、マッチング関係を有する前記キーフレーム画像内の１つの特徴点と前記被処理フレーム画像内の１つの特徴点から構成され、前記特徴点ペア集合が複数組の特徴点ペアを含む選別ユニットを更に含み、
    前記変換ユニットは、マッチング関係を有する前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点に基づいて変換関係を決定する場合において、
    前記選別ユニットの取得した前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定するために用いられることを特徴とする請求項９～１１のいずれか一項に記載の装置。
13. 前記選別ユニットは、
    前記特徴点ペア集合内の各特徴点ペアに含まれる前記キーフレーム画像内の特徴点と前記被処理フレーム画像内の特徴点との間の類似度を取得するステップと、
    前記特徴点ペア集合内の全ての特徴点ペアに対応する類似度の最大値を決定し、前記最大値に基づいて第１閾値を決定するステップと、
    対応類似度が前記第１閾値より小さい前記特徴点ペア集合内の特徴点ペアを除去して、目標特徴点ペア集合を取得するステップと、を実行するために用いられることを特徴とする請求項１２に記載の装置。
14. 前記変換ユニットは、前記目標特徴点ペア集合内の目標特徴点ペアに基づいて変換関係を決定する場合において、
    前記目標特徴点ペア集合内の目標特徴点ペアに含まれる前記キーフレーム画像内の特徴点の座標と前記被処理フレーム画像内の特徴点の座標に基づいて変換行列を決定するために用いられることを特徴とする請求項１２に記載の装置。
15. 前記変換ユニットは、前記変換関係に基づいて前記被処理フレーム画像を処理して目標フレーム画像を得る場合において、
    前記変換行列に基づいて前記被処理フレーム画像内の、前記目標対象を含む目標領域に対して変換処理を行い、目標フレーム画像を得るために用いられることを特徴とする請求項１４に記載の装置。
16. 決定ユニットと処理ユニットを更に含み、
    前記特徴抽出ユニットは、更に、前記目標フレーム画像内の特徴点を抽出するために用いられ、
    前記決定ユニットは、前記キーフレーム画像内の特徴点と前記目標フレーム画像内の特徴点に基づいて第１損失値を決定するためのものであって、前記第１損失値を決定するための前記キーフレーム画像内の特徴点が、前記変換関係を決定するための前記キーフレーム画像内の特徴点と異なるものであり、
    前記処理ユニットは、前記第１損失値が第２閾値を超えていない場合に、前記得られた目標フレーム画像を保留するために用いられ、
    前記処理ユニットは、更に、前記第１損失値が第２閾値を超えた場合に、前記得られた目標フレーム画像を削除するために用いられることを特徴とする請求項９～１５のいずれか一項に記載の装置。
17. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行される時に請求項１～８のいずれか一項に記載の方法のステップを実現することを特徴とするコンピュータ可読記憶媒体。
18. メモリと、プロセッサと、メモリに記憶され且つプロセッサ上で動作可能なコンピュータプログラムとを含み、前記プロセッサが前記プログラムを実行する時に請求項１～８のいずれか一項に記載の方法のステップを実現することを特徴とする電子機器。
19. コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが装置上で作動する時に、この装置のプロセッサがコマンドを実行して請求項１～８のいずれか一項に記載の方法のステップを実現するコンピュータプログラム。

Images