JP7305249B2 - 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス - Google Patents

画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス Download PDF

Info

Publication number
JP7305249B2
JP7305249B2 JP2021529019A JP2021529019A JP7305249B2 JP 7305249 B2 JP7305249 B2 JP 7305249B2 JP 2021529019 A JP2021529019 A JP 2021529019A JP 2021529019 A JP2021529019 A JP 2021529019A JP 7305249 B2 JP7305249 B2 JP 7305249B2
Authority
JP
Japan
Prior art keywords
pixel
image
target
points
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021529019A
Other languages
English (en)
Other versions
JP2022511427A (ja
Inventor
永根 凌
晟浩 ▲張▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2022511427A publication Critical patent/JP2022511427A/ja
Application granted granted Critical
Publication of JP7305249B2 publication Critical patent/JP7305249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

［関連出願への相互参照］
本願は、２０１９年４月２９日に中国特許庁へ出願された、出願番号が２０１９１０３５６７５２．４であり、出願名称が「画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス」である中国特許出願の優先権を主張し、その全てが参照することにより本願に組み込まれる。
［技術分野］
本願は、インターネット技術の分野に関し、特に、画像特徴点の動き情報の決定方法、タスク実行方法およびデバイスに関する。
インターネット技術の発展に伴い、特徴点追跡技術は、移動ロボットや仮想現実などのさまざまなシーンに広く適用されている。特徴点追跡技術は、同一の特徴点の連続する複数フレームの画像における位置変化の過程を分析するものである。本技術分野では、通常、動き情報を使用して、特徴点の異なる画像における位置変化の過程を説明する。
従来の解決手段において、特徴点の、ビデオにおける現在のフレーム画像から次のフレーム画像への動き情報を決定することを例とし、画像特徴点の動き情報の決定プロセスは、以下のことを含むようにしてもよく、即ち、コンピュータデバイスは、現在のフレーム画像における特徴点の所在する画素領域を取得して、その結果を正確にするために、通常、当該画素領域がより大きく選択される。当該コンピュータデバイスは、複数の画素領域内の複数の画素点と、次のフレーム画像における、複数の対応する画素領域内の複数の画素点とに基づいて、画像特徴点の動き情報を決定する。しかしながら、従来の解決手段において、選択された画素領域が大きいため、計算する必要のある画素点の数が大きくて、これにより、画像特徴点の動き情報の決定プロセスの効率が低くなってしまう。
本願の様々な実施形態によれば、画像特徴点の動き情報の決定方法、装置、コンピュータデバイスおよび記憶媒体が提供され、タスク実行方法、装置、ターゲットデバイスおよび記憶媒体がさらに提供される。
コンピュータデバイスによって実行される、画像特徴点の動き情報の決定方法であって、前記方法は、
第１画像と第２画像を決定するステップであって、前記第１画像と前記第２画像は、同じオブジェクトを含むステップと、
前記第１画像における前記オブジェクト上のターゲット特徴点に基づいて、前記第１画像における、前記ターゲット特徴点を含む第１画素領域を決定するステップと、
前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップであって、前記第２画素領域における複数の第２画素点の画素差分は、前記複数の第１画素点の画素差分より大きくて、前記複数の第２画素点は、前記複数の第１画素点と数が同じであり、前記画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものであるステップと、
前記複数の第２画素点と前記第２画像とに基づいて、前記ターゲット特徴点の動き情報を取得するステップであって、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものであるステップと、を含む。
ターゲットデバイスによって実行されるタスク実行方法であって、前記方法は、
第１画像と第２画像を取得するステップであって、前記第１画像と前記第２画像は、同じオブジェクトを含むステップと、
前記第１画像における前記オブジェクト上のターゲット特徴点の動き情報を取得するステップであって、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものであるステップと、
前記ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行するステップと、を含む。
画像特徴点の動き情報の決定装置であって、前記装置は、
第１画像と第２画像を決定する決定モジュールであって、前記第１画像と前記第２画像は、同じオブジェクト決定モジュールと、
複数の第２画素点と前記第２画像とに基づいて、前記ターゲット特徴点の動き情報を取得する取得モジュールであって、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものである取得モジュールと、を含み、ここで
前記決定モジュールは、さらに、前記第１画像における前記オブジェクト上のターゲット特徴点に基づいて、前記第１画像における、前記ターゲット特徴点を含む第１画素領域を決定するために使用され、
前記決定モジュールは、さらに、前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む前記第２画素領域を決定するために使用され、前記第２画素領域における複数の第２画素点の画素差分は前記複数の第１画素点の画素差分より大きくて、前記複数の第２画素点は、前記複数の第１画素点と数が同じであり、前記画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものである。
いくつかの実施形態では、前記決定モジュールは、さらに、前記第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記第１画素領域より大きくて、かつ、前記ターゲット特徴点を含む第２画素領域を取得するために使用される。
いくつかの実施形態では、前記決定モジュールは、さらに、前記第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記第１画素領域と同じ大きさの第２画素領域を取得するために使用され、前記第１画素領域および前記第２画素領域に含まれる画素点は異なるものである。
いくつかの実施形態では、前記決定モジュールは、さらに、ターゲット拡大係数に応じて、前記ターゲット特徴点を中心として、前記第１画素領域を、前記ターゲット特徴点を含む第２画素領域に拡大するために使用される。
いくつかの実施形態では、前記決定モジュールは、さらに、前記ターゲット特徴点に基づいて、ターゲット移動軌跡に応じて、前記第１画素領域を、前記ターゲット特徴点を含む第２画素領域に移動するために使用される。
いくつかの実施形態では、前記決定モジュールは、さらに、前記複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記ターゲット特徴点を含む第３画素領域を取得し、前記第３画素領域における複数の第３画素点は、前記複数の第１画素点と数が同じであり、前記第３画素領域内の複数の第３画素点の画素値に基づいて、前記複数の第３画素点の画素差分を決定し、前記複数の第３画素点の画素差分がターゲット差分値以上である場合、前記第３画素領域を前記第２画素領域として決定するために使用される。
いくつかの実施形態では、前記決定モジュールは、さらに、前記第１画素領域から前記第３画素領域への拡大係数に基づいて、前記第１画素領域の第１サンプリングステップサイズを第２サンプリングステップサイズに増大し、前記第２サンプリングステップサイズに応じて、前記第３画素領域から、前記複数の第１画素点と同じ数の第３画素点を取得するために使用される。
いくつかの実施形態では、前記決定モジュールは、さらに、前記第１画素領域の第１サンプリングステップサイズに応じて、前記第３画素領域から、前記複数の第１画素点と同じ数の第３画素点を取得するために使用される。
いくつかの実施形態では、前記装置は、さらに、
前記複数の第３画素点の画素差分が前記ターゲット差分値より小さい場合、前記第３画素領域の大きさがターゲット閾値より大きいかどうかを検出する検出モジュールを含み、
前記決定モジュールは、さらに、前記第３画素領域の大きさが前記ターゲット閾値以下である場合、前記第３画素領域より大きい第４画素領域を決定するために使用され、
前記決定モジュールは、さらに、前記第４画素領域における複数の第４画素点の画素差分と前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するために使用され、前記複数の第４画素点は、前記複数の第１画素点と数が同じである。
いくつかの実施形態では、前記画素差分は、前記複数の画素点の画素分散または前記複数の画素点の勾配行列の最小特徴値であり、前記画素分散は、画素平均値に対する前記複数の画素点の画素値の変化度合いを表すために使用されるものであり、前記勾配行列は、前記複数の画素点の画素値の、水平勾配における、画素平均値に対する変化度合いおよび垂直勾配における、画素平均値に対する変化度合いをそれぞれ表すために使用されるものである。
いくつかの実施形態では、前記第１画素領域および前記第２画素領域の形状は、正方形、長方形、円形、環形、不規則な多角形、または、湾曲した辺を有する不規則な形状のうちのいずれかの形状である。
いくつかの実施形態では、前記決定モジュールは、さらに、前記第１画素領域の第１サンプリングステップサイズに基づいて、前記第１画素領域の領域境界上の複数の画素点から、前記複数の第１画素点を取得し、前記複数の第１画素点の画素値に基づいて、前記複数の第１画素点の画素差分を決定するために使用される。
タスク実行装置であって、前記装置は、
第１画像と第２画像を取得する取得モジュールであって、前記第１画像と前第２画像は、同じオブジェクトを含む取得モジュールと、
ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行するタスク処理モジュールと、を含み、ここで、
前記取得モジュールは、さらに、前記第１画像における前記オブジェクト上のターゲット特徴点の動き情報を取得するために使用され、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものである。
いくつかの実施形態では、前記ターゲットタスクは、ルート計画タスクを含み、前記タスク処理モジュールは、さらに、前記ターゲット特徴点の数が複数である場合、複数のターゲット特徴点の動き情報に基づいて、前記第１画像および第２画像を収集するデバイスであるターゲットデバイスからの距離が第１閾値を超えない少なくとも１つのシーンオブジェクトを決定し、前記ターゲットデバイスからの距離が前記第１閾値より大きい第２閾値を超えない目的地の位置と前記少なくとも１つのシーンオブジェクトとに基づいて、前記ターゲットデバイスが前記目的地に到達する第１ターゲットルートを決定するために使用される。
いくつかの実施形態では、前記ターゲットタスクはオブジェクト識別タスクを含み、前記タスク処理モジュールは、さらに、前記ターゲット特徴点の数が複数である場合、複数のターゲット特徴点の動き情報に基づいて、前記複数のターゲット特徴点のうち、動き情報がターゲット条件に合致する複数の第１特徴点を決定し、前記複数の第１特徴点は、前記第１画像および前記第２画像に含まれる複数のオブジェクトのうちの動きオブジェクトを示すために使用されるものであり、前記複数の第１特徴点の前記第１画像または第２画像における位置に基づいて、前記動きオブジェクトが所属するオブジェクトタイプを決定するために使用される。
プロセッサおよびメモリを含むコンピュータデバイスであって、前記メモリには、コンピュータ読み取り可能な命令が記憶され、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行される場合、前記プロセッサに、前記画像特徴点の動き情報の決定方法のステップを実行させる。
プロセッサおよびメモリを含むターゲットデバイスであって、前記メモリには、コンピュータ読み取り可能な命令が記憶され、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行される場合、前記プロセッサに、前記タスク実行方法のステップを実行させる。
コンピュータ読み取り可能な命令が記憶されている不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な命令が１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサに、前記画像特徴点の動き情報の決定方法のステップを実行させる。
コンピュータ読み取り可能な命令が記憶されている不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な命令が１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサに、前記タスク実行方法のステップを実行させる。
本願の１つまたは複数の実施形態の詳細は、以下の図面および記述に提案される。本願の他の特徴、目的および利点は、明細書、図面および特許請求の範囲から明らかになる。
本願の実施形態の技術的解決手段をより明確に説明するために、以下では、実施形態の説明において必要とされる図面を簡単に紹介し、明らかに、以下の説明における図面は、本願の一部の実施形態にすぎず、当業者にとって、創造的な努力なしに、これらの図面から他の図面を得ることもできる。
本願の実施形態によって提供される画像特徴点の動き情報の決定方法の実施環境の模式図である。 本願の実施形態によって提供される画像特徴点の動き情報の決定方法のフローチャートである。 本願の実施形態によって提供される画素領域の模式図である。 本願の実施形態によって提供される画素点位置の模式図である。 本願の実施形態によって提供される画素点の動き情報の模式図である。 本願の実施形態によって提供される画像特徴点の動き情報の決定フローの模式図である。 本願の実施形態によって提供されるタスク実行方法のフローチャートである。 本願の実施形態によって提供される画像特徴点の動き情報の決定装置の構造の模式図である。 本願の実施形態によって提供されるタスク実行装置の構造の模式図である。 本願の実施形態によって提供される端末の構造の模式図である。 本願の実施形態によって提供されるサーバの構造の模式図である。
以下、本願の実施形態における図面を参照しながら、本願の実施形態における技術的解決手段について、明確かつ完全に説明するが、明らかに、説明された実施形態は、本願の一部にすぎず、全部の実施形態ではない。本願の実施形態に基づいて、当業者が創造的な努力なしに得た他のすべての実施形態は、いずれも、本願の保護範囲に属するものである。
図１は、本願の実施形態によって提供される画像特徴点の動き情報の決定方法の実施環境の模式図であり、図１に示すように、当該実施環境は、コンピュータデバイス１０１を含み、当該コンピュータデバイス１０１は、同じオブジェクトを有する２つ以上のフレーム画像を取得することができ、当該コンピュータデバイス１０１は、当該オブジェクト上のターゲット特徴点の、１つのフレーム画像から別のフレーム画像への動き情報を決定することで、ターゲット特徴点の異なる画像における位置変化状況を追跡することができ、特徴点とは、画像における、画素特徴が顕著である画素点を指す。
１つの可能なシーンにおいて、当該コンピュータデバイス１０１は、例えば第１画像および第２画像などのような、ビデオにおける連続する２つ以上のフレーム画像を取得することができ、当該コンピュータデバイス１０１は、ターゲット特徴点の第１画像から第２画像への動き情報を取得することができ、当該動き情報は、当該ターゲット特徴点の当該第１画像および当該第２画像における位置変化を示すために使用されるものである。例えば、当該コンピュータデバイス１０１は、特徴点の画像における画素領域に基づいて、位置追跡を実行することができる。特徴点の画素領域は、ターゲット特徴点の画素点を含む。当該コンピュータデバイスは、ターゲット特徴点の第１画像の第１画素領域を決定することができ、当該第１画素領域内の複数の第１画素点の画素差分に基づいて、第１画像において画素差分がより大きい第２画素領域を決定し、かつ、第２画素領域は第１画素領域と画素点の数が同じであり、これによって、第２画素領域における複数の第２画素点および第２画像に基づいて、ターゲット特徴点の第１画像から第２画像への動き情報を決定することができる。
１つの可能な実施シーンにおいて、当該実施環境は、さらに、コンピュータデバイス１０２をさらに含んでもよく、当該コンピュータデバイス１０２は、１つ以上のフレーム画像を収集し、当該１つ以上のフレーム画像をコンピュータデバイス１０１に送信することができる。
説明すべきものとして、当該コンピュータデバイス１０１は、サーバ、端末などのいずれかのデバイス、または、スマートロボット、無人運転車両、無人航空機、無人運航船などのいずれかのデバイスとして提供されることができ、当該コンピュータデバイス１０２は、携帯電話、ビデオカメラ、端末、監視デバイスなどとして提供されることができ、本願の実施形態は、コンピュータデバイス１０１およびコンピュータデバイス１０２の実装形態について具体的に限定しない。
図２は、本願の実施形態によって提供される画像特徴点の動き情報の決定方法のフローチャートである。本発明の実施形態の実行主体は、コンピュータデバイスであり、図２を参照すると、当該方法は、Ｓ２０１～Ｓ２０５を含む。
Ｓ２０１で、コンピュータデバイスは、第１画像および第２画像を決定する。
当該第１画像および第２画像は、同じオブジェクトを含み、当該オブジェクトは、例えば家屋、道路標識または車両などのような、実際の表示形態を持ついずれかの物体であってもよい。１つの可能なシーンにおいて、当該第１画像および第２画像は、ビデオにおける、同じオブジェクトを含む２つのフレーム画像であってもよく、当該第２画像のタイムスタンプは、当該第１画像の後にあってもよい。
いくつかの実施形態では、当該コンピュータデバイスは、周囲環境をリアルタイムで撮影して、ビデオを得ることができ、当該コンピュータデバイスは、当該ビデオにおける、第１画像およびタイムスタンプが当該第１画像の後にある第２画像を決定することができる。１つの可能な実施シーンにおいて、当該コンピュータデバイスは、移動可能な無人運転車両、スマートロボットまたは無人航空機などのいずれかのデバイスであってもよい。当該コンピュータデバイスは、カメラが搭載された移動可能なデバイスであってもよく、当該コンピュータデバイスは、移動中にビデオを録画することもできる。別の１つの可能な実施シーンにおいて、当該コンピュータデバイスは、ターゲットデバイスから当該第１画像および第２画像を取得することができる。例えば、当該ターゲットデバイスは、移動中に同じオブジェクトを含む第１画像および第２画像を撮影することができ、当該コンピュータデバイスは、ターゲットデバイスによって送信されたビデオを受信して、当該ビデオにおける第１画像および第２画像を取得し、当該ターゲットデバイスは、監視デバイス、携帯電話またはカメラなどであってもよい。
いくつかの実施形態では、当該コンピュータデバイスは、さらに、第１画像における当該オブジェクト上のターゲット特徴点を決定することができる。当該コンピュータデバイスは、ターゲットアルゴリズムにより、当該第１画像における当該オブジェクト上のターゲット特徴点を抽出することができ、当該ターゲットアルゴリズムは、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）アルゴリズム、或ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、高速化ロバスト特徴）アルゴリズムなどであってもよい。
説明すべきものとして、ターゲット特徴点とは、画像における、画素特徴が顕著である点を指し、例えば、画素値と周囲の複数の画素点の画素値との間の差分値がターゲット画素差分より大きい点である。画像解像度の大きさの違いに基づいて、同じ画像におけるサンプリング画素点の数も異なっている。サンプリング画素点とは、ターゲット解像度に基づいて画像がサンプリングされる画素点である。当該ターゲット特徴点は、第１画像におけるサンプリング画素点であってもよく、第１画像における２つのサンプリング画素点の間に位置する画素点であってもよい。いくつかの実施形態では、当該コンピュータデバイスは、整数座標を用いて第１画像におけるサンプリング画素点の位置を表すことができ、整数座標とは、座標の値がすべて整数であることを意味する。ターゲット特徴点が第１画像におけるサンプリング画素点である場合、ターゲット特徴点の座標は、整数座標であってもよく、ターゲット特徴点が２つのサンプリング画素点の間に位置する画素点である場合、ターゲット特徴点の座標は、非整数座標であってもよい。
Ｓ２０２で、コンピュータデバイスは、当該第１画像における当該オブジェクト上のターゲット特徴点に基づいて、当該第１画像における、当該ターゲット特徴点を含む第１画素領域を決定する。
当該コンピュータデバイスは、当該ターゲット特徴点の位置に基づいて、当該第１画像において、当該ターゲット特徴点を含み、かつ、形状がターゲット形状である第１画素領域を決定することができる。当該第１画素領域のターゲット形状は、正方形、長方形、円形、環形または不規則な多角形や湾曲した辺を有する形状のうちのいずれかの形状であってもよい。いくつかの実施形態では、当該第１画素領域の形状は、中心対称の形状であってもよく、当該コンピュータデバイスは、当該ターゲット特徴点を中心として、ターゲット形状の第１画素領域を決定する。
いくつかの実施形態では、当該第１画素領域は、第１ターゲット数の画素点を少なくとも含む領域である。当該コンピュータデバイスは、さらに、当該第１ターゲット数と当該ターゲット形状とに基づいて、当該ターゲット特徴点を中心として、含まれている画素点の数が当該第１ターゲット数以上であるターゲット形状の領域を第１画素領域とすることができる。いくつかの実施形態では、当該ターゲット形状が正方形である場合、当該コンピュータデバイスは、当該第１ターゲット数に基づいて、ターゲット特徴点を中心とし、かつ、辺長が第１辺長である正方形領域を当該第１画素領域として決定し、当該第１辺長の２乗は、当該第１ターゲット数以上である。例えば、当該ターゲット数が９である場合、当該第１辺長は３または３以上の整数であり、例えば、辺長が５または９などである。当該ターゲット形状が円形である場合、当該コンピュータデバイスは、当該ターゲット数に基づいて、ターゲット特徴点を中央とし、かつ、半径はターゲット半径である円形領域を当該第１画素領域として決定し、当該ターゲット形状が長方形、ひし形、円環形または他のいずれかの形状である場合、当該コンピュータデバイスが第１画素領域を決定する原理は同じであるため、ここでは詳細な説明が省略される。
当該第１画素領域内の画素点は、当該ターゲット特徴点の周囲の画素特徴を反映し、当該コンピュータデバイスは、さらに、当該第１画素領域内の画素点の一部を選択して、当該ターゲット特徴点の周囲の画素特徴を表すことができる。いくつかの実施形態では、当該コンピュータデバイスは、さらに、サンプリング方式を採用して、当該第１画素領域から複数の第１画素点を決定することができ、当該複数の第１画素点は、当該ターゲット特徴点の周囲の画素特徴の変化状況を反映する。コンピュータデバイスは、当該第１画素領域内の画素点の総数と第２ターゲット数とに基づいて、第１サンプリングステップサイズを決定し、当該第１サンプリングステップサイズに基づいて、当該第１画素領域内の複数画素点のうち、第１サンプリングステップサイズ当たりの画素点から、１つの第１画素点を１つ取得することで、第２ターゲット数の第１画素点を得る。当該第１ターゲット数が第２ターゲット数と同じである場合、当該第１サンプリングステップサイズは１である。いくつかの実施形態では、当該ターゲット数の第１画素点は、ターゲット特徴点を中心として当該第１画素領域の境界に均等に分布されてもよく、当該コンピュータデバイスは、当該第１画素領域内の領域境界に位置する画素点の画素点総数を当該ターゲット数で除算し、得られた商を当該第１サンプリングステップサイズとし、当該コンピュータデバイスは、当該第１サンプリングステップサイズに応じて、当該第１画素領域の境界に位置する複数の画素点から、当該第２ターゲット数の第１画素点を取得する。
説明すべきものとして、上記は、均一サンプリング方式を採用して第１画素点を選別したものであり、当該コンピュータデバイスは、さらに、非均一サンプリング方式を採用して第１画素点を選別することもできる。１つの可能な例示では、当該コンピュータデバイスは、第１画素領域内の複数の画素点の、当該ターゲット特徴点からの距離に基づいて、第１画素点の選別を実行することもでき、当該コンピュータデバイスは、当該複数の画素点のそれぞれと当該ターゲット特徴点との間の複数の距離を取得し、当該複数の距離に基づいて、当該複数の画素点を複数の画素点セットに分割し、各画素点セットにおける画素点とターゲット特徴点との間の距離は、当該画素点セットに対応する距離範囲内にある。例えば、セットＡに対応する距離範囲は、１．０から４．９であり、セットＢに対応する距離範囲は、５．０から９．９などである。各画素点セットに対して、当該コンピュータデバイスは、各画素点セットと当該ターゲット特徴点との間の距離に基づいて、当該画素点セットに対応する第１サンプリングステップサイズを決定し、当該画素点セットに対応する第１サンプリングステップサイズに基づいて、当該画素点セット内の複数の画素点のうちの複数の第１画素点を取得し、これにより、第２ターゲット数の第１画素点を取得する。１つの可能な一例示では、画素点セットとターゲット特徴点との間の距離は、当該画素点セット内の複数の画素点と当該ターゲット特徴点との間の複数の距離の平均値であってもよい。例えば、当該コンピュータデバイスは、中央が密集してエッジがまばらである方式を採用して選別を実行することでき、つまり、当該画素点セットと当該ターゲット特徴点との間の距離が大きいほど、当該画素点セットに対応する第１サンプリングステップサイズが小さくなり、画素点セットと当該ターゲット特徴点との間の距離が小さいほど、当該画素点セットに対応する第１サンプリングステップサイズは大きくなり、当該コンピュータデバイスは、中央がまばらでエッジが密集した方式を採用して選別を実行することができ、当該画素点セットと当該ターゲット特徴点との間の距離と、第１サンプリングステップサイズとの対応関係は、中央が密集してエッジがまばらである方式とちょうど逆になり、ここでは詳細な説明が省略される。別の１つの例示において、当該コンピュータデバイスは、さらに、ランダムサンプリング方式を採用して、当該第１画素領域から第２ターゲット数の第１画素点を選別することもできる。
説明すべきものとして、本願の実施形態に言及された「複数個」、「複数種類」および「複数回」などは、具体的には、「１個より多い」、「１種類より多い」、および「１回より多い」を指す。
図３に示すように、正方形の画素領域を例として説明すると、黒い点は、画素点であり、白い点は、選別された画素点であり、正方形の画素領域に対して、当該コンピュータデバイスは、正方形領域の境界の複数の画素点から画素点を選別する。当該画素領域の境界上の画素点の数が第２ターゲット数と等しい場合、当該第１サンプリングステップサイズは、１であってもよく、当該画素領域の境界上の画素点の数が第２ターゲット数より大きい場合、当該サンプリングステップサイズは、１より大きくてもよい。例えば、当該第２ターゲット数は、９であってもよく、図３の（ａ）に示すように、画素領域は、３×３個の画素点を含む正方形領域であり、当該サンプリングステップサイズは、１つの画素点であってもよい。図３の（ｂ）に示すように、画素領域は、５×５個の画素点を含む正方形領域であってもよく、当該サンプリングステップサイズは、２つの画素点であってもよい。図３の（ｃ）に示すように、当該画素領域は、９×９の正方形領域であってもよく、当該サンプリングステップサイズは、４つの画素点であってもよい。
Ｓ２０３で、当該コンピュータデバイスは、当該複数の第１画素点の画素値に基づいて、当該複数の第１画素点の画素差分を決定する。
画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものであり、いくつかの実施形態では、複数の画素点の画素差分は、当該複数の画素点の画素分散または当該複数の画素点の勾配行列の最小特徴値であってもよく、当該複数の画素点の画素分散は、画素平均値に対する複数の画素点の画素値の変化度合いを表すために使用されるものであり、当該複数の画素点の勾配行列は、当該複数の画素点の画素値の、水平勾配における、画素平均値に対する変化度合いおよび垂直勾配における、画素平均値に対する変化度合いをそれぞれ表すために使用されるものである。当該コンピュータデバイスは、当該複数の第１画素点の画素分散または複数の第１画素点の勾配行列の最小特徴値を採用して、当該複数の第１画素点の画素差分を表すことができる。
いくつかの実施形態では、当該コンピュータデバイスは、複数の第１画素点の画素値の平均値を決定し、当該各第１画素点の画素値と当該平均値との差分値に基づいて、当該複数の第１画素点の間の画素差分を決定する。１つの可能な例示では、画素分散を採用して画素差分を表す場合、当該コンピュータデバイスは、当該複数の第１画素点の画素値の平均値と、各第１画素点の画素値とに基づいて、下記の数式１により、当該複数の第１画素点の画素分散を決定することができる。

Figure 0007305249000001
ここで、Ｎは、当該複数の第１画素点の数であり、当該Ｎは、第２ターゲット数であってもよく、例えば、Ｎ＝ｌ×ｌであり、ｌは、３であり、Ｍは、複数の第１画素点の画素値の平均値であり、例えば、

Figure 0007305249000002
 である。Ｉｕは、複数の第１画素点の画素値であり、ｖａｒは、当該複数の第１画素点の画素の２乗誤差を表す。Ｕは、複数の第１画素点を表す。
いくつかの実施形態では、当該コンピュータデバイスは、さらに、当該複数の第１画素点の勾配行列を採用して、当該画素差分を表すこともできる。当該コンピュータデバイスは、当該複数の第１画素点の画素値に基づいて、当該複数の第１画素点の画素値の水平勾配および画素値の垂直勾配を決定し、当該画素値の水平勾配および画素値の垂直勾配に基づいて、当該複数の第１画素点の勾配行列の最小特徴値を取得し、当該最小特徴値を当該複数の第１画素点の画素差分として決定することができる。
１つの可能な例示では、当該勾配行列は、共分散行列であってもよく、変数は、複数の画素点の画素値の垂直勾配および水平勾配である。当該コンピュータデバイスは、複数の第１画素点の画素値の水平勾配および画素値の垂直勾配に基づいて、下記の数式２により、当該複数の第１画素点の勾配行列の最小特徴値を決定することができる。

Figure 0007305249000003
ここで、ｇｘ（ｕ）は、複数の第１画素点ｕの画素値の水平勾配であり、ｇｙ（ｕ）は、複数の第１画素点ｕの画素値の垂直勾配であり、ｕは、複数の第１画素点を表す。行列Ｓは、複数の第１画素点の勾配行列を表す。当該コンピュータデバイスは、行列Ｓの最小特徴値を決定して、当該複数の第１画素点の画素差分を取得することができる。
説明すべきものとして、ターゲット特徴点が２つのサンプリング画素点の間に位置する画素点である場合、当該ターゲット特徴点の座標は、非整数座標である可能性があり、これにより、第１画素点の座標は、非整数座標である可能性もあり、コンピュータデバイスは、当該第１画素点の周囲の画素点の画素値に基づいて、当該第１画素点の画素値を決定することができる。１つの可能な例示では、当該コンピュータデバイスは、双方向線形補間アルゴリズムを用採用して、非整数位置の画素点の画素値を決定することができ、当該コンピュータデバイスは、当該第１画素点の周囲の画素点の画素値を取得し、下記の数式３により、当該第１画素点の画素値を決定する。
［数式３］
I = i0*(u-u3)*(v-v3)+i1*(u-u2)*(v-v2)+i2*(u-u1)*(v-v1)+i3*(u-u0)*(v-v0)
図４に示すように、Ｉは、第１画素点の画素値を表し、ｉ０は、当該第１画素点の左上隅の画素点の画素値を表し、位置が（ｕ０，ｖ０）として表され、ｉ１は、第１画素点の右上隅の画素点の画素値を表し、位置が（ｕ１，ｖ１）として表され、ｉ２は、第１画素点の左下隅の画素点の画素値を表し、位置が（ｕ２，ｖ２）として表され、ｉ３は、第１画素点の右下隅の画素点の画素値を表し、位置が（ｕ３，ｖ３）として表され、（ｕ、ｖ）は、第１画素点の位置を表す。
Ｓ２０４で、コンピュータデバイスは、当該第１画素領域における複数の第１画素点の画素差分および当該ターゲット特徴点に基づいて、当該第１画像における、当該ターゲット特徴点を含む第２画素領域を決定する。
ここで、当該第２画素領域における複数の第２画素点の画素差分が当該複数の第１画素点の画素差分より大きい場合、当該複数の第２画素点は、当該複数の第１画素点と数が同じである。当該コンピュータデバイスは、ターゲット差分値を取得し、当該複数の第１画素点の画素差分が当該ターゲット差分値より小さい場合、当該コンピュータデバイスは、当該第１画素領域を調整して、画素差分が当該ターゲット差分値より大きい第２画素領域を得る。本願の実施形態では、当該コンピュータデバイスは、当該第１画素領域を拡大する方式により、画素差分がより大きい第２画素領域を得ることができ、または、当該第１画素領域を移動する方式により、第２画素領域を得ることができる。相応的に、本ステップは、以下の２つの方式で実現されてもよい。
第１方式では、当該複数の第１画素点の画素差分がターゲット差分値より小さい場合、コンピュータデバイスは、当該ターゲット特徴点に基づいて、当該第１画素領域より大きくて、かつ、当該ターゲット特徴点を含む第２画素領域を取得する。
本願の実施形態では、当該コンピュータデバイスは、決定の拡大ルールに従って、当該第１画素領域を拡大することができ、または、当該第１画素領域をランダムに拡大することができる。いくつかの実施形態では、当該第１画素領域の形状は、中心対称の形状であってもよく、当該コンピュータデバイスは、ターゲット拡大係数に従って、当該ターゲット特徴点を中心として、当該第１画素領域を、当該ターゲット特徴点を含む第２画素領域に拡大する。例えば、当該第１画素領域は、３×３の正方形であってもよく、正方形の辺長は、ｌ＝３であり、当該コンピュータデバイスは、（２ｌ－１）の拡大係数に従って、３×３の正方形を５×５の正方形に拡大する。
本願の実施形態では、当該コンピュータデバイスは、第１画素領域を複数回調整することにより、画素差分がターゲット差分値より大きい第２画素領域を得ることができる。当該プロセスは、下記の通りであってもよく、即ち、当該複数の第１画素点の画素差分がターゲット差分値より小さい場合、当該コンピュータデバイスは、当該ターゲット特徴点に基づいて、当該ターゲット特徴点を含む第３画素領域を取得し、当該第３画素領域における複数の第３画素点が、当該複数の第１画素点と数が同じであり、当該コンピュータデバイスは、当該第３画素領域における複数の第３画素点の画素値に基づいて、当該複数の第３画素点の画素差分を決定し、当該複数の第３画素点の画素差分がターゲット差分値以上である場合、当該コンピュータデバイスは、当該第３画素領域を当該第２画素領域として決定することができる。１つの可能な一実装形態において、当該コンピュータデバイスは、ターゲット拡大係数に従って、当該ターゲット特徴点を中心として、当該第１画素領域を、当該ターゲット特徴点を含む第３画素領域に拡大することができる。上記の、複数の第１画素点を取得する方式と同じ原理で、当該コンピュータデバイスは、決定のサンプリングステップサイズに従って、第３画素領域から複数の第３画素点を取得することもできる。１つの可能な一実装形態において、当該コンピュータデバイスが、当該第３画素領域内の複数の第３画素点を取得するプロセスは、下記を含むようにしてもよく、即ち、当該コンピュータデバイスは、当該第１画素領域から当該第３画素領域への拡大係数に基づいて、当該第１画素領域の第１サンプリングステップサイズを第２サンプリングステップサイズに増大し、当該第２サンプリングステップサイズに従って、当該第３画素領域から当該複数の第１画素点と同じ数の第３画素点を取得することができる。例えば、３×３の正方形に対して、当該コンピュータデバイスは、２つの画素点ごとに対して１つの第１画素点を収集し、５×５の正方形に対して、当該コンピュータデバイスは、３つの画素点ごとに対して１つの第３画素点を収集する。
当該第３画素領域内の複数の第３画素点の画素差分がターゲット差分値より小さい場合、当該コンピュータデバイスは、画素差分がターゲット差分値以上である第２画素領域を取得するまで、第３画素領域を引き続き拡大する。当該コンピュータデバイスが、当該複数の第３画素点の画素差分を取得するプロセスは、上記の、複数の第１画素点の画素差分を取得するプロセスと同じ原理であるため、ここでは詳細な説明が省略される。
いくつかの実施形態では、当該コンピュータデバイスは、さらに、画素領域の大きさに基づいて、第３画素領域を引き続き拡大するかどうかを判断する。当該プロセスは、複数の第３画素点の画素差分が当該ターゲット差分値より小さい場合、当該コンピュータデバイスが、当該第３画素領域の大きさがターゲット閾値より大きいかどうかを判断することと、第３画素領域の大きさが当該ターゲット閾値以下である場合、当該コンピュータデバイスが、当該第３画素領域より大きい第４画素領域を決定することと、当該コンピュータデバイスが当該第４画素領域における複数の第４画素点の画素差分と、当該ターゲット特徴点とに基づいて、当該第１画像における、当該ターゲット特徴点を含む第２画素領域を決定することであって、当該複数の第４画素点が当該複数の第１画素点と数が同じであることとを、を含むようにしてもよい。
当該コンピュータデバイスは、各第３画素点の画素値に基づいて、当該複数の第３画素点の画素差分を取得する。いくつかの実施形態では、当該コンピュータデバイスは、当該複数の第３画素点の画素値に基づいて、当該複数の第３画素点の画素値の平均値を取得し、当該コンピュータデバイスは、当該平均値に基づいて、当該複数の第３画素点の画素分散を取得し、当該画素分散を当該複数の第３画素点の画素差分として決定する。いくつかの実施形態では、当該コンピュータデバイスは、当該複数の第３画素点の画素値に基づいて、当該複数の第３画素点の画素値の水平勾配および画素値の垂直勾配を取得し、当該コンピュータデバイスは、当該複数の第３画素点の画素値の水平勾配および画素値の垂直勾配に基づいて、当該複数の第３画素点の勾配行列の最小特徴値を取得し、当該最小特徴値を当該複数の第３画素点の画素差分として決定する。
当該プロセスは、上記の、第１画素点の処理プロセスと同じ原理であるため、ここでは詳細な説明が省略される。当該ターゲット差分値、当該ターゲット閾値は、いずれも、必要に応じて設定されることができ、本願の実施形態は、これに対して具体的に限定せず、例えば、当該ターゲット閾値は、１３×１３であってもよく、つまり、当該ターゲット特徴点の画素領域は、最大で１３×１３個の画素点を含む領域であってもよい。
第２方式では、当該複数の第１画素点の画素差分がターゲット差分値より小さい場合、コンピュータデバイスは、当該ターゲット特徴点に基づいて、当該第１画素領域と同じサイズの第２画素領域を取得する。
いくつかの実施形態では、当該コンピュータデバイスには、ターゲット移動軌跡が予め記憶されていてもよく、当該ターゲット移動軌跡は、第１画素領域の移動過程を示すために使用されるものである。本ステップは、当該コンピュータデバイスが、当該ターゲット特徴点に基づいて、ターゲット移動軌跡に従って、当該第１画素領域を、当該ターゲット特徴点を含む第２画素領域に移動する、ことを含む。例えば、当該ターゲット移動軌跡は、右へ１単位で移動されたものであってよく、当該ターゲット特徴点を中心とする３×３の正方形が移動された後、得られた第２画素領域において、当該ターゲット特徴点は、正方形における左側の中点位置になる。
本願の実施形態では、当該コンピュータデバイスは、第１画素領域を複数回移動することにより、画素差分がターゲット差分値より大きい第２画素領域を得ることができる。つまり、当該コンピュータデバイスは、第２方式により、第３画素領域を取得し、第３画素領域内の複数の第３画素点の画素差分に基づいて、第２画素領域を取得することができる。当該プロセスは、上記の第１方式でのプロセスと同じ原理であるため、ここでは詳細な説明が省略される。異なるのは、第２方式において、第１画素領域を拡大していなかったため、当該コンピュータデバイスは、第３画素点を取得するために第１サンプリングステップサイズを拡大する必要がなく、当該コンピュータデバイスは、直接に当該第１画素領域の第１サンプリングステップサイズに従って、当該第３画素領域から、当該複数の第１画素点の数と同じの第３画素点を取得することができる。
説明すべきものとして、画素領域がどのように変化しても、コンピュータデバイスが取得する第１画素点または第２画素点の数はいずれも同じであるため、画素差分を増大させるとともに、実際に計算に関与する画素点の数は変わらない、ということが保証され、かつ、画素領域内の画素点の差分値とターゲット差分値とに基づいて判断し、第１画素領域を引き続き試みに増大するかまたは移動し、これにより、得られた第２画素領域内の画素点間の差分値が大きくなり、これによって、画素領域内の画素特徴の変化が顕著であることが保証され、一部の滑らかな画素領域またはテクスチャが豊富でない画素領域において、画素領域内の画素の輝度変化が顕著ではないことによる動き情報の決定が不正確になるという問題が回避される。また、画素領域を引き続き増大または移動するとき、画素領域の画素差分が大きくなるため、画素差分が大きい領域を採用して、ターゲット特徴点の周囲領域の画素変化特徴を表すことは、計算に関与する画素点の間の画素差分が比較的大きいことを保証するだけでなく、計算に関与する画素点の数が固定されるものであり、計算量を増大させることもないというることも保証し、これにより、計算に関与する画素点の数と画素点の画素差分とのバランスが取られ、これによって、ターゲット特徴点の追跡計算の複雑さが変わらない場合、画素の豊富度を増大させ、ターゲット特徴点の追跡のロバスト性を向上させ、これを、滑らか環境やテクスチャが乏しい環境で安定的に実行させることができ、これによって、適用されるシーンの広範性を向上させる。
Ｓ２０５で、コンピュータデバイスは、当該複数の第２画素点および第２画像に基づいて、ターゲット特徴点の動き情報を取得する。
当該動き情報とは、当該ターゲット特徴点の当該第１画像および当該第２画像における位置変化を示すために使用されるものである。当該コンピュータデバイスは、当該ターゲット特徴点の第１画像における第１位置に基づいて、第２画像における対応する位置での開始画素点を決定し、当該開始画素点の画素領域における複数の第４画素点を取得して、当該複数の第４画素点および当該複数の第２画素点に基づいて、ガウスニュートンアルゴリズムによって、当該ターゲット特徴点の動き情報を決定することができる。当該コンピュータデバイスは、さらに、当該ターゲット特徴点の当該第２画像における位置を取得することができる。当該複数の第４画素点の数は、複数の第２画素点の数と同じである。
いくつかの実施形態では、当該動き情報は、当該ターゲット特徴点が画像座標軸のｘ軸、ｙ軸のそれぞれにおいて移動する距離を含んでもよい。当該コンピュータデバイスは、当該ターゲット数の第２画素点の画素値と、当該複数の第４画素点の画素値とに基づいて、下記の数式４により、当該ターゲット特徴点の第１画像から第２画像への動き情報を決定する。

Figure 0007305249000004
ここで、Ｔｔ ｉは、ターゲット特徴点ｉの第２画素領域内の複数の第２画素点を表し、ｄｉ ｔ＋１は、ターゲット特徴点ｉの動き情報を表す。ｄｉ ｔ＋１＝（ｕｘ、ｕｙ）は、ｘ軸、ｙ軸上での２次元の移動距離をそれぞれ表す。Ｕは、第２画素点を表し、Ｉｔは、第１画像における複数の第２画素点の画素値を表し、Ｉｔ＋１は、第２画像における複数の第４画素点の画素値を表し、第１画像および第２画像において複数の第２画素点の画素値が同じであると仮定すると、コンピュータデバイスは、第１画像における複数の第２画素点の画素値と、第２画像における複数の第４画素点の画素値との間の画素差分を最小化して、ｄｉ ｔ＋１を求めることができる。
いくつかの実施形態では、当該動き情報は、ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）行列で表されることができ、当該コンピュータデバイスは、当該ターゲット数の第２画素点の画素値と、当該複数の第４画素点の画素値とに基づいて、下記の数式５により、当該ターゲット特徴点の第１画像から第２画像への動き情報を決定する。

Figure 0007305249000005
ここで、Ｔｔ ｉは、ターゲット特徴点ｉの第２画素領域内の複数の第２画素点を表し、Ｈｉ ｔ＋１は、ターゲット特徴点ｉの動き情報を表す。いくつかの実施形態では、当該コンピュータデバイスは、当該動き情報を、

Figure 0007305249000006
 として表すことができる。
ここで、ｈ１１およびｈ２２は、第２画素領域が第１画像から第２画像に移動する際の、画像座標系におけるｘ軸方向およびｙ軸方向でのズーム係数をそれぞれ表し、ｘ軸方向およびｙ軸方向は、それぞれ、画像における水平方向および垂直方向であってもよい。ｈ１１、ｈ２２１は、ｘ軸および第２画素領域の法線ベクトルに沿って回転するプロセスをｈ１２およびｈ２１とともに示している。ｈ１２およびｈ２１は、第２画素領域が第１画像から第２画像に移動する際の、画像座標系のｘ軸方向およびｙ軸方向での投影をそれぞれ表し、ｈ１３およびｈ２３は、第２画素領域が第１画像から第２画像に移動する際の、画像座標系のｘ軸方向およびｙ軸方向での移動距離をそれぞれ表し、ｈ３１およびｈ３２は、第２画素領域の画像座標系におけるｘ軸方向およびｙ軸方向での切り替えパラメータをそれぞれ表し、いくつかの実施形態では、当該切り替えパラメータは、第２画素領域のｘ軸方向およびｙ軸方向での変形比率であってもよい。例えば、特徴点の第１画像における第１画素領域は、正方形であってよく、特徴点の第２画像内における対応する第２画素領域は、台形であってもよいし、当該正方形および台形の上下辺の方向が、いずれも、ｘ軸方向である場合、当該ｈ３１は、台形の上辺と下辺の辺長の変化率を表し、ｈ３２は、台形の左辺と右辺の辺長の変化率を表す。ｕは、第２画素点を表し、Ｉｔは、第１画像における複数の第２画素点の画素値を表し、Ｉｔ＋１は、第２画像における複数の第４画素点の画素値を表し、第１画像および第２画像内で複数の第２画素点の画素値が同じであると仮定すると、コンピュータデバイスは、第１画像における複数の第２画素点と第２画像における複数の第４画素点の画素値との間の画素差分を最小化することで、Ｈｉ ｔ＋１を求めることができる。
説明すべきものとして、本願の実施形態におけるターゲット特徴点は、画像内にまばらに分布されており、そのため、まばらなターゲット特徴点になっていてもよい。当該第１画像および第２画像は、ビデオカメラによって撮影されたビデオ内の連続する２つのフレーム画像であってもよい。ビデオカメラがリアルタイムで撮影したビデオストリームによって、外部環境に対するビデオカメラの異なる時刻での観察が提供される。ターゲット特徴点の動き情報は、動き検出、動き推定、リアルタイム位置決め、３次元再構成、物体分割などのプロセスででよく使用される。例えば、図５に示すように、ターゲット特徴点の追跡過程に対して、ターゲット特徴点の動き軌跡、即ち、最初に検出された画像位置からターゲット特徴点の画像における現在位置までを、各ターゲット特徴点の後の白い線で表す。
以下、図６に示すフローチャートを使用して上記のステップＳ２０１～Ｓ２０５を紹介し、図６に示すように、当該コンピュータデバイスは、ｌ×ｌ大きさの第１画素領域を取得することができ、第１画素領域内の画素点の画素差分に基づいて、画素差分がターゲット差分値より小さい場合、当該第１画素領域の大きさがターゲット閾値ｌｍ×ｌｍより大きいかどうかを判断し、ｌｍ×ｌｍ以下である場合，第１画素領域を引く続き増大し、増大後の第３画素領域に基づいて、採用されたステップサイズを増大することにより、第３画素領域内の複数の第３画素点を選別し、複数の画素点の画素差分がターゲット差分値以上であるか、または、第３画素領域の大きさがｌｍ×ｌｍより大きい場合、第３画素領域を増大せず、第３画素領域を第２画素領域とし、当該第３画素領域内の画素点の画素差分がターゲット差分値より小さくて、かつ、第３画素領域の大きさがｌｍ×ｌｍ以下である場合、画素差分がターゲット差分値以上であるかまたはｌｍ×ｌｍより大きい第２画素領域を取得するまで、第３画素領域を引き続き増大する。
本願の実施形態では、ターゲット特徴点を含む第１画素領域に基づいて、画素差分が第１画素領域より大きくて、かつ、画素点の数が変わらない第２画素領域を取得することにより、元の画素点の数である複数の第２画素点に基づいて計算して、ターゲット特徴点の動き情報を取得することができ、画素点の数が変わらないように維持する前提で、計算に関与するデータの画素差分を増大させるので、計算の複雑さと情報の豊富程度とのバランスが取られて、ターゲット特徴点の動き情報の正確性を保証する前提で、ターゲット特徴点の動き情報を決定する効率を向上させる。
図７は、本願の実施形態によって提供されるタスク実行方法の概略フローチャートである。当該方法は、ターゲットデバイスに適用され、図７を参照すると、当該方法は、Ｓ７０１～Ｓ７０３を含む。
Ｓ７０１で、ターゲットデバイスは、第１画像および第２画像を取得する。
当該第１画像および当該第２画像は、同じオブジェクトを含み、当該ターゲットデバイスは、当該第１画像および第２画像を収集するデバイスである。当該ターゲットデバイスは、同じオブジェクトを含む第１画像および第２画像を移動中に撮影することができ、いくつかの実施形態では、当該ターゲットデバイスは、コンピュータデバイスであってもよく、当該コンピュータデバイスは、第１画像におけるターゲット特徴点の動き情報を決定するために使用され、当該動き情報は、当該ターゲット特徴点の当該第１画像および当該第２画像における位置変化を示すために使用されるものである。例えば、当該コンピュータデバイスは、携帯電話であってもよく、当該コンピュータデバイスは、移動しながら、移動中にリアルタイムで画像を撮影することができる。いくつかの実施形態では、当該ターゲットデバイスは、当該コンピュータデバイスでなくてもよいし、例えば、当該ターゲットデバイスは、移動中に、第１画像および第２画像を撮影し、撮影した第１画像および第２画像をリアルタイムで当該コンピュータデバイスに送信することができる。
Ｓ７０２で、ターゲットデバイスは、当該第１画像における当該オブジェクト上のターゲット特徴点の動き情報を取得する。
本願の実施形態では、当該動き情報は、当該ターゲット特徴点の当該第１画像および当該第２画像における位置変化を示すために使用されるものである。当該ターゲットデバイスが当該コンピュータデバイスである場合、当該ターゲットデバイスは、上記発明の実施形態におけるステップＳ２０１～Ｓ２０５のプロセスに基づいて、当該ターゲット特徴点の動き情報を取得することができる。ターゲットデバイスが当該コンピュータデバイスではない場合、当該コンピュータデバイスは、上記発明の実施形態におけるステップＳ２０１～Ｓ２０５のプロセスに基づいて、当該ターゲット特徴点の動き情報を取得し、当該ターゲット特徴点の動き情報をターゲットデバイスにリアルタイムで送信することができる。当該ターゲットデバイスは、当該コンピュータデバイスによって送信されるターゲット特徴点の動き情報を受信する。
Ｓ７０３で、ターゲットデバイスは、当該ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行する。
当該ターゲットタスクは、ルート計画タスクであってもよく、オブジェクト識別タスクであってもよい。
いくつかの実施形態では、当該ターゲットタスクは、ルート計画タスクであってもよく、当該ターゲットデバイスは、ターゲット特徴点の動き情報に基づいて、当該ターゲットデバイスの周囲環境のシーンオブジェクトを構築することができ、当該シーンオブジェクトに基づいて、ルートを計画する。当該プロセスは、当該ターゲット特徴点の数が複数である場合、当該ターゲットデバイスが複数のターゲット特徴点の動き情報に基づいて、当該ターゲットデバイスからの距離が第１閾値を超えない少なくとも１つのシーンオブジェクトを決定することができることと、当該ターゲットデバイスが当該ターゲットデバイスからの距離が第２閾値を超えない目的地の位置および当該少なくとも１つのシーンオブジェクトに基づいて、当該ターゲットデバイスが当該目的地に到達する第１ターゲットルートを決定することであって、当該第２閾値が当該第１閾値より大きいことと、を含むようにしてもよい。
１つの具体的な例示において、コンピュータデバイスは、位置決めによって現在位置を取得することができ、当該現在位置に基づいて、ユーザを最近のレストラン、店舗、トイレなどに誘導し、例えば、ユーザが大型ショッピングモールのあるフロアにいる場合、ターゲットデバイスは、周囲の店舗名に基づいて、当該ターゲットデバイスの当該フロアでの位置を正確に決定することができ、例えば、アパレル店Ａの門の前に位置する場合、当該ターゲットデバイスは、ユーザを腕時計店Ｂに誘導することができる。
当該ターゲットタスクは、ルート計画タスクであってもよく、いくつかの実施形態では、当該ターゲットデバイスは、さらに、当該ターゲットデバイスの周囲のシーンオブジェクトに対していくつかの操作を実行することができ、例えば、当該ターゲットデバイスがロボットである場合、当該ターゲットデバイスは、カップをテーブルに置くことができる。当該ターゲットデバイスは、当該ターゲットデバイスからの距離が第１閾値を超えない少なくとも１つのシーンオブジェクトを決定した後、当該少なくとも１つのシーンオブジェクトおよび実行対象となるターゲットタスクに基づいて、当該ターゲットデバイスの第２ターゲットルートを決定することができ、当該ターゲットタスクとは、当該少なくとも１つのシーンオブジェクトにおいてターゲットシーンオブジェクトに対してターゲット操作を実行することを指す。
具体的な一例示において、ターゲットデバイスがＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）デバイスまたはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実技術）デバイスであることを例とし、ＶＲデバイスおよびＡＲデバイスは、シーンにおけるシーンオブジェクトに基づいて、仮想物品をリアル環境に置くことができる。
いくつかの実施形態では、当該ターゲットタスクは、オブジェクト識別タスクを含み、当該ターゲットデバイスは、当該第１画像および第２画像に基づいて、周囲環境における動きオブジェクトおよび静止オブジェクトを識別することができ、さらに、動きオブジェクトのオブジェクトタイプ、例えば動きオブジェクトが人間であるか車両であるかを識別することもでき、当該プロセスは、当該ターゲット特徴点の数が複数である場合、当該ターゲットデバイスが複数のターゲット特徴点の動き情報に基づいて、当該複数のターゲット特徴点のうち、動き情報がターゲット条件に合致する複数の第１特徴点を決定することであって、当該複数の第１特徴点が、当該第１画像および当該第２画像に含まれている複数のオブジェクトのうちの動きオブジェクトを示すために使用されるものであることと、当該ターゲットデバイスが当該複数の第１特徴点の当該第１画像または第２画像における位置に基づいて、当該動きオブジェクトが所属するオブジェクトタイプを決定することができることと、を含むようにしてもよい。ここで、当該オブジェクトタイプは、車両、人間または動物などを含んでもよい。当該ターゲット条件は、複数の特徴点の動き情報が他の特徴点の動き情報と異なるか、または、複数の特徴点のうち、ターゲット数を超える特徴点の動き情報が異なる（例えば、２００個の特徴点のうち、８０％の特徴点の動き情報が異なる）ことを含んでもよい。
いくつかの実施形態では、当該ターゲットデバイスが周囲環境における動きオブジェクトが所属するタイプを識別した後、当該ターゲットデバイスは、さらに、周りを歩いている人間、走行中の車両、または静止の家屋に基づいて、第３ターゲットルートを決定することもでき、当該第３ターゲットルートは、当該動きオブジェクトを避けるルートであってもよい。これにより、移動中に障害物が避けられ、ルートがより正確に計画されることができる。
１つの具体的な例示において、選択されたターゲット特徴点がある物体内にある場合、コンピュータデバイスは、ある物体が移動しているか否かを判断し、移動がある場合、どの方向へ移動するかを判断し、動きのある物体を検出した後、物体をそれから分離して、人間や他の動物であるかどうかを判断することができ、これは、動物が前部にいる場合が多く、シーンが後部にある場合が多いからである。これらの情報があると、携帯電話、ロボット、または自動運転の車両などは、基本的なオブジェクト識別機能を備えている。
１つの具体的な例示において、コンピュータデバイスは、画像全体の全てのターゲット特徴点の位置変化に基づいて、ターゲットデバイスが移動しているか否かを判断し、当該ターゲットデバイスが移動している場合、当該ターゲットデバイスの移動方向、移動軌跡などを決定することもでき、さらに、周囲のシーンオブジェクトを逆算することができる。例えば、周囲のシートや障害物など、周囲のシーンオブジェクトに基づいて、当該ターゲットデバイスのシーンを再構築し、当該シーンには、当該ターゲットデバイスの周囲に位置する複数のシーンオブジェクトが含まれる。例えば、ターゲットデバイスがロボットであることを例とする場合、ロボットがタスクを実行する際に、シーンを再構築したため、ロボットは、障害物を避けることができ、また例えば、ロボットは、現在の位置に基づいて、さらに次のルートを計画することができ、到達しようとする箇所に到達して、相応のタスクを実行する。
いくつかの実施形態では、当該ターゲットデバイスは、当該ターゲットデバイスからの距離が第１閾値を超えない少なくとも１つのシーンオブジェクトを決定した後、当該ターゲットデバイスは、さらに、当該少なくとも１つのシーンオブジェクトに基づいて、当該シーンオブジェクトを仮想のオブジェクトと組み合わせて、ユーザに仮想環境とリアル環境を組み合わせた環境を見せることができる。当該プロセスは、当該ターゲットデバイスが少なくとも１つの仮想シーンオブジェクトを取得し、当該少なくとも１つの仮想シーンオブジェクトの位置および当該少なくとも１つのシーンオブジェクトの位置に基づいて、仮想シーンを構築し、ターゲットデバイスのスクリーンに当該仮想シーンを表示すること、を含むようにしてもよい。１つの具体的な例示において、現在の位置を分かっているので、リアル環境と仮想環境とを、対応する位置関係によってレンダリングして、コンピュータデバイスのスクリーンに表示することができる。
本願の実施形態では、ターゲットデバイスは、第１画像におけるオブジェクト上のターゲット特徴点の動き情報を利用して、例えばルートの計画、動きの検出、オブジェクトが所属するオブジェクトタイプの識別など、ターゲットタスクを実行することができ、また、当該ターゲット特徴点の動き情報の決定プロセスが正確かつ高効率であり、ターゲットタスクを実行する正確性および効率を向上させる。
図８は、本願の実施形態によって提供される画像特徴点の動き情報の決定装置の構造の模式図である。図８に示すように、当該装置は、決定モジュール８０１と、取得モジュール８０２とを含む。
決定モジュール８０１は、第１画像と第２画像を決定するために使用され、当該第１画像と当該第２画像は、同じオブジェクトを含む。
当該決定モジュール８０１は、さらに、当該第１画像における当該オブジェクト上のターゲット特徴点に基づいて、当該第１画像における、当該ターゲット特徴点を含む第１画素領域を決定するために使用される。
当該決定モジュール８０１は、さらに、当該第１画素領域における複数の第１画素点の画素差分および当該ターゲット特徴点に基づいて、当該第１画像における、当該ターゲット特徴点を含む第２画素領域を決定するために使用され、当該第２画素領域における複数の第２画素点の画素差分は、当該複数の第１画素点の画素差分より大きくて、当該複数の第２画素点は、当該複数の第１画素点と数が同じであり、当該画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものである。
取得モジュール８０２は、当該複数の第２画素点および当該第２画像に基づいて、当該ターゲット特徴点の動き情報を取得するために使用され、当該動き情報は、当該ターゲット特徴点の当該第１画像および当該第２画像における位置変化を示すために使用されるものである。
いくつかの実施形態では、当該決定モジュール８０１は、当該第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、当該ターゲット特徴点に基づいて、当該第１画素領域より大きくて、かつ、当該ターゲット特徴点を含む第２画素領域を取得するために使用される。
いくつかの実施形態では、当該決定モジュール８０１は、当該第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、当該ターゲット特徴点に基づいて、当該第１画素領域と同じ大きさの第２画素領域を取得するために使用され、当該第１画素領域および当該第２画素領域に含まれる画素点は異なるものである。
いくつかの実施形態では、当該決定モジュール８０１は、さらに、ターゲット拡大係数に応じて、当該ターゲット特徴点を中心として、当該第１画素領域を、当該ターゲット特徴点を含む第２画素領域に拡大するために使用される。
いくつかの実施形態では、当該決定モジュール８０１は、さらに、当該ターゲット特徴点に基づいて、ターゲット移動軌跡に応じて、当該第１画素領域を、当該ターゲット特徴点を含む第２画素領域に移動するために使用される。
いくつかの実施形態では、当該決定モジュール８０１は、さらに、当該複数の第１画素点の画素差分がターゲット差分値より小さい場合、当該ターゲット特徴点に基づいて、当該ターゲット特徴点を含む第３画素領域を取得し、当該第３画素領域における複数の第３画素点は、当該複数の第１画素点と数が同じであり、当該第３画素領域における複数の第３画素点の画素値に基づいて、当該複数の第３画素点の画素差分を決定し、当該複数の第３画素点の画素差分がターゲット差分値以上である場合、当該第３画素領域を当該第２画素領域として決定するために使用される。
いくつかの実施形態では、当該決定モジュール８０１は、さらに、当該第１画素領域から当該第３画素領域への拡大係数に基づいて、当該第１画素領域の第１サンプリングステップサイズを第２サンプリングステップサイズに増大し、当該第２サンプリングステップサイズに応じて、当該第３画素領域から、当該複数の第１画素点と同じ数の第３画素点を取得するために使用される。
いくつかの実施形態では、当該決定モジュール８０１は、さらに、当該第１画素領域の第１サンプリングステップサイズに応じて、当該第３画素領域から、当該複数の第１画素点と同じ数の第３画素点を取得するために使用される。
いくつかの実施形態では、当該装置は、さらに、
当該複数の第３画素点の画素差分が当該ターゲット差分値より小さい場合、当該第３画素領域の大きさがターゲット閾値より大きいかどうかを検出するために使用される検出モジュールを、含む。
当該決定モジュール８０１は、さらに、第３画素領域の大きさが当該ターゲット閾値以下である場合、当該第３画素領域より大きい第４画素領域を決定するために使用される。
当該決定モジュール８０１は、さらに、当該第４画素領域における複数の第４画素点の画素差分および当該ターゲット特徴点に基づいて、当該第１画像における、当該ターゲット特徴点を含む第２画素領域を決定するために使用され、当該複数の第４画素点は、当該複数の第１画素点と数が同じである。
いくつかの実施形態では、当該画素差分は、当該複数の画素点の画素分散または当該複数の画素点の勾配行列の最小特徴値であり、当該画素分散は、画素平均値に対する当該複数の画素点の画素値の変化度合いを表すために使用されるものであり、当該勾配行列は、当該複数の画素点の画素値の、水平勾配における、画素平均値に対する変化度合いおよび垂直勾配における、画素平均値に対する変化度合いをそれぞれ表すために使用されるものである。
いくつかの実施形態では、当該第１画素領域および当該第２画素領域の形状は、正方形、長方形、円形、環形、不規則な多角形、または湾曲した辺を有する不規則な形状のうちのいずれかの形状である。
いくつかの実施形態では、当該決定モジュール８０１は、さらに、当該第１画素領域の第１サンプリングステップサイズに基づいて、当該第１画素領域の領域境界上の複数の画素点から、当該複数の第１画素点を取得し、当該複数の第１画素点の画素値に基づいて、当該複数の第１画素点の画素差分を決定するために使用される。
ターゲット特徴点を含む第１画素領域に基づいて、画素差分が第１画素領域より大きくて、かつ、画素点の数が変わらない第２画素領域を取得することにより、元の画素点の数である複数の第２画素点に基づいて計算して、ターゲット特徴点の動き情報を取得することができ、画素点の数が変わらないように維持する前提で、計算に関与するデータの画素差分を増大させるので、計算の複雑さと情報の豊富程度とのバランスが取られて、ターゲット特徴点の動き情報の正確性を保証する前提で、ターゲット特徴点の動き情報を決定する効率を向上させる。
図９は、本願の実施形態によって提供されるタスク実行装置の構造の模式図である。図９に示すように、当該装置は、取得モジュール９０１と、タスク処理モジュール９０２とを含む。
取得モジュール９０１は、ターゲットデバイスの第１画像と第２画像を取得するために使用され、当該第１画像と当該第２画像同じオブジェクトを含む。
当該取得モジュール９０１は、さらに、当該第１画像における当該オブジェクト上のターゲット特徴点の動き情報を取得するために使用され、当該動き情報は、当該ターゲット特徴点の当該第１画像および当該第２画像における位置変化を示すために使用されるものである。
タスク処理モジュール９０２は、当該ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行するために使用される。
いくつかの実施形態では、当該ターゲットタスクは、ルート計画タスクを含み、当該タスク処理モジュール９０２は、さらに、当該ターゲット特徴点の数が複数である場合、複数のターゲット特徴点の動き情報に基づいて、当該ターゲットデバイスからの距離が第１閾値を超えない少なくとも１つのシーンオブジェクトを決定し、当該ターゲットデバイスからの距離が当該第１閾値より大きい第２閾値を超えない目的地の位置および当該少なくとも１つのシーンオブジェクトに基づいて、当該ターゲットデバイスが当該目的地に到達する第１ターゲットルートを決定するために使用される。
いくつかの実施形態では、当該ターゲットタスクは、オブジェクト識別タスクを含み、当該タスク処理モジュール９０２は、さらに、当該ターゲット特徴点の数が複数である場合、複数のターゲット特徴点の動き情報に基づいて、当該複数のターゲット特徴点のうち、動き情報がターゲット条件に合致する複数の第１特徴点を決定し、当該複数の第１特徴点は、当該第１画像および当該第２画像に含まれる複数のオブジェクトのうちの動きオブジェクトを示すために使用されるものであり、当該複数の第１特徴点の当該第１画像または第２画像における位置に基づいて、当該動きオブジェクトが所属するオブジェクトタイプを決定するために使用される。
本願の実施形態では、ターゲットデバイスは、第１画像におけるオブジェクト上のターゲット特徴点の動き情報を利用して、例えばルートの計画、動きの検出、オブジェクトが所属するオブジェクトタイプの識別など、ターゲットタスクを実行することができ、また、当該ターゲット特徴点の動き情報の決定プロセスが正確かつ高効率であり、ターゲットタスクを実行する正確性および効率を向上させる。
上記の全ての選択可能な技術案は、任意の組合せを採用して本開示の選択可能な実施形態を形成することができ、ここでは詳細に説明されない。
説明すべきものとして、上記実施形態によって提供される、画像特徴点の動き情報の決定装置が特徴点の動き情報を決定する場合、および、タスク実行装置がタスクを実行する場合、上記の各機能モジュールの分割のみを例として説明したが、実際の応用において、必要に応じて、上記の機能を、異なる機能モジュールによって完了するように割り当てることができ、つまり、コンピュータデバイスの内部構造は、以上の機能の全部または一部を完了するために、異なる機能モジュールに分割される。また、上記の実施形態によって提供される画像特徴点の動き情報の決定装置と画像特徴点の動き情報の決定方法の実施形態、および、タスク実行装置とタスク実行方法の実施形態は、同一の概念に属するため、その具体的な実現プロセスの詳細について、方法の実施形態を参照することができ、ここでは詳細な説明が省略される。
いくつかの実施形態では、メモリおよびプロセッサを含むコンピュータデバイスがさらに提供され、メモリにはコンピュータ読み取り可能な命令が記憶されており、当該プロセッサは、コンピュータ読み取り可能な命令を実行する際に、上記の画像特徴点の動き情報の決定方法の実施形態におけるステップを実現する。
いくつかの実施形態では、メモリおよびプロセッサを含むターゲットデバイスがさらに提供され、メモリにはコンピュータ読み取り可能な命令が記憶されており、当該プロセッサは、コンピュータ読み取り可能な命令を実行する際に、上記タスク実行方法の実施形態におけるステップを実現する。
いくつかの実施形態では、コンピュータ読み取り可能な命令が記憶されているコンピュータ読み取り可能な記憶媒体が提供され、当該コンピュータ読み取り可能な命令がプロセッサによって実行される場合、上記画像特徴点の動き情報の決定方法の実施形態におけるステップが実現されるか、または、上記タスク実行方法の実施形態におけるステップが実現される。
図１０は、本願の実施形態によって提供される端末の構造の模式図である。当該端末１０００は、スマートフォン、タブレットコンピュータ、ＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ムービングピクチャーエキスパートグループオーディオレイヤー３）プレーヤー、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ムービングピクチャーエキスパートグループオーディオレイヤー４）、ラップトップコンピュータまたはデスクトップコンピュータであってもよい。端末１０００は、ユーザデバイス器、携帯型端末、ラップトップ型端末、デスクトップ型端末などの他の名称で呼ばれることもある。
一般的に、端末１０００は、プロセッサ１００１とメモリ１００２とを含む。
プロセッサ１００１は、１つまたは複数の処理コアを備えるようにしてよく、例えば、４コアプロセッサ、８コアプロセッサなどである。プロセッサ１００１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｐｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうちの少なくとも１つのハードウェア形式を採用して実現するようにしてもよい。プロセッサ１００１は、メインプロセッサとコプロセッサとを備えるようにしてもよく、メインプロセッサは、起動状態でのデータを処理するためのプロセッサであり、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央プロセッサ）とも呼ばれ、コプロセッサは、待機状態でのデータを処理するための低消費電力プロセッサである。いくつかの実施形態では、プロセッサ１００１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックスプロセッシングユニット）が集積されているようにしてもよく、ＧＰＵは、ディスプレイに表示する必要のあるコンテンツへのレンダリングおよび描画を担当するために使用される。いくつかの実施形態では、プロセッサ１００１は、ＡＩ（Ａｒｔｉｐｈｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサを備えるようにしてもよく、このＡＩプロセッサは、マシン学習に関するコンピューティング動作を処理するために使用される。
メモリ１００２は、１つまたは複数のコンピュータ読み取り可能な記憶媒体を備えるようにしてよく、当該コンピュータ読み取り可能な記憶媒体は、非一時的なものであってもよい。メモリ１００２はまた、高速ランダムアクセスメモリと、不揮発性メモリとを備えるようにしてもよく、例えば、１つまたは複数の磁気ディスク記憶デバイス、フラッシュメモリ記憶デバイスなどである。いくつかの実施形態では、メモリ１００２における非一時的なコンピュータ読み取り可能な記憶媒体は、少なくとも１つの命令を記憶するために使用され、当該少なくとも１つの命令は、プロセッサ１００１によって実行されることで、本願の方法の実施形態によって提供される、画像特徴点の動き情報の決定方法またはタスク実行方法を実現するために使用されるものである。
いくつかの実施形態では、端末１０００は、オプションとして、周辺デバイスインターフェース１００３と、少なくとも１つの周辺デバイスとを備えるようにしてもよい。プロセッサ１００１、メモリ１００２、および周辺デバイスインターフェース１００３の間では、バスまたは信号線によって接続されるようにしてもよい。各周辺デバイスは、バス、信号線、または回路ボードを介して周辺デバイスインターフェース１００３と接続されるようにしてもよい。具体的に、周辺デバイスには、無線周波数回路１００４と、ディスプレイ１００５と、カメラコンポーネント１００６と、オーディオ回路１００７と、位置決めコンポーネント１００８と、電源１００９とのうちの少なくとも１つが含まれる。
周辺デバイスインターフェース１００３は、Ｉ／Ｏ（Ｉｎｐｕｔ ／Ｏｕｔｐｕｔ、入力／出力）に関連する少なくとも１つの周辺デバイスをプロセッサ１００１およびメモリ１００２に接続するために使用されてもよい。いくつかの実施形態では、プロセッサ１００１、メモリ１００２、および周辺デバイスインターフェース１００３は、同一のチップまたは回路ボードに集積され、いくつかの他の実施形態では、プロセッサ１００１、メモリ１００２、および周辺デバイスインターフェース１００３のうちのいずれかの１つまたは２つは、単独のチップまたは回路ボード上で実現されてもよいし、本実施形態は、これに対して限定しない。
無線周波数回路１００４は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）信号を送受信するために使用され、電磁信号とも呼ばれる。無線周波数回路１００４は、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信を行う。無線周波数回路１００４は、電気信号を電磁信号に変換して送信を行うか、または、受信した電磁信号を電気信号に変換する。オプションとして、無線周波数回路１００４は、アンテナシステム、ＲＦトランシーバ、１つまたは複数の増幅器、チューナー、発振器、デジタル信号プロセッサ、コーデックチップセット、ユーザＩＤモジュールカードなどを備えている。無線周波数回路１００４は、少なくとも１つの無線通信プロトコルによって他の端末と通信するようにしてよい。当該無線通信プロトコルは、都市規模ネットワーク、各世代移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇおよび５Ｇ）、無線ローカルエリアネットワークおよび／またはＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、ワイヤレスフィディリティー）ネットワークを含むが、これらに限定されない。いくつかの実施形態では、無線周波数回路１００４は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、近距離無線通信）に関する回路を備えるようにしてもよいし、本願は、これに対して限定しない。
ディスプレイ１００５は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ユーザインターフェース）を表示するために使用される。当該ＵＩは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含むようにしてもよい。スクリーン１００５がタッチディスプレイである場合、スクリーン１００５は、ディスプレイ１００５の表面または表面の上方にあるタッチ信号を選別する能力をさらに持っている。当該タッチ信号は、制御信号として、プロセッサ１００１に入力して処理されるようにしてもよい。このとき、ディスプレイ１００５は、また、仮想ボタンおよび／または仮想キーボードを提供するために使用されるようにしてもよく、ソフトボタンおよび／またはソフトキーボードとも呼ばれる。いくつかの実施形態では、ディスプレイ１００５は、１つであってもよく、端末１０００のフロントパネルを設置されてもよいし、別のいくつかの実施形態では、ディスプレイ１００５は、少なくとも２つであってもよく、端末１０００の異なる表面にそれぞれ設置されてもよく、または折り畳みされた設計として表示されてもよいし、また、いくつかの実施形態では、ディスプレイ１００５は、フレキシブルディスプレイであってもよく、端末１０００の曲げ面または折りたたみ面に設けられてもよい。さらに、ディスプレイ１００５は、さらに、非長方形の不規則な図形に設置されるようにしてもよく、つまり、異形のディスプレイとなる。ディスプレイ１００５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ，有機発光ダイオード）などの材質で製造されるようにしてよい。
カメラコンポーネント１００６は、画像またはビデオを選別するために使用される。オプションとして、カメラコンポーネント１００６は、フロントカメラおよびバックカメラを含む。通常、フロントカメラは、端末のフロントパネルに設置されており、バックカメラは、端末の背面に設置される。いくつかの実施形態では、バックカメラは、少なくとも２つがあり、それぞれが、メインカメラ、被写界深度カメラ、広角カメラ、望遠カメラのうちのいずれかであり、これによって、メインカメラと被写界深度カメラの融合による背景ボケ機能の実現、メインカメラと広角カメラの融合によるパノラマ撮影およびＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）撮影機能、またはその他の融合撮影機能が実現される。いくつかの実施形態では、カメラコンポーネント１００６は、フラッシュをさらに備えるようにしてもよい。フラッシュは、単色温度フラッシュであってもよく、二色温度フラッシュであってもよい。二色温度フラッシュとは、暖かい光のフラッシュと冷たい光のフラッシュの組み合わせであり、異なる色温度での光線補償に使用されるようにしてもよい。
オーディオ回路１００７は、マイクロフォンとスピーカとを備えるようにしてもよい。マイクロフォンは、ユーザおよび環境の音波を選別して、音波を電気信号に変換してプロセッサ１００１に入力して処理し、または無線周波数回路１００４に入力して音声通信を実現するために使用される。ステレオの選別またはノイズ低減の目的から、マイクロフォンは、複数あってもよく、それぞれが端末１０００の異なる部分に設けられてもよい。マイクロフォンは、アレイマイクロフォンまたは全方向性選別型マイクロフォンであってもよい。スピーカは、プロセッサ１００１または無線周波数回路１００４からの電気信号を音波に変換するために使用される。スピーカは、伝統的な薄膜スピーカであってもよく、圧電セラミックススピーカであってもよい。スピーカは、圧電セラミックススピーカであると、電気信号を人間の聞こえる音波に変換するだけでなく、電気信号を人間の聞こえない音波に変換することで距離測定などの用途のために使用されてもよい。いくつかの実施形態では、オーディオ回路１００７は、ヘッドホンジャックを備えるようにしてもよい。
位置決めコンポーネント１００８は、端末１０００の現在の地理的位置を位置決めることで、ナビゲーションまたはＬＢＳ（Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ、位置に基づくサービス）を実現するために使用される。位置決めコンポーネント１００８は、米国のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、グローバルポジショニングシステム）、中国の北斗システム、ロシアのグルナッシュシステム、またはＥＵのガリレオシステムの位置決めコンポーネントに基づくものであってよい。
電源１００９は、端末１０００における各コンポーネントに電力を供給するために使用される。電源１００９は、交流、直流、使い捨て電池、または充電式電池であってもよい。電源１００９が充電式電池を含む場合、当該充電式電池は、有線充電または無線充電をサポートすることができる。当該充電式電池は、高速充電技術をサポートするために使用されるようにしてもよい。
いくつかの実施形態では、端末１０００は、１つまたは複数のセンサ１０１０をさらに備える。当該１つまたは複数のセンサ１０１０は、加速度センサ１０１１、ジャイロセンサ１０１２、圧力センサ１０１３、指紋センサ１０１４、光学センサ１０１５、および近接センサ１０１６を含むが、これらに限定されない。
加速度センサ１０１１は、端末１０００により確立された座標系の３つの座標軸での加速度の大きさを検出することができる。例えば、加速度センサ１０１１は、重力加速度の３つの座標軸での成分を検出するために使用されるようにしてもよい。プロセッサ１００１は、加速度センサ１０１１によって選別された重力加速度信号に基づいて、ディスプレイ１００５が横方向または縦方向のビューによってユーザインターフェースの表示を行うように制御することができる。加速度センサ１０１１は、さらに、ゲームまたはユーザの動きデータの選別にも使用され得る。
ジャイロセンサ１０１２は、端末１０００の本体方向および回転角度を検出することができ、ジャイロセンサ１０１２は、加速度センサ１０１１と協働して、ユーザによる端末１０００への３Ｄ動作を選別することができる。プロセッサ１００１は、ジャイロセンサ１０１２によって選別されたデータに基づいて、動作感知（例えば、ユーザの傾き操作に応じてＵＩを変化させる）、撮影時の画像の安定性、ゲーム制御、および慣性ナビゲーションなどの機能を実現することができる。
圧力センサ１０１３は、端末１０００のサイドフレームおよび／またはディスプレイ１００５の下部に設けられてもよい。圧力センサ１０１３は、端末１０００のサイドフレームに設けられる場合、ユーザによる端末１０００への把持信号を検出することができ、プロセッサ１００１は、圧力センサ１０１３によって選別された把持信号に基づいて、左手と右手の識別またはショートカット操作を行う。プロセッサ１００１は、圧力センサ１０１３がディスプレイ１００５の下部に設けられる場合、ユーザによるディスプレイ１００５への圧力操作に応じて、ＵＩインターフェース上の操作可能なコントロールに対する制御を実現する。操作可能なコントロールは、ボタンコントロール、スクロールバーコントロール、アイコンコントロール、メニューコントロールのうちの少なくとも１つを含む。
指紋センサ１０１４は、ユーザの指紋を選別するために使用され、プロセッサ１００１は、指紋センサ１０１４によって選別された指紋から、ユーザの身分を識別するか、または、指紋センサ１０１４は、選別した指紋から、ユーザの身分を識別する。ユーザの身分が信頼できる身分であると識別された場合、プロセッサ１００１は、当該ユーザに対して、関連する敏感な操作を実行するように許可し、当該敏感な操作は、スクリーンのロック解除、暗号化情報の閲覧、ソフトウェアのダウンロード、支払い、および設定の変更などを含む。指紋センサ１０１４は、端末１０００の正面、背面、または側面に設けられてもよい。端末１０００に物理的なボタンまたはメーカのＬｏｇｏが設けられている場合、指紋センサ１０１４は、物理的なボタンまたはメーカのＬｏｇｏと一体化されてもよい。
光学センサ１０１５は、環境光強度を選別するために使用される。一実施形態では、プロセッサ１００１は、光学センサ１０１５によって選別された環境光強度に応じて、ディスプレイ１００５の表示輝度を制御するようにしてよい。具体的には、環境光強度が高い場合、ようにしてよい１００５の表示輝度を高くし、環境光強度が低い場合、ディスプレイ１００５の表示輝度を低くする。別の実施形態では、プロセッサ１００１は、光学センサ１０１５によって選別された環境光強度に従って、カメラコンポーネント１００６の撮影パラメータを動的に調整することもできる。
近接センサ１０１６は、距離センサとも呼ばれ、通常、端末１０００のフロントパネルに設けられている。近接センサ１０１６は、ユーザと端末１０００の正面との間の距離を選別するために使用される。１つの実施形態では、近接センサ１０１６が、ユーザと端末１０００の正面との間の距離が徐々に小さくなっていることを検出した場合、プロセッサ１００１は、ディスプレイ１００５が点灯状態から消灯状態に切り換えるように制御し、近接センサ１０１６が、ユーザと端末１０００の正面との間の距離が徐々に大きくなっていることを検出した場合、プロセッサ１００１は、ディスプレイ１００５が消灯状態から点灯状態に切り替えるように制御する。
当業者であれば、図１０に示す構造は、端末１０００に対する限定を構成するものではなく、図示のものより多いかまたは少ないコンポーネントを含んだり、またはいくつかのコンポーネントを組み合わせたり、あるいは異なるコンポーネントのハイツを採用したりすることができる、ということを理解することができる。
図１１は、本願の実施形態によって提供されるサーバの構造の模式図であり、当該サーバ１１００は、構成や性能が異なることにより大きな差異が生じる可能性があり、１つまたは１つ以上のプロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）１１０１と、１つまたは１つ以上のメモリ１１０２とを含むことができ、ここで、メモリ１１０２には、少なくとも１つのコンピュータ読み取り可能な命令が記憶されており、当該少なくとも１つのコンピュータ読み取り可能な命令は、プロセッサ１１０１によってロードされて実行され、これにより、上記各方法の実施形態によって提供される画像特徴点の動き情報の決定方法またはタスク実行方法が実現される。無論、当該サーバは、入出力のために、有線または無線ネットワークインターフェース、キーボードおよび入力出力インターフェースなどの部品をさらに備えてもよく、当該サーバは、さらに、デバイスの機能を実現するための他の部品を含むこともでき、ここでは詳細な説明が省略される。
例示的な実施形態では、さらに、コンピュータ読み取り可能な記憶媒体、例えば命令を含むメモリがさらに提供され、上記命令は、上記の実施形態における画像特徴点の動き情報の決定方法またはタスク実行方法を実現するために、端末におけるプロセッサによって実行されることができる。例えば、当該コンピュータ読み取り可能な記憶媒体は、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ランダムアクセスメモリ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用ディスク）、磁気テープ、フロッピーディスクおよび光データ記憶デバイスなどであってもよい。
当業者であれば、上記の実施形態の全部または一部のステップの実現は、ハードウェアによって完了されてもよく、関連するハードウェアが完成するようにプログラムによって指示してもよいし、当該プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、上記の記憶媒体は、読み取り専用メモリ、磁気ディスクまたは光ディスクなどであってもよく、ということを理解することができる。
上記は、本願の好ましい実施形態にすぎず、本願を制限するものではなく、本願の精神および原則の範囲内に、実行されたいかなる修正、均等置換、改善などは、いずれも、本願の保護範囲内に含まれるべきである。
801 決定モジュール
802 取得モジュール
901 取得モジュール
902 タスク処理モジュール
1001 プロセッサ
1002 メモリ
1003 周辺デバイスインターフェース
1004 無線周波数回路
1005 ディスプレイ
1006 カメラコンポーネント
1007 オーディオ回路
1008 測位コンポーネント
1009 電源
1010 センサ
1011 加速度センサ
1012 ジャイロセンサ
1013 圧力センサ
1014 指紋センサ
1015 光学センサ
1016 近接センサ
1100 サーバ
1101 プロセッサ
1102 メモリ

Claims (18)

  1. コンピュータデバイスによって実行される、画像特徴点の動き情報の決定方法であって、
    第１画像と第２画像を決定するステップであって、前記第１画像と前記第２画像は、同じオブジェクトを含むステップと、
    前記第１画像における前記オブジェクト上のターゲット特徴点に基づいて、前記第１画像における、前記ターゲット特徴点を含む第１画素領域を決定するステップと、
    前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップであって、前記第２画素領域における複数の第２画素点の画素差分は、前記複数の第１画素点の画素差分より大きくて、前記複数の第２画素点は、前記複数の第１画素点と数が同じであり、前記画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものであるステップと、
    前記複数の第２画素点と前記第２画像とに基づいて、前記ターゲット特徴点の動き情報を取得するステップであって、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものであるステップと、
    を含み、
    前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップは、
    前記第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記第１画素領域と同じ大きさの第２画素領域を取得するステップであって、前記ターゲット特徴点に基づいて、ターゲット移動軌跡に応じて、前記第１画素領域を、前記ターゲット特徴点を含む第２画素領域に移動するステップを含み、前記第１画素領域および前記第２画素領域に含まれる画素点は異なるものであるステップを、含むことを特徴とする方法。
  2. 前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップは、
    前記第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記第１画素領域より大きくて、かつ、前記ターゲット特徴点を含む第２画素領域を取得するステップを、含む、
    ことを特徴とする請求項１に記載の方法。
  3. 前記ターゲット特徴点に基づいて、前記第１画素領域より大きくて、かつ、前記ターゲット特徴点を含む第２画素領域を取得するステップは、
    ターゲット拡大係数に応じて、前記ターゲット特徴点を中心として、前記第１画素領域を、前記ターゲット特徴点を含む第２画素領域に拡大するステップを、含む、
    ことを特徴とする請求項２に記載の方法。
  4. 前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップは、
    前記複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記ターゲット特徴点を含む第３画素領域を取得するステップであって、前記第３画素領域における複数の第３画素点は、前記複数の第１画素点と数が同じであるステップと、
    前記第３画素領域における複数の第３画素点の画素値に基づいて、前記複数の第３画素点の画素差分を決定するステップと、
    前記複数の第３画素点の画素差分がターゲット差分値以上である場合、前記第３画素領域を前記第２画素領域として決定するステップと、を含む、
    ことを特徴とする請求項１に記載の方法。
  5. 前記第３画素領域における複数の第３画素点の画素値に基づいて、前記複数の第３画素点の画素差分を決定するステップの前に、前記方法は、さらに、
    前記第１画素領域から前記第３画素領域への拡大係数に基づいて、前記第１画素領域の第１サンプリングステップサイズを第２サンプリングステップサイズに増大し、前記第２サンプリングステップサイズに応じて、前記第３画素領域から、前記複数の第１画素点と同じ数の第３画素点を取得するステップを、含む、
    ことを特徴とする請求項４に記載の方法。
  6. 前記第３画素領域における複数の第３画素点の画素値に基づいて、前記複数の第３画素点の画素差分を決定するステップの前に、前記方法は、さらに、
    前記第１画素領域の第１サンプリングステップサイズに応じて、前記第３画素領域から、前記複数の第１画素点と同じ数の第３画素点を取得するステップを、含む、
    ことを特徴とする請求項４に記載の方法。
  7. 前記第３画素領域における複数の第３画素点の画素値に基づいて、前記複数の第３画素点の画素差分を決定するステップの後に、前記方法は、さらに、
    前記複数の第３画素点の画素差分が前記ターゲット差分値より小さい場合、前記第３画素領域の大きさがターゲット閾値より大きいかどうかを検出するステップと、
    前記第３画素領域の大きさが前記ターゲット閾値以下である場合、前記第３画素領域より大きい第４画素領域を決定ステップと、
    前記第４画素領域における複数の第４画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップであって、前記複数の第４画素点は、前記複数の第１画素点と数が同じであるステップと、を含む、
    ことを特徴とする請求項４に記載の方法。
  8. 前記画素差分は、前記複数の画素点の画素分散または前記複数の画素点の勾配行列の最小特徴値であり、前記画素分散は、画素平均値に対する前記複数の画素点の画素値の変化度合いを表すために使用されるものであり、前記勾配行列は、前記複数の画素点の画素値の、水平勾配における、画素平均値に対する変化度合いおよび垂直勾配における、画素平均値に対する変化度合いをそれぞれ表すために使用されるものである、
    ことを特徴とする請求項１に記載の方法。
  9. 前記第１画素領域および前記第２画素領域の形状は、正方形、長方形、円形、環形、不規則な多角形、または湾曲した辺を有する不規則な形状のうちのいずれかの形状である、
    ことを特徴とする請求項１に記載の方法。
  10. 前記第１画像における前記オブジェクト上のターゲット特徴点に基づいて、前記第１画像における、前記ターゲット特徴点を含む第１画素領域を決定するステップの後に、前記方法は、さらに、
    前記第１画素領域の第１サンプリングステップサイズに基づいて、前記第１画素領域の領域境界上の複数の画素点から、前記複数の第１画素点を取得するステップと、
    前記複数の第１画素点の画素値に基づいて、前記複数の第１画素点の画素差分を決定するステップと、を含む、
    ことを特徴とする請求項１に記載の方法。
  11. ターゲットデバイスによって実行されるタスク実行方法であって、
    第１画像と第２画像を取得するステップであって、前記第１画像と前記第２画像は、同じオブジェクトを含むステップと、
    前記第１画像における前記オブジェクト上のターゲット特徴点に基づいて、前記第１画像における、前記ターゲット特徴点を含む第１画素領域を決定するステップと、
    前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップであって、前記第２画素領域における複数の第２画素点の画素差分は、前記複数の第１画素点の画素差分より大きくて、前記複数の第２画素点は、前記複数の第１画素点と数が同じであり、前記画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものであるステップと、
    前記複数の第２画素点と前記第２画像とに基づいて、前記ターゲット特徴点の動き情報を取得するステップであって、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものであるステップと、
    前記ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行するステップと、
    を含み、
    前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するステップは、
    前記第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記第１画素領域と同じ大きさの第２画素領域を取得するステップであって、前記ターゲット特徴点に基づいて、ターゲット移動軌跡に応じて、前記第１画素領域を、前記ターゲット特徴点を含む第２画素領域に移動するステップを含み、前記第１画素領域および前記第２画素領域に含まれる画素点は異なるものであるステップを、含むことを特徴とするタスク実行方法。
  12. 前記ターゲットタスクは、ルート計画タスクを含み、前記ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行するステップは、
    前記ターゲット特徴点の数が複数である場合、複数のターゲット特徴点の動き情報に基づいて、ターゲットデバイスからの距離が第１閾値を超えない少なくとも１つのシーンオブジェクトを決定するステップであって、前記ターゲットデバイスは、前記第１画像および前記第２画像を収集するデバイスであるステップと、
    前記ターゲットデバイスからの距離が第２閾値を超えない目的地の位置と、前記少なくとも１つのシーンオブジェクトとに基づいて、前記ターゲットデバイスが前記目的地に到達する第１ターゲットルートを決定するステップであって、前記第２閾値が前記第１閾値より大きいステップと、を含む、
    ことを特徴とする請求項１１に記載の方法。
  13. 前記ターゲットタスクはオブジェクト識別タスクを含み、前記ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行するステップは、
    前記ターゲット特徴点の数が複数である場合、複数のターゲット特徴点の動き情報に基づいて、前記複数のターゲット特徴点のうち、動き情報がターゲット条件に合致する複数の第１特徴点を決定するステップであって、前記複数の第１特徴点が、前記第１画像および前記第２画像に含まれる複数のオブジェクトのうちの動きオブジェクトを示すために使用されるものであるステップと、
    前記複数の第１特徴点の前記第１画像または第２画像における位置に基づいて、前記動きオブジェクトが所属するオブジェクトタイプを決定するステップと、を含む、
    ことを特徴とする請求項１１に記載の方法。
  14. 画像特徴点の動き情報の決定装置であって、
    第１画像と第２画像を決定する決定モジュールであって、前記第１画像と前記第２画像は、同じオブジェクトを含む決定モジュールと、
    複数の第２画素点と前記第２画像とに基づいて、前記ターゲット特徴点の動き情報を取得する取得モジュールであって、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものである取得モジュールと、を含み、ここで、
    前記決定モジュールは、さらに、前記第１画像における前記オブジェクト上のターゲット特徴点に基づいて、前記第１画像における、前記ターゲット特徴点を含む第１画素領域を決定するために使用され、
    前記決定モジュールは、さらに、前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む前記第２画素領域を決定するために使用され、前記第２画素領域における複数の第２画素点の画素差分は前記複数の第１画素点の画素差分より大きくて、前記複数の第２画素点は、前記複数の第１画素点と数が同じであり、前記画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものであり、
    前記決定モジュールは、さらに、前記第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記第１画素領域と同じ大きさの第２画素領域を取得するために使用され、前記ターゲット特徴点に基づいて、ターゲット移動軌跡に応じて、前記第１画素領域を、前記ターゲット特徴点を含む第２画素領域に移動するために使用され、前記第１画素領域および前記第２画素領域に含まれる画素点は異なるものである、
    ことを特徴とする装置。
  15. タスク実行装置であって、
    第１画像と第２画像を取得する取得モジュールであって、前記第１画像と前第２画像は、同じオブジェクトを含む取得モジュールと、
    前記第１画像における前記オブジェクト上のターゲット特徴点に基づいて、前記第１画像における、前記ターゲット特徴点を含む第１画素領域を決定する決定モジュールと、
    前記ターゲット特徴点の動き情報に基づいて、ターゲットタスクを実行するタスク処理モジュールと、を含み、ここで、
    前記決定モジュールは、さらに、前記第１画素領域における複数の第１画素点の画素差分と、前記ターゲット特徴点とに基づいて、前記第１画像における、前記ターゲット特徴点を含む第２画素領域を決定するために使用され、前記第２画素領域における複数の第２画素点の画素差分は前記複数の第１画素点の画素差分より大きくて、前記複数の第２画素点は、前記複数の第１画素点と数が同じであり、前記画素差分は、複数の画素点の画素値の変化度合いを示すために使用されるものであり、
    前記取得モジュールは、さらに、前記複数の第２画素点と前記第２画像とに基づいて、前記ターゲット特徴点の動き情報を取得するために使用され、前記動き情報は、前記ターゲット特徴点の前記第１画像および前記第２画像における位置変化を示すために使用されるものであり、
    前記決定モジュールは、さらに、前記第１画素領域における複数の第１画素点の画素差分がターゲット差分値より小さい場合、前記ターゲット特徴点に基づいて、前記第１画素領域と同じ大きさの第２画素領域を取得するために使用され、前記ターゲット特徴点に基づいて、ターゲット移動軌跡に応じて、前記第１画素領域を、前記ターゲット特徴点を含む第２画素領域に移動するために使用され、前記第１画素領域および前記第２画素領域に含まれる画素点は異なるものである、
    ことを特徴とする装置。
  16. プロセッサおよびメモリを含むコンピュータデバイスであって、
    前記メモリには、コンピュータ読み取り可能な命令が記憶され、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行される場合、前記プロセッサに、請求項１～請求項１０のいずれか１項に記載の画像特徴点の動き情報の決定方法のステップを実行させる、
    ことを特徴とするコンピュータデバイス。
  17. プロセッサおよびメモリを含むターゲットデバイスであって、
    前記メモリには、コンピュータ読み取り可能な命令が記憶され、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行される場合、前記プロセッサに、請求項１１～請求項１３のいずれか１項に記載のタスク実行方法のステップを実行させる、
    ことを特徴とするターゲットデバイス。
  18. コンピュータプログラムであって、
    請求項１～請求項１０のいずれか１項に記載のステップをコンピュータデバイスに実行させ、および、請求項１１～請求項１３のいずれか１項に記載のステップをターゲットデバイスに実行させる、
    ことを特徴とするコンピュータプログラム。
JP2021529019A 2019-04-29 2020-04-16 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス Active JP7305249B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910356752.4A CN110097576B (zh) 2019-04-29 2019-04-29 图像特征点的运动信息确定方法、任务执行方法和设备
CN201910356752.4 2019-04-29
PCT/CN2020/085000 WO2020221012A1 (zh) 2019-04-29 2020-04-16 图像特征点的运动信息确定方法、任务执行方法和设备

Publications (2)

Publication Number Publication Date
JP2022511427A JP2022511427A (ja) 2022-01-31
JP7305249B2 true JP7305249B2 (ja) 2023-07-10

Family

ID=67446382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021529019A Active JP7305249B2 (ja) 2019-04-29 2020-04-16 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス

Country Status (5)

Country Link
US (1) US11978219B2 (ja)
EP (1) EP3965060A4 (ja)
JP (1) JP7305249B2 (ja)
CN (1) CN110097576B (ja)
WO (1) WO2020221012A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097576B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 图像特征点的运动信息确定方法、任务执行方法和设备
CN112492249B (zh) * 2019-09-11 2024-04-09 瑞昱半导体股份有限公司 图像处理方法及电路
CN111068323B (zh) * 2019-12-20 2023-08-22 腾讯科技（深圳）有限公司 智能速度检测方法、装置、计算机设备及存储介质
US11756210B2 (en) 2020-03-12 2023-09-12 Adobe Inc. Video inpainting via machine-learning models with motion constraints
US11823357B2 (en) * 2021-03-09 2023-11-21 Adobe Inc. Corrective lighting for video inpainting
CN114119675B (zh) * 2021-11-10 2023-07-18 爱芯元智半导体(上海)有限公司 像素点的偏移获取方法、装置、电子设备及存储介质
CN114396911B (zh) * 2021-12-21 2023-10-31 中汽创智科技有限公司 一种障碍物测距方法、装置、设备及存储介质
CN114748872B (zh) * 2022-06-13 2022-09-02 深圳市乐易网络股份有限公司 一种基于信息融合的游戏渲染更新方法
CN115424353B (zh) * 2022-09-07 2023-05-05 杭银消费金融股份有限公司 基于ai模型的业务用户特征识别方法及系统
CN115330657B (zh) * 2022-10-14 2023-01-31 威海凯思信息科技有限公司 一种海洋探测图像的处理方法、装置和服务器
CN116542970B (zh) * 2023-06-30 2023-09-15 山东金有粮脱皮制粉设备有限公司 基于图像处理的面粉熟化控制方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276731A (ja) 2007-04-06 2008-11-13 Honda Motor Co Ltd 自律移動体の経路設定装置
US20110043706A1 (en) 2009-08-19 2011-02-24 Van Beek Petrus J L Methods and Systems for Motion Estimation in a Video Sequence
JP2013025717A (ja) 2011-07-25 2013-02-04 Fujitsu Ltd 携帯型電子機器、危険報知方法及びプログラム
US20190026905A1 (en) 2017-07-24 2019-01-24 Delphi Technologies, Llc Vehicule based method of object tracking

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0171120B1 (ko) * 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치
JPH11218499A (ja) * 1998-02-03 1999-08-10 Hitachi Denshi Ltd 外観検査装置およびその画像処理方法
JP4871144B2 (ja) * 2006-01-13 2012-02-08 株式会社東芝 画像処理装置、方法、プログラム
EP1978432B1 (en) * 2007-04-06 2012-03-21 Honda Motor Co., Ltd. Routing apparatus for autonomous mobile unit
CN102378002B (zh) * 2010-08-25 2016-05-04 无锡中感微电子股份有限公司 动态调整搜索窗的方法及装置、块匹配方法及装置
HUE029105T2 (en) * 2011-12-12 2017-02-28 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for estimating target size
WO2015004501A1 (en) * 2013-07-09 2015-01-15 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Method for updating target tracking window size
CN104881881B (zh) * 2014-02-27 2018-04-10 株式会社理光 运动对象表示方法及其装置
CN104700415B (zh) * 2015-03-23 2018-04-24 华中科技大学 一种图像匹配跟踪中匹配模板的选取方法
US10445862B1 (en) * 2016-01-25 2019-10-15 National Technology & Engineering Solutions Of Sandia, Llc Efficient track-before detect algorithm with minimal prior knowledge
US10002435B2 (en) * 2016-01-29 2018-06-19 Google Llc Detecting motion in images
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
CN108960012B (zh) * 2017-05-22 2022-04-15 中科创达软件股份有限公司 特征点检测方法、装置及电子设备
CN107590453B (zh) * 2017-09-04 2019-01-11 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN109523570B (zh) * 2017-09-20 2021-01-22 杭州海康威视数字技术股份有限公司 运动参数计算方法及装置
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
US11044404B1 (en) * 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
US10923084B2 (en) * 2019-03-29 2021-02-16 Intel Corporation Method and system of de-interlacing for image processing
CN110097576B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 图像特征点的运动信息确定方法、任务执行方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276731A (ja) 2007-04-06 2008-11-13 Honda Motor Co Ltd 自律移動体の経路設定装置
US20110043706A1 (en) 2009-08-19 2011-02-24 Van Beek Petrus J L Methods and Systems for Motion Estimation in a Video Sequence
JP2013025717A (ja) 2011-07-25 2013-02-04 Fujitsu Ltd 携帯型電子機器、危険報知方法及びプログラム
US20190026905A1 (en) 2017-07-24 2019-01-24 Delphi Technologies, Llc Vehicule based method of object tracking

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAN, Y.-L. et al.，A block motion vector estimation using pattern based pixel decimation，1997 IEEE International Symposium on Circuits and Systems (ISCAS) [online]，IEEE，1997年，pp. 1153-1156，[検索日 2022.06.30], インターネット，ＵＲＬ：https://ieeexplore.ieee.org/document/622014
WANG, Y. et al.，A Novel Adaptive Pixel Decimation for Block Motion Vector Estimation，IEICE TRANSACTIONS on Communications [online]，IEICE，1999年01月25日，Vol. E82-B, No. 1，pp.188-191，[検索日 2022.06.30], インターネット，ＵＲＬ：https://search.ieice.org/bin/summary.php?id=e82-b_1_188

Also Published As

Publication number Publication date
CN110097576A (zh) 2019-08-06
JP2022511427A (ja) 2022-01-31
US20210272294A1 (en) 2021-09-02
CN110097576B (zh) 2022-11-18
US11978219B2 (en) 2024-05-07
EP3965060A1 (en) 2022-03-09
EP3965060A4 (en) 2022-10-05
WO2020221012A1 (zh) 2020-11-05

Similar Documents

Publication Publication Date Title
JP7305249B2 (ja) 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
CN110502954B (zh) 视频分析的方法和装置
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
WO2019223468A1 (zh) 相机姿态追踪方法、装置、设备及系统
CN111768454B (zh) 位姿确定方法、装置、设备及存储介质
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN111680758B (zh) 图像训练样本生成方法和装置
JP7210089B2 (ja) リソースの表示方法、装置、機器及びコンピュータプログラム
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN114170349A (zh) 图像生成方法、装置、电子设备及存储介质
CN113384880A (zh) 虚拟场景显示方法、装置、计算机设备及存储介质
CN111385525B (zh) 视频监控方法、装置、终端及系统
CN111784841B (zh) 重建三维图像的方法、装置、电子设备及介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
CN111369684B (zh) 目标跟踪方法、装置、设备及存储介质
CN111061918B (zh) 图数据的处理方法、装置及存储介质
CN112950535A (zh) 视频处理方法、装置、电子设备及存储介质
CN113362357B (zh) 特征点确定方法、装置、设备及存储介质
CN113052408B (zh) 一种社区聚合的方法及装置
CN113409235B (zh) 一种灭点估计的方法及装置
CN117671164A (zh) 高精地图底图构建方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230418

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230418

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230622

R150 Certificate of patent or registration of utility model

Ref document number: 7305249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150