JP7000555B2 - 拡張現実の表示方法、姿勢情報の決定方法及び装置 - Google Patents

拡張現実の表示方法、姿勢情報の決定方法及び装置 Download PDF

Info

Publication number
JP7000555B2
JP7000555B2 JP2020503262A JP2020503262A JP7000555B2 JP 7000555 B2 JP7000555 B2 JP 7000555B2 JP 2020503262 A JP2020503262 A JP 2020503262A JP 2020503262 A JP2020503262 A JP 2020503262A JP 7000555 B2 JP7000555 B2 JP 7000555B2
Authority
JP
Japan
Prior art keywords
key point
image
coordinate information
information
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020503262A
Other languages
English (en)
Other versions
JP2020529065A (ja
Inventor
バオ，リンチャオ
リウ，ウェイ
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2020529065A publication Critical patent/JP2020529065A/ja
Application granted granted Critical
Publication of JP7000555B2 publication Critical patent/JP7000555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

［関連出願への相互参照］
本出願は、２０１７年０７月３１日に中国特許局に提出された出願番号が２０１７１０６４３３７６．８であり、発明名称が「拡張現実の表示方法、姿勢情報の決定方法及び装置」の中国特許出願の優先権を要求し、その全ての内容は引用によって本出願に援用される。
［技術分野］
本出願の実施例は、自己位置推定と地図作成の同時実行分野に関し、特に、画像収集装置の情報決定方法及び関連装置に関する。
自己位置推定と地図作成の同時実行分野（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ：ＳＬＡＭ）とは、ある装置（例えば、ロボット又は仮想現実装置など）が見知らぬ環境に来る場合、時間と空間との対応関係を正確に確立する必要がある。
現在、ＳＬＡＭシステムにおいてカメラ追跡を行うとき、算出した三次元（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）ポイントを新たな１フレームの二次元（ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ：２Ｄ）画像に投影し、カメラのカメラ姿勢情報を推定し、即ち３Ｄと２Ｄとの対応付け（３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ）の方式で追跡を行うことが一般的である。
関連技術における３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓに基づく３Ｄポイント取得を示す概略図である図１を参照する。図面に示すように、ｔフレーム目の画像のカメラ姿勢情報を推定する場合、ｔ－１フレーム目の画像及びｔ－２フレーム目の画像によってキーポイントを三角化し、キーポイントの３Ｄ位置（図１に示した白抜きの星）を得て、続いてキーポイントの３Ｄ位置を用いてｔフレーム目の画像のカメラ姿勢情報を推定する必要がある。ｔ－２フレーム目の画像からｔフレーム目の画像に速やかに移動すると、白抜きの星はｔフレーム目の画像のごく一部のみを占有する。このようなごく一部のキーポイントを用いてｔフレーム目の画像全体のカメラ姿勢情報を推定すると、大きい誤差を生じ、また追跡したキーポイントの数が少なすぎることによって追跡で見失うことが発生しやすい。
本出願の実施例は、第２画像のカメラ姿勢情報を推定する場合、より多くのキーポイントを得ることができ、カメラ姿勢情報の誤差を低減させると共に、追跡したキーポイントの数が少なすぎることによって追跡で見失うことを避けることもできる拡張現実の表示方法、姿勢情報の決定方法及び装置を提供する。
これに鑑みて、本出願の実施例の第１態様において、拡張現実の表示方法を提供し、該方法は、
画像収集装置が、対象物の第１画像を取得することと、
上記画像収集装置が上記対象物に対応する第１の２Ｄキーポイントの座標情報を第１画像から抽出することと、
上記画像収集装置が上記対象物の第２画像を取得することと、
上記画像収集装置が上記第１の２Ｄキーポイントの座標情報に基づいて上記第２画像の第２の２Ｄキーポイントの座標情報を取得し、上記第１の２Ｄキーポイントと上記第２の２Ｄキーポイントが上記対象物における同一のキーポイントであることと、
上記画像収集装置が上記対象物に対応する３Ｄキーポイントの座標情報を取得し、上記３Ｄキーポイントが三角化処理されたキーポイントであることと、
上記画像収集装置が上記第１の２Ｄキーポイントの座標情報、上記第２の２Ｄキーポイントの座標情報及び上記３Ｄキーポイントの座標情報に基づいて、上記第２画像のカメラ姿勢情報を決定し、上記カメラ姿勢情報が上記第２画像における上記対象物の位置を決定するためのものであることと、
画像収集装置が付加画像情報を取得することと、
画像収集装置が上記第２画像、上記第２画像のカメラ姿勢情報及び上記付加画像情報に基づいて、拡張画像を生成することとを含む。
本出願の実施例の第２態様において、画像収集装置で情報を決定する方法を提供し、該方法は、
上記画像収集装置が、対象物の第１画像を取得することと、
上記画像収集装置が上記対象物に対応する第１の２Ｄキーポイントの座標情報を上記第１画像から抽出することと、
上記画像収集装置が上記対象物の第２画像を取得することと、
上記画像収集装置が上記第１の２Ｄキーポイントの座標情報に基づいて上記第２画像の第２の２Ｄキーポイントの座標情報を取得し、上記第１の２Ｄキーポイントと上記第２の２Ｄキーポイントが上記対象物における同一のキーポイントであることと、
上記画像収集装置が上記対象物に対応する３Ｄキーポイントの座標情報を取得し、上記３Ｄキーポイントが三角化処理されたキーポイントであることと、
上記画像収集装置が上記第１の２Ｄキーポイントの座標情報、上記第２の２Ｄキーポイントの座標情報及び上記３Ｄキーポイントの座標情報に基づいて、上記第２画像のカメラ姿勢情報を決定し、上記カメラ姿勢情報が上記第２画像における上記対象物の位置を決定するためのものであることとを含む。
本出願の実施例の第３態様において、画像収集装置を提供し、該装置は、１つ又は複数のプロセッサと、プログラムユニットを記憶する１つ又は複数のメモリとを備え、上記プログラムユニットは、上記プロセッサで実行され、上記プログラムユニットは、取得モジュールと、決定モジュールとを備え、
上記取得モジュールは、対象物の第１画像を取得するように構成され、
上記取得モジュールは、上記第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得するように更に構成され、上記第１の２Ｄキーポイントと上記第２の２Ｄキーポイントは、異なる画像に位置する同一のキーポイントであり、上記第１画像が、上記第２画像の前のいずれか１フレームの画像であり、
上記取得モジュールは、上記対象物の第２画像を取得するように更に構成され、
上記決定モジュールは、上記取得モジュールにより取得された上記第１の２Ｄキーポイントの座標情報、上記第２の２Ｄキーポイントの座標情報及び上記３Ｄキーポイントの座標情報に基づいて、上記第２画像のカメラ姿勢情報を決定するように構成され、上記カメラ姿勢情報が上記第２画像における対象物の位置を決定するためのものである。
本出願の実施例の第４態様において、画像収集装置を提供し、該装置は、メモリと、プロセッサと、バスシステムとを備え、
上記メモリは、プログラムを記憶するように構成され、
上記プロセッサは、上記メモリにおけるプログラムを実行するように構成され、具体的には、
対象物の第１画像を取得することと、
上記対象物に対応する第１の２Ｄキーポイントの座標情報を上記第１画像から抽出することと、
上記対象物の第２画像を取得することと、
上記第１の２Ｄキーポイントの座標情報に基づいて上記第２画像の第２の２Ｄキーポイントの座標情報を取得し、上記第１の２Ｄキーポイントと上記第２の２Ｄキーポイントが上記対象物における同一のキーポイントであることと、
上記対象物に対応する３Ｄキーポイントの座標情報を取得し、上記３Ｄキーポイントが三角化処理されたキーポイントであることと、
上記第１の２Ｄキーポイントの座標情報、上記第２の２Ｄキーポイントの座標情報及び上記３Ｄキーポイントの座標情報に基づいて、上記第２画像のカメラ姿勢情報を決定し、上記カメラ姿勢情報が上記第２画像における上記対象物の位置を決定するためのものであることと、
上記バスシステムは、上記メモリと上記プロセッサを接続し、上記メモリと上記プロセッサが通信を行うようにするためのものである。
本出願の実施例の第５態様において、コンピュータ可読記憶媒体を提供し、上記コンピュータ可読記憶媒体には、命令が記憶されており、それがコンピュータ上で実行されるとき、コンピュータに上記各態様に記載の方法を実行させる。
本出願の実施例の第６態様において、電子機器を提供し、上記電子機器は、プロセッサと、メモリとを備え、上記メモリには、少なく１つの命令が記憶されており、上記少なくとも１つの命令は、上記プロセッサによりロードされて実行され、上記各態様に記載の方法を実現させる。
上記技術的解決手段から分かるように、本出願の実施例は以下の利点を有する。
本出願の実施例において、画像収集装置の情報決定方法を提供し、該方法において、まず、第１画像における第１の２Ｄキーポイントの座標情報を取得し、続いて第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得する。ここで、第１の２Ｄキーポイントと第２の２Ｄキーポイントは異なる画像に位置する同一のキーポイントであり、第１画像は第２画像の前のいずれか１フレームの画像である。続いて３Ｄキーポイントの座標情報を取得し、最後に、第１の２Ｄキーポイントの座標情報、第２の２Ｄキーポイントの座標情報及び３Ｄキーポイントの座標情報に基づいて、第２画像のカメラ姿勢情報を決定する。カメラ姿勢情報は、第２画像における対象物の位置を決定するためのものである。上記方式により、３Ｄキーポイントの座標情報及び第２の２Ｄキーポイント座標情報によるカメラ姿勢情報への影響を考慮すると共に、第１の２Ｄキーポイントの座標情報も考慮する。換言すれば、本技術的解決手段は、３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓと２Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓを組み合わせることで、第２画像のカメラ姿勢情報を推定すると同時に、より多くのキーポイントを得ることができ、カメラ姿勢情報の誤差を低減させると共に、追跡したキーポイントの数が少なすぎることによって追跡で見失うことを避けることもできる。
関連技術における３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓによる３Ｄポイント取得を示す概略図である。 本出願の実施例における３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓによる３Ｄポイント取得を示す概略図である。 本出願の実施例におけるカメラ姿勢情報に基づいて対象物を表示するインタフェースを示す概略図である。 本出願の実施例における画像収集装置の情報決定方法の一実施例を示す概略図である。 本出願の実施例における観測角度の決定を示す概略図である。 本出願の実施例における追跡レコードの生成を示す概略図である。 本出願の適用シーンにおけるカメラ姿勢情報の決定を示すフローチャートである。 本出願の実施例における画像収集装置の一実施例を示す概略図である。 本出願の実施例における画像収集装置の別の実施例を示す概略図である。 本出願の実施例における画像収集装置の別の実施例を示す概略図である。 本出願の実施例における電子機器の構成を示す概略図である。
本出願の実施例は、第２画像のカメラ姿勢情報を推定する場合、より多くのキーポイントを得ることができ、カメラ姿勢情報の誤差を低減させると共に、追跡したキーポイントの数が少なすぎることによって追跡で見失うことを避けることもできる拡張現実の表示方法、姿勢情報の決定方法及び装置を提供する。
本出願の明細書、特許請求の範囲及び上記図面に言及された「第１」、「第２」、「第３」、「第４」等の用語（存在するならば）は、類似した対象を区別するためのものであり、特定の順番又は前後順序を説明するためのものではない。ここで説明した本出願の実施例をここで示した又は説明した順番以外の順番で実施可能なものにするために、このように使用された数字は適した場合であれば互いに取り替え可能なことは、理解されるべきである。また、用語である「含む」、「有する」及びそれらの如何なる変形は、排他的にならずにカバーすることがその意図である。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品及び装置は、明確に例示されたステップ又はユニットを含むものに限定されず、明確に例示されていない他のステップ又はユニット、あるいはこれらのプロセス、方法、製品又は装置に固有の他のステップ又はユニットを含むことができる。
本技術的解決手段は、主にＳＬＡＭシステムに適用され、装置が移動中において位置推定及び地図に基づいて自己を測位し、同時に自己を測位した基礎の上に増分地図を作成し、装置の自主測位とナビゲーションを実現するためのものであることは、理解されるべきでる。本技術的解決手段は、具体的には、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ＶＲ）製品、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）製品及びロボットビジョンナビゲーション（Ｖｉｓｕａｌ Ｒｏｂｏｔ Ｎａｖｉｇａｔｉｏｎ ＶＲＮ）製品等に適用され、ここで、具体的な製品について限定を行わない。
ＶＲは、本質的に、入り込むような体験によって全く異なる仮想世界をユーザに感じさせることであるが、ＳＬＡＭは、本質的に、実世界に対する感知及び理解である。ＶＲ製品にＳＬＡＭを適用する場合、仮想世界と実世界を結合させることができる。市販されているＶＲ製品は、６軸ジャイロセンサーによってユーザの頭部の振り向きを追跡するが、ユーザの変位を追跡することができない。しかしながら、ＳＬＡＭは６個の自由度の追跡の課題を解決することができる。
ＡＲは本質的に、仮想要素と現実を完璧に融合させることである。ＡＲ製品は、ＶＲに比べて、アルゴリズム、ソフトウェアの面であれ、ハードウェア又は大規模生産の面であれ、複雑さがかなり大きくなる。ＡＲにとって、ＳＬＡＭシステムを備えなければならない。
本出願の実施例は３Ｄ-２Ｄｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓと２Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓを組み合わせたカメラ追跡方法を提供し、より安定した２Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓにより、３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓによる追跡を助力し、ＳＬＡＭシステムの追跡の安定性を向上させる。本出願の実施例における３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓによる３Ｄポイント取得を示す概略図である図２を参照すると、ｔフレーム目の画像のカメラ姿勢情報を取得するとき、ｔ－１フレーム目の画像及びｔ－２フレーム目の画像によってキーポイントを三角化し、キーポイントの３Ｄ位置（図２に示した白抜きの星）を得ると共に、ｔフレーム目の画像及びｔ－１フレーム目の画像によってキーポイントの２Ｄ位置（図２に示した塗りつぶされた星）を得て、そしてキーポイント２Ｄ位置及び３Ｄ位置を用いてｔフレーム目の画像のカメラ姿勢情報を推定する。
理解を容易にするために、以下、具体的な適用シーンにより、本出願の実施例で表示された対象物について説明する。本出願の実施例におけるカメラ姿勢情報に基づいて対象物を表示するインタフェースを示す概略図である図３を参照する。図面に示すように、左側の図は、移動前の画面であり、右側の図は、移動した後の画面である。ユーザは、携帯電話機のスクリーンにより、仮想物体（例えば図３に示した子豚）が、ユーザの携帯電話の移動に伴って移動することなく、現実の３Ｄシーンにおいてある場所（例えばテーブル）に固定されて動く（例えば、踊る）ことを見ることができる。
本出願の実施例は、ＡＲシステムに用いることができる。以下、本出願の実施例が提供するＡＲ表示方法を説明する。本出願の実施例におけるＡＲ表示方法の一実施例は、以下を含む。
まず、画像収集装置が同一の実物シーン中の異なる撮影角度における対象物を取得する。該対象物は、１冊の本、1本の樹木、１台のテレビ又は１缶のコカ・コーラ等であってもよく、ここで限定されない。１つの仮想物体と対象物を融合させようとし、仮想物体はデザイナーにより予め設計された漫画キャラクタ、又はグラフィティ等であってもよく、ここで限定されない。
対象物を決定した後、画像収集装置は、対象物に対応する第１の２Ｄキーポイントの座標情報を第１画像から抽出する。続いて、画像収集装置は引き続き第２画像を取得する。第２画像と第１画像は、同一の対象物からのものであることが理解されるべきである。画像収集装置は第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得することができる。ここで、第１の２Ｄキーポイントと第２の２Ｄキーポイントは、対象物における同一のキーポイントである。
画像収集装置は３Ｄキーポイントを取得し、３Ｄキーポイントの座標情報を決定することができる。３Ｄキーポイントの座標情報は、主に６つの次元の座標情報、即ち３つの方向変位及び３つの角度を含む。ここで、３Ｄキーポイントは、前フレームの画像における三角化処理に成功したキーポイントである。画像収集装置は、第１の２Ｄキーポイントの座標情報、第２の２Ｄキーポイントの座標情報及び３Ｄキーポイントの座標情報に基づいて第２画像のカメラ姿勢情報を決定する。ここで、カメラ姿勢情報は上記第２画像における対象物の位置を決定するためのものであり、カメラ姿勢情報は第２画像の撮影空間情報を示すことができる。
画像収集装置は、付加画像情報を取得する。付加画像情報とは、プールサイド、花園内又は中学校の運動場等のような、撮影した現実シーンにおける画像を指す。最後に、画像収集装置は、第２画像、第２画像のカメラ姿勢情報及び付加画像情報に基づいて拡張画像を合成する。例えば、付加画像情報が中学校の運動場の画像であり、第２画像が１本の樹木を含み、第２画像のカメラ姿勢情報に基づいて、樹木には、アニメーション化された鳥が存在することが決定され、この場合、該拡張画像には上記コンテンツが表示される。ここで、拡張画像はＡＲコンテンツを表示するためのものである。
以下、本出願の実施例が提供するＡＲ表示方法を利用する複数の適用シーンを説明する。
一、ＡＲ地図
ＡＲ表示方法で、歩行者が付いて行きやすいナビゲーションアプリケーションを見せることができる。アプリケーションにおいて矢印及び経路を現実の環境に直接的に付加した結果、非常に直観的なナビゲーション経路を実現させる。これと同時に、ＡＲ表示方法は、地元のランドマークを識別して、これらに関連する有用な情報を提供することができる。例えば、区域の名称及び二つの建築の間の相対的距離を提供することができ、ここで限定されない。
画像収集装置は、シーンセンシティブ情報ソフトウェアにより、場所又は物体を識別し、デジタル情報と現実世界のシーンを繋ぐことができる。シーンセンシティブ情報ソフトウェアは、特定のシーンに基づいてインターネット上の既存の静的データを容易に取得できるアプリケーションを包含する。インテリジェント端末は、該ソフトウェアを実行することができる。ユーザは、インテリジェント端末のカメラの視野により周囲のデジタル情報を見ることができる、これらのデジタル情報は、博物館、商店、レストラン又は次のバス停までの歩行経路のような、附近の関心がある場所であってもよい。該ソフトウェアは、全地球測位システム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ：ＧＰＳ）、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ：ＷｉＦｉ）及び３Ｄモデリングにより画像識別を実現させ、ユーザに対する測位の機能を実現させることができる。
二、ＡＲ言語翻訳
言語翻訳は、ＡＲ応用において将来性が最も高い分野の一つである。本出願の実施例が提供するＡＲ表示方法は、インテリジェント端末に適用することができる。該インテリジェント端末を用いると、テキストを別の言語に同時翻訳することができる。アプリケーションを起動してから、ユーザが機器を外字に向ければよい。画像収集装置は該情報をユーザの母国語に翻訳して表示する。また、翻訳文のフォントとして同一のものが用いられ、同一の壁に示され、即ち原テキストと同じである。
三、ＡＲ計測工具
インテリジェント端末がほぼパーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ：ＰＣ）の代替となりうることが多いが、定規又は三角定規等のような、生活中に必要な工具の代替となりえない。ＡＲ技術を用いると、インテリジェント端末は、計測工具とも称される。例えば、本出願の実施例が提供するＡＲ表示方式を用いると、仮想的な定規と現実を整合することができる。インテリジェント端末自体は、仮想的な計測工具のハードウェア条件としてのカメラ、プロセッサ及び運動センサ等の機能以外に、ＡＲ表示技術を利用して、現実において測定しようとする物体に浮遊するポイントを表示することで、データを得ることができる。
仮想的な磁性測定工具と現実中の巻尺とが同じように行うことができる。ユーザは、インテリジェント端末を手で持って、スクリーンにおいて仮想的な磁性測定工具の始点を決定し、続いて水平移動し、終点を決定すれば、データを得ることができる。距離計測以外に、ＡＲ表示技術は、空間の計測を非常に容易にすることもできる。例えば、ユーザが、インテリジェント端末を手で持って、部屋の縁に基づいてインテリジェント端末を移動させ、フレームの寸法を記録する必要がなく、インテリジェント端末を移動するだけで、測定しようとする空間を囲うと、最後に、システムは算出したデータを提供する。どんなに奇形である空間であっても面積を容易に算出することができる。
四、ＡＲ家具
本出願の実施例が提供するＡＲ表示技術を用いてアプリケーションを設計することもできる。消費者はインテリジェント端末で、選択したデジタルの家具を選択して、クリックすることによって、自宅のリビングルームに「配置」することができ、ある位置に配置されると、家具の寸法、スタイル、色が合うかどうかを検証することを容易にする。該アプリケーションは、ユーザによる各部品の寸法及び色の調整を許容する。
我々が家具を購買するとき、該家具が部屋に配置された効果がどのように現れるかを頭の中で何度でも想定することが一般的である。上記方式により、インテリジェント端末を手で保持し、カメラを新宅の各隅部に向けるだけで、最適な家具を選択することができる。これは、家具の小売業務における新たな販売方式の実現に寄与する。販売元は面積の大きい店頭のコストを省くことができ、消費者は、家具販売店を歩き回るための時間及び精力を節約することもできる。
同様に、幾つかの衣類試着シーンにおいて、本出願の実施例で説明したＡＲ表示技術によれば、更に個性的にカスタマイズされたＡＲ試着体験を提供することもできる。これは、顧客の体型及び選択した衣類を識別することができるため、他の色の衣類の試着を避ける。顧客は、ある衣類に替えてミラーの前に立って、タッチスクリーンの提示に応じて他の色を選択すれば、別の色の衣類を着た顧客の映像がミラーに投射される。
五、ＡＲティーチング
ＡＲがダンスティーチングに用いられるとき、生徒と教師は、空間的及び時間的な制限を破ることができる。本出願の実施例で説明したＡＲ表示技術を用いると、仮想的な「ステップ」を現実中に巧妙に適用することもできる。生徒は、仮想的な足跡に基づいてステップを習得する。アプリケーションは、生徒の需要に応じてスピードを遅くすることもでき、ダンスのパートナーと一緒に学習することもできる。
同様に、ダンスティーチングに加えて、本出願の実施例が提供するＡＲ表示方式は、武術ティーチング、バスケットボールティーチング、水泳ティーチング等に適用可能であり、ここで例示的なものに過ぎず、本出願の実施例を限定するものではない。
六、ＡＲ物流
続いて、物流産業を例として、ＡＲ表示技術がどのような影響を与えるかについて具体的に説明する。ＡＲの物流産業への適用は、相対的初期段階であるが、ＡＲは非常に有利である。例えば、ＡＲによれば、物流業者は随時随所に所望の情報を速やかに取得することができる。これは、配送及び積み込み等の作業の正確な計画及び細やかな動作の最適化にとって極めて重要である。また、より高質なカスタマーサービスの提供のために確実な基盤を築くこともできる。我々は、ＡＲの物流産業への適用について幾つかの適用例を想定することができる。これらの適用例は、倉庫運営、運搬の最適化、ラストワンマイルの配送及び強化した付加的なサービスという４種類に分けられる。
倉庫運営において、倉庫運営はＡＲの物流産業への適用における将来性が最も高い分野である。これらの運営は物流の総コストの約２０％を占めるが、ピッキング作業は、倉庫運営の総コストの５５％から６５％を占める。ＡＲは、ピッキングのフローの改良から初めて、運転コストを大幅に低減させることができる。ＡＲは、倉庫における新規従業者及び短期採用の従業者のトレーニングにも役立って、倉庫に関する計画のための参考となりうる。視覚的なピッキングを用いると、ピッキングフローを最適化することができる。
物流において、最も実用的なＡＲ解決手段は、ピッキングのフローを最適化できるシステムである。先進国には、大半の倉庫は、紙文書によるピッキングを利用する。しかしながら、紙文書による方式はいずれも効率が低くて誤りが発生しやすい。また、ピッキング作業は、一般的には、アルバイトにより行われ、これらの従業者が効率的にピッキングを行って誤りが発生しないように確保するために、コストがかかってトレーニングを行う必要がある。
視覚的なピッキングシステムは、現在、最後の現場試験段階にある。該システムは、ヘッドマウントディスプレイ（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ：ＨＭＤ）のような携帯型ＡＲ機器、カメラ、ウェアラブルＰＣ及び持続時間が少なくとも一つのシフトの持続時間であるバッテリモジュールを備える。その視覚的なピッキングソフトウェア機能は、リアルタイム物体識別、バーコードの読み取り、室内のナビゲーション及び倉庫管理システム（ｗａｒｅｈｏｕｓｅ ｍａｎａｇｅｍｅｎｔ ｓｙｓｔｅｍ：ＷＭＳ）との情報のシームレス的な統合を含む。視覚的なピッキングの最大の利点は、倉庫における従業者は手を離すことなく、直観的なデジタル情報による支援を得ることができることである。このようなシステムによれば、倉庫における各従業者は、視野中においてデジタルピッキングリストを見て、室内ナビゲーションシステムにより支援されて、最適な経路を見ることができる。効果的な経路計画により移動にかかる時間を低減させる。該システムの画像識別ソフトウェアは、バーコードを自動的に読み取ることで、倉庫における従業者が正しい位置に到着しているかを判定し、棚におけるピッキングされる物品を速やかに見つけるように、案内する。続いて、倉庫における従業者は該物品をスキャンし、該フローを倉庫管理システムに同期登録し、リアルタイムな在庫更新を実現させることができる。なお、このようなシステムは、新規従業者に対するトレーニングにかかる時間を低減させ、あまり教養がない倉庫における従業者が直面し得る言語の障壁を解決することができる。
これらのＡＲシステムの現場試験によれば、これらは倉庫運営の効率向上に大きく貢献することが証明された。例として、持続的なピッキング検証機能は、誤りを４０％低減させることができる。ここで採用されるＡＲシステムは、本出願の実施例が提供するＡＲ表示方式を用いるものであることが理解されるべきである。
倉庫計画プロセスにおいて、ＡＲは、倉庫計画フローに寄与し得る。現在の倉庫は、貯蔵及び集配のためのノードだけでなく、ますます多くの付加的なサービスを次第に担うようになる。製品の組み合わせからラベル貼り付け、再梱包まで、ひいては製品のメンテナンスを担うようになる。これは、上記のこれらの新たなサービスの需要に適応するように倉庫を改めて設計する必要があることを意味する。ＡＲ技術を用いて、包括的な観点から再計画による効果を見ることができ、従来の現実の倉庫環境においてこれから変更しようとする対話可能なデジタルモデルを配置することを実現させる。管理者は、計画された変更寸法が適するかどうかをチェックし、新たな動作フローのためにモデルを確立することができる。これにより、将来の倉庫現場は、倉庫運営計画のための試験場として用いることができる。
運搬最適化プロセスにおいて、物流業者は、新しい情報技術を用いることで、貨物運搬の時効性、信頼性及び安全性を大幅に向上させる。整合性チェック、国際貿易、運転手向けのナビゲーション及び貨物積込み等の分野において、本出願の実施例が提供するＡＲ表示技術は、貨物運搬を更に最適化する潜在力を持って、より効率的なピッキングを実現させる。ＡＲ機器を着用しているピッキング作業者は、積込まれた貨物をさっとみれば、無欠であるかどうかが分かる。現在、該作業は手動で統計するか、手持ち型機器でかなりの時間がかかってバーコードを一つずつ走査する必要がある。ウェアラブルＡＲ機器は、スキャンナーと３Ｄ被写界深度センサとの組み合わせにより、パレット又はパッケージの数を決定することができ（各パッケージにおける特殊な標識を走査することによる）、又はパッケージの体積を決定する（測定機器による）ことができる。測定値と所定の値を比較し、結果をピッキング作業者の目の前に提示する。このようなＡＲシステムは、物品を走査して、損傷又は誤りがあるかをチェックすることもできる。
上記６種類の具体的なシーンは本出願の実施例を限定するものではなく、理解を容易にするために提供される実行可能な環境である。実際の適用において、本出願の実施例が提供するＡＲ表示方法は、ゲーム又は医療訓練等にも適用される。例えば、ユーザをより好適にゲームの環境の中に溶け込ませるように適用される。又は、研修医がより多くの実践的知識を習得するように、手術室に入ることなく、手術を近距離で見学することを実現させる。なお、ＡＲ表示方法は、不動産仲介業者に適用される。暑い日に苦労して顧客を連れて物件の内見を案内する必要がなく、事務所で気楽に冷房をつけて、ＡＲ表示方式で提示される画面を見るだけでよい。
ＡＲに基づくインタフェースはコンピュータ機器に限定されない。自動車、インフォテイメント機器及び加熱システムのような家庭用周辺機器を制御するためのものとして用いられる。
以下、本出願の実施例における画像収集装置の情報決定方法を紹介する。図４を参照すると、本出願の実施例における画像収集装置の情報決定方法の一実施例は、以下を含む。
ステップ１０１おいて、画像収集装置が、対象物の第１画像を取得する。
本実施例において、画像収集装置が同一の実物シーン中の異なる撮影角度における対象物を取得する。該対象物は、１冊の本、1本の樹木、１台のテレビ又は１缶のコカ・コーラ等であってもよく、ここで限定されない。１つの仮想物体を対象物と融合させようとし、仮想物体はデザイナーにより予め設計された漫画キャラクタ、又はグラフィティ等であってもよく、ここで限定されない。
ステップ１０２おいて、上記画像収集装置が対象物に対応する第１の２Ｄキーポイントの座標情報を第１画像から抽出する。
本実施例において、画像収集装置が、まず第１画像における第１の２Ｄキーポイント及び対応する座標情報を取得する。領域分割の方式でキーポイントを検出することができる。一般的には、1フレームの画像を規則的な８０×６０個の領域に分割し、続いて、キーポイントをその所在する領域と対応付ける。
ＦＡＳＴ特徴点検出（ｆｅａｔｕｒｅｓ ｆｒｏｍ ａｃｃｅｌｅｒａｔｅｄ ｓｅｇｍｅｎｔ ｔｅｓｔ）の方式又はＨａｒｒｉｓコーナー検出（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ）の方式で、第１画像から複数の第１の２Ｄキーポイントを取得することができる。
実際の適用において、キーポイントの代わりにライン（ｌｉｎｅｓ）又はエッジ（ｅｄｇｅｓ）等を用いることができるが、本実施例において、ポイント（ｐｏｉｎｔｓ）を例として紹介するが、これは本出願の実施例を限定するものではないことに留意されたい。
ステップ１０３おいて、上記画像収集装置が対象物の第２画像を取得する。
本実施例において、画像収集装置が第２画像を更に取得する。第２画像と第２画像が同一の対象物からのものであることが理解されるべきである。つまり、第１画像と第２画像は、対象物に対して撮影した二つの異なる画面である。
ステップ１０４おいて、上記画像収集装置が第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得し、第１の２Ｄキーポイントと第２の２Ｄキーポイントは、異なる画像に位置する同一のキーポイントであり、第１画像が第２画像の前のいずれかの１フレームの画像である。
本実施例において、新たな１フレームの画像をロードするとき、該画像を第２画像と見なすことができる。換言すれば、第２画像は、第１画像の後に現れた新たな１フレームの画像である。第１画像から第１の２Ｄキーポイントを取得した後、キーポイント追跡アルゴリズム（例えば、Ｌｕｃａｓ－Ｋａｎａｄｅピラミッド追跡アルゴリズム）でこれらの第１の２Ｄキーポイントの現在の第２画像における２Ｄ位置を算出し、即ち、第２の２Ｄキーポイントの座標情報を得る。
第１の２Ｄキーポイントと第２の２Ｄキーポイントは物理的には同一のキーポイントであるが、位置の変化があるため、対応する座標情報も変わる。従って、「第１」及び「第２」で同一のキーポイントを表現する。
同様に、後続の新たな画像を更にロードするとき、依然としてキーポイント追跡アルゴリズムで前フレームの画像における２Ｄキーポイントの、新たにロードされた画像における２Ｄ位置を算出する必要がある。このように、ｋ番目のフレームの画像の処理も同様であるため、ここで詳細な説明を省略する。
ステップ１０５おいて、上記画像収集装置が上記対象物に対応する３Ｄキーポイントの座標情報を取得し、上記３Ｄキーポイントが三角化処理されたキーポイントである。
本実施例において、画像収集装置は３Ｄキーポイントを取得し、３Ｄキーポイントの座標情報を決定することができる。３Ｄキーポイントの座標情報は、主に６つの次元の座標情報、即ち３つの方向変位及び３つの角度を含む。
ここで、３Ｄキーポイントは、前フレームの画像における三角化処理に成功したキーポイントである。
ステップ１０６おいて、上記画像収集装置が第１の２Ｄキーポイントの座標情報、第２の２Ｄキーポイントの座標情報及び３Ｄキーポイントの座標情報に基づいて、第２画像のカメラ姿勢情報を決定し、上記カメラ姿勢情報が第２画像における対象物の位置を決定するためのものである。
本実施例において、画像収集装置は、第１の２Ｄキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報に基づいて２Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓを得ることができ、さらに３Ｄキーポイントの座標情報に基づいて３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓを得るとともに、２Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ及び３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓを用いて第２画像のカメラ姿勢情報を決定する。ここで、カメラ姿勢情報は、第２画像における対象物の位置を決定するためのものであり、カメラ姿勢情報は、第２画像の撮影空間情報を示すことができる。対象物は一般的には撮影された実物対象である。なお、カメラ姿勢情報は、後に入ってくる画像に、対応する３Ｄキーポイント及び３Ｄキーポイントの座標情報を取得させるためのものである。
本出願の実施例において、画像収集装置の情報決定方法を提供し、該方法において、まず、画像収集装置が第１画像における第１の２Ｄキーポイントの座標情報を取得し、続いて第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得する。ここで、第１の２Ｄキーポイントと第２の２Ｄキーポイントは異なる画像に位置する同一のキーポイントであり、第１画像は第２画像の前のいずれか１フレームの画像である。続いて３Ｄキーポイントの座標情報を取得し、最後に、第１の２Ｄキーポイントの座標情報、第２の２Ｄキーポイントの座標情報及び３Ｄキーポイントの座標情報に基づいて、第２画像のカメラ姿勢情報を決定する。カメラ姿勢情報は、第２画像における対象物の位置を決定するためのものである。上記方式により、３Ｄキーポイントの座標情報及び第２の２Ｄキーポイント座標情報によるカメラ姿勢情報への影響を考慮すると共に、第１の２Ｄキーポイントの座標情報も考慮する。換言すれば、本考案は、３Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓと２Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓを組み合わせることで、第２画像のカメラ姿勢情報を推定すると同時に、より多くのキーポイントを得ることができ、カメラ姿勢情報の誤差を低減させると共に、追跡したキーポイントの数が少なすぎることによって追跡で見失うことを避けることもできる。
任意選択的に、上記図４に対応する実施例の上で、本出願の実施例により提供される画像収集装置の情報決定方法の第１任意選択的な実施例において、画像収集装置が第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得する前に、
画像収集装置が第２画像における第２の２Ｄキーポイントの数が閾値に達したかどうかを判定することと、
第２の２Ｄキーポイントの数が閾値に達した場合、画像収集装置が第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得するステップを開始することとを更に含む。
本実施例において、用いられる２Ｄ－２Ｄキーポイント追跡アルゴリズムは、熟達して安定したアルゴリズムであり、追跡に成功したキーポイントの数が足りないことを発見する場合、システムは追跡に失敗したと見なす。
具体的には、まず画像収集装置は、例えば５０のような閾値を予め設定し、続いて、第１画像から第２画像までのキーポイントの数が閾値に達したかどうかを判定する。実際な適用において、二種類の判定方式がある。第１方式は、第１画像における第１の２Ｄキーポイントの数が１００であるとし、第２画像における第２の２Ｄキーポイントの数が７０であるとすれば、両者の差は３０であるため、所定の閾値未満であると見なすことである。第２方式は、第２画像における第２キーポイントの数を直接取得することである。第２方式は、第１方式に比べて、より容易に実現可能であり、２つの画像におけるキーポイントの数の統計を必要とせず、システムの効率を高める。
第２の２Ｄキーポイントの数が閾値に達した場合、これらの第２の２Ｄキーポイントの座標情報を更に取得することができる。
その後に新たな画像を更にロードする場合、依然として、追跡に成功したキーポイントの数が十分であるかどうかを検出する（即ち、所定の閾値と比較）必要があり、キーポイントの数が十分であれば、キーポイントの座標情報を引き続き取得することが理解されるべきである。
次に、本出願の実施例において、画像収集装置が第２の２Ｄキーポイントの座標情報を取得する前に、第２の２Ｄキーポイントを取得し、これらの第２の２Ｄキーポイントの数が閾値に達したかどうかを判定し、閾値に達した場合、第２の２Ｄキーポイントの座標情報を引き続き取得する。上記方式によれば、取得された第２の２Ｄキーポイントの数が閾値に達することを確保し、追跡したキーポイントの数が少なすぎることによって追跡で見失うことを避けることができ、これにより解決手段の実用性及び利用可能性を向上させる。
任意選択的に、上記図４又は図４に対応する第１実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第２任意選択的な実施例において、画像収集装置が第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得することは、
第１画像から第１の２Ｄキーポイントを決定することと、
第１画像から第１の２Ｄキーポイントに対応する第２の２Ｄキーポイントを決定することと、
第１の２Ｄキーポイントの座標情報と変位情報に基づいて、第２の２Ｄキーポイントの座標情報を決定し、変位情報が第１の２Ｄキーポイントから第２の２Ｄキーポイントまでの移動距離であることとを更に含むことができる。
本実施例において、第２画像における第２の２Ｄキーポイントの座標情報を如何に取得するかについて説明する。具体的には、第２の２Ｄキーポイント座標情報の取得方式は、まず第１画像から第１の２Ｄキーポイントを取得してもよい。無論、ここでの第１の２Ｄキーポイントは一般的には複数であり、理解を容易にするために、そのうちの１つの第１の２Ｄキーポイントを例として説明する。
本実施例において、Ｌｕｃａｓ－Ｋａｎａｄｅピラミッド追跡アルゴリズムで第２の２Ｄキーポイントの座標位置を決定することができる。第１画像においてピラミッドが存在し、ピラミッドの頂点が第１の２Ｄキーポイントであって、該第１の２Ｄキーポイントの座標情報が（ａ，ｂ）であり、１秒間後にカメラが変位し、第２画像を得て、第２画像においてピラミッドの頂点が依然として存在するが、変位が発生し、上へ距離αだけ移動して左へ距離βだけ移動するとすれば、変位情報を用いて第２の２Ｄキーポイントの座標情報（ａ＋α，ｂ－β）を得る。
上記座標情報は例示的なものに過ぎず、実際な適用において、座標情報は、角度などのような他の方式で表示されてもよく、なお、変位情報について対応する方式を使用し、ここで、限定されないことが理解されるべきである。
また、本出願の実施例において第２画像の第２の２Ｄキーポイント座標情報を取得する過程において、まず第１画像から第１の２Ｄキーポイントを決定し、続いて第２画像から該２Ｄキーポイントを見つけ、即ち第２の２Ｄキーポイントを見つけ、更に２つのキーポイントの間の変位情報に基づいて第２の２Ｄキーポイントの座標情報を導出する。上記方式によれば、第２の２Ｄキーポイントを正確に測位することができ、解決手段の実現のために利用可能な方法を提供し、解決手段の実用性及び操作可能性を向上させる。
任意選択的に、上記図４に対応する第１実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第３任意選択的な実施例において、画像収集装置が第２画像における第２の２Ｄキーポイントの数が閾値に達したかどうかを判定した後、
第２の２Ｄキーポイントの数が閾値に達していない場合、画像収集装置が第１画像からｎ個のキーポイントを取得し、第２の２Ｄキーポイントとｎ個のキーポイントの数の合計を閾値に達すようにし、ここで、ｎが正整数であり、ｎ個のキーポイントが第１画像に対応するターゲット領域から取得されたものであり、第１画像が複数の均等に分割される領域を含み、ターゲット領域におけるキーポイントの数がキーポイントの所定の閾値未満であることと、
画像収集装置が第１の２Ｄキーポイントの座標情報及びｎ個のキーポイントの座標情報に基づいて、第２画像におけるｎ個のキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報を取得することとを更に含むことができる。
その後に新たな画像を更にロードする場合、依然として、追跡に成功したキーポイントの数が十分であるかどうかを検出する（即ち、所定の閾値と比較）必要があり、キーポイントの数が十分でなければ、足りないキーポイントに対応する領域においてより多くのキーポイントを検出する必要があり（ここで現在のフレームの画像の前フレームの画像においてキーポイントを検出することに留意されたい）、続いて前フレームにおけるキーポイントから現在のフレームの画像まで追跡することが理解されたい。このように、ｋフレーム目の画像の処理方式も同様である。
また、本出願の実施例において、上記方式によれば、取得された第２の２Ｄキーポイントの数が閾値に達することを確保し、追跡した第２の２Ｄキーポイントの数が少なすぎることによって追跡で見失うことを避けることができ、これにより解決手段の実用性及び利用可能性を向上させる。
任意選択的に、上記図４に対応する第３実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第４任意選択的な実施例において、画像収集装置が第１の２Ｄキーポイントの座標情報及びｎ個のキーポイントの座標情報に基づいて、第２画像における上記第２の２Ｄキーポイントの座標情報を取得することは、
第１画像から第１の２Ｄキーポイント及びｎ個のキーポイントを決定することと、
第１画像から第１の２Ｄキーポイント及びｎ個のキーポイントに対応する第２の２Ｄキーポイントを決定することと、
第１の２Ｄキーポイントの座標情報、ｎ個のキーポイントの座標情報及び変位情報に基づいて、第２画像におけるｎ個のキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報を決定し、変位情報が第１の２Ｄキーポイントから第２の２Ｄキーポイントまでの移動距離と、ｎ個のキーポイントから第２の２Ｄキーポイントまでの移動距離とを含むこととを含む。
本実施例において、第２画像における第２の２Ｄキーポイントの座標情報及びｎ個のキーポイントの座標情報を如何に取得するかについて説明する。具体的には、第２の２Ｄキーポイント座標情報の取得方式において、まず第１画像から第１の２Ｄキーポイントを取得してもよい。無論、ここでの第１の２Ｄキーポイントは一般的には複数である。それと同時に、第１画像からｎ個のキーポイントを取得し、ｎは正整数である。
第１画像において１つの２Ｄキーポイントを見つけ、該２Ｄキーポイントが第１の２Ｄキーポイント及びｎ個のキーポイントのうちのいずれか１つであるとすれば、同様に、上記図４に対応する第２任意選択的な実施例によれば変位情報及びキーポイント情報に基づいて第２の２Ｄキーポイントの座標情報を決定することができ、ここで詳細な説明を省略する。
任意選択的に、上記図４に対応する実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第５任意選択的な実施例において、第２画像のカメラ姿勢情報を決定した後、
画像収集装置が第１の２Ｄキーポイントの座標情報、第２の２Ｄキーポイントの座標情報、第１画像のカメラ姿勢情報及び第２画像のカメラ姿勢情報に対して三角化処理を行い、選択待ちの３Ｄキーポイント及び選択待ちの３Ｄキーポイントの座標情報を得ることと、
画像収集装置が選択待ちの３Ｄキーポイントに基づいて、観測角度を決定し、観測角度が第１画像の中心点から選択待ちの３Ｄキーポイントまでの連結線と、第２画像の中心点から選択待ちの３Ｄキーポイントまでの連結線とがなす角度であることと、
観測角度が所定の角度を超えた場合、画像収集装置が選択待ちの３Ｄキーポイントの座標情報をターゲット３Ｄキーポイントの座標情報として決定することとを更に含むことができる。
本実施例において、後続の画像におけるターゲット３Ｄキーポイント及びターゲット３Ｄキーポイントに対応する座標情報を如何に決定するかについて説明する。
具体的には、まず第１の２Ｄキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報を取得し、続いて予め得られた第１画像に対応するカメラ姿勢情報を取得し、ステップ１０４で得られた第２画像に対応するカメラ姿勢情報を取得し、該４つの情報を組み合わせて三角化処理を行い、ターゲット３Ｄキーポイントを得る。
ここで、三角化における観測角度を評価する必要がある。理解を容易にするために、本出願の実施例における観測角度の決定を示す概略図である図５を参照する。図示されるように、観測角度とは、２つ画像の中心点位置からターゲット３Ｄキーポイントを観測した角度であり、これらのターゲット３Ｄキーポイントに対応する観測角度の大部分が小さすぎる場合、初期化誤差が大きいことを示す。この場合、システムに、初期化に失敗したとして表記する必要がある。その後に後フレームをロードする場合、初期化を再度試行する。
次に、本出願の実施例において、画像収集装置による３Ｄキーポイント座標情報の決定方式としては、まず、選択待ちの３Ｄキーポイントの座標情報を取得してから、選択待ちの３Ｄキーポイントの観測角度を取得し、観測角度が所定の角度を超えた場合、選択待ちの３Ｄキーポイントの座標情報をターゲット３Ｄキーポイントの座標情報として決定することであってもよい。上記方式によれば、観測角度が所定の角度より大きいターゲット３Ｄキーポイントを選択することができる。観測角度が大きい場合、ＳＬＡＭシステムの初期化誤差が小さいことを示し、解決手段の実用性及び操作可能性を向上させる。
任意選択的に、上記図４に対応する実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第６任意選択的な実施例において、画像収集装置が第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得した後、
画像収集装置が追跡レコードを生成し、追跡レコードが複数の画像における２Ｄキーポイントの座標情報を記録するためのものであり、追跡レコードにおける最初の画像が第１画像であり、追跡レコードにおける最後の画像が第２画像であり、第１画像と第２画像との間に少なくとも１つの画像が含まれることを更に含むことができる。
本実施例において、キーポイントに対応する追跡レコードを如何に生成するかについて具体的に説明する。理解を容易にするために、本出願の実施例における追跡レコード生成を示す概略図である図６を参照する。図示されるように、図面において４フレームの画像が表示され、それぞれｔフレーム目の画像、ｔ＋１フレーム目の画像、ｔ＋２フレーム目の画像及びｔ＋３フレーム目の画像であり、塗りつぶされた星は追跡キーポイントを示し、白抜きの星は追跡始点を示し、点線は追跡レコードを示す。
我々のシステムにおいて、あるフレームにおいて検出できたあるキーポイントから開始し、追跡で見失うこととなるまで、nフレームの画像を追跡し続ける。軌跡は丸ごと１つの追跡レコードと称される。各追跡レコードのデータ構成に、経過した各画像のフレーム番号、対応するフレームにおける２Ｄ座標、三角化に成功した対応する３Ｄポイントが存在するかどうか、及び異なるフレームで観測した最大観測角度等のデータを記録する。
追跡レコードは第１画像及び第２画像に関連しており、ここでの第１画像とは、追跡レコードにおける最初の画像を指し、第２画像は、追跡レコードにおける最後の画像を指す。従って、第１画像と第２画像との間に更に少なくとも１つの画像が含まれると言える。
次に、上記方式によれば、複数の画像における２Ｄキーポイントの座標情報を含む追跡レコードを得ることができる。該追跡レコードは各画像を経過した２Ｄキーポイントを追跡することができ、追跡レコードから所望の画像に対応する２Ｄキーポイント座標情報を迅速かつ正確に取得し、解決手段の利用可能性を向上させる。
任意選択的に、上記図４に対応する第６実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第７任意選択的な実施例において、画像収集装置が対象物に対応する３Ｄキーポイントの座標情報を取得することは、
追跡レコードに基づいて対象物の第３の２Ｄキーポイントの座標情報及び対象物の第４の２Ｄキーポイントの座標情報を取得し、第３の２Ｄキーポイントは第３画像に属し、第４の２Ｄキーポイントは第４画像に属し、第３画像及び第４画像がいずれも第１画像と第２画像との間に位置することと、
第１の２Ｄキーポイントの座標情報及び第３の２Ｄキーポイントの座標情報に対して三角化処理を行い、第１の３Ｄキーポイントの座標情報を得ることと、
第３の２Ｄキーポイントの座標情報及び第４の２Ｄキーポイントの座標情報に対して三角化処理を行い、第２の３Ｄキーポイントの座標情報を得ることと、
第１の３Ｄキーポイントの座標情報に基づいて第１観測角度を決定し、第２の３Ｄキーポイントの座標情報に基づいて第２観測角度を決定し、第１観測角度が第１画像の中心点から第１の３Ｄキーポイントまでの連結線と、第３画像の中心点から第１の３Ｄキーポイントまでの連結線とがなす角度であり、第２観測角度が第２画像の中心点から第２の３Ｄキーポイントまでの連結線と、第３画像の中心点から第２の３Ｄキーポイントまでの連結線とがなす角度であることと、
第１観測角度が第２観測角度を超えた場合、第１の３Ｄキーポイントの座標情報を対象物の３Ｄキーポイントの座標情報として決定することと、
第２観測角度が第１観測角度を超えた場合、第２の３Ｄキーポイントの座標情報を対象物の３Ｄキーポイントの座標情報として決定することとを含むことができる。
本実施例において、追跡レコードを如何に利用して最適な３Ｄキーポイントを得るかについて説明した。一般的には、追跡レコードに複数のフレームの画像の情報が含まれ、２つずつの画像の間で計算を行って３Ｄキーポイントを得て、最後に、最適な３Ｄキーポイントを選択する。ここで、ここでの複数のフレームの画像は、キーフレームの画像であってもよく、ＳＬＡＭシステムは、キーフレームに基づく技術を利用して履歴データをメンテナンスするためのデータ量を減少させる。キーフレームの選択及び管理は、簡単な規則的なフレームスキップによるものであってもよい。例えば、ｍフレーム毎に１フレームをキーフレームとして選択する。無論、キーフレームについて、簡単な発見的（ｈｅｕｒｉｓｔｉｃ）検査を行って、情報量が大きいキーフレームを保留してもよい。
具体的には、まず追跡レコードに基づいて第３の２Ｄキーポイントの座標情報及び第４の２Ｄキーポイントの座標情報を取得し、第３の２Ｄキーポイントは第３画像に属し、第４の２Ｄキーポイントは第４画像に属し、第３画像及び第４画像がいずれも第１画像と第２画像との間に位置する。続いて、第１の２Ｄキーポイントの座標情報、第３の２Ｄキーポイントの座標情報、第１画像のカメラ姿勢情報及び第３画像のカメラ姿勢情報に基づいて三角化処理し、第１の３Ｄキーポイントの座標情報を得る。第３の２Ｄキーポイントの座標情報、第４の２Ｄキーポイントの座標情報、第３画像のカメラ姿勢情報及び第４画像のカメラ姿勢情報に対して三角化処理を行い、第２の３Ｄキーポイントの座標情報を得る。実際の適用において、第１の２Ｄキーポイントの座標情報及び第４の２Ｄキーポイントの座標情報に基づいて三角化処理し、第３の３Ｄキーポイントの座標情報を得ることもできる。これにより、二つずつの画像に対応する３Ｄキーポイントの座標情報を得る。
この場合、上記図４に対応する第５の任意選択的な実施例で紹介した観測角度の決定方法によれば、第１の３Ｄキーポイントに対応する第１観測角度、第２の３Ｄキーポイントに対応する第２観測角度，及び第３の３Ｄキーポイントに対応する第３観測角度をそれぞれ得ることができる。第１観測角度、第２観測角度及び第３観測角度を比較し、最も大きい観測角度を選択し、それに対応する３Ｄキーポイントは所望の３Ｄキーポイントである。
本実施例において３つの観測角度を比較することを例として説明するが、これは本解決手段を限定するものではないことが理解されるべきである。
また、本出願の実施例において、画像収集装置が３Ｄキーポイント座標情報を決定する中で、追跡レコードを用いて複数のフレームの画像における２Ｄキーポイントをそれぞれ取得し、二つずつの画像における２Ｄキーポイントに対して三角化処理を行い、複数の３Ｄキーポイントを得る。これらの３Ｄキーポイントはそれぞれ１つの観測角度に対応し、最後に観測角度が最も大きい３Ｄキーポイントを選択する。上記方式によれば、追跡レコードに基づいて最も大きい観測角度に対応する３Ｄキーポイントを得ることができる。観測角度が大きい場合、ＳＬＡＭシステムの初期化誤差が小さいことを示し、解決手段の実用性及び操作可能性を向上させる。
任意選択的に、上記図４及び図４に対応する第１から第７の実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第８任意選択的な実施例において、第１の２Ｄキーポイントの座標情報、第２の２Ｄキーポイントの座標情報及び３Ｄキーポイントの座標情報に基づいて第２画像のカメラ姿勢情報を決定することは、
画像収集装置が３Ｄキーポイントの座標情報に基づいて３Ｄから２Ｄへの投影誤差を取得することと、
画像収集装置が第１の２Ｄキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得することと、
画像収集装置が３Ｄから２Ｄへの投影誤差及び２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出し、目的関数を最小化して解を求め、第２画像のカメラ姿勢情報を得ることとを含むことができる。
本実施例において、第２画像のカメラ姿勢情報を如何に取得するかについて説明した。
ここでの第１画像が追跡レコードにおける第１フレームの画像であってもよく、第２画像が追跡レコードにおける最後のフレームの画像であってもよいことが理解されるべきである。
ここで、コンピュータビジョンにおいて投影誤差を用いることが多い。例えば、平面のホモグラフィ行列及び投影行列を算出する場合、再投影誤差を用いてコスト関数を構築し、そして、該コスト関数を最小化して、ホモグラフィ行列又は投影行列を最適化することが多い。投影誤差を用いる理由として、ホモグラフィ行列の計算誤差を考慮するだけでなく、画像におけるポイントの測定誤差も考慮しているため、その精度は単一又は対称性変換誤差を用いる場合よりも高い。
エピポーラ距離は、移動復元構造問題からのものであり、二つのカメラの位置で生成した２つの画像には、特殊な幾何的関係がある。これは２Ｄ－２Ｄで二つのフレームの間のカメラの姿勢を求めるための基本モデルである。エピポーラ距離モデルがあれば、２Ｄ－２Ｄのカメラ姿勢を以下のプロセスで求めることができる。
複数組の対応し合うポイントによりフレーム間マッチングを行い、基本行列を求める。更に基本行列を分解して外部パラメータを求め、それによって回転量及び水平移動量を得る。それがカメラの姿勢と言える。
更に、本出願の実施例において、上記方式によれば、より正確なカメラ姿勢情報を得ることができる。該カメラ姿勢情報は、目的関数を最小化して求められた値であるため、最適解と見なされることができるため、第２画像における対象物の位置の正確度を向上させることができる。
任意選択的に、上記図４に対応する第８実施例の上で、本出願の実施例が提供する画像収集装置の情報決定方法の第９任意選択的な実施例において、画像収集装置が３Ｄキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報に基づいて、３Ｄから２Ｄへの投影誤差を取得することは、以下を含むことができる。
下記公式で３Ｄから２Ｄへの投影誤差を算出し、
Figure 0007000555000001
 ここで、Ａは３Ｄから２Ｄへの投影誤差を表し、Ｃ３Ｄ２Ｄは第２画像に投影した３Ｄキーポイントの集合を表し、ｕｉは第２の２Ｄキーポイントの座標情報を表し、πｘは３Ｄを２Ｄへ投影した投影関数を表し、投影関数はカメラ姿勢情報に関連しており、ｐｉは３Ｄキーポイントの座標情報を表す。
第１の２Ｄキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得することは、以下を含むことができる。
下記公式で２Ｄから２Ｄへのエピポーラ距離を算出し、
Figure 0007000555000002
 ここで、Ｂは２Ｄから２Ｄへのエピポーラ距離を表し、Ｃ２Ｄ２Ｄは第２の２Ｄキーポイントと第１の２Ｄキーポイントの集合を表し、λは所定の平衡定数を表し、所定の平衡定数は２Ｄから２Ｄへのエピポーラ距離と３Ｄから２Ｄへの投影誤差との間の差を所定の範囲内にするためのものであり、ｕｉ’は第１の２Ｄキーポイントの座標情報を表し、Ｆｘは第２画像と第１画像との間の基本行列を表し、投影関数はカメラ姿勢情報に関連している。
３Ｄから２Ｄへの投影誤差及び２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出することは以下を含むことができる。
下記公式で目的関数を算出し、
Figure 0007000555000003
 ここで、Ｅ（ｘ）は目的関数を表し、ｘは第２画像のカメラ姿勢情報を表す。
本実施例において、３Ｄはこの前に三角化に成功した３Ｄキーポイントであり、２Ｄは現在のフレームにおいて観測した３Ｄキーポイントの現在のフレームに対応する２Ｄ画像における座標である。ここで、３Ｄ-２Ｄの投影誤差及び２Ｄから２Ｄへのエピポーラ距離を同時に含む新たな目的関数を提出する。従って、新たな目的関数を最小化することでカメラ姿勢情報を求める。
求めようとするカメラ姿勢情報はｘとし、ｘが回転量Ｒ及び水平移動量ｔを含み、目的関数が以下のとおりである（以下の２Ｄキーポイントと３Ｄキーポイントの座標はいずれも同次座標の形態であり、例えば、２Ｄキーポイント［ｘ，ｙ］Ｔの同次座標が［ｘ，ｙ，１］Ｔであり、３Ｄキーポイント［ｘ，ｙ，ｚ］Ｔの同次座標が［ｘ，ｙ，ｚ，１］Ｔであり、ここでの符号Ｔは行列又はベクトルの転置を表すことに留意されたい）。
まず、下記公式で３Ｄから２Ｄへの投影誤差を算出し、
Figure 0007000555000004
 ここで、Ａは３Ｄから２Ｄへの投影誤差を表し、
Figure 0007000555000005
 は２のノルムを表し、Ｃ３Ｄ２Ｄは第２画像へ投影した３Ｄキーポイントの集合を表し、ｕｉは第２の２Ｄキーポイントの座標情報を表し、πｘは３Ｄを２Ｄへ投影した投影関数を表し、投影関数はカメラ姿勢情報に関連しており、ｐｉは３Ｄキーポイントの座標情報を表す。
続いて、下記公式で２Ｄから２Ｄへのエピポーラ距離を算出し、
Figure 0007000555000006
 ここで、Ｂは２Ｄから２Ｄへのエピポーラ距離を表し、Ｃ２Ｄ２Ｄは第２の２Ｄキーポイントと第１の２Ｄキーポイントの集合を表し、λは所定の平衡定数を表し、所定の平衡定数は２Ｄから２Ｄへのエピポーラ距離と３Ｄから２Ｄへの投影誤差との間の差を所定の範囲内にするためのものであり、ｕｉ’は第１の２Ｄキーポイントの座標情報を表し、Ｆｘは第２画像と第１画像との間の基本行列を表し、投影関数はカメラ姿勢情報に関連している。
公式（２）における（ｖ）ｊはベクトルｖのｊ番目の要素を取ることを表す。
最後に公式（１）と公式（２）を組み合わせて目的関数を算出し、
Figure 0007000555000007
 ここで、Ｅ（ｘ）は目的関数を表し、ｘは第２画像のカメラ姿勢情報を表す。
公式（２）は、サンプソン距離（Ｓａｍｐｓｏｎ ｄｉｓｔａｎｃｅ）と呼ばれる近似的なエピポーラ距離である。公式（3）におけるλは公式（１）と公式（２）を平衡させる重み値であり、実際の実験効果に基づいて選択するものである。目的関数は二次コストによる形態である。より安定した効果を得るために、実際の適用において凸最適化（ｒｏｂｕｓｔｉｆｙ）することができる。例えば、Ｈｕｂｅｒ関数を用いて、それぞれｒｏｂｕｓｔｉｆｙを行う。
目的関数を最小化して解を求める。求められた結果を有効にするために、ｘをパラメータ化し、線形最小自乗法（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ：ＬＭ）を利用して解を求める。最適解を求める過程において、他の方法でｘのおおまかな初期値を得てから、反復最適化を行うことで、局所最適解に陥ってしまうことが避けられる。
更に、本出願の実施例において、具体的な計算公式を提供し、対応する公式に応じて３Ｄから２Ｄへの投影誤差及び２Ｄから２Ｄへのエピポーラ距離をそれぞれ算出してから、両者を組み合わせて目的関数を得る。上記方式によれば、取得した目的関数の信頼性を向上させ、解決手段の利用可能性及び実用性を向上させることができる。
理解を容易にするために、以下、具体的な適用シーンを用いて本出願の実施例におけるカメラ姿勢情報の決定プロセスを詳細に説明する。本出願の実施例の適用シーンにおけるカメラ姿勢情報の決定を示すフローチャートである図７を参照すると、具体的には、以下のとおりである。
ステップＡ２０１において、まず新たな１フレームの画像をロードし始める。
ステップＡ２０２において、新たにロードされた該フレームの画像が第１フレームの画像であるかどうかを判定し、そうであれば、ステップＢ２０２へ進み、そうでなければ、ステップＢ２０１へ進む。
ステップＢ２０１において、前フレームの画像のキーポイントが閾値に達したかどうかを判定し、達した場合、ステップＢ２０４へ進み、そうでなければ、ステップＢ２０３へ進む。
ステップＢ２０２において、本出願の実施例のＳＬＡＭシステムでは、領域及び追跡レコードによる方式でキーポイントの検出及び追跡を管理する。第１フレームの画像Ｉ１から始まることを例として、まず画像において著しいキーポイントを検出してから、画像を規則的な領域に分割し、キーポイントとそれが位置する領域とを対応付ける。
ステップＢ２０３において、新たな１フレームの画像Ｉ３がロードされた後、まず、前フレームＩ２における追跡に成功したキーポイントの数が十分であるかどうかを検出する（即ち所定の閾値と比較する）必要があり、キーポイントの数が十分でなければ、足りないキーポイントに対応する領域においてより多くのキーポイントを検出する必要があり、ここでＩ２においてキーポイントを検出することに留意されたい。
ステップＢ２０４において、Ｉ２におけるキーポイントから現在のフレームＩ３まで追跡する。このように、ｋフレーム目の画像の処理方式も同様ように、新たな１フレームの画像Ｉ２がロードされたから、画像Ｉ１におけるキーポイントから２Ｄ－２Ｄのキーポイント追跡アルゴリズムでこれらのキーポイントの現在のフレームＩ２における２Ｄ位置を算出する。
ステップＢ２０５において、現在の画像のキーポイントの数が閾値に達したかどうかを判定し、達した場合、ステップＣ２０１へ進み、逆に、そうでなければ、ステップＢ２０６へ進む。
ステップＢ２０６において、システムの追跡に失敗したと判定することができる。
ステップＣ２０１において、システムを初期化するかどうかを更に判定し、そうであれば、ステップＤ２０１へ進み、逆に、そうでなければ、ステップＣ２０２へ進む。
ステップＣ２０２において、ここでの初期化方法としてホモグラフィによる従来方法を用いる。概略的に言えば、システムの初期化がまだ完了していない場合、現在のフレームにおける追跡に成功したキーポイントの、現在のフレームにおける２Ｄキーポイント座標及びその第１フレームにおける２Ｄキーポイント座標を利用してランダムサンプルコンセンサス（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ：ＲＡＮＳＡＣ）によってホモグラフィ行列を算出し、続いてホモグラフィ行列を分解して第１フレームに対する現在フレームの関連撮影姿勢（関連位置情報）を求め、最後に、求められた関連撮影姿勢を用いて２Ｄ－２Ｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅを三角化し、対応する３Ｄキーポイント座標を得る。ここで、Ｔｒｉａｎｇｕｌａｔｉｏｎにおける観測角度を評価する必要がある。これらの３Ｄキーポイントに対応する観測角度の大部分が小さすぎる場合、初期化誤差が大きいことを示す。この場合、システムを、初期化に失敗したと表記する必要がある。その後に後フレームをロードする場合、初期化を再度試行する。
ステップＣ２０３において、初期化に成功したかどうかを判定し、成功した場合、ステップＣ２０４へ進み、そうでなければ、ステップＡ２０１へ遷移する。
ステップＣ２０４において、システムの初期化に成功したと表記する。
ステップＤ２０１において、ここで、３Ｄ-２Ｄの投影誤差及び２Ｄから２Ｄへのエピポーラ距離を同時に含む新たな目的関数を考案する。従って、新たな目的関数を最小化することでカメラ姿勢情報を求める。
ステップＤ２０２において、ステップＤ２０１で得られたカメラ姿勢情報をオンラインで出力する。
ステップＥ２０１において、システムは、キーフレームに基づく技術で履歴データを維持するためのデータ量を減少させる（キーフレームの選択及び管理は、簡単な規則的フレームスキップによるものであってもよい。例えば、ｍフレーム毎に１フレームをキーフレームとして選択する。無論、キーフレームについて、簡単なｈｅｕｒｉｓｔｉｃ検査を行って、情報量が大きいキーフレームを保留してもよい）。キーフレームにおいて、三角化されていない追跡レコードについて、追跡レコードの始点及び終点を用いて三角化することで、追跡レコードに対応する３Ｄキーポイントを求め、その観測角度を検査し、大きい観測角度を有する３Ｄポイントを保留する。該工程は、各フレームについて行うことができ、キーフレームにおいて行うことに限られず、実際の計算速度に応じて調整可能である。
ステップＦ２０１において、局所的又は全体的なバンドル調整（ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ）及びループ検出並びに修正等のメカニズムを付加することで、システム全体の精度を高めることができる。これらのモジュールは相対的に独立しおり、同様に、従来のＳＬＡＭシステムを参考にして柔軟に加えることもできる。
以下、本出願の実施例における画像収集装置を詳しく説明する。図８を参照すると、本出願の実施例における画像収集装置３０は１つ又は複数のプロセッサと、１つ又は複数のプログラムユニットを記憶するメモリとを備え、上記プログラムユニットは上記プロセッサで実行され、上記プログラムユニットは、取得モジュール３０１と、抽出モジュール３０２と、決定モジュール３０３とを備え、
取得モジュール３０１は、対象物の第１画像を取得するように構成され、
抽出モジュール３０２は、上記取得モジュール３０１が取得した上記第１画像から上記対象物に対応する第１の２Ｄキーポイントの座標情報を抽出するように構成され、
上記取得モジュール３０１は、上記対象物の第２画像を取得するように更に構成され、
上記取得モジュール３０１は、上記抽出モジュール３０２が抽出した上記第１の２Ｄキーポイントの座標情報に基づいて上記第２画像の第２の２Ｄキーポイントの座標情報を取得するように更に構成され、上記第１の２Ｄキーポイントと上記第２の２Ｄキーポイントは上記対象物における同一のキーポイントであり、
上記取得モジュール３０１は、上記対象物に対応する３Ｄキーポイントの座標情報を取得するように更に構成され、上記３Ｄキーポイントは三角化処理されたキーポイントであり、
決定モジュール３０３は、上記抽出モジュール３０２が抽出した上記第１の２Ｄキーポイントの座標情報、上記取得モジュール３０１が取得した上記第２の２Ｄキーポイントの座標情報及び上記３Ｄキーポイントの座標情報に基づいて、上記第２画像のカメラ姿勢情報を決定するように構成され、上記カメラ姿勢情報は、上記第２画像における対象物の位置を決定するためのものである。
任意選択的に、図８に対応する実施例の上で、図９を参照する。本出願の実施例が提供する画像収集装置３０の別の実施例において、上記プログラムユニットは、
上記取得モジュール３０１が上記第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得する前に、上記第２画像における上記第２の２Ｄキーポイントの数が閾値に達したかどうかを判定するように構成される判定モジュール３０４と、
上記判定モジュール３０４が第２の２Ｄキーポイントの数が閾値に達したと判定する場合、上記第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得するステップを開始するように構成されるトリガモジュール３０５とを更に備える。
任意選択的に、図８又は図９に対応する実施例の上で、本出願の実施例が提供する画像収集装置３０の別の実施例において、
上記決定モジュール３０３は具体的には、上記第１画像から上記第１の２Ｄキーポイントを決定し、
上記第１画像から上記第１の２Ｄキーポイントに対応する第２の２Ｄキーポイントを決定し、
根据上記第１の２Ｄキーポイントの座標情報と変位情報に基づいて、上記第２の２Ｄキーポイントの座標情報を決定するように構成され、上記変位情報が第１の２Ｄキーポイントから第２の２Ｄキーポイントまでの移動距離である。
任意選択的に、図９に対応する実施例の上で、本出願の実施例が提供する画像収集装置３０の別の実施例において、
上記第２の２Ｄキーポイントの数が閾値に達していない場合、上記画像収集装置３０１が第１画像からｎ個のキーポイントを取得し、上記第２の２Ｄキーポイントとｎ個のキーポイントの数の合計を上記閾値に達すようにし、ここで、ｎが正整数であり、上記ｎ個のキーポイントが第１画像に対応するターゲット領域から取得されたものであり、上記第１画像が複数の均等に分割される領域を含み、ターゲット領域におけるキーポイントの数がキーポイントの所定の閾値未満であり、
上記第１の２Ｄキーポイントの座標情報及び上記ｎ個のキーポイントの座標情報に基づいて、上記第２画像における上記ｎ個のキーポイントの座標情報及び上記第２の２Ｄキーポイントの座標情報を取得する。
任意選択的に、上記図９に対応する実施例の上で、本出願の実施例が提供する画像収集装置３０の別の実施例において、
上記決定モジュール３０３は具体的には、上記第１画像から上記第１の２Ｄキーポイント及び上記ｎ個のキーポイントを決定し、
上記第１画像から上記第１の２Ｄキーポイント及び和上記ｎ個のキーポイントに対応する第２の２Ｄキーポイントを決定し、
上記第１の２Ｄキーポイントの座標情報、上記ｎ個のキーポイントの座標情報及び変位情報に基づいて、上記第２画像における上記ｎ個のキーポイントの座標情報及び上記第２の２Ｄキーポイントの座標情報を決定するように構成され、上記変位情報は上記第１の２Ｄキーポイントから上記第２の２Ｄキーポイントまでの移動距離、及び上記ｎ個のキーポイントから上記第２の２Ｄキーポイントまでの移動距離を含む。
任意選択的に、上記図８に対応する実施例の上で、本出願の実施例が提供する画像収集装置３０の別の実施例において、
上記画像収集装置３０２は、上記第２画像のカメラ姿勢情報を決定した後、上記第１の２Ｄキーポイントの座標情報、上記第２の２Ｄキーポイントの座標情報、上記第１画像のカメラ姿勢情報及び上記第２画像のカメラ姿勢情報に対して三角化処理を行い、選択待ちの３Ｄキーポイント及び上記選択待ちの３Ｄキーポイントの座標情報を得て、
上記選択待ちの３Ｄキーポイントに基づいて、観測角度を決定し、上記観測角度が上記第１画像の中心点から選択待ちの３Ｄキーポイントまでの連結線と、上記第２画像の中心点から上記選択待ちの３Ｄキーポイントまでの連結線とがなす角度であり、
上記観測角度が所定の角度を超えた場合、上記選択待ちの３Ｄキーポイントの座標情報をターゲット３Ｄキーポイントの座標情報として決定するように構成される。
次に、本出願の実施例において、画像収集装置による３Ｄキーポイント座標情報の決定方式は、まず、第１の２Ｄキーポイントの座標情報及び第２の２Ｄキーポイントの座標情報に対して三角化処理を行い、選択待ちの３Ｄキーポイントの座標情報を取得してから、選択待ちの３Ｄキーポイントの観測角度を取得し、観測角度が所定の角度を超えた場合、選択待ちの３Ｄキーポイントの座標情報をターゲット３Ｄキーポイントの座標情報として決定することであってもよい。上記方式によれば、観測角度が所定の角度より大きいターゲット３Ｄキーポイントを選択することができる。観測角度が大きい場合、ＳＬＡＭシステムの初期化誤差が小さいことを示し、解決手段の実用性及び操作可能性を向上させる。
任意選択的に、上記図８に対応する実施例の上で、図１０を参照する。本出願の実施例が提供する画像収集装置３０の別の実施例において、上記プログラムユニットは、
上記画像収集装置３０１が上記第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得した後、追跡レコードを生成し、上記追跡レコードが複数の画像における２Ｄキーポイントの座標情報を記録するためのものであり、上記追跡レコードにおける最初の画像が上記第１画像であり、上記追跡レコードにおける最後の画像が上記第２画像であり、上記第１画像と上記第２画像との間に少なくとも１つの画像が含まれるように構成される生成モジュール３０６を更に備える。
任意選択的に、上記図１０に対応する実施例の上で、本出願の実施例が提供する画像収集装置３０の別の実施例において、
上記取得モジュール３０１は具体的には、上記追跡レコードに基づいて上記対象物の第３の２Ｄキーポイントの座標情報及び上記対象物の第４の２Ｄキーポイントの座標情報を取得し、上記第３の２Ｄキーポイントは第３画像に属し、上記第４の２Ｄキーポイントは第４画像に属し、上記第３画像及び上記第４画像がいずれも上記第１画像と上記第２画像との間に位置し、
上記第１の２Ｄキーポイントの座標情報及び上記第３の２Ｄキーポイントの座標情報に対して三角化処理を行い、第１の３Ｄキーポイントの座標情報を得て、
上記第３の２Ｄキーポイントの座標情報及び上記第４の２Ｄキーポイントの座標情報に対して三角化処理を行い、第２の３Ｄキーポイントの座標情報を得て、
上記第１の３Ｄキーポイントの座標情報に基づいて第１観測角度を決定し、上記第２の３Ｄキーポイントの座標情報に基づいて第２観測角度を決定し、上記第１観測角度が上記第１画像の中心点から上記第１の３Ｄキーポイントまでの連結線と、上記第３画像の中心点から上記第１の３Ｄキーポイントまでの連結線とがなす角度であり、上記第２観測角度が上記第２画像の中心点から上記第２の３Ｄキーポイントまでの連結線と、上記第３画像の中心点から上記第２の３Ｄキーポイントまでの連結線とがなす角度であり、
上記第１観測角度が上記第２観測角度を超えた場合、上記第１の３Ｄキーポイントの座標情報を上記対象物の３Ｄキーポイントの座標情報として決定し、
上記第２観測角度が上記第１観測角度を超えた場合、上記第２の３Ｄキーポイントの座標情報を上記対象物の３Ｄキーポイントの座標情報として決定するように構成される。
任意選択的に、上記図８、図９又は図１０に対応する実施例の上で、本出願の実施例が提供する画像収集装置３０の別の実施例において、
上記決定モジュール３０３は具体的には、上記３Ｄキーポイントの座標情報に基づいて３Ｄから２Ｄへの投影誤差を取得し、
上記第１の２Ｄキーポイントの座標情報及び上記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得し、
上記３Ｄから２Ｄへの投影誤差及び上記２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出し、上記目的関数を最小化して解を求め、上記第２画像のカメラ姿勢情報を得るように構成される。
任意選択的に、上記図８、図９又は図１０に対応する実施例の上で、本出願の実施例が提供する画像収集装置３０の別の実施例において、
上記決定モジュール３０３は具体的には、下記公式で３Ｄから２Ｄへの投影誤差を算出するように構成され、
Figure 0007000555000008
 ここで、上記Ａは３Ｄから２Ｄへの投影誤差を表し、上記Ｃ３Ｄ２Ｄは上記第２画像に投影した３Ｄキーポイントの集合を表し、上記ｕｉは上記第２の２Ｄキーポイントの座標情報を表し、上記πｘは３Ｄを２Ｄへ投影した投影関数を表し、上記投影関数は上記カメラ姿勢情報に関連しており、上記ｐｉは上記３Ｄキーポイントの座標情報を表し、
上記決定モジュール３０３は具体的には、下記公式で２Ｄから２Ｄへのエピポーラ距離を算出するように構成され、
Figure 0007000555000009
 ここで、上記Ｂは上記２Ｄから２Ｄへのエピポーラ距離を表し、上記Ｃ２Ｄ２Ｄは上記第２の２Ｄキーポイントと上記第１の２Ｄキーポイントの集合を表し、上記λは所定の平衡定数を表し、上記所定の平衡定数は上記２Ｄから２Ｄへのエピポーラ距離と上記３Ｄから２Ｄへの投影誤差との間の差を所定の範囲内にするためのものであり、上記ｕｉ’は上記第１の２Ｄキーポイントの座標情報を表し、上記Ｆｘは上記第２画像と上記第１画像との間の基本行列を表し、上記投影関数は上記カメラ姿勢情報に関連している。
上記決定モジュール３０３は具体的には、下記公式で上記目的関数を算出するように構成され、
Figure 0007000555000010
 ここで、Ｅ（ｘ）は上記目的関数を表し、上記ｘは上記第２画像のカメラ姿勢情報を表す。
本出願の実施例は電子機器を更に提供する。該電子機器は、画像収集装置であってもよい。図１１に示すように、説明を容易にするために、本出願の実施例に関連する部分のみを示す。具体的な技術的細部が開示されていないものについて、本出願の実施例における方法を参照する。該画像収集装置は端末であってもよい。該端末は、携帯電話、タブレット、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、販売端末（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ：ＰＯＳ）、車載コンピュータ等の如何なる端末装置であってもよく、端末が携帯電話であることを例とする。
図１１は本出願の実施例が提供する端末に関連する携帯電話の一部の構成を示すブロック図である。図１１を参照すると、携帯電話は、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ：ＲＦ）回路４１０、メモリ４２０、入力ユニット４３０、表示ユニット４４０、センサ４５０、オーディオ回路４６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ Ｆｉｄｄｅｌｉｔｙ：ＷｉＦｉ）モジュール４７０、プロセッサ４８０及び電源４９０等の部材を備える、図１１に示した携帯電話の構成は携帯電話を限定するものではなく、図示よりも多く又は少なく部材を備えてもよく、幾つかの部材を組み合わせてもよく、異なる配置を適用してもよいことは、当業者であれば理解されるべきである。
以下、図１１を参照しながら、携帯電話の各構成部材を具体的に説明する。
ＲＦ回路４１０は、メッセージの送受信又は通話中において、信号の送受信を行い、特に、基地局の下りメッセージを受信した後、プロセッサ４８０に送信し、なお、設計された上りデータを基地局に送信するように構成される。一般的には、ＲＦ回路４１０は、アンテナ、少なくとも１つの増幅器、送受信機、結合器、低雑音増幅器（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ：ＬＮＡ）、デュプレクサ等を含むが、これらに限定されない。なお、ＲＦ回路４１０は更に、無線通信を介してネットワーク及び他の装置と通信することもできる。上記無線通信は、いずれか１つの通信規格又はプロトコルを用いることができる。グローバルモバイル通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＧＳＭ）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ：ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ：ＣＤＭＡ）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ：ＷＣＤＭＡ）、長期的発展（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ：ＬＴＥ）システム、電子メール、ショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ：ＳＭＳ）等を含むが、これらに限定されない。
メモリ４２０は、ソフトウェアプログラム及びモジュールを記憶するように構成される。プロセッサ４８０は、メモリ４２０に記憶されているソフトウェアプログラム及びモジュールを実行することで、携帯電話の各種の機能及びデータ処理を実行する。メモリ４２０は主にプログラム記憶領域及びデータ記憶領域を含む。ここで、プログラム記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーション（例えば音声再生機能、画像再生機能等）等を記憶することができる。データ記憶領域は、ユーザの利用に応じて作成されたデータ（例えばオーディオデータ、電話帳等）等を記憶することができる。なお、メモリ４２０は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリをふくんでもよく、例えば、少なくとも１つのディスク記憶装置、ラッシュメモリ又は他の揮発性固体記憶装置を含む。
入力ユニット４３０は、入力されたデジタル又は文字情報を受信し、携帯のユーザ設定及び機能制御に関連するキー信号の入力を発生するように構成される。具体的には、入力ユニット４３０は、タッチパネル４３１及び他の入力装置４３２を含んでもよい。タッチパネル４３１はタッチスクリーンとも称され、その上又はその付近におけるユーザのタッチ装置（例えば、ユーザにより手、タッチペン等の如何なる適した物体又は付属部材でタッチパネル４３１上又はタッチパネル４３１の附近で行われる操作）を収集し、所定のプログラムに応じて対応する接続装置を駆動することができる。任意選択的に、タッチパネル４３１はタッチ検出装置及びタッチコントローラという二部分を備える。ここで、タッチ検出装置はユーザのタッチ方位を検出し、タッチ操作による信号を検出し、信号をタッチコントローラに送信する。タッチコントローラは、タッチ検出装置からタッチ情報を受信して接触点座標に変換し、更にプロセッサ４８０に送信し、プロセッサ４８０からの命令を受信して実行する。なお、抵抗式、容量式、赤外線及び弾性表面波等のような複数の形態でタッチパネル４３１を実現させることができる。タッチパネル４３１に加えて、入力ユニット４３０は、他の入力装置４３２を備えることもできる。具体的には、他の入力装置４３２は、物理的なキーボード、ファンクションキー（例えば、ボリューム制御ボタン、スイッチボタン等）、トラックボール、マウス、操作レバー等のうちの一つ又は複数を含んでもよいが、これらに限らない。
表示ユニット４４０は、ユーザにより入力された情報又はユーザへ提供される情報及び携帯電話の様々なメニューを表示するように構成される。表示ユニット４４０は、表示パネル４４１を備えてもよい。任意選択的に、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＯＬＥＤ）等の形態で表示パネル４４１を配置してもよい。更に、タッチパネル４３１は、表示パネル４４１を覆うことができる。タッチパネル４３１は、その上又はその付近におけるタッチ操作を検出してから、プロセッサ４８０に転送し、タッチイベントのタイプを決定する。続いて、プロセッサ４８０は、タッチイベントのタイプに応じて表示パネル４４１において対応する視覚的出力を行う。図１１において、タッチパネル４３１と表示パネル４４１はそれぞれ二つの独立した部材として携帯電話の入力及び出力機能を実現させるが、幾つかの実施例において、タッチパネル４３１と表示パネル４４１を組み合わせて携帯電話の入力及び出力機能を実現させる。
携帯電話は、光センサ、運動センサ及び他のセンサのような、少なくとも１つのセンサ４５０を備えてもよい。具体的には、光センサは環境光センサ及び近接センサを含み、ここで、環境光センサは環境光の明るさに応じて表示パネル４４１の輝度を調整することができる。近接センサは、携帯電話が耳元に移動するとき、表示パネル４４１及び／又はバックライトをオフにすることができる。運動センサの一つとして、加速計センサは、各方向（一般的には３軸）における加速度の大きさを検出し、静止時に、重力の大きさ及び方向を検出することができ、また携帯電話の姿勢を識別するためのアプリケーション（例えば縦表示と横表示との切り替え、関連ゲーム、磁力計姿勢の補正）、振動による識別に関連する機能（例えば、歩数計、タップ）等に用いることができる。携帯電話に配置可能なジャイロスコープ、気圧計、湿度計、温度計、赤外線センサ等の他のセンサについて、ここで詳細な説明を省略する。
オーディオ回路４６０、スピーカー４６１、マイクロフォン４６２はユーザと携帯電話との間のオーディオインターフェースを構成することができる。オーディオ回路４６０は受信したオーディオデータを変換してから得られた電気信号をスピーカー４６１に伝送する。該スピーカー４６１により音声信号に変換して出力する。なお、マイクロフォン４６２は収集した音声信号を電気信号に変換する。オーディオ回路４６０は該信号を受信してからオーディオデータに変換し、更にオーディオデータをプロセッサ４８０に出力して処理する。続いてＲＦ回路４１０を介して別の携帯電話に送信するか、又はオーディオデータをメモリ４２０に出力して処理する。
ＷｉＦｉは、近距離無線転送技術である。携帯電話は、ＷｉＦｉモジュール４７０によれば、ユーザによる電子メールの送受信、ウェブページの閲覧、ストリーミング媒体へのアクセス等を支援することができる。それはユーザに無線型ブロードバンドインターネットアクセスを提供する。図１１は、ＷｉＦｉモジュール４７０を示したが、それは携帯電話の必須構成ではなく、本出願の実施例の本質を変更することなく、必要に応じて省略することができることが理解されるべきである。
プロセッサ４８０は携帯電話の制御センタである。それは様々なインタフェース及び回路により携帯電話の各部分に接続され、メモリ４２０に記憶されているソフトウェアプログラム及び／又はモジュールを運転又は実行し、且つメモリ４２０に記憶されているデータを呼び出すことで、携帯電話全体をモニタリングする。任意選択的に、プロセッサ４８０は、１つ又は複数の処理ユニットを備えることができる。任意選択的に、プロセッサ４８０は、アプリケーションプロセッサとモデムプロセッサを組み合わせてなるものであってもよい。ここで、アプリケーションプロセッサは主に、オペレーティングシステム、ユーザインタフェース及びアプリケーション等を処理し、モデムプロセッサは主に無線通信を処理する。上記モデムプロセッサはプロセッサ４８０に集積されなくてもよいことが理解されるべきである。
携帯電話は、各部材に給電する電源４９０（例えばバッテリ）を含む。任意選択的に、電源は電源管理システムを介してプロセッサ４８０に論理的に接続されることで、電源管理システムにより、充電、放電及び消費電力管理などの機能に対する管理を実現させる。
図示されていないが、携帯電話は、カメラ、ブルートゥースモジュール等を備えてもよく、ここで詳細な説明を省略する。
本出願の実施例において、該端末に含まれるプロセッサ４８０は更に以下の機能を有する。
対象物の第１画像を取得し、
上記第１画像から上記対象物に対応する第１の２Ｄキーポイントの座標情報を抽出し、
上記対象物の第２画像を取得し、
上記第１の２Ｄキーポイントの座標情報に基づいて上記第２画像の第２の２Ｄキーポイントの座標情報を取得し、上記第１の２Ｄキーポイントと上記第２の２Ｄキーポイントが上記対象物における同一のキーポイントであり、
上記対象物に対応する３Ｄキーポイントの座標情報を取得し、上記３Ｄキーポイントが三角化処理されたキーポイントであり、
上記第１の２Ｄキーポイントの座標情報、上記第２の２Ｄキーポイントの座標情報及び上記３Ｄキーポイントの座標情報に基づいて、上記第２画像のカメラ姿勢情報を決定し、上記カメラ姿勢情報が上記第２画像における上記対象物の位置を決定するためのものである。
任意選択的に、プロセッサ４８０は以下のステップを実行するように更に構成される。
上記第２画像における上記第２の２Ｄキーポイントの数が閾値に達したかどうかを判定し、
上記第２の２Ｄキーポイントの数が閾値に達した場合、上記第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得するステップを開始する。
任意選択的に、プロセッサ４８０は具体的には、以下のステップを実行するように構成される。
上記第１画像から上記第１の２Ｄキーポイントを決定し、
上記第１画像から上記第１の２Ｄキーポイントに対応する第２の２Ｄキーポイントを決定し、
上記第１の２Ｄキーポイントの座標情報と変位情報に基づいて、上記第２の２Ｄキーポイントの座標情報を決定し、上記変位情報が上記第１の２Ｄキーポイントから上記第２の２Ｄキーポイントまでの移動距離である。
任意選択的に、プロセッサ４８０は以下のステップを実行するように更に構成される。
上記第２の２Ｄキーポイントの数が閾値に達していない場合、上記第１画像からｎ個のキーポイントを取得し、上記第２の２Ｄキーポイントと上記ｎ個のキーポイントの数の合計を閾値に達すようにし、ここで、ｎが正整数であり、上記ｎ個のキーポイントが上記第１画像に対応するターゲット領域から取得されたものであり、上記第１画像が複数の均等に分割される領域を含み、ターゲット領域におけるキーポイントの数がキーポイントの所定の閾値未満であり、
上記第１の２Ｄキーポイントの座標情報及び上記ｎ個のキーポイントの座標情報に基づいて、上記第２画像における上記ｎ個のキーポイントの座標情報及び上記第２の２Ｄキーポイントの座標情報を取得する。
任意選択的に、プロセッサ４８０は具体的には、以下のステップを実行するように構成される。
上記第１画像から上記第１の２Ｄキーポイント及び上記ｎ個のキーポイントを決定し、
上記第１画像から上記第１の２Ｄキーポイント及び和上記ｎ個のキーポイントに対応する第２の２Ｄキーポイントを決定し、
上記第１の２Ｄキーポイントの座標情報、上記ｎ個のキーポイントの座標情報及び変位情報に基づいて、上記第２画像における上記ｎ個のキーポイントの座標情報及び上記第２の２Ｄキーポイントの座標情報を決定し、上記変位情報は上記第１の２Ｄキーポイントから上記第２の２Ｄキーポイントまでの移動距離、及び上記ｎ個のキーポイントから上記第２の２Ｄキーポイントまでの移動距離を含む。
任意選択的に、プロセッサ４８０は以下のステップを実行するように更に構成される。
上記第１の２Ｄキーポイントの座標情報、上記第２の２Ｄキーポイントの座標情報、上記第１画像のカメラ姿勢情報及び上記第２画像のカメラ姿勢情報に対して三角化処理を行い、選択待ちの３Ｄキーポイント及び上記選択待ちの３Ｄキーポイントの座標情報を得て、
上記選択待ちの３Ｄキーポイントに基づいて、観測角度を決定し、上記観測角度が上記第１画像の中心点から選択待ちの３Ｄキーポイントまでの連結線と、上記第２画像の中心点から上記選択待ちの３Ｄキーポイントまでの連結線とがなす角度であり、
上記観測角度が所定の角度を超えた場合、上記選択待ちの３Ｄキーポイントの座標情報をターゲット３Ｄキーポイントの座標情報として決定する。
任意選択的に、プロセッサ４８０は以下のステップを実行するように更に構成される。
追跡レコードを生成し、上記追跡レコードが複数の画像における２Ｄキーポイントの座標情報を記録するためのものであり、上記追跡レコードにおける最初の画像が上記第１画像であり、上記追跡レコードにおける最後の画像が上記第２画像であり、上記第１画像と上記第２画像との間に少なくとも１つの画像が含まれる。
任意選択的に、プロセッサ４８０は具体的には、以下のステップを実行するように構成される。
上記追跡レコードに基づいて上記対象物の第３の２Ｄキーポイントの座標情報及び上記対象物の第４の２Ｄキーポイントの座標情報を取得し、上記第３の２Ｄキーポイントは第３画像に属し、上記第４の２Ｄキーポイントは第４画像に属し、上記第３画像及び上記第４画像がいずれも上記第１画像と上記第２画像との間に位置し、
上記第１の２Ｄキーポイントの座標情報及び上記第３の２Ｄキーポイントの座標情報に対して三角化処理を行い、第１の３Ｄキーポイントの座標情報を得て、
上記第３の２Ｄキーポイントの座標情報及び上記第４の２Ｄキーポイントの座標情報に対して三角化処理を行い、第２の３Ｄキーポイントの座標情報を得て、
上記第１の３Ｄキーポイントの座標情報に基づいて第１観測角度を決定し、上記第２の３Ｄキーポイントの座標情報に基づいて第２観測角度を決定し、上記第１観測角度が上記第１画像の中心点から上記第１の３Ｄキーポイントまでの連結線と、上記第３画像の中心点から上記第１の３Ｄキーポイントまでの連結線とがなす角度であり、上記第２観測角度が上記第２画像の中心点から上記第２の３Ｄキーポイントまでの連結線と、上記第３画像の中心点から上記第２の３Ｄキーポイントまでの連結線とがなす角度であり、
上記第１観測角度が上記第２観測角度を超えた場合、上記第１の３Ｄキーポイントの座標情報を上記対象物の３Ｄキーポイントの座標情報として決定し、
上記第２観測角度が上記第１観測角度を超えた場合、上記第２の３Ｄキーポイントの座標情報を上記対象物の３Ｄキーポイントの座標情報として決定する。
任意選択的に、プロセッサ４８０は具体的には、以下のステップを実行するように構成される。
上記３Ｄキーポイントの座標情報に基づいて３Ｄから２Ｄへの投影誤差を取得し、
上記第１の２Ｄキーポイントの座標情報及び上記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得し、
上記３Ｄから２Ｄへの投影誤差及び上記２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出し、上記目的関数を最小化して解を求め、上記第２画像のカメラ姿勢情報を得る。
任意選択的に、プロセッサ４８０は具体的には、以下のステップを実行するように構成される。
下記公式で３Ｄから２Ｄへの投影誤差を算出し、
Figure 0007000555000011
 ここで、上記Ａは３Ｄから２Ｄへの投影誤差を表し、上記Ｃ３Ｄ２Ｄは上記第２画像に投影した３Ｄキーポイントの集合を表し、上記ｕｉは上記第２の２Ｄキーポイントの座標情報を表し、上記πｘは３Ｄを２Ｄへ投影した投影関数を表し、上記投影関数は上記カメラ姿勢情報に関連しており、上記ｐｉは上記３Ｄキーポイントの座標情報を表し、
上記第１の２Ｄキーポイントの座標情報及び上記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得することは、以下を含む。
下記公式で２Ｄから２Ｄへのエピポーラ距離を算出し、
Figure 0007000555000012
 ここで、上記Ｂは上記２Ｄから２Ｄへのエピポーラ距離を表し、上記Ｃ２Ｄ２Ｄは上記第２の２Ｄキーポイントと上記第１の２Ｄキーポイントの集合を表し、上記λは所定の平衡定数を表し、上記所定の平衡定数は上記２Ｄから２Ｄへのエピポーラ距離と上記３Ｄから２Ｄへの投影誤差との間の差を所定の範囲内にするためのものであり、上記ｕｉ’は上記第１の２Ｄキーポイントの座標情報を表し、上記Ｆｘは上記第２画像と上記第１画像との間の基本行列を表し、上記投影関数は上記カメラ姿勢情報に関連している。
３Ｄから２Ｄへの投影誤差及び２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出することは以下を含む。
下記公式で上記目的関数を算出し、
Figure 0007000555000013
 ここで、Ｅ（ｘ）は上記目的関数を表し、上記ｘは上記第２画像のカメラ姿勢情報を表す。
上記実施例において、全体的または部分的に、ソフトウェア、ハードウェア、ファームウェア又は如何なる組み合わせとして実現することができる。ソフトウェアを用いて実施される場合、全体的または部分的に、コンピュータプログラム製品の形態で実現できる。
上記コンピュータプログラム製品は１つ又は複数のコンピュータ命令を含む。上記コンピュータプログラム命令はコンピュータ上にロードされ実行されると、本出願の実施例による手順又は機能が全部又は部分的に生成される。上記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。上記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されるか、又は１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体へ伝送されてもよい。例えば、上記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ又はデータセンターから有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者回線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ：ＤＳＬ）又は無線（例えば赤外線、無線、マイクロ波等）方式で別のウェブサイト、コンピュータ、サーバ又はデータセンターに伝送される。上記コンピュータ可読記憶媒体はコンピュータに記憶可能な如何なる利用可能な媒体や１つ又は複数の利用可能な媒体を含むサーバ、データセンターを集積したデータ記憶装置であってもよい。上記利用可能な媒体は、磁性媒体（例えば、フレキシブルディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ：ＤＶＤ）、又は半導体媒体（例えばソリッドステートハードドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ：ＳＳＤ）等であってもよい。
説明の便宜のため、上述のシステム、装置及びユニットの具体的なワーキングプロセスは、上述の方法の実施例中の対応するプロセスを参照することができるので、ここでは、詳しい説明を省略することは、当業者であれば理解されるべきである。
本出願で提供されるいくつかの実施形態では、開示されたシステム、装置、および方法が、他の方式で実装され得ることを理解されたい。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記手段の分割はただロジック機能の分割で、実際に実現するときは他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本発明の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積されるユニットは、ハードウェアの形式で実現されてもよく、ソフトウェアの機能ユニットの形式で実現されてもよい。
上記集積されるユニットはソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本発明の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ設備（パソコン、サーバ、又はネットワーク装置など）に、本発明の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、Ｕディスク、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
以上は本発明の具体的な実施形態に過ぎず、本発明の保護の範囲はそれらに制限されるものではなく、前記実施例を参照して本発明を詳細に説明したが、当業者であれば、依然として前記各実施例に記載の技術提案を変更し、又はその一部の技術的特徴に等価置換を行うことができ、これらの変更や置換によって、対応する技術提案の本質が本発明の各実施例の技術提案の精神と範囲から逸脱することはないことが理解できる。

Claims (15)

  1. 拡張現実の表示方法であって、
    画像収集装置が、対象物の第１画像を取得することと、
    前記画像収集装置が、前記対象物に対応する第１の２Ｄキーポイントの座標情報を第１画像から抽出することと、
    前記画像収集装置が、前記対象物の第２画像を取得することと、
    前記画像収集装置が、前記第１の２Ｄキーポイントの座標情報に基づいて前記第２画像の第２の２Ｄキーポイントの座標情報を取得することであって、前記第１の２Ｄキーポイントと前記第２の２Ｄキーポイントが前記対象物における同一のキーポイントであることと、
    前記画像収集装置が、前記対象物に対応する３Ｄキーポイントの座標情報を取得することであって、前記３Ｄキーポイントが三角化処理されたキーポイントであることと、
    前記画像収集装置が、前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報及び前記３Ｄキーポイントの座標情報に基づいて、前記第２画像のカメラ姿勢情報を決定することであって、前記カメラ姿勢情報が前記第２画像における前記対象物の位置を決定するためのものであることと、
    前記画像収集装置が、付加画像情報を取得することと、
    前記画像収集装置が、前記第２画像、前記第２画像のカメラ姿勢情報及び前記付加画像情報に基づいて、拡張画像を生成することと、を含み、
    前記画像収集装置が前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報及び前記３Ｄキーポイントの座標情報に基づいて前記第２画像のカメラ姿勢情報を決定することは、
    前記３Ｄキーポイントの座標情報に基づいて３Ｄから２Ｄへの投影誤差を取得することと、
    前記第１の２Ｄキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得することと、
    前記３Ｄから２Ｄへの投影誤差及び前記２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出し、前記目的関数を最小化して解を求め、前記第２画像のカメラ姿勢情報を得ることと、を含むことを特徴とする、前記拡張現実の表示方法。
  2. 画像収集装置の姿勢情報の決定方法であって、
    前記画像収集装置が、対象物の第１画像を取得することと、
    前記画像収集装置が、前記対象物に対応する第１の２Ｄキーポイントの座標情報を前記第１画像から抽出することと、
    前記画像収集装置が、前記対象物の第２画像を取得することと、
    前記画像収集装置が、前記第１の２Ｄキーポイントの座標情報に基づいて前記第２画像の第２の２Ｄキーポイントの座標情報を取得することであって、前記第１の２Ｄキーポイントと前記第２の２Ｄキーポイントが前記対象物における同一のキーポイントであることと、
    前記画像収集装置が、前記対象物に対応する３Ｄキーポイントの座標情報を取得することであって、前記３Ｄキーポイントが三角化処理されたキーポイントであることと、
    前記画像収集装置が、前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報及び前記３Ｄキーポイントの座標情報に基づいて、前記第２画像のカメラ姿勢情報を決定することであって、前記カメラ姿勢情報が前記第２画像における前記対象物の位置を決定するためのものであることと、を含み、
    前記画像収集装置が前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報及び前記３Ｄキーポイントの座標情報に基づいて前記第２画像のカメラ姿勢情報を決定することは、
    前記３Ｄキーポイントの座標情報に基づいて３Ｄから２Ｄへの投影誤差を取得することと、
    前記第１の２Ｄキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得することと、
    前記３Ｄから２Ｄへの投影誤差及び前記２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出し、前記目的関数を最小化して解を求め、前記第２画像のカメラ姿勢情報を得ることと、を含むことを特徴とする、前記画像収集装置の姿勢情報の決定方法。
  3. 前記画像収集装置が前記第１の２Ｄキーポイントの座標情報に基づいて前記第２画像の第２の２Ｄキーポイントの座標情報を取得する前に、前記方法は、
    前記画像収集装置が、前記第２画像における前記第２の２Ｄキーポイントの数が閾値に達したかどうかを判定することと、
    前記第２の２Ｄキーポイントの数が閾値に達した場合、前記画像収集装置が前記第１の２Ｄキーポイントの座標情報に基づいて第２画像の第２の２Ｄキーポイントの座標情報を取得するステップを開始することと、を更に含むことを特徴とする
    請求項２に記載の方法。
  4. 前記画像収集装置が前記第１の２Ｄキーポイントの座標情報に基づいて前記第２画像の第２の２Ｄキーポイントの座標情報を取得することは、
    前記第１画像から前記第１の２Ｄキーポイントを決定することと、
    前記第１画像から前記第１の２Ｄキーポイントに対応する第２の２Ｄキーポイントを決定することと、
    前記第１の２Ｄキーポイントの座標情報と変位情報に基づいて、前記第２の２Ｄキーポイントの座標情報を決定することであって、前記変位情報が第１の２Ｄキーポイントから前記第２の２Ｄキーポイントまでの移動距離であることと、を更に含むことを特徴とする
    請求項２又は３に記載の方法。
  5. 前記画像収集装置が前記第２画像における前記第２の２Ｄキーポイントの数が閾値に達したかどうかを判定した後、前記方法は、
    前記第２の２Ｄキーポイントの数が閾値に達していない場合、前記画像収集装置が、前記第１画像からｎ個のキーポイントを取得し、前記第２の２Ｄキーポイントと前記ｎ個のキーポイントの数の合計を閾値に達するようにすることであって、前記ｎが正整数であり、前記ｎ個のキーポイントが前記第１画像に対応するターゲット領域から取得されたものであり、前記第１画像が複数の均等に分割される領域を含み、ターゲット領域におけるキーポイントの数がキーポイントの所定の閾値未満であることと、
    前記画像収集装置が、前記第１の２Ｄキーポイントの座標情報及び前記ｎ個のキーポイントの座標情報に基づいて、前記第２画像における前記ｎ個のキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報を取得することと、を更に含むことを特徴とする
    請求項３に記載の方法。
  6. 前記画像収集装置が前記第１の２Ｄキーポイントの座標情報及び前記ｎ個のキーポイントの座標情報に基づいて、前記第２画像における前記第２の２Ｄキーポイントの座標情報を取得することは、
    前記第１画像から前記第１の２Ｄキーポイント及び前記ｎ個のキーポイントを決定することと、
    前記第１画像から前記第１の２Ｄキーポイント及び前記ｎ個のキーポイントに対応する第２の２Ｄキーポイントを決定することと、
    前記第１の２Ｄキーポイントの座標情報、前記ｎ個のキーポイントの座標情報及び変位情報に基づいて、前記第２画像における前記ｎ個のキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報を決定することであって、前記変位情報が前記第１の２Ｄキーポイントから前記第２の２Ｄキーポイントまでの移動距離と、前記ｎ個のキーポイントから前記第２の２Ｄキーポイントまでの移動距離とを含むことと、を含むことを特徴とする
    請求項５に記載の方法。
  7. 前記画像収集装置が前記第２画像のカメラ姿勢情報を決定した後、前記方法は、
    前記画像収集装置が、前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報、前記第１画像のカメラ姿勢情報及び前記第２画像のカメラ姿勢情報に対して三角化処理を行い、選択待ちの３Ｄキーポイント及び前記選択待ちの３Ｄキーポイントの座標情報を得ることと、
    前記画像収集装置が、前記選択待ちの３Ｄキーポイントに基づいて、観測角度を決定することであって、前記観測角度が前記第１画像の中心点から前記選択待ちの３Ｄキーポイントまでの連結線と、前記第２画像の中心点から前記選択待ちの３Ｄキーポイントまでの連結線とがなす角度であることと、
    前記観測角度が所定の角度を超えた場合、前記画像収集装置が、前記選択待ちの３Ｄキーポイントの座標情報をターゲット３Ｄキーポイントの座標情報として決定することとを更に含むことを特徴とする
    請求項２に記載の方法。
  8. 前記画像収集装置が前記第１の２Ｄキーポイントの座標情報に基づいて前記第２画像の第２の２Ｄキーポイントの座標情報を取得した後、前記方法は、
    前記画像収集装置が追跡レコードを生成することであって、前記追跡レコードが複数の画像における２Ｄキーポイントの座標情報を記録するためのものであり、前記追跡レコードにおける最初の画像が前記第１画像であり、前記追跡レコードにおける最後の画像が前記第２画像であり、前記第１画像と前記第２画像との間に少なくとも１つの画像が含まれることを更に含むことを特徴とする
    請求項２に記載の方法。
  9. 前記画像収集装置が前記対象物に対応する３Ｄキーポイントの座標情報を取得することは、
    前記追跡レコードに基づいて前記対象物の第３の２Ｄキーポイントの座標情報及び前記対象物の第４の２Ｄキーポイントの座標情報を取得することであって、前記第３の２Ｄキーポイントが第３画像に属し、前記第４の２Ｄキーポイントが第４画像に属し、前記第３画像及び前記第４画像がいずれも前記第１画像と前記第２画像との間に位置することと、
    前記第１の２Ｄキーポイントの座標情報及び前記第３の２Ｄキーポイントの座標情報に対して三角化処理を行い、第１の３Ｄキーポイントの座標情報を得ることと、
    前記第３の２Ｄキーポイントの座標情報及び前記第４の２Ｄキーポイントの座標情報に対して三角化処理を行い、第２の３Ｄキーポイントの座標情報を得ることと、
    前記第１の３Ｄキーポイントの座標情報に基づいて第１観測角度を決定し、前記第２の３Ｄキーポイントの座標情報に基づいて第２観測角度を決定することであって、前記第１観測角度が前記第１画像の中心点から前記第１の３Ｄキーポイントまでの連結線と、前記第３画像の中心点から前記第１の３Ｄキーポイントまでの連結線とがなす角度であり、前記第２観測角度が前記第２画像の中心点から前記第２の３Ｄキーポイントまでの連結線と、前記第３画像の中心点から前記第２の３Ｄキーポイントまでの連結線とがなす角度であることと、
    前記第１観測角度が前記第２観測角度を超えた場合、前記第１の３Ｄキーポイントの座標情報を前記対象物の３Ｄキーポイントの座標情報として決定することと、
    前記第２観測角度が前記第１観測角度を超えた場合、前記第２の３Ｄキーポイントの座標情報を前記対象物の３Ｄキーポイントの座標情報として決定することとを含むことを特徴とする
    請求項８に記載の方法。
  10. 前記画像収集装置が前記３Ｄキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報に基づいて、３Ｄから２Ｄへの投影誤差を取得することは、
    Figure 0007000555000014
     という公式で３Ｄから２Ｄへの投影誤差を算出することであって、
    ここで、前記Ａは３Ｄから２Ｄへの投影誤差を表し、前記Ｃ３Ｄ２Ｄは前記第２画像に投影した３Ｄキーポイントの集合を表し、前記ｕｉは前記第２の２Ｄキーポイントの座標情報を表し、前記πｘは３Ｄを２Ｄへ投影した投影関数を表し、前記投影関数は前記カメラ姿勢情報に関連しており、前記ｐｉは前記３Ｄキーポイントの座標情報を表すことを含み、
    前記第１の２Ｄキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得することは、
    Figure 0007000555000015
     という公式で２Ｄから２Ｄへのエピポーラ距離を算出することであって、
    ここで、前記Ｂは前記２Ｄから２Ｄへのエピポーラ距離を表し、前記Ｃ２Ｄ２Ｄは前記第２の２Ｄキーポイントと前記第１の２Ｄキーポイントの集合を表し、前記λは所定の平衡定数を表し、前記所定の平衡定数は前記２Ｄから２Ｄへのエピポーラ距離と前記３Ｄから２Ｄへの投影誤差との間の差を所定の範囲内にするためのものであり、前記ｕｉ’は前記第１の２Ｄキーポイントの座標情報を表し、前記Ｆｘは前記第２画像と前記第１画像との間の基本行列を表し、前記投影関数は前記カメラ姿勢情報に関連していることを含み、
    ３Ｄから２Ｄへの投影誤差及び２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出することは、
    Figure 0007000555000016
     という公式で目的関数を算出することであって、
    ここで、Ｅ（ｘ）は前記目的関数を表し、前記ｘは前記第２画像のカメラ姿勢情報を表すことを含むことを特徴とする
    請求項２に記載の方法。
  11. 画像収集装置であって、１つ又は複数のプロセッサと、１つ又は複数のプログラムユニットを記憶するメモリとを備え、前記プログラムユニットは前記プロセッサで実行され、前記プログラムユニットは、取得モジュールと、抽出モジュールと、決定モジュールとを備え、
    前記取得モジュールは、対象物の第１画像を取得するように構成され、
    前記抽出モジュールは、前記取得モジュールによって取得された前記第１画像から前記対象物に対応する第１の２Ｄキーポイントの座標情報を抽出するように構成され、
    前記取得モジュールは、対象物の第２画像を取得するように更に構成され、
    前記取得モジュールは、前記抽出モジュールにより抽出された前記第１の２Ｄキーポイントの座標情報に基づいて前記第２画像の第２の２Ｄキーポイントの座標情報を取得するように更に構成され、前記第１の２Ｄキーポイントと前記第２の２Ｄキーポイントは前記対象物における同一のキーポイントであり、
    前記取得モジュールは、前記対象物に対応する３Ｄキーポイントの座標情報を取得するように更に構成され、前記３Ｄキーポイントは三角化処理されたキーポイントであり、
    前記決定モジュールは、前記抽出モジュールにより抽出された前記第１の２Ｄキーポイントの座標情報、前記取得モジュールにより取得された前記第２の２Ｄキーポイントの座標情報及び前記３Ｄキーポイントの座標情報に基づいて、前記第２画像のカメラ姿勢情報を決定するように構成され、前記カメラ姿勢情報は、前記第２画像における対象物の位置を決定するためのものであり、
    前記決定モジュールは、前記３Ｄキーポイントの座標情報に基づいて３Ｄから２Ｄへの投影誤差を取得し、前記第１の２Ｄキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得し、前記３Ｄから２Ｄへの投影誤差及び前記２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出し、前記目的関数を最小化して解を求め、前記第２画像のカメラ姿勢情報を得るように構成されることを特徴とする、前記画像収集装置。
  12. 画像収集装置であって、メモリと、プロセッサと、バスシステムとを備え、
    前記メモリは、プログラムを記憶するように構成され、
    前記プロセッサは前記メモリにおけるプログラムを実行するように構成され、具体的には、
    対象物の第１画像を取得するステップと、
    前記対象物に対応する第１の２Ｄキーポイントの座標情報を前記第１画像から抽出するステップと、
    前記対象物の第２画像を取得するステップと、
    前記第１の２Ｄキーポイントの座標情報に基づいて前記第２画像の第２の２Ｄキーポイントの座標情報を取得するステップであって、前記第１の２Ｄキーポイントと前記第２の２Ｄキーポイントが上記対象物における同一のキーポイントであるステップと、
    前記対象物に対応する３Ｄキーポイントの座標情報を取得し、前記３Ｄキーポイントが三角化処理されたキーポイントであるステップと、
    前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報及び前記３Ｄキーポイントの座標情報に基づいて、前記第２画像のカメラ姿勢情報を決定するステップであって、前記カメラ姿勢情報が前記第２画像における前記対象物の位置を決定するためのものであるステップと、を含み、
    前記バスシステムは、前記メモリと前記プロセッサを接続し、前記メモリと前記プロセッサが通信を行うようにするためのものであり、
    前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報及び前記３Ｄキーポイントの座標情報に基づいて前記第２画像のカメラ姿勢情報を決定するステップは、
    前記３Ｄキーポイントの座標情報に基づいて３Ｄから２Ｄへの投影誤差を取得するステップと、
    前記第１の２Ｄキーポイントの座標情報及び前記第２の２Ｄキーポイントの座標情報に基づいて、２Ｄから２Ｄへのエピポーラ距離を取得するステップと、
    前記３Ｄから２Ｄへの投影誤差及び前記２Ｄから２Ｄへのエピポーラ距離に基づいて目的関数を算出し、前記目的関数を最小化して解を求め、前記第２画像のカメラ姿勢情報を得るステップと、を含むことを特徴とする、前記画像収集装置。
  13. 前記プロセッサは
    前記第１の２Ｄキーポイントの座標情報、前記第２の２Ｄキーポイントの座標情報、前記第１画像のカメラ姿勢情報及び前記第２画像のカメラ姿勢情報に対して三角化処理を行い、選択待ちの３Ｄキーポイント及び前記選択待ちの３Ｄキーポイントの座標情報を得るステップと、
    前記選択待ちの３Ｄキーポイントに基づいて観測角度を決定するステップであって、前記観測角度が、前記第１画像の中心点から前記選択待ちの３Ｄキーポイントまでの連結線と、前記第２画像の中心点から前記選択待ちの３Ｄキーポイントまでの連結線とがなす角度であるステップと、
    前記観測角度が所定の角度を超えた場合、前記選択待ちの３Ｄキーポイントの座標情報をターゲット３Ｄキーポイントの座標情報として決定するステップを実行するように更に構成されることを特徴とする
    請求項１２に記載の画像収集装置。
  14. コンピュータ可読記憶媒体であって、コンピュータ上で実行されるとき、コンピュータに請求項１、又は請求項２から１０のいずれか一項に記載の方法を実行させる命令が記憶される、前記コンピュータ可読記憶媒体。
  15. 電子機器であって、プロセッサと、メモリとを備え、前記メモリには、少なく１つの命令が記憶されており、前記少なくとも１つの命令は、前記プロセッサによりロードされて実行され、請求項１、又は請求項２～１０のうちいずれか一項に記載の方法を実現させる、前記電子機器。
JP2020503262A 2017-07-31 2018-07-27 拡張現実の表示方法、姿勢情報の決定方法及び装置 Active JP7000555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710643376.8 2017-07-31
CN201710643376.8A CN109325978B (zh) 2017-07-31 2017-07-31 增强现实显示的方法、姿态信息的确定方法及装置
PCT/CN2018/097494 WO2019024793A1 (zh) 2017-07-31 2018-07-27 增强现实显示的方法、姿态信息的确定方法及装置

Publications (2)

Publication Number Publication Date
JP2020529065A JP2020529065A (ja) 2020-10-01
JP7000555B2 true JP7000555B2 (ja) 2022-02-10

Family

ID=65233503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503262A Active JP7000555B2 (ja) 2017-07-31 2018-07-27 拡張現実の表示方法、姿勢情報の決定方法及び装置

Country Status (6)

Country Link
US (2) US11222442B2 (ja)
EP (1) EP3664033A4 (ja)
JP (1) JP7000555B2 (ja)
KR (1) KR102321325B1 (ja)
CN (2) CN109325978B (ja)
WO (1) WO2019024793A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325978B (zh) * 2017-07-31 2022-04-05 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置
CN113987228A (zh) * 2018-06-20 2022-01-28 华为技术有限公司 一种数据库构建方法、一种定位方法及其相关设备
US11367208B2 (en) 2019-06-25 2022-06-21 Nvidia Corporation Image-based keypoint generation
US11619724B2 (en) * 2019-06-26 2023-04-04 Nvidia Corporation Calibration of multiple lidars mounted on a vehicle using localization based on a high definition map
CN112862976B (zh) * 2019-11-12 2023-09-08 北京超图软件股份有限公司 一种数据处理方法、装置及电子设备
CN113225613B (zh) * 2020-01-21 2022-07-08 北京达佳互联信息技术有限公司 图像识别、视频直播方法和装置
CN111523408B (zh) * 2020-04-09 2023-09-15 北京百度网讯科技有限公司 动作捕捉方法和装置
CN111862199B (zh) * 2020-06-17 2024-01-09 北京百度网讯科技有限公司 定位方法、装置、电子设备和存储介质
KR20220033924A (ko) * 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
CN112214625B (zh) * 2020-10-13 2023-09-01 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN114531580B (zh) * 2020-11-23 2023-11-21 北京四维图新科技股份有限公司 图像处理方法及装置
CN112419388A (zh) * 2020-11-24 2021-02-26 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质
CN112967339B (zh) * 2020-12-28 2023-07-25 北京市商汤科技开发有限公司 一种车辆位姿的确定方法、车辆控制方法及装置、车辆
CN118230203A (zh) * 2021-09-08 2024-06-21 荣耀终端有限公司 Ar翻译的处理方法及电子设备
CN114494334B (zh) * 2022-01-28 2023-02-03 北京百度网讯科技有限公司 调整三维姿态的方法、装置、电子设备及存储介质
CN115937305A (zh) * 2022-06-28 2023-04-07 北京字跳网络技术有限公司 图像处理方法、装置及电子设备
KR102616085B1 (ko) * 2022-11-14 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
KR102678964B1 (ko) * 2023-09-26 2024-06-28 주식회사 차세대아이씨티융합센터 사무실 3d 자리 배치도 구현 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304269A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2011047739A (ja) 2009-08-26 2011-03-10 Kddi Corp カメラパラメータのキャリブレーション装置及びプログラム
JP2017130042A (ja) 2016-01-20 2017-07-27 株式会社リコー 映像処理装置、映像処理方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
KR100980202B1 (ko) * 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR101085762B1 (ko) * 2009-07-02 2011-11-21 삼성에스디에스 주식회사 증강현실을 이용한 주얼리 착용 모습 디스플레이 장치 및 방법
CN101826206B (zh) * 2010-03-31 2011-12-28 北京交通大学 一种相机自定标的方法
WO2013069012A1 (en) * 2011-11-07 2013-05-16 Dimensional Perception Technologies Ltd. Method and system for determining position and/or orientation
US9148650B2 (en) * 2012-09-17 2015-09-29 Nec Laboratories America, Inc. Real-time monocular visual odometry
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
AU2013237718A1 (en) * 2013-10-04 2015-04-23 Canon Kabushiki Kaisha Method, apparatus and system for selecting a frame
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
JP6435750B2 (ja) * 2014-09-26 2018-12-12 富士通株式会社 ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9869863B2 (en) * 2015-10-05 2018-01-16 Unity IPR ApS Systems and methods for processing a 2D video
US10186024B2 (en) * 2015-12-29 2019-01-22 Texas Instruments Incorporated Method and system for real time structure from motion in a computer vision system
CN106778890A (zh) * 2016-12-28 2017-05-31 南京师范大学 基于sift匹配的云台相机姿态变化检测方法
CN109325978B (zh) * 2017-07-31 2022-04-05 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304269A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2011047739A (ja) 2009-08-26 2011-03-10 Kddi Corp カメラパラメータのキャリブレーション装置及びプログラム
JP2017130042A (ja) 2016-01-20 2017-07-27 株式会社リコー 映像処理装置、映像処理方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
X. Wang, et al.,，The use of object tracking in visual SLAM，2017 International Conference on Applied System Innovation (ICASI)，米国，2017年05月13日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7988567
上田 雄大，外１名，携帯情報端末に適した効率の良い自己位置推定および地図生成アルゴリズム，電子情報通信学会技術研究報告 Ｖｏｌ．１１２ Ｎｏ．１９８，日本，一般社団法人電子情報通信学会 ，2012年，第112巻

Also Published As

Publication number Publication date
US20200167955A1 (en) 2020-05-28
CN109325978A (zh) 2019-02-12
CN110533723B (zh) 2022-03-01
EP3664033A1 (en) 2020-06-10
WO2019024793A1 (zh) 2019-02-07
EP3664033A4 (en) 2020-12-02
US20220092817A1 (en) 2022-03-24
US11222442B2 (en) 2022-01-11
CN109325978B (zh) 2022-04-05
JP2020529065A (ja) 2020-10-01
CN110533723A (zh) 2019-12-03
KR102321325B1 (ko) 2021-11-02
US11763487B2 (en) 2023-09-19
KR20200027029A (ko) 2020-03-11

Similar Documents

Publication Publication Date Title
JP7000555B2 (ja) 拡張現実の表示方法、姿勢情報の決定方法及び装置
US11100649B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CN102388406B (zh) 使用便携式电子设备记录产生三维模型
JP5799521B2 (ja) 情報処理装置、オーサリング方法及びプログラム
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111145352A (zh) 一种房屋实景图展示方法、装置、终端设备及存储介质
CN102142081B (zh) 图像处理设备、图像处理方法、以及程序
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
CN108985220A (zh) 一种人脸图像处理方法、装置及存储介质
CN112733641B (zh) 物体尺寸测量方法、装置、设备及存储介质
CN102750536A (zh) 图像处理设备、图像处理方法和程序
Rahman et al. Spatial-geometric approach to physical mobile interaction based on accelerometer and IR sensory data fusion
Abbas et al. Augmented reality-based real-time accurate artifact management system for museums
CN112788443B (zh) 基于光通信装置的交互方法和系统
CN105739684B (zh) 具有手势校准机制的电子系统及其操作方法
US20220390250A1 (en) User Equipment and Control Method Thereof
CN114241046A (zh) 数据标注方法、装置、计算机设备及存储介质
JP2024128528A (ja) 物品管理システム、物品管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211223

R150 Certificate of patent or registration of utility model

Ref document number: 7000555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150