JP7249390B2

JP7249390B2 - 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム

Info

Publication number: JP7249390B2
Application number: JP2021136196A
Authority: JP
Inventors: フォンセカエリック; イリッチアレクサンダー
Original assignee: エムエルネザーランズセー．フェー．
Priority date: 2015-12-31
Filing date: 2021-08-24
Publication date: 2023-03-30
Anticipated expiration: 2036-12-30
Also published as: EP3398168B1; CN109074660A; JP2019501473A; JP2021192250A; JP6934887B2; WO2017115149A1; EP3398168A1; US11631213B2; US20210209835A1; CN115359207A; KR20180121494A; CN109074660B; EP4053795A1

Description

（関連出願の相互参照）
本願は、２０１５年１２月３１日に出願され“ＡＭＥＴＨＯＤＡＮＤＳＹＳＴＥＭＦＯＲＲＥＡＬ－ＴＩＭＥ３ＤＣＡＰＴＵＲＥＡＮＤＬＩＶＥＦＥＥＤＢＡＣＫＷＩＴＨＭＯＮＯＣＵＬＡＲＣＡＭＥＲＡＳ”と題された米国仮出願第６２／２７３，８２１号に対する３５Ｕ．Ｓ．Ｃ．§１１９のもとでの利益を主張するものであり、該米国仮出願の全体は、参照により本明細書中に援用される。

ＲＧＢステレオ［１５、２２、２４］または赤外線ステレオシステム［２０－２３］に基づく、ハードウェア３Ｄカメラが、市場で利用可能である。周知のオフライン処理方法［３、８］に加えて、それらは、高フレームレートおよび低算出労力で高密度深度マップを提供し、リアルタイム３Ｄ再構成を伴うユーザ体験を可能にすることができる［１７、１８、２０、２２］。

一方、スマートフォンの内蔵カメラを活用する、単眼アプローチは、空間写真に向かう代替経路を示している。しかしながら、これらのアプローチは、多くの場合、捕捉の間、殆どまたは全くフィードバックを伴わない方法に依拠し、したがって、ハードウェア３Ｄカメラと比較して、低性能および低品質結果をもたらす。クラウドベースの処理または誘導捕捉アプローチを用いて生産された３Ｄモデルは、捕捉プロセスが完了された後のみ利用可能であって、それらは、その使用現場が非常に限定され、望ましくない結果につながる。

本発明者らは、３Ｄ画像を作成するための公知のシステムが、有意な付加的部品コスト、増加されるバッテリ消費、モバイルデバイスのためのより大きい形状因子の要件、一般的光条件（例えば、明るい太陽光）下における限定された性能、近または遠距距離に関する限定された性能等、大量生産オプションを妨げる、いくつかの限界を有することを認識および理解する。

本願は、３Ｄ走査を広く利用可能なものにする技法を説明する。実施形態は、カメラを伴うポータブル電子デバイス内に実装されてもよい。例証目的のために、スマートフォンが、そのようなポータブル電子デバイスの実施例として使用される。本明細書に説明されるような処理技法は、ポータブル電子デバイスのプロセッサが、処理を十分に高速で行い得ることで、３Ｄ画像が、十分な画像情報を伴ってリアルタイムで構築され、ユーザが、適正に走査されたオブジェクトの部分および付加的画像情報が取得されることを要求する部分を確認することを可能にし得るように、比較的に少量の処理電力を使用して、オブジェクトを描写する画像フレームをオブジェクトの３Ｄマップに組み立てることができる。例えば、「キーフレーム」（以下に説明されるように）は、約３００～６００ｍｓ以内に処理され得る一方、キーフレーム間のフレームは、約１０～５０ｍｓ以内に処理され得る。具体的実施例として、キーフレームは、市販のスマートフォンプロセッサを使用して、約５００ｍｓ以内に、他のフレームは、約２０ｍｓ以内に処理され得る。本速度における処理は、オブジェクトの可視化が、ポータブル電子デバイスを用いて走査されるにつれて、リアルタイムで提示されることを可能にする。

今日のスマートフォンは、ユーザおよび世界に面したカメラを有する。本明細書に説明されるような技法を用いることで、これらのカメラのいずれかまたは両方は、ハードウェア３Ｄカメラに類似する、３Ｄ感知能力のために向上されることができる。閉塞に起因して、オブジェクトのいくつかの角度は、信頼性のある３Ｄモデル化を確実にするために捕捉される必要がある。本発明者らは、リアルタイムフィードバックの望ましさと、オブジェクトの３Ｄモデルの品質を持続的に増加させる画像フレームを捕捉しながら、直感的ユーザフィードバックを提供するための技法とを認識する。本明細書に説明される捕捉技法の実施形態は、算出上、非常に効率的かつ適応的であって、標準的モバイルデバイス（いくつかの例示的実施形態では、単一カメラ、ＩＭＵセンサ、ディスプレイ等を備えてもよい）上で自律的に起動することができる。

本願は、通常のスマートフォン上で起動し得る、非常に効率的およびロバストな３Ｄ印刷可能モデルを作成するためのリアルタイムＷｈａｔ－Ｙｏｕ－Ｓｅｅ－Ｉｓ－Ｗｈａｔ－Ｙｏｕ－Ｇｅｔ（見たままが得られる）体験をもたらす、ソフトウェア３Ｄカメラアプローチ（すなわち、ハードウェア３Ｄカメラの出力性質をエミュレートする）を説明する。いくつかの実施形態では、本明細書に説明される処理は、スマートフォン内のプロセッサ上で実行するコンピュータ実行可能命令によって実装されてもよい。本処理は、ＧＰＵ等のスマートフォンハードウェアを使用してスマートフォンのディスプレイ上にレンダリングされ得る、オブジェクトの深度マップを生産してもよい。

説明される処理技法は、リアルタイムロボット工学の証明された原理［好適な技法に関しては、例えば、参考文献４、５、６、１０、１１（参照することによって本明細書に組み込まれる）参照］に基づいて構築され、３Ｄ走査のためのリアルタイムフィードバックシステムに適用され、ヒトが、カメラの移動を制御し、フィードバックとしてライブ３Ｄ再構成を確認する場面で使用され得る。

捕捉に関連する実施形態
いくつかの実施形態によると、本明細書に説明されるような技法は、画像を捕捉するために使用されてもよい。例えば、本技法は、ソフトウェアを使用して３Ｄカメラを実装するために使用されてもよい。本ソフトウェアは、画像を供給するカメラと、それらの画像を処理するプロセッサと、画像、および／または、画像および／または他の情報から構築されたモデルの視覚的表現を視覚的に表示する、ディスプレイとともに、ポータブル電子デバイス（スマートフォン等）上で実行し得る。代替として、または加えて、画像処理の一部または全部は、画像を捕捉するためのカメラを伴う電子デバイスに結合されるコンピューティングデバイス上で行われてもよい。いくつかの実施形態では、本明細書に説明されるような技法は、異なる視点からの画像フレームを捕捉するために移動されるポータブル電子デバイス上の単眼カメラを用いて取得された画像フレームを処理することによって、ハードウェア３Ｄカメラをシミュレートするために使用されてもよい。

いくつかの実施形態では、複数の画像フレームおよび確率的深度測定に基づくリアルタイム単眼深度カメラのためのシステムおよび方法が、提示される。

いくつかの実施形態では、本システムは、頻度トリガキーフレームアプローチを使用して、ハードウェア３Ｄカメラ（付加的飛行時間または構造化された光測定の有無を問わないステレオカメラ）に類似する一定レートで深度マップを提供する。そのようなアプローチは、例えば、捕捉されたフレームを具体的頻度における「キーフレーム」として指定することによって実装されてもよい。これらのキーフレームは、分析され、キーフレームに描写されるオブジェクトの表面上の多数の点と形成されている３Ｄ画像の視点を表す点との間の深度を表す高密度深度マップを含む、画像特性を判定してもよい。捕捉されている画像のシーケンス内のキーフレーム間のフレームは、処理され、低密度深度マップを生産してもよい。低密度深度マップは、高密度深度マップより少ない点に関して算出された深度を有し得る。いくつかの実施形態では、例えば、低密度深度マップは、高密度深度マップの６０～８０％、または４０～６０％、または２０～４０％、またはより少ない点を有してもよい。いくつかの実施形態では、低密度深度マップ内の点の数は、プロセッサ速度、フレーム捕捉レート、および／または画像のシーケンスが捕捉されている間のポータブル電子デバイスが移動されている速度等の要因に基づいて動的に選択されてもよい。介在画像の処理は、より低い分解能バージョンの画像上で行われてもよい。

いくつかの実施形態では、本システムは、運動ベースのキーフレームトリガ方略を使用して、デバイスの移動に基づいて、深度情報を提供する。

いくつかの実施形態では、本システムは、スマートフォンのユーザに面したカメラを使用して、画像フレームのシーケンスを捕捉する。

いくつかの実施形態では、本システムは、スマートフォンの世界に面したカメラを使用して、画像フレームのシーケンスを捕捉する。

いくつかの実施形態では、本システムは、ある光条件（例えば、ＴｏＦ／構造化の赤外線投影が機能しない明るい太陽光下）または距離（ハードウェア３ＤカメラのＩＲ投影が、３フィートを下回る非常に短距離または１０フィートを上回る距離等で動作に問題を有する）下におけるフェイルオーバーとしてハードウェア３Ｄカメラを補完するために使用される。

アプリベースの３Ｄ走査およびリアルタイムフィードバック（すなわち、再構成およびテクスチャ化された３Ｄメッシュのライブビューを作成する「見たままを得る」）
いくつかの実施形態では、単眼カメラを用いたリアルタイム３Ｄモデル再構成のためのシステムおよび方法が、提示される。そのようなシステムは、スマートフォン上で完全に、または本明細書に説明される処理の一部または全部が行われ得る、サーバまたは他のコンピューティングデバイスとの相互作用を通して、実行し得る、「アプリ」と見なされるフォーマットにおいて、スマートフォンのプロセッサ上での実行のためのエンコードされたコンピュータ実行可能命令として実装されてもよい。そのようなシステムの実施形態は、確率的深度マップに基づいて、局所的および大域的最適化を使用して、ユーザの支援を伴って、メッシュの品質をリアルタイムで改良する。

いくつかの実施形態では、本システムは、ライブメッシュ化およびテクスチャ化を使用して、十分な品質において捕捉された面積を可視化し、ユーザを誘導する。例えば、キーフレームから作成された高密度深度マップと他のフレームから作成された低密度深度マップの合成として作成された深度マップは、画像内のオブジェクトの表面を表すメッシュを作成するために使用されてもよい。メッシュによって示されるような表面の位置に基づいて選択された他の画像情報は、これらの表面の視覚的特性を判定するために使用されてもよい。

いくつかの実施形態では、本システムは、ライブメッシュ化および単純着色を使用して、捕捉進行度を可視化する。

いくつかの実施形態では、本システムは、先行物（すなわち、走査したものが把握されている）またはすでに走査された面積の単純着色を伴う基本ポリゴンに基づくフィードバックを使用する。

いくつかの実施形態では、本システムは、３Ｄ印刷適性のチェックを自動的に行い、したがって、捕捉の間、ユーザをより注意を要求する面積に向かって誘導する。

また、モバイルデバイスのみを使用することによってこのように以前不可能であった、３Ｄ印刷および動画［１］のための人々を３Ｄで捕捉する［２、７、９］ための完全エンドツーエンドユースケースを対象とする実施形態も説明される。
本発明は、例えば、以下を提供する。
（項目１）
複数の配向からの前記オブジェクトを描写する複数の画像フレームからオブジェクトの３Ｄ表現を形成する方法であって、
前記複数の画像フレームを反復的に受信するように構成される、少なくとも１つのコンピューティングデバイスを用いて、
前記複数の画像フレームのサブセットの処理に基づいて、前記オブジェクトについての３Ｄ情報を算出するステップと、
ユーザに、前記複数の画像のうちの少なくとも１つの画像および前記３Ｄ情報の合成を含む合成画像をレンダリングするステップと、
を含む、方法。
（項目２）
３Ｄ情報を算出するステップは、前記算出された情報が前記オブジェクトの領域を表す信頼度を判定するステップを含み、
前記合成画像をレンダリングするステップは、前記３Ｄ情報がより高い信頼度を有するオブジェクトの領域を前記３Ｄ情報がより低い信頼度を有するオブジェクトの領域から視覚的に区別するステップを含む、
項目１に記載の方法。
（項目３）
前記少なくとも１つのコンピューティングデバイスは、スマートフォンのプロセッサである、項目１に記載の方法。
（項目４）
前記少なくとも１つのコンピューティングデバイスは、ポータブル電子デバイスのプロセッサであり、
前記ポータブル電子デバイスは、カメラを備え、
前記方法はさらに、前記カメラを用いて前記複数の画像の第２の部分を捕捉しながら、前記複数の画像の第１の部分に基づいて形成される、前記合成画像を表示するステップを含む、
項目１に記載の方法。
（項目５）
前記３Ｄ情報を算出するステップは、前記複数の画像フレームの第１の部分を第１のより高い分解能で処理し、前記複数の画像フレームの第２の部分を第２のより低い分解能で処理するステップを含む、項目１に記載の方法。
（項目６）
前記複数の画像フレームは、カメラを用いて捕捉された画像フレームのストリームを備え、
前記３Ｄ情報を算出するステップは、前記第１の複数の画像フレームを前記ストリームから所定の頻度で選択するステップを含む、
項目５に記載の方法。
（項目７）
前記複数の画像フレームは、カメラを用いて捕捉された画像フレームのストリームを備え、
前記３Ｄ情報を算出するステップは、前記カメラの運動のレートに基づいて、前記第１の複数の画像フレームを前記ストリームから選択するステップを含む、
項目５に記載の方法。
（項目８）
前記合成画像をレンダリングするステップは、前記オブジェクトの特徴の３Ｄ場所を表すメッシュを前記オブジェクトの画像上に重畳するステップを含む、項目１に記載の方法。
（項目９）
前記合成画像をレンダリングするステップは、前記複数の画像のうちの少なくとも１つの画像に基づく表面特性を伴う３Ｄ情報に基づいて、表面を描写するステップを含む、項目１に記載の方法。
（項目１０）
３Ｄ情報を算出するステップは、前記算出された情報が前記オブジェクトの領域を表す信頼度を判定するステップを含み、
前記合成画像をレンダリングするステップは、前記３Ｄ情報がより高い信頼度を有するオブジェクトの領域を表す表面特性を伴う表面と、前記３Ｄ情報がより低い信頼度を有するオブジェクトの領域を表す表面特性を伴わない表面とを提示するステップを含む、
項目９に記載の方法。
（項目１１）
少なくとも１つのハードウェアプロセッサによって実行されると、複数の配向からの前記オブジェクトを描写する複数の画像フレームからオブジェクトの３Ｄ表現を形成する方法を行う、プロセッサ実行可能命令をエンコードする、非一過性コンピュータ可読媒体であって、前記方法は、反復的に、
前記複数の画像フレームのサブセットの処理に基づいて、前記オブジェクトについての３Ｄ情報を算出するステップと、
前記複数の画像のうちの少なくとも１つの画像および前記３Ｄ情報の合成を含む合成画像をレンダリングするステップと、
を含む、非一過性コンピュータ可読媒体。
（項目１２）
３Ｄ情報を算出するステップは、前記算出された情報が前記オブジェクトの領域を表す信頼度を判定するステップを含み、
前記合成画像をレンダリングするステップは、前記３Ｄ情報がより高い信頼度を有するオブジェクトの領域を前記３Ｄ情報がより低い信頼度を有するオブジェクトの領域から視覚的に区別するステップを含む、
項目１１に記載の非一過性コンピュータ可読媒体。
（項目１３）
前記コンピュータ実行可能命令は、スマートフォンのプロセッサによる実行のためにフォーマットされる、項目１１に記載の非一過性コンピュータ可読媒体。
（項目１４）
前記プロセッサ実行可能命令は、カメラと、ディスプレイとを備える、ポータブル電子デバイスのプロセッサによる実行のためにフォーマットされ、
前記方法はさらに、前記ディスプレイ上に、前記カメラを用いて前記複数の画像の第２の部分を捕捉しながら、前記複数の画像の第１の部分に基づいて形成される前記合成画像を表示するステップを含む、
項目１１に記載の非一過性コンピュータ可読媒体。
（項目１５）
前記３Ｄ情報を算出するステップは、前記複数の画像フレームの第１の部分を第１のより高い分解能で処理し、前記複数の画像フレームの第２の部分を第２のより低い分解能で処理するステップを含む、項目１１に記載の非一過性コンピュータ可読媒体。
（項目１６）
前記複数の画像フレームは、カメラを用いて捕捉された画像フレームのストリームを備え、
前記３Ｄ情報を算出するステップは、前記第１の複数の画像フレームを前記ストリームから所定の頻度で選択するステップを含む、
項目１５に記載の非一過性コンピュータ可読媒体。
（項目１７）
前記複数の画像フレームは、カメラを用いて捕捉された画像フレームのストリームを備え、
前記３Ｄ情報を算出するステップは、前記カメラの運動のレートに基づいて、前記第１の複数の画像フレームを前記ストリームから選択するステップを含む、
項目１５に記載の非一過性コンピュータ可読媒体。
（項目１８）
前記合成画像をレンダリングするステップは、前記オブジェクトの特徴の３Ｄ場所を表すメッシュを前記オブジェクトの画像上に重畳するステップを含む、項目１１に記載の非一過性コンピュータ可読媒体。
（項目１９）
前記合成画像をレンダリングするステップは、前記複数の画像のうちの少なくとも１つの画像に基づく表面特性を伴う３Ｄ情報に基づいて、表面を描写するステップを含む、項目１１に記載の非一過性コンピュータ可読媒体。
（項目２０）
３Ｄ情報を算出するステップは、前記算出された情報が前記オブジェクトの領域を表す信頼度を判定するステップを含み、
前記合成画像をレンダリングするステップは、前記３Ｄ情報がより高い信頼度を有するオブジェクトの領域を表す表面特性を伴う表面と、前記３Ｄ情報がより低い信頼度を有するオブジェクトの領域を表す表面特性を伴わない表面とを提示するステップを含む、
項目１９に記載の非一過性コンピュータ可読媒体。
（項目２１）
少なくとも１つのハードウェアプロセッサと、カメラと、ディスプレイとを備える、ポータブル電子デバイスであって、前記ポータブル電子デバイスは、複数の配向からの前記オブジェクトを描写する複数の画像フレームからオブジェクトの３Ｄ表現を形成する方法を行うように構成され、前記方法は、反復的に、
前記カメラを用いて捕捉された前記複数の画像フレームのサブセットの処理に基づいて、前記オブジェクトについての３Ｄ情報を算出するステップと、
前記ディスプレイ上に、前記複数の画像のうちの少なくとも１つの画像および前記３Ｄ情報の合成を含む合成画像をレンダリングするステップと、
を含む、ポータブル電子デバイス。
（項目２２）
３Ｄ情報を算出するステップは、前記算出された情報が前記オブジェクトの領域を表す信頼度を判定するステップを含み、
前記合成画像をレンダリングするステップは、前記３Ｄ情報がより高い信頼度を有するオブジェクトの領域を前記３Ｄ情報がより低い信頼度を有するオブジェクトの領域から視覚的に区別するステップを含む、
項目２１に記載のポータブル電子デバイス。
（項目２３）
前記ポータブル電子デバイスは、スマートフォンである、項目２１に記載のポータブル電子デバイス。
（項目２４）
前記方法はさらに、前記カメラを用いて前記複数の画像の第２の部分を捕捉しながら、前記複数の画像の第１の部分に基づいて形成される前記合成画像を表示するステップを含む、項目２１に記載のポータブル電子デバイス。
（項目２５）
前記３Ｄ情報を算出するステップは、前記複数の画像フレームの第１の部分を第１のより高い分解能で処理し、前記複数の画像フレームの第２の部分を第２のより低い分解能で処理するステップを含む、項目２１に記載のポータブル電子デバイス。
（項目２６）
前記複数の画像フレームは、カメラを用いて捕捉された画像フレームのストリームを備え、
前記３Ｄ情報を算出するステップは、前記第１の複数の画像フレームを前記ストリームから所定の頻度で選択するステップを含む、
項目２５に記載のポータブル電子デバイス。
（項目２７）
前記ポータブル電子デバイスは、慣性測定ユニットを備え、
前記複数の画像フレームは、前記カメラを用いて捕捉された画像フレームのストリームを備え、
前記３Ｄ情報を算出するステップは、前記慣性測定ユニットによって示されるような前記ポータブル電子デバイスの運動のレートに基づいて、前記第１の複数の画像フレームを前記ストリームから選択するステップを含む、
項目２５に記載のポータブル電子デバイス。
（項目２８）
前記合成画像をレンダリングするステップは、前記オブジェクトの特徴の３Ｄ場所を表すメッシュを前記オブジェクトの画像上に重畳するステップを含む、項目２１に記載のポータブル電子デバイス。
（項目２９）
前記合成画像をレンダリングするステップは、前記複数の画像のうちの少なくとも１つの画像に基づく表面特性を伴う３Ｄ情報に基づいて、表面を描写するステップを含む、項目２１に記載のポータブル電子デバイス。
（項目３０）
３Ｄ情報を算出するステップは、前記算出された情報が前記オブジェクトの領域を表す信頼度を判定するステップを含み、
前記合成画像をレンダリングするステップは、前記３Ｄ情報がより高い信頼度を有するオブジェクトの領域を表す表面特性を伴う表面と、前記３Ｄ情報がより低い信頼度を有するオブジェクトの領域を表す表面特性を伴わない表面とを提示するステップを含む、
項目２９に記載のポータブル電子デバイス。

図１は、捕捉から、後処理、双方向構成、およびデジタル３Ｄモデル、３Ｄプリンタ、または動画ファイルとしての出力までの例示的キーワークフローを図示する、フロー図である。図２は、リアルタイム３Ｄ追跡、再構成、およびフィードバックの例示的方法を図示する、フローチャートである。図３は、例示的方法リアルタイム３Ｄ追跡をさらに詳細に図示する、フローチャートである。図４は、より高いまたはより低い分解能を用いて画像フレームを処理することによって実装される「ピラミッドレベル」を概念的に図示する、スケッチである。図５Ａおよび５Ｂは、ピラミッドレベル２（図５Ａ）対レベル１（図５Ｂ）における処理によって作製された深度マップを図式的に図示し、レベル１は、レベル２より高い分解能を有する。図６Ａ－６Ｅは、ユーザに電話を移動させ、画像の一部に関する深度情報の信頼度を増加させるデータを集めるように誘導するプロセスを図示する、画像であって、図６Ａは、オブジェクトの写真を表し、図６Ｂ－６Ｄは、付加的深度情報が捕捉される、情報捕捉プロセスの連続フェーズを表し、図６Ｅは、３Ｄモデルからレンダリングされる深度および色情報を伴う、完成画像を図示する。図７Ａ－７Ｃは、３Ｄ画像情報とモデルのマージを図示し、図７Ａは、人物のモデルを図示し、図７Ｂおよび７Ｃは、３Ｄ画像情報とモデルのマージを図示する。

図１は、スマートフォンのカメラがオブジェクトの画像フレームのシーケンスを捕捉するために使用される、システム内の例示的ワークフローを図示する。スマートフォンのユーザは、オブジェクトの画像フレームを複数の視点から捕捉するように、スマートフォンを移動させる。これらの画像フレームの処理は、オブジェクトの外部表面の点または他の特徴が画像および相関内で識別されることを可能にし得る。

フレーム間のスマートフォンについての運動情報は、異なる画像フレームが取得されたときのスマートフォンの相対的位置の算出を可能にし（例えば、スマートフォンのＩＭＵを使用して）、異なる画像フレーム内の特徴が取得される視点を可能にする。視点におけるこれらの差異は、それらの特徴と形成されている３Ｄ画像の視点との間の距離が算出され得る、立体視情報を提供する。本深度情報は、走査されているオブジェクトの３Ｄモデルとして使用されてもよい。運動情報は、スマートフォンのＩＭＵ内に含まれ得るようなスマートフォン上のセンサから得られてもよい。代替として、または加えて、運動情報は、画像フレーム内の情報から算出されてもよい。

いくつかの実施形態では、本３Ｄモデル化は、画像フレームが取得および処理されるにつれて、３Ｄモデルがユーザに描写され得るように、それらが取得されるにつれて、画像フレーム上で行われてもよい。本３Ｄモデルは、ユーザへのフィードバックとしての役割を果たし、適正に撮像されたオブジェクトの部分または付加的画像フレームが適正なモデルを生産するために要求される部分を示してもよい。いくつかの実施形態では、情報の本リアルタイム表示は、全体的または部分的に、完成された３Ｄ画像の所望のレベルの詳細を提供しない情報に基づいてもよい。リアルタイムフィードバック画像の全部または一部は、例えば、最終画像より低分解能を有してもよい。代替として、または加えて、リアルタイムフィードバック画像は、色、テクスチャ、または他の表面特性を省略しながら表面の場所を表すメッシュを表示する、最終画像に描写されるであろう、情報のサブセットに基づいてもよい。フィードバック画像を表示するために最終画像に提示されるべき情報のサブセットを使用することは、フィードバック画像がリアルタイムで表示されることを可能にし得る。付加的情報は、捕捉された画像フレームの一部として記憶される、または別様に、オブジェクトの走査が完了された後に最終画像を完成するために使用されてもよい。

いったん最終３Ｄ画像が、オブジェクトの画像フレームから構築されると、その画像は、いくつかの方法のいずれかにおいて使用されてもよい。いくつかの実施形態では、３Ｄ画像は、随意に、使用される前に１つまたはそれを上回る方法において構成されてもよい。本構成は、例えば、スマートフォンのインターフェースを通して、または任意の他の好適な方法において打ち込まれたユーザ入力に基づいて、双方向で行われてもよい。本構成は、３Ｄ画像のサイズまたは他の特性を選択するための処理を含んでもよく、画像と撮像されているタイプのオブジェクトを表すテンプレートのマージを含んでもよい。

構成された画像は、次いで、出力デバイスまたは別のシステムに渡されてもよい。画像は、例えば、撮像されたオブジェクトの３Ｄモデルを印刷するために、３Ｄプリンタに送信されてもよい。別の実施例として、３Ｄ画像は、オブジェクトの３Ｄモデル（ゲームの一部として表示されることができる人々のアバタを含む）を取り込むためにプログラムされるゲーム用システムに提供されてもよい。より一般的には、３Ｄ画像は、３Ｄモデルファイルとして記憶される（標準またはカスタムフォーマットにおいて）か、または、そのような３Ｄモデル上で動作するように構成される任意の他のシステムに提供されてもよい。

図２は、ユーザが、デバイスを移動させ、画像フレームを異なる視点から取得し、したがって、３Ｄ情報を捕捉し得るように、ポータブル電子デバイス上のカメラによって撮影され得る、画像フレームのシーケンスを処理する方法を図示する。図２に描写される行為の一部または全部は、画像フレームのシーケンスが捕捉されている間に行われてもよく、シーケンス内の後のフレームが捕捉されている間、処理がシーケンス内の前のフレーム上で行われる。

図２は、スマートフォンを動作させるユーザの視点から説明されるが、本ハードウェアは、例証にすぎないことを理解されたい。カメラは、任意の好適なポータブル電子デバイス内に位置してもよい、および／または独立型カメラであってもよい。処理は、捕捉された画像フレームをカメラハードウェアから受信するプロセッサをプログラミングすることによって行われてもよい。本プロセッサは、ポータブル電子デバイス内、ポータブル電子デバイスがネットワークを介して接続されるサーバ内、または任意の他の好適なプロセッサ内に物理的にあってもよい。

（捕捉）
処理の実施例は、図２に示される。

行為１２００：ユーザが、ライブファインダを用いて所望のオブジェクトに向け、スマートフォンの場合、タッチスクリーン上に現れるようにプログラムされるソフトボタンであり得る、捕捉ボタンを呼び出すことによって、捕捉プロセスを開始する。アルゴリズムは、ビデオモードで起動し、以下のように機能する。

行為１２０２：画像が、カメラ１２０４から読み出される。キーフレームは、新しい深度測定を開始するための基準フレームである。フレームは、１）Ｎ個の着信フレーム毎にキーフレームをトリガする、固定フレームレート、または２）最後のフレーム以降に著しい進展が存在する場合のみ、キーフレームをトリガする、運動ベースによって識別されてもよい。いくつかの実施形態では、キーフレームを選択するための１つの方略が、使用されてもよい。代替として、ポータブル電子デバイス上のプログラミングは、方略のいずれかをサポートしてもよく、ユーザ構成は、方略を判定してもよい、または方略は、利用可能な処理、ユーザがカメラを移動させているフレームレート速度、または他の要因に基づいて、動的に選択されてもよい。運動の速度は、例えば、シーケンス内の連続フレーム間の重複度によって判定されてもよい。例えば、シーケンス内のフレームは、キーフレームとシーケンス内の連続画像フレームとの間に２５％を上回る重複を提供するレートにおけるキーフレームとして指定されてもよい。いくつかの実施形態では、本レートは、５０％を上回る、または７５％重複を上回る、または任意の他の好適な重複度であってもよい。

キーフレームおよび他のフレームは両方とも、処理され、深度マップを生産してもよい。しかしながら、いくつかの実施形態では、キーフレーム上の処理は、より密度の高い深度マップおよび／または撮像されているオブジェクトの視覚的特性についての付加的情報を生産してもよい。その結果、キーフレーム上の処理は、他のフレームより長くかかり得る。しかしながら、キーフレームおよび他のフレームの処理の結果が、ともにステッチされると、総合して、ユーザが撮像されているオブジェクトを認識するために十分な情報が存在し得る。

行為１２０６：ＩＭＵセンサからのナビゲーションデータが、読み出され、フレームと関連付けられる。

行為１２０８：基本品質画像チェック（すなわち、運動ぶれ検出）を行い、データをパイプラインに送信する。また、ＩＭＵセンサ情報のタイムスタンプと画像を同期させる。

行為１２１０：ナビゲーションデータおよび前の軌道を使用して、新しい姿勢の第１の推定を得る。ナビゲーションデータは、画像フレームが捕捉された時間のポータブル電子デバイスの相対的位置を示す、ＩＭＵセンサの出力から導出されてもよい。本位置は、捕捉されている３Ｄ画像の視点としての役割を果たし得る原点に対するものである、または任意の他の好適な座標系において表されてもよい。画像が取得されたときのカメラの姿勢は、構築されている３Ｄ画像内の画像フレームの配向のインジケーションとしての役割を果たし得る。例えば、２つの画像フレームは、撮像されているオブジェクトの異なる部分から得られる場合、またはオブジェクトの同一部分でさえ、カメラが回転または傾斜される場合、異なる姿勢を有し得る。本姿勢はまた、ブロック［１２１２］が追跡を喪失した場合、ユーザへの基本フィードバックのための推定としての役割を果たし、また、再位置特定のための初期推定としての役割を果たす。例えば、ユーザは、ディスプレイ画面上の矢印または他のインジケーション等によって、付加的画像フレームが３Ｄ画像を完成するために収集され得る姿勢にカメラを戻すように命令されてもよい。

行為１２１２：組み合わせられた追跡および低密度再構成：現在のフレームと前のフレームとの間の写真測量誤差の最小化を使用することによって、精緻化された姿勢を判定する。本実装は、形状保存変換（ｒｉｇｉｄｂｏｄｙｔｒａｎｓｆｏｒｍａｔｉｏｎ）のための最大尤度推定を使用して、前の画像と関連付けられたカメラ姿勢および写真測量誤差の最小化に基づいて、新しいカメラ姿勢を判定する。写真測量誤差は、８×８ピクセルのサイズのパッチに基づいて判定される。パッチは、角およびエッジレット（潜在的に、また、他の特徴記述子）に基づいて、着目点に設置される。半直接アプローチが選定されるため、特徴は、キーフレーム上でのみ抽出される。全ての後続着信画像に関して、パッチ自体が、写真測量誤差を最小限にすることによって、特徴を暗示的に追跡し、したがって、算出上高価な全検索動作の必要性は、省略される。その結果、低密度深度マップが、作成され、カメラ位置が、読み出される。好適な処理の実施例として、我々の同時係属中の出願第ＷＯ２０１５／１７３１７３号（参照することによって本明細書に組み込まれる）に説明されるプロセスが、使用されてもよい。本原理に関する前者の説明は、［３０］に見出され得る：
ＩＶ．運動評価
ＳＶＯは、相対的カメラ運動の初期推定および特徴対応を直接的方法を用いて計算し、特徴ベースの非線形再投影誤差の改善という結論をもたらす。各ステップは、以下のセクションに詳述されており、Ｆｉｇｕｒｅ２～４に図示されている。
Ａ．スパースモデルベース画像整合
２つの連続カメラ姿勢間の形状保存変換Ｔ_{ｋ，ｋ－１}の最尤推定は、ｉｎｔｅｎｓｉｔｙｒｅｓｉｄｕａｌの負の対数尤度を最小化し、

である。ｉｎｔｅｎｓｉｔｙｒｅｓｉｄｕａｌ δＩは、同一３Ｄ点を保存するピクセル間の測光差異によって定義される。これは、２Ｄ点ｕを前の画像Ｉ_ｋ－１から逆投影し、続いて、それを現在のカメラビューに投影することによって計算される。

式中、

は、画像領域であり、これに対し、深度ｄ_ｕが時間ｋ－１において既知であり、またこれに対し、逆投影された点が現在の画像ドメイン内で可視である。

簡略化のため、以下では、ｉｎｔｅｎｓｉｔｙｒｅｓｉｄｕａｌは単位分散を伴う正規分布であると仮定する。したがって、負の対数尤度の最小化は、最小２乗問題に対応する：

実際には、分布は、オクルージョンに起因してより重い裾を有し、したがって、ロバストなコスト関数が適用されなければならない［１０］。
深度が画像内の大きな領域に対して把握される従来の仕事［８］－［１０］、［２４］とは対照的に、我々は、スパース特徴位置ｕ_ｉにおける深度ｄ_ｕｉのみを把握する。我々は、特徴点のまわりでの４×４ピクセルの小さなパッチをベクトルＩ（ｕ_ｉ）で示す。全パッチの測光誤差を最小化するカメラ姿勢を求める（Ｆｉｇｕｒｅ２参照）。

行為１２１４：フレームが、ライブカメラフィードを保定するためにディスプレイに送信される。これは、ユーザリアルタイムフィードバックが、フレームの中に補足され得ることを確実にするために、ブロック［１２１２］における姿勢推定後、但し、ユーザフィードバックの待ち時間を２０ｍｓを下回って保つために、［１２２２］における高密度深度マップ計算の前に、送信される。

行為１２１６：ブロック［１２１４］におけるパッチのいずれもまたはわずかしか、写真測量誤差の観点から、極小値に収束していない場合、追跡は、喪失される。追跡が、喪失される場合、再位置特定ルーチンが、既知の姿勢が再び見出されるまで行われる。再位置特定は、着信画像を対毎様式で以前に既知のキーフレームに合致させることによって行われる。

行為１２１８：画像がキーフレームであるかどうかが、ブロック［１２０４］において定義される。その時点で、キーフレームは、すでに利用可能な任意の深度情報を有していない。いくつかの実施形態では、ブロック１２１８において図示される分岐は、キーフレーム上における第１の反復において、ブロック１２２０における処理が行われ得るように、１回のみ行われてもよく、後続反復において、処理は、フレームがキーフレームであるかどうかにかかわらず、ブロック１２２２に進んでもよい。

行為１２２０：現在のフレームが、キーフレームと断定された場合、本フレームの全てのピクセル毎深度推定は、デフォルト確率およびデフォルト深度を用いて初期化される。デフォルト確率は、収束レートを有意に増加させるためのいくつかの前の知識に基づくことができる。例えば、カメラハードウェアからの焦点情報は、初期深度推定を提供し得るが、そのような初期推定は、任意の好適な方法で得られてもよい。しかしながら、前のフレームに関して判定された深度、カメラの投影された運動情報によって前のフレームオフセットから判定された深度、または画像フレームのコンテンツから判定された情報を含む、任意の「前の」情報が、使用されてもよい。連続画像フレームが重複する場合、前のフレームからの深度情報は、重複部分を初期化するために使用されてもよく、重複部分における平均深度等の他の情報は、フレームの残りのための初期推定として使用されてもよい。本技法は、前のフレームとして、画像フレームのシーケンス内の直前のキーフレームを使用して適用されてもよい。先行物が利用可能ではない場合、全てのピクセル深度の平均深度は、焦点距離から仮定される既知の平均を伴う均一分布で初期化される。

深度マップ算出時間を有意に加速させる、より高度なケースは、以下である。

運動先行物の活用：
深度は、重複が利用可能である場合、前のキーフレームから抽出される深度情報で初期化されることができる。これは、単に、順方向運動推定を使用して、ピクセル毎情報を高速初期化として変位させる。

深度先行物の活用：
具体的ユースケースが、手元にある、例えば、顔が、ユーザに面したカメラを用いて捕捉される場合、深度マップは、顔が腕の長さの距離に設置された状態における一般的顔であり得る。我々のケースでは、これは、初期化として顔の平均モデルをロードするために、顔の基準点のための単純顔検出器および追跡器を用いて実装される。本実施例では、顔のモデルは、少なくとも部分的に、画像データ（すなわち、顔の一般形状）の収集に先立って利用可能な情報に基づくため、「先行物」である。

行為１２２２：高密度再構成：現在のフレームがキーフレームではない場合、確率および深度推定が、最新キーフレーム内のピクセル毎に、精緻化される。本算出に好適な算出の実施例は、［１１］に見出され得る。本実施例では、深度モデルは、測定された深度が、通常、真の深度およびアウトライヤ測定の周囲に分布されるという仮定（最小および最大深度内の均一分布）に基づいて算出される。そのため、全てのピクセルの深度は、インライヤ比のためのベータ分布および深度のためのガウス分布を用いて表される。全ての精緻化ステップでは、これらのパラメータは、それらが以下の式（［１１］の方程式４）に関して収束または発散するかのいずれかとなるまで更新される。

深度算出は、画像のビューおよびキーフレームからのビューからの三角測量によって行われる。最後に、結果として生じる深度マップ上での平滑化が、調整されたエネルギー関数を最小限にすることによって実施されてもよい。調整は、加重されたハーバーノルムに従い、平滑化のための深度不確実性および高並列実装のための凸定式化を使用する。これは、高信頼度を伴う深度情報が未修正のまま保たれ、低信頼度を伴う深度情報が近隣ピクセルの深度情報に向かってより適合されることを確実にする。

深度情報の計算のために、ブロック［１２１２］における姿勢計算から生じた低密度深度情報が、再使用される。
いくつかの実施形態では、キーフレーム内の深度情報の精緻化は、待ち行列に入れられ、並行して処理される。待ち行列が大きくなる場合、複数のプロセッサが、複数のキーフレームを並行して処理することができる。別の実施形態では、複数のプロセッサは、精緻化を異なるピクセル上で並行して実行することができる。

加えて、利用可能な算出能力に応じて、高密度深度再構成が、異なる分解能で行われる。我々は、単純画像ピラミッドルーチンを使用して、異なる分解能間を動的に切り替える。これは、ＲＧＢキーフレームが等しいまたはより低い分解能の深度マップを有することができることを意味する。高密度再構成のためのより高いピラミッドレベルを選定すること（すなわち、フレームのためのより低い分解能）は、要求される算出労力を低減させるが、また、密度も減少させる。図４は、より高いまたはより低い分解能を用いて画像フレームを処理することによって実装される、「ピラミッドレベル」を図示する。図５Ａおよび５Ｂは、ピラミッドレベル２対レベル１における処理によって作製された深度マップを図式的に図示する。両場合において、深度マップは、ユーザが撮像されているオブジェクトを認識することを可能にするために十分な有用な情報を提供する。最近のスマートフォン世代では、ピラミッドレベル１は、リアルタイム動作を確実にするために良好に機能する。しかしながら、異なるピラミッドレベルおよびピラミッドレベルと関連付けられた異なる分解能も、データレート、利用可能な処理、および他の要因に応じて使用されてもよい。いくつかの実施形態では、使用されるピラミッドレベルは、事前判定されてもよい一方、他の実施形態では、ピラミッドレベルは、動的に選択されてもよい。例えば、ピラミッドレベルは、いくつかの実施形態では、処理を待機する画像フレームの待ち行列のサイズに比例して選択されてもよい。

行為１２２４：深度情報を収束させたピクセルの数が、定義された閾値を超える場合、本キーフレームは、深度情報を収束させる。代替として、ある数の精緻化反復が、本指標として使用されることができる。

別の代替は、最新画像の角度とキーフレーム角度を比較する場合、ある最小ベースラインが利用可能である必要がある。

行為１２２６：収束した深度情報を伴うピクセルが存在する場合、データは、確率点クラウドデータおよびカメラ姿勢から成る大域的マップ構造の中に統合される。データは、マップ内の前のキーフレームからのデータとの初期形状保存整合によって追加される。

行為１２２８：ループ検出アルゴリズムが、ループ閉鎖状況が存在するかどうかを判定し、誤差を拡散させることによって不一致を低減させる、大域的最適化をトリガする。このため、最初に、大域的ループ閉鎖が、その対応する相対的姿勢を伴う全てのキーフレーム上で行われる。次いで、大域的非形状保存位置合わせが、大域的マップ内に常駐する全てのキーフレームからの全ての深度データ上で行われる。非形状保存位置合わせは、整合誤差を大域的マップにわたって均一に再分散させるために行われる。これによって、深度データは、キーフレームの深度データを可能な限り形状保存したまま保つことによって、変形される。

行為１２３０：現在の視点に基づいて、単純ポアソンベースのメッシュ化が、点クラウドに適用される。代替として、点クラウドの凸包は、ユーザへのフィードバック進行度のための可視化方略として生成されることができる。

行為１２３２：メッシュの投影されたテクスチャは、現在の視点から得られた、またはポワソン混成アプローチを使用することによって大域的テクスチャマップとして行われたかのいずれかである、単純均一色であることができる。

行為１２３４：メッシュおよびテクスチャは、ユーザに示される画像と正確に合致するように、対応するＵＶ座標と組み合わせられ、カメラの現在の姿勢の視点からレンダリングされる。

行為１２３６：レンダリングおよびテクスチャ化されたメッシュが、ファインダ画像上に重畳され、ユーザを誘導するように可視化される（低／無深度信頼度を伴う面積は、閉塞に起因して、ユーザが電話を異なる位置に移動させるまで被覆されないままである）。故に、信頼度が、データの完全性に基づいて判定されてもよく、より高い信頼度は、３Ｄモデルを算出するために適正な画像データが存在するオブジェクトの領域に割り当てられ、より低い信頼度は、画像データが３Ｄモデルを算出するために十分ではないオブジェクトの領域に割り当てられることを理解されたい。しかしながら、いくつかの実施形態では、信頼度値は、領域を描写するための十分な数の画像フレームが存在し、領域の３Ｄモデルの複数の独立計算を可能にするためとき、より高い信頼度値が割り当てられるように判定されてもよく、信頼度値は、独立算出の数および／または一貫した３Ｄモデルをもたらすそのような算出のパーセンテージに比例して割り当てられてもよい。故に、信頼度は、値の範囲を有する、定量的に算出されたメトリックであってもよい、またはオブジェクトの領域のための３Ｄ深度マップを算出するために十分なデータが存在するかどうかを示すバイナリ値またはであってもよい、または任意の他に好適な形態を有してもよい。

図６Ａ－６Ｅは、フィードバックが３Ｄモデルの信頼度に基づいて提供される、例示的プロセスを図示する。図６Ａは、オブジェクト、ここでは、人物の写真を表す。図６Ｂは、走査プロセスにおける初期にユーザを誘導するためにファインダを通して表示され得る、画像を表す。本画像は、色情報を伴わずに表示されてもよい。また、図６Ｂに示されるように、画像の一部は、画像のその部分をレンダリングするために不適正な深度情報が存在するオブジェクトの部分を表す、斑点として示される。図６Ｃは、走査プロセスの後の段階に表示され得る、精緻化された画像を表す。図６Ｃの画像は、色情報を伴わずに表示され、その画像を達成するために要求される処理の量を低減させ得る。しかしながら、図６Ｃは、深度情報によって置換された図６Ｂの斑点付き部分を有する。図６Ｄは、色等の付加的情報が画像の一部に追加されている、撮像されている同一オブジェクトを表す。図６Ｅは、３－Ｄモデルからレンダリングされ、次いで、他の目的のために使用さ得る、深度および色等の他の画像情報を含む、完成画像を表す。

行為１２３８：捕捉プロセスは、ユーザがプロセスを停止するまで継続する。

行為１２４０：キーフレームは、その関連付けられた確率的深度マップ情報およびカメラ情報とともに記憶される。

（行為１２４０の例示的詳細）
いくつかの実施形態では、ＪＰＥＧＥＸＩＦヘッダが、ビュー情報あたりで記憶するために使用されてもよい。深度マップ分解能は、キーフレームの分解能と等しいまたはそれを下回り得る。ＡｄｏｂｅＸＭＰフォーマットの拡張子として、例えば、以下の情報が、ＥＸＩＦヘッダ内に記憶されることができる。
・ＪＰＥＧとしてのピクセルあたり深度値（Ｇｏｏｇｌｅ深度マップフォーマットに類似する）
・ＪＰＥＧとしてのピクセルあたり信頼度値
・範囲（すなわち最近傍点、最遠隔点）
・カメラ姿勢
・カメラ固有性質
・ユースケース特有追跡器（例えば、我々の顔走査モードでは、眼、鼻、口、および顔輪郭のための１４の基準点をポリゴンとして記憶する）

本データは、ポータブルおよび同期方法において異なるアルゴリズムを用いて後の後処理動作および再構成を可能にする。

（最終モデル化）
最終モデル化は、背景内または別のプロセッサ上で起動され得る、捕捉に対する後処理ステップである。後処理は、より算出上集約的であるメッシュ化アルゴリズム、３Ｄ印刷互換性メッシュ化、およびテクスチャ化アプローチを行うことによって、より高い分解能結果を達成するために使用されてもよい。ライブフィードバックとは対照的に、これは、視点からの関連ビューのみを考慮するのではなく、大域的メッシュおよびテクスチャ化も行う。以下の行為は、本後処理の一部として行われてもよい。これらの行為は、列挙された順序または任意の他の好適な順序で行われてもよい。
・キーフレームおよび関連付けられたメタデータ（深度マップ、確率マップ、カメラ姿勢、カメラ固有性質）をロードする
・点クラウドをメタデータから生成する
・確率的点クラウドの形状保存および非形状保存位置合わせ
・標準的点クラウドに変換する：大域的整合を最適化し、深度点の確率と適応閾値化を併用することによって、アウトライヤを除去する
・随意に、テンプレートモデルとマージする
・エッジ保存のために色勾配を考慮することで平滑係数の非線形加重を使用することによって、ポワソンベースのメッシュ化を行い、完璧な平滑メッシュ化結果を達成する－これはまた、閉塞問題を補償するための視覚的ハル原理等の形状先行物の使用を含むことができる
・大域的テクスチャマップを生成する
・結果をメッシュファイルおよび関連付けられたテクスチャとして記憶する

随意に、走査と高分解能テンプレートモデルのマージが、実施されることができる。我々の実装では、以下の行為を列挙された順序または任意の他の好適な順序で行うことによって、ユーザの顔走査と身体の残りのための３Ｄ印刷可能かつ全体的に操作可能なストックモデルをマージすることができる。
・前のメッシュ化およびテクスチャ化の拡張として、付加的メタデータが、使用される。・全体的に操作可能なモデルは、典型的には、継目および動画面積を伴う内蔵スケルトンを有する。
・単一または複数のキーフレームからのメタデータを使用することによって、アンカ／ドッキング点の正確な位置が、読み出されることができる。これは、眼、口等を動画のために瞬時に利用可能にすることを可能にする。
・メタデータ内の顔の輪郭が、走査とストックモデルを統合するための初期点として使用される。
・操作可能モデルは、モデルを走査に向かって調節する（例えば、頭部形状と顔幅／長さを調節する）ための変形点を含有する。
・メタデータの顔輪郭に基づいて、これは、ここで、テンプレートモデルおよび顔モデルの点を含有する面積を近接近させることを確実にする。
・ある面積内のテンプレートモデル点が、走査点に加えて使用され、緊密に結合されたメッシュを確実にする。
・テンプレートモデルのテクスチャ色が、顔走査の平均色に適用される。これは、テンプレートモデルのための皮膚色マスクを使用することによって行われる。
・最後に、テクスチャ継目が、グラフカット方法を使用して混成され、可視ステッチ面積が可視ではないことを確実にする。

図７Ａ－７Ｃは、そのような処理の実施例を図示する。図７Ａは、テンプレートモデル、この場合、ヒトのモデルを描写する。本モデルは、人物を走査し、シーケンス内の画像フレームを使用して３次元情報を取得することによって展開された情報を３次元モデルに追加するために使用されてもよい。示されるように、テンプレートモデルは、腕、手、指、脚、顔、眼、および口等のヒトの特徴を含んでもよい。ヒトのこれらの特徴は、付加的情報を展開されている３－Ｄモデルに付加するために使用されてもよい。例えば、テンプレートモデルに従って、皮膚を表す、３Ｄモデル内の表面は、肌色で着色されてもよい。同様に、衣服に対応する部分は、衣服のテクスチャで描写される、またはさらに衣服を描写する画像情報でオーバーレイされてもよい。

図７Ｃは、画像情報がモデル上にオーバーレイされ得る方法の実施例を図示する。本実施例では、テンプレートモデルは、撮像されている人物の顔を表す３Ｄモデルの一部を識別するために使用されている。人物の顔の画像が、次いで、３Ｄモデルのその部分上にオーバーレイされ、その画像が上記に説明されるような技法を使用して捕捉された３Ｄ画像である、実際の部分のより現実的モデルを生産する。

（双方向構成）
３Ｄ印刷の柔軟性を伴うモバイル走査の能力を活用するために、フローは、以下のようになる。
・モデルが、あるスケール（例えば、１：２０）と仮定して、ビューワーにロードされる。
・ユーザが、操作可能点に従って、モデル姿勢を調節することができる。
・３Ｄ印刷適性チェックが、構成が変化する度に行われる。
・本チェックは、赤色／緑色の色を伴う、構造問題（壁厚、重力中心、破損リスク）の可視化を含む。故に、３Ｄ印刷適性が、３Ｄモデルの正確さの１つの指標であるが、３Ｄモデルをチェックするための他の技法もある。
・チェックは、ユーザが、常時、予期可能３Ｄ印刷結果のための「見たままを得る」体験を得るように、ライブで更新される。
構成は、以下のオプションを含み得る。
・像のサイズ
・像の顔表現および姿勢（操作可能モデルに起因して）
・衣類
・髪型／帽子類
・皮膚色
・カスタマイズ可能な衣類またはアセット（例えば、像のシャツ上のテキストまたは像によって保持される標識を生成する）
・床プレート（像が固定される場所および方法）
・背景幕

これはまた、複数の像および他の３Ｄストックモデルを含み、３Ｄコンテンツ共有および３Ｄ印刷のための一意の配置を作成することができる。

結果はまた、操作可能モデルに起因して、３Ｄ再生可能アバタ等、ビデオゲーム内で使用されることができる。

本願は、複数の実施形態を説明する。当業者は、説明される特徴が任意の好適な組み合わせで使用され得るように、一実施形態に関連して説明される特徴が他の実施形態で使用されてもよいことを理解するであろう。付加的特徴もまた、存在してもよい。例えば、ポータブル電子デバイスの性質に応じて、１つまたはそれを上回る付加的要素が、存在してもよい。例えば、スマートフォンまたは他のポータブル電子デバイスは、場所を感知するための全地球測位システム（ＧＰＳ）等のセンサを含んでもよい。本明細書に説明されるような処理は、オペレーティングシステム上で実行するアプリケーションとして実装されてもよい。オペレーティングシステムは、カメラ、センサ、および他のハードウェアを制御し、データをそれらから捕捉し、それをコンピューティングデバイス上で実行するためのアプリケーションに利用可能にする、ユーティリティを含んでもよい。しかしながら、いくつかの実施形態では、ハードウェア要素との相互作用は、デバイス上にロードされるカスタムソフトウェアによって制御されてもよい。

別の実施例として、いくつかの実施形態では、コンピューティングデバイスは、データ、いくつかの実施形態では、処理負荷が、他のデバイスと共有され得るように、ネットワークインターフェースを含み、パーソナルエリアネットワークを実装する、またはＬＡＮまたはＷＡＮに接続してもよい。そのようなインターフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）または８０２．１１アドホックモードを含む、任意の好適な技術に従って動作してもよい。

（関連技術）
以下の関連技術は、全体として本明細書に組み込まれる。
特許：

非特許参考文献

このように、本発明の少なくとも一実施形態のいくつかの側面が説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。

一実施例として、本明細書に説明されるアルゴリズムにおける変形例が、使用されてもよい。いくつかの実施形態では、本システムは、ブロック［１２１２］における特徴およびパッチ抽出のために高速特徴およびエッジレットを使用してもよい。

いくつかの実施形態では、本システムは、高速特徴およびエッジレットに加え、ブロック［１２１２］における小密度の特徴分布の代わりにより強固な特徴を使用してもよい。

いくつかの実施形態では、本システムは、時間と相関されたポータブル電子デバイスの移動と関連付けられた画像フレームおよび慣性情報を捕捉する。本情報は、それらが共有クロックを使用して相互に関連付けられ得るように同期される、タイムスタンプを伴うパッケージとして処理するために提供されてもよい。

いくつかの実施形態では、キーフレームが存在するときは常に、本システムは、確率的深度情報の精緻化のために、前のキーフレームからの画像シーケンスを使用する。

いくつかの実施形態では、本システムは、全ての画像フレームをキーフレームとして使用し、したがって、算出が高価な動作を再使用することによって、かつ前の計算からの中間結果を再使用することによって、確率的深度マップの連続ストリームを提供する。

いくつかの実施形態では、本システムは、再位置特定が要求されるかどうかを判定し、その場合、完全マップを検索し、現在の姿勢を見出すことによって、本状態からの復元を試みる。

別の変形例の実施例として、本明細書に説明されるような技法は、仮想現実ヘッドセットのための追跡および３Ｄ感知のために使用されてもよい。スマートフォンが、画像フレームを捕捉および／または処理するために使用され得るポータブル電子デバイスの実施例として使用されるが、他の電子デバイスは、これらの機能のいずれかまたは両方のために使用されてもよい。いくつかの実施形態では、本システムは、仮想現実または拡張現実ヘッドセット上に搭載され、いくつかの独立カメラを使用して、完全３６０ビューを網羅することができる。

さらに別の変形例の実施例として、本明細書に説明されるような技法は、画像情報をマージおよび構成することが望ましい、任意の用途において適用されてもよい。

例えば、本技法は、スマートフォン上の部分的走査データに基づいて、写真のように現実的３Ｄ印刷可能アバタを作成するために使用されてもよい。いくつかの実施形態では、人々の３Ｄ印刷可能像を作成および構成するためのシステムおよび方法が、提示される。そのようなシステムは、ユーザまたは他の人物の顔、頭部、または身体の走査と、人物の具体的に注釈が付けられた高分解能かつ３Ｄ印刷準備完了メッシュをマージしてもよい。ユーザの走査は、スマートフォンのユーザまたは世界に面したカメラを用いて行われ得る。

いくつかの実施形態では、全体プロセスは、空間効率的かつ注釈が付けられたテンプレートモデルおよびスマートマージアルゴリズムに起因して、モバイルハンドヘルドデバイス上でローカルで起動されることができる。

いくつかの実施形態では、マージテンプレートは、グラフカットアプローチを使用して、シームレスなテクスチャおよび幾何学形状合成を確実にする。

いくつかの実施形態では、マージテンプレートは、定義および固定されたマージ領域を使用する。

いくつかの実施形態では、マージテンプレートは、走査データもまた付加される、全体的に操作可能な運動スケルトンを含有し、したがって、最終アバタの新しい姿勢、顔表現、または動画を容易に生成することを可能にする。

いくつかの実施形態では、生成された３Ｄキャラクタは、ビデオゲーム内で瞬時に再生可能となる。そのような実施形態は、例えば、本明細書に説明されるように画像フレームを処理するプロセッサの出力がビデオゲームプロセッサに供給される、ビデオゲームプロセッサを含む、システム内で使用されてもよい。ビデオゲームプロセッサは、画像フレーム処理の出力を使用して、アバタをゲーム内にレンダリングするように、プログラムされてもよく、ユーザが、自身または任意の他の人物を走査自体によってゲーム内に設置することを可能にする。

いくつかの実施形態では、マージテンプレートは、衣類または付属品を構成するための定義されたドッキング点を含有する。

いくつかの実施形態では、マージテンプレートは、新しく作成されたアバタと第２の像を整合させ、両像上のテキストまたはテクスチャを変化させるための注釈を含有する。

いくつかの実施形態では、コンフィギュレータは、カスタム床プレート、背景幕、カスタムテキストのための領域を含む。

いくつかの実施形態では、３Ｄ印刷適性（例えば、薄すぎる面積、十分に安定しない、不良重力中心等）が、構成オプションを変化させながら、色フラグを用いて直ちに可視化される。

そのような改変、修正、および改良は、本開示の一部であることが意図され、本発明の精神および範囲内であると意図される。さらに、本発明の利点が示されるが、本発明の全ての実施形態が、全ての説明される利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書およびいくつかの事例において有利として説明される任意の特徴を実装しなくてもよい。故に、前述の説明および図面は、一例にすぎない。

本発明の前述の実施形態は、多数の方法のいずれかにおいて実装されることができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に存在するか、または複数のコンピュータ間に分散されるかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行されることができる。そのようなプロセッサは、いくつか挙げると、ＣＰＵチップ、ＧＰＵチップ、マイクロプロセッサ、マイクロコントローラ、またはコプロセッサ等、当技術分野において公知の市販の集積回路コンポーネントを含む、集積回路コンポーネント内の１つまたはそれを上回るプロセッサとともに、集積回路として実装されてもよい。代替として、プロセッサは、ＡＳＩＣ等のカスタム回路内に、またはプログラマブル論理デバイスを構成することから生じる半カスタム回路内に実装されてもよい。さらなる代替として、プロセッサは、市販であるか、半カスタムであるか、またはカスタムであるかにかかわらず、より大きい回路または半導体デバイスの一部であってもよい。具体的実施例として、いくつかの市販のマイクロプロセッサは、１つまたはそれらのコアのサブセットがプロセッサを構成し得るように、複数のコアを有する。但し、プロセッサは、任意の好適なフォーマットにおける回路を使用して実装されてもよい。

さらに、コンピュータは、ラックマウント式コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形態のうちのいずれかで具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末（ＰＤＡ）、スマートフォン、または任意の好適な携帯用または固定電子デバイスを含む、概してコンピュータと見なされないが好適な処理能力を伴う、デバイスで具現化されてもよい。

また、コンピュータは、１つまたはそれを上回る入力および出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用され得る、出力デバイスの実施例は、出力の視覚的提示のためのプリンタまたはディスプレイ画面、または出力の可聴提示のためのスピーカまたは他の音生成デバイスを含む。ユーザインターフェースのために使用され得る、入力デバイスの実施例は、キーボード、および、マウス、タッチパッド、およびデジタル化タブレット等のポインティングデバイスを含む。別の実施例として、コンピュータは、発話認識を通して、または他の可聴フォーマットにおいて、入力情報を受信してもよい。図示される実施形態では、入力／出力デバイスは、コンピューティングデバイスと物理的に別個として図示される。しかしながら、いくつかの実施形態では、入力および／または出力デバイスは、プロセッサと同一ユニットまたはコンピューティングデバイスの他の要素の中に物理的に統合されてもよい。例えば、キーボードは、タッチスクリーン上のソフトキーボードとして実装され得る。代替として、入力／出力デバイスは、コンピューティングデバイスから完全に接続解除され、無線接続を通して機能的に統合されてもよい。

そのようなコンピュータは、企業ネットワークまたはインターネットとして等、ローカルエリアネットワークまたは広域ネットワークとしての形態を含む、任意の好適な形態の１つまたはそれを上回るネットワークによって相互接続されてもよい。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含んでもよい。

また、本明細書で概説される種々の方法およびプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用する、１つまたはそれを上回るプロセッサ上で実行可能である、ソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングまたはスクリプト作成ツールのうちのいずれかを使用して、書き込まれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。

本側面では、本発明は、１つまたはそれを上回るコンピュータまたは他のプロセッサ上で実行されるときに、上記で議論される種々の実施形態を実装する方法を行う、１つまたはそれを上回るプログラムで符号化される、コンピュータ可読記憶媒体（または複数のコンピュータ可読媒体）（例えば、コンピュータメモリ、１つまたはそれを上回るフロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、光学ディスク、デジタルビデオディスク（ＤＶＤ）、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、または他の有形コンピュータ記憶媒体）として具現化されてもよい。前述の実施例から明白なように、コンピュータ可読記憶媒体は、非一過性形態においてコンピュータ実行可能命令を提供するために十分な時間の間、情報を留保し得る。そのようなコンピュータ可読記憶媒体または複数の媒体は、前述のように、その上に記憶される１つまたは複数のプログラムが、本発明の種々の側面を実装するように１つまたはそれを上回る異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポータブルであることができる。本明細書で使用されるように、用語「コンピュータ可読記憶媒体」は、製造（すなわち、製造品）または機械と見なされ得るコンピュータ可読媒体のみを包含する。代替として、または加えて、本発明は、伝搬信号等のコンピュータ可読記憶媒体以外のコンピュータ可読媒体として具現化されてもよい。

用語「プログラム」または「ソフトウェア」は、前述のように、本発明の種々の側面を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、一般的意味において本明細書で使用される。加えて、本実施形態の一側面によると、実行されると、本発明の方法を行う、１つまたはそれを上回るコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本発明の種々の側面を実装するように、いくつかの異なるコンピュータまたはプロセッサの間でモジュール様式において分散され得ることを理解されたい。

コンピュータ実行可能命令は、１つまたはそれを上回るコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形態であってもよい。概して、プログラムモジュールは、特定のタスクを行う、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態では、所望に応じて、組み合わせられる、または分散されてもよい。

また、データ構造は、任意の好適な形態でコンピュータ可読媒体に記憶されてもよい。例証を簡単にするために、データ構造は、データ構造内の場所を通して関係付けられるフィールドを有することが示されてもよい。そのような関係は、同様に、フィールド間の関係を伝えるコンピュータ可読媒体内の場所を伴うフィールドのために記憶装置を割り当てることによって、達成されてもよい。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を通すことを含む、任意の好適な機構が、データ構造のフィールド内の情報の間の関係を確立するために使用されてもよい。

本発明の種々の側面は、単独で、組み合わせて、または前述の実施形態に具体的に議論されない種々の配列において使用されてもよく、したがって、その用途は、前述の説明に記載される、または図面に図示されるコンポーネントの詳細および配列に限定されない。例えば、一実施形態に説明される側面は、他の実施形態に説明される側面と任意の様式で組み合わせられてもよい。

また、本発明は、その実施例が提供されている、方法として具現化されてもよい。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、例証的実施形態では、連続作用として示されるが、いくつかの作用を同時に行うことを含み得る、作用が図示されるものと異なる順序で行われる、実施形態が構築されてもよい。

請求項要素を修飾するための請求項における「第１の」、「第２の」、「第３の」等の順序の用語の使用は、単独では、別の要素と比べた１つの請求項要素のいかなる優先順位、先行、または順序、または方法の行為が行われる時間順序も含意しないが、順序の用語は、請求項要素を区別するために、（順序の用語の使用のためであるが）ある名前を有する１つの請求項要素と、同一の名前を有する別の要素を区別する標識としてのみ使用される。

また、本明細書で使用される語句および専門用語は、説明目的のためのものであって、限定と見なされるべきではない。本明細書の「～を含む」、「～を備える」、または「～を有する」、「～を含有する」、「～を伴う」、およびその変形の使用は、その後列挙されたアイテムおよびその均等物および付加的アイテムを包含することを意味する。

Claims

ユーザがカメラを移動させているときに捕捉された１つまたは複数のオブジェクトを描写する複数の画像フレームから前記オブジェクトの３Ｄ表現を少なくとも１つのコンピューティングデバイスのハードウェアプロセッサによって形成する方法であって、前記方法は、反復的に、
前記ハードウェアプロセッサが、前記複数の画像フレームのうちのサブセットを処理することに基づいて、前記オブジェクトについての３Ｄ情報を算出することと、
前記ハードウェアプロセッサが、前記オブジェクトの１つまたは複数の領域を表すために、前記算出された３Ｄ情報のうちの少なくともいくつかの信頼度を判定することと、
前記オブジェクトの前記３Ｄ表現の品質を増加させるように、前記判定された信頼度に基づいて、前記算出された３Ｄ情報についてのフィードバックを前記ユーザに提供することであって、フィードバックを前記ユーザに提供することは、前記カメラの位置を変更するための前記ユーザへのインジケーションを含む、ことと
を含む、方法。
フィードバックを前記ユーザに提供することは、前記算出された３Ｄ情報がより高い信頼度を有する前記オブジェクトの領域と前記算出された３Ｄ情報がより低い信頼度を有する前記オブジェクトの領域との間の視覚的区別を伴って、前記算出された３Ｄ情報の少なくとも一部の表現をレンダリングすることを含む、請求項１に記載の方法。
フィードバックを前記ユーザに提供することは、前記オブジェクトの少なくとも１つの領域をレンダリングするために３Ｄ情報が利用可能ではないかまたは利用可能な３Ｄ情報が閾値を下回る信頼度を有することに起因して前記オブジェクトの前記少なくとも１つの領域がレンダリングされなかったことの視覚インジケーションを伴って、前記算出された３Ｄ情報の少なくとも一部の表現をレンダリングすることを含む、請求項１に記載の方法。
フィードバックを前記ユーザに提供することは、前記オブジェクトの特徴の３Ｄ場所を表すメッシュの前記オブジェクトの画像上の重畳を伴って、合成画像をレンダリングすることを含む、請求項１に記載の方法。
フィードバックを前記ユーザに提供することは、前記複数の画像フレームの少なくとも１つの画像フレームに基づく表面特性を伴う前記算出された３Ｄ情報に基づいて、表面を描写する合成画像をレンダリングすることを含む、請求項１に記載の方法。
前記算出された３Ｄ情報に基づいて、前記表面を描写する前記合成画像をレンダリングすることは、前記算出された３Ｄ情報がより高い信頼度を有する前記オブジェクトの領域を表す前記表面特性を伴う表面と、前記算出された３Ｄ情報がより低い信頼度を有する前記オブジェクトの領域を表す前記表面特性を伴わない表面とを提示することを含む、請求項５に記載の方法。
前記ハードウェアプロセッサが、前記複数の画像フレームのうちの少なくとも１つの画像フレームおよび前記算出された３Ｄ情報の合成を含む合成画像をレンダリングすることを含む、請求項１に記載の方法。
前記少なくとも１つのコンピューティングデバイスの前記ハードウェアプロセッサは、ポータブル電子デバイスのプロセッサであり、
前記ポータブル電子デバイスは、前記カメラを備え、
前記方法はさらに、前記カメラを用いて前記複数の画像フレームの第２の部分を捕捉しながら、前記複数の画像フレームの第１の部分に基づいて形成される合成画像をレンダリングすることを含む、
請求項１に記載の方法。
少なくとも１つのコンピューティングデバイスのハードウェアプロセッサによって実行されると、ユーザがカメラを移動させているときに捕捉された１つまたは複数のオブジェクトを描写する複数の画像フレームから前記オブジェクトの３Ｄ表現を形成する方法を行うプロセッサ実行可能命令を記憶する非一過性コンピュータ可読媒体であって、前記方法は、反復的に、
前記ハードウェアプロセッサが、前記複数の画像フレームのうちのサブセットを処理することに基づいて、前記オブジェクトについての３Ｄ情報を算出することと、
前記ハードウェアプロセッサが、前記オブジェクトの１つまたは複数の領域を表すために、前記算出された３Ｄ情報のうちの少なくともいくつかの信頼度を判定することと、
前記判定された信頼度に基づいて、前記算出された３Ｄ情報についてのフィードバックを前記ユーザに提供することであって、フィードバックを前記ユーザに提供することは、前記オブジェクトの少なくとも１つの領域をレンダリングするために３Ｄ情報が利用可能ではないかまたは利用可能な３Ｄ情報が閾値を下回る信頼度を有することに起因して前記オブジェクトの前記少なくとも１つの領域がレンダリングされなかったことの視覚インジケーションを伴って、前記算出された３Ｄ情報の少なくとも一部の表現をレンダリングすることを含む、ことと
を含む、非一過性コンピュータ可読媒体。
フィードバックを前記ユーザに提供することは、前記算出された３Ｄ情報がより高い信頼度を有する前記オブジェクトの領域と前記算出された３Ｄ情報がより低い信頼度を有する前記オブジェクトの領域との間の視覚的区別を伴って、前記算出された３Ｄ情報の前記少なくとも一部の前記表現をレンダリングすることを含む、請求項９に記載の非一過性コンピュータ可読媒体。
フィードバックを前記ユーザに提供することは、前記オブジェクトの特徴の３Ｄ場所を表すメッシュの前記オブジェクトの画像上の重畳を伴って、合成画像をレンダリングすることを含む、請求項９に記載の非一過性コンピュータ可読媒体。
フィードバックを前記ユーザに提供することは、前記複数の画像フレームの少なくとも１つの画像フレームに基づく表面特性を伴う前記算出された３Ｄ情報に基づいて、表面を描写する合成画像をレンダリングすることを含む、請求項９に記載の非一過性コンピュータ可読媒体。
前記算出された３Ｄ情報に基づいて、前記表面を描写する前記合成画像をレンダリングすることは、前記算出された３Ｄ情報がより高い信頼度を有する前記オブジェクトの領域を表す前記表面特性を伴う表面と、前記算出された３Ｄ情報がより低い信頼度を有する前記オブジェクトの領域を表す前記表面特性を伴わない表面とを提示することを含む、請求項１２に記載の非一過性コンピュータ可読媒体。
前記フィードバックは、前記オブジェクトの前記３Ｄ表現の品質を増加させるようにリアルタイムで前記ユーザに提供される、請求項９に記載の非一過性コンピュータ可読媒体。
フィードバックを前記ユーザに提供することは、前記フィードバックに基づいて、リアルタイムで前記カメラの位置を変更するための前記ユーザへのインジケーションを含む、請求項１４に記載の非一過性コンピュータ可読媒体。
前記方法は、前記ハードウェアプロセッサが、前記複数の画像フレームのうちの少なくとも１つの画像フレームおよび前記算出された３Ｄ情報の合成を含む合成画像をレンダリングすることを含む、請求項９に記載の非一過性コンピュータ可読媒体。
前記少なくとも１つのコンピューティングデバイスの前記ハードウェアプロセッサは、ポータブル電子デバイスのプロセッサであり、
前記ポータブル電子デバイスは、前記カメラを備え、
前記方法はさらに、前記カメラを用いて前記複数の画像フレームの第２の部分を捕捉しながら、前記複数の画像フレームの第１の部分に基づいて形成される合成画像をレンダリングすることを含む、
請求項９に記載の非一過性コンピュータ可読媒体。
ハードウェアプロセッサと、カメラと、ディスプレイとを備える、ポータブル電子デバイスであって、前記ポータブル電子デバイスは、ユーザが前記カメラを移動させているときからの１つまたは複数のオブジェクトを描写する複数の画像フレームから前記オブジェクトの３Ｄ表現を形成する方法を行うように構成され、前記方法は、反復的に、
前記ハードウェアプロセッサが、前記カメラを用いて捕捉された前記複数の画像フレームのうちのサブセットを処理することに基づいて、前記オブジェクトについての３Ｄ情報を算出することと、
前記ハードウェアプロセッサが、前記オブジェクトの１つまたは複数の領域を表すために、前記算出された３Ｄ情報のうちの少なくともいくつかの信頼度を判定することと、
前記判定された信頼度に基づいて、前記算出された３Ｄ情報についてのフィードバックを前記ユーザに提供することであって、フィードバックを前記ユーザに提供することは、前記オブジェクトの特徴の３Ｄ場所を表すメッシュの前記オブジェクトの画像上の重畳を伴って、合成画像をレンダリングすることを含む、ことと
を含む、ポータブル電子デバイス。
フィードバックを前記ユーザに提供することは、前記算出された３Ｄ情報がより高い信頼度を有する前記オブジェクトの領域と前記算出された３Ｄ情報がより低い信頼度を有する前記オブジェクトの領域との間の視覚的区別を伴って、前記算出された３Ｄ情報の少なくとも一部の表現をレンダリングすることを含む、請求項１８に記載のポータブル電子デバイス。
フィードバックを前記ユーザに提供することは、前記オブジェクトの少なくとも１つの領域をレンダリングするために３Ｄ情報が利用可能ではないかまたは利用可能な３Ｄ情報が閾値を下回る信頼度を有することに起因して前記オブジェクトの前記少なくとも１つの領域がレンダリングされなかったことの視覚インジケーションを伴って、前記算出された３Ｄ情報の少なくとも一部の表現をレンダリングすることを含む、請求項１８に記載のポータブル電子デバイス。
フィードバックを前記ユーザに提供することは、前記複数の画像フレームの少なくとも１つの画像フレームに基づく表面特性を伴う前記算出された３Ｄ情報に基づいて、表面を描写する合成画像をレンダリングすることを含む、請求項１８に記載のポータブル電子デバイス。
前記算出された３Ｄ情報に基づいて、前記表面を描写する前記合成画像をレンダリングすることは、前記算出された３Ｄ情報がより高い信頼度を有する前記オブジェクトの領域を表す前記表面特性を伴う表面と、前記算出された３Ｄ情報がより低い信頼度を有する前記オブジェクトの領域を表す前記表面特性を伴わない表面とを提示することを含む、請求項２１に記載のポータブル電子デバイス。
前記フィードバックは、前記オブジェクトの前記３Ｄ表現の品質を増加させるようにリアルタイムで前記ユーザに提供される、請求項１８に記載のポータブル電子デバイス。
フィードバックを前記ユーザに提供することは、前記フィードバックに基づいて、リアルタイムで前記カメラの位置を変更するための前記ユーザへのインジケーションを含む、請求項２３に記載のポータブル電子デバイス。
前記方法は、前記ハードウェアプロセッサが、前記複数の画像フレームのうちの少なくとも１つの画像フレームおよび前記算出された３Ｄ情報の合成を含む合成画像をレンダリングすることを含む、請求項１８に記載のポータブル電子デバイス。
前記少なくとも１つのコンピューティングデバイスの前記ハードウェアプロセッサは、ポータブル電子デバイスのプロセッサであり、
前記ポータブル電子デバイスは、前記カメラを備え、
前記方法はさらに、前記カメラを用いて前記複数の画像フレームの第２の部分を捕捉しながら、前記複数の画像フレームの第１の部分に基づいて形成される合成画像をレンダリングすることを含む、
請求項１８に記載のポータブル電子デバイス。