JP6915001B2 - 複数のモデルに基づくオブジェクトの表示 - Google Patents

複数のモデルに基づくオブジェクトの表示 Download PDF

Info

Publication number
JP6915001B2
JP6915001B2 JP2019143176A JP2019143176A JP6915001B2 JP 6915001 B2 JP6915001 B2 JP 6915001B2 JP 2019143176 A JP2019143176 A JP 2019143176A JP 2019143176 A JP2019143176 A JP 2019143176A JP 6915001 B2 JP6915001 B2 JP 6915001B2
Authority
JP
Japan
Prior art keywords
viewpoint
image
visual
model
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019143176A
Other languages
English (en)
Other versions
JP2019194924A (ja
JP2019194924A5 (ja
Inventor
ジャンネ・マティアス・コントカネン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2019194924A publication Critical patent/JP2019194924A/ja
Publication of JP2019194924A5 publication Critical patent/JP2019194924A5/ja
Priority to JP2021115686A priority Critical patent/JP7247276B2/ja
Application granted granted Critical
Publication of JP6915001B2 publication Critical patent/JP6915001B2/ja
Priority to JP2023041182A priority patent/JP2023076498A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

関連出願の相互参照
本願は、2015年10月7日に出願された米国特許出願第14/877,368号の継続出願であり、その開示は、参照によって本明細書に組み込まれる。
オブジェクトのあるパノラマ画像は、画像がキャプチャされた地理的な場所および方位に関する情報に関連付けられる。たとえば、画像の各ピクセルは、画像がキャプチャされた地理的場所から(もしあれば)外観がピクセルの視覚的特性によって表されるオブジェクトの表面の一部への角度を識別するデータに関連付けられてよい。各ピクセルはまた、キャプチャ場所からピクセルによって表される表面の一部への距離を識別するデプスデータに関連付けられてよい。
画像に現れる表面の場所の3次元モデルはデプスデータに基づいて生成されてよい。このモデルは、頂点が表面場所に一致するポリゴンを含んでよい。ポリゴンは、パノラマ画像の視覚的特性を投影することによって、レイトレーシングを使用するモデルへ織り込まれてよい。ユーザは、モデルがユーザへ表示されてよい視座を選択してよい。
本開示の態様は、1つまたは複数のプロセッサと、視座に対するオブジェクトの表面の方位および視覚的特性のモデルを記憶するメモリと、1つまたは複数のプロセッサによって実行可能な命令とを含むシステムを提供する。視覚的特性は、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを含んでよい。これらの命令は、第1の視座および第2の視座とは異なる要求された視座からオブジェクトの画像に対する要求を受信することと、第1の視覚的特性のセットからの第1の視覚的特性と、第2の視覚的特性のセットからの第2の視覚的特性とを識別することと、要求された視座と第1の視座とに対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値を決定することと、要求された視座と第2の視座とに対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値を決定することと、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性を決定することと、要求された画像を提供することとを含んでよい。
本開示の態様はまた、表示のため画像を提供する方法を提供する。この方法は、要求された視座からオブジェクトの画像に対する要求を受信するステップと、視座に対するオブジェクトの表面の方位および視覚的特性のモデルにアクセスするステップであって、視覚的特性は、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを含み、第1および第2の視座は、要求された視座とは異なる、ステップと、第1の視覚的特性のセットからの第1の視覚的特性と、第2の視覚的特性のセットからの第2の視覚的特性とを識別するステップと、要求された視座と第1の視座とに対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値を決定するステップと、要求された視座と第2の視座とに対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値を決定するステップと、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性を決定するステップと、表示のために要求された画像を提供するステップとを含んでよい。
本開示の態様は、プログラムのコンピューティングデバイス読取可能な命令が記憶された非一時的なコンピューティングデバイス読取可能な記憶媒体をさらに提供する。これらの命令は、1つまたは複数のコンピューティングデバイスによって実行された場合、1つまたは複数のコンピューティングデバイスに対して、要求された視座からオブジェクトの画像に対する要求を受信することと、視座に対するオブジェクトの表面の方位および視覚的特性のモデルにアクセスすることであって、視覚的特性は、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを備え、第1および第2の視座は、要求された視座とは異なる、アクセスすることと、第1の視覚的特性のセットからの第1の視覚的特性と、第2の視覚的特性のセットからの第2の視覚的特性とを識別することと、要求された視座と第1の視座とに対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値を決定することと、要求された視座と第2の視座とに対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値を決定することと、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性を決定することと、表示のために要求された画像を提供することとを含む方法を実行させてよい。
本開示の態様に従うシステムの機能図である。 オブジェクトがキャプチャされ表示されてよい視座に対するオブジェクトの図である。 視座および表面の方位に基づいて生成される楕円の図である。 テクセル楕円およびピクセル楕円の図である。 オブジェクトがキャプチャされ表示されてよい視座に対する閉塞された表面の図である。 オブジェクトがキャプチャされ表示されてよい視座に対する無関係な表面の図である。 ユーザへ表示されてよい画像の例である。 本開示の態様に従う例示的なフロー図である。
概観
本技術は、オブジェクトのイメージがキャプチャされた視座とは異なる視座からオブジェクトを表示することに関する。たとえば、2つ以上のパノラマ画像が、2つの異なる視座からオブジェクトをキャプチャしてよく、ユーザは、2つのキャプチャ地点間の場所からオブジェクトの画像を要求してよい。本システムは、オブジェクトの対応する表面の視覚的に正確な表現であるフラグメントの尤度に比例する画像の対応するフラグメントをともに混合することによって、ユーザによって要求された画像を生成してよい。例として、ユーザによって要求された画像を生成する場合、本システムは、表示されるべきオブジェクトの表面の方位に対するキャプチャ場所およびユーザによって要求された地点の関係に基づく品質値を計算してよい。フラグメントが混合された場合、他のフラグメントよりも良好な品質値を有するフラグメントへ重みがより適用されてよい。
例示として、図2は、車の2つのソース画像がキャプチャされた2つの異なる視座を図示する。この例では、車の正面がキャプチャされた角度は、第1のソース画像において比較的直角であり、第2のソース画像において比較的鋭角である。逆に、車の側面がキャプチャされた角度は、第1の画像において比較的鋭角であり、第2の画像において比較的直角である。図はまた、車を見るためにユーザによって選択された視座を図示する。
ユーザによって選択された視座からオブジェクトを表示するために、システムは、各ソース画像においてキャプチャされた表面のすべての3次元(3D)モデルを生成してよい。たとえば、レーザ照準機は、デプスマップを準備するために使用されてよい。デプスマップは、頂点がオブジェクトの表面に沿った地点の場所に一致するポリゴンのメッシュを含むソースモデルを準備するために使用された。
各ソース画像に関連付けられたソースモデルはまた、モデルに対するキャプチャ地点の場所を識別してもよく、システムは、ソース画像においてキャプチャされた視覚的情報をモデルへ投影するために、その場所を使用してよい。1つのソース画像に関連付けられた3Dモデルは、表面場所に関して別のソース画像に関連付けられた3Dモデルに実質的に同一であってよいが、モデルへ投影されたテクスチャの視覚的特性は、表面がキャプチャされた角度に依存して異なってよい。
ユーザへ表示されるために、画像のピクセルの視覚的特性を決定する場合、システムは、表示された各ピクセルを通って延びる光線が、たとえばテクセルのような、モデルのテクスチャと交差する場所を識別するために、レイトレーシング、およびユーザによって要求された視座の場所を使用してよい。システムは、表示されたピクセルの視覚的特性(たとえば、色相、飽和、および輝度)を決定するために、異なるソース画像からのテクセルをともに混合してよい。
ソース画像のモデルからのテクセルがともに混合される場合、別のソース画像からのテクセルよりも、1つのソース画像からのテクセルへより大きな重みが適用されてよい。この重みが、表示されるべきオブジェクトの視覚的特性の正確な表現であるテクセルの尤度を反映する品質値に基づいてよい。
少なくとも1つの態様では、品質値は、テクセルの解像度に対する表示されるピクセルの解像度に依存してよい。たとえば、表示された各ピクセルのために単一のテクセルが存在する場合に生じるように、最適な品質が定義されてよい。逆に、(表面のテクスチャが一直線にキャプチャされたがグレージング角度で見られる場合に生じてもよい)単一のピクセルに関連付けられた多くのテクセルが存在する、または(表面のテクスチャがグレージング角度でキャプチャされたが一直線に見られるのであれば生じてもよい)単一のテクセルに関連付けられた多くのピクセルが存在する場合に生じるように、低品質が定義されてよい。
テクセルの品質値は、表示されるべき表面の方位に対するユーザによって定義されたキャプチャされた視座の場所に基づいて計算されてよい。例示として、図3は、2つの地点の場所、すなわち視座と、ユーザへ表示されるべきモデルの表面における地点とを図示する。図はまた、円錐および平面の交差を表す楕円を図示する。平面は、視座、たとえばテクセルを含むソースモデルポリゴンの頂点によって定義される平面、に対する表面の方位を反映する。円錐は、視座から表面の地点へ延びる線(「視座/表面線」)を中心とされる。楕円が延長される範囲は、表面の方位と、視座から表面が見られる角度とに関する。視座/表面線が、表面の方位に完全に直角ならば、楕円は円になるだろう。視座/表面線の立体角が、表面の方位に対してより鋭角になると、楕円は、より延長されるようになり、楕円の短軸に対する長軸の比が増加するであろう。
テクセルの品質値は、キャプチャ地点に関連付けられた楕円(「テクセル楕円」)と、ユーザによって要求された視座に関連付けられた楕円(「ピクセル楕円」)との間の差分に基づいて決定されてよい。図4は、テクセル楕円およびピクセル楕円の例を提供する。品質値は、ピクセル楕円の半径と、テクセル楕円の半径との間の長さにおける最大差を生成する角度における、テクセル楕円の半径に対するピクセル楕円の半径の比から計算されてよい。
各テクセルについて、品質値が計算されると、品質値は、混合中の重みとして適用されてよい。たとえば、3つのテクセルT1、T2、およびT3を識別するために、3つのソース画像が使用されたのであれば、出力は、(w1T1+w2T2+w3T3)/(w1+w2+w3)として計算されてよい。wnは、テクセルの品質値に等しい。重みはまた、他の手法で適用されてよい。
システムはまた、閉塞(occlusion)へ対処するために重み値を使用してよい。図5に図示されるように、表示されるピクセルの特性を決定するために使用される光線が、ユーザによって要求された視座における視点から妨害されるであろうソース画像においてキャプチャされたオブジェクトの表面を通じて延びてよい。システムは、表面に面している各背面のための重みがゼロに設定されるように、表面に面している正面と背面との両方をレンダリングしてよい。システムはまた、各ソース画像内のビューワに最も近い表面が表示のために選択されるように画像を生成してよい。これによってシステムは、デプスを計算することなく、両モデルからのテクスチャをともに混合することが可能となる。
アーティファクトもまた、重み値を用いて対処されてよい。たとえば、図6に図示されるように、デプスデータにおける不連続性は、表面におけるギャップがオブジェクトの表面として不正確にモデル化されるようにしてよい。そのような存在しない表面をモデルから除去するのではなく、システムは、存在しない表面のテクセルの品質値を決定してよい。光線の角度が存在しない表面の方位に比較的直角であれば、テクセルの品質値は、異なる視座からキャプチャされた別の表面におけるテクセルの品質値と比較して非常に低くてよい。しかしながら、存在しない表面が見られる角度が存在しない表面の方位に対して比較的平行であれば、その表面におけるテクセルの品質値は比較的高くてよい。
システムは、ユーザによって要求される視座からユーザへオブジェクトを表示するために使用されてよい。その点に関して、図7に図示されるように、ユーザは、ソースイメージがキャプチャされた視座以外の視座からオブジェクトを見ることが可能であってよい。
例示的なシステム
図1は、本明細書で開示された態様が実施されてよい1つの可能なシステム100を例示する。この例では、システム100は、コンピューティングデバイス110および120を含んでよい。コンピューティングデバイス110は、1つまたは複数のプロセッサ112、メモリ114、および汎用コンピューティングデバイスに典型的に存在する他のコンポーネントを含んでよい。図1は、単一のブロックとしても表されるデバイス110内の単一のブロックとしてプロセッサ112およびメモリ114の各々を機能的に表すが、本明細書で説明されたシステムおよび方法は、同じ物理的なハウジングに格納されてよい、または格納されなくてよい多数のプロセッサ、メモリ、およびデバイスを含んでよい。たとえば、単一のコンポーネント(たとえば、プロセッサ112)を含むとして以下に説明される様々な方法は、複数のコンポーネント(たとえば、負荷平準サーバファームにおける多数のプロセッサ)を含んでよい。同様に、異なるコンポーネント(たとえば、デバイス110およびデバイス120)を含むとして以下に説明される様々な方法は、単一のコンポーネントを含んでよい(たとえば、デバイス120が、以下に説明される決定を実行するのではなく、デバイス120は、処理のために関連するデータをデバイス110へ送信し、さらなる処理または表示のための決定の結果を受信してよい)。
コンピューティングデバイス110のメモリ114は、プロセッサによって実行されてよい命令116を含む、プロセッサ112によってアクセス可能な情報を記憶してよい。メモリ114はまた、プロセッサ112によって検索、操作、または記憶されてよいデータ118を含んでよい。メモリ114は、非一時的なデータを記憶することができる媒体のように、適切なプロセッサによってアクセス可能な情報を記憶することができる任意のタイプのストレージであってよい。例として、メモリ114は、ハードディスクドライブ、ソリッドステートドライブ、メモリカード、RAM、DVD、書込可能なメモリ、または読取専用メモリであってよい。それに加えて、メモリは分散された記憶システムを含んでよく、データ150のようなデータは、同じまたは異なる地理的場所において物理的に配置されてよい複数の異なる記憶デバイスに記憶される。
命令116は、プロセッサ112または他のコンピューティングデバイスによって実行されるべき命令の任意のセットであってよい。その点に関し、「命令」、「アプリケーション」、「ステップ」、および「プログラム」という用語は、本明細書において置換可能に使用されてよい。これらの命令は、プロセッサによる即時処理のためのオブジェクトコードフォーマットで、またはオンデマンドで翻訳される、または先行してコンパイルされる独立したソースコードモジュールのスクリプトまたは集合を含む別のコンピューティングデバイス言語で記憶されてよい。命令の機能、方法、およびルーチンは、以下により詳細に説明される。プロセッサ112は、市販のCPUのような任意の従来のプロセッサであってよい。あるいは、プロセッサは、ASICまたは他のハードウェアベースのプロセッサのような専用コンポーネントであってよい。
データ118は、命令116に従ってコンピューティングデバイス110によって検索、記憶、または修正されてよい。たとえば、本明細書で説明された主題は、どの特定のデータ構造によっても限定されないが、データは、コンピュータレジスタに、多くの異なるフィールドおよびレコードまたはXMLドキュメントを有するテーブルとしてリレーショナルデータベースに記憶されてよい。データはまた、限定されないが、バイナリ値、ASCIIまたはUnicodeのような任意のコンピューティングデバイス読取可能なフォーマットでフォーマットされてよい。さらに、データは、数字、説明文、所有者コード、ポインタ、他のネットワーク場所におけるような他のメモリに記憶されたデータに対する参照、または関連データを計算するための関数によって使用される情報のような関連情報を識別するために十分な任意の情報を備えてよい。
コンピューティングデバイス110は、ネットワーク160の1つのノードにおいて存在してよく、ネットワーク160の他のノードとダイレクトおよび非ダイレクトに通信することが可能であってよい。少数のコンピューティングデバイスしか図1に図示されていないが、典型的なシステムは、多数の接続されたコンピューティングデバイスを含んでよく、異なる各コンピューティングデバイスは、ネットワーク160の異なるコードにある。本明細書で説明されるネットワーク160および介在するノードは、様々なプロトコルおよびシステムを使用して相互接続されてよく、これによってネットワークは、インターネット、ワールドワイドウェブ、特定のイントラネット、広域ネットワーク、またはローカルネットワークの一部であってよい。ネットワークは、イーサネット(登録商標)、Wi-FiおよびHTTP、1つまたは複数の会社へ専用であるプロトコル、および先述したものの様々な組合せのような標準的な通信プロトコルを利用してよい。例として、コンピューティングデバイス110は、ネットワーク160を経由してコンピューティングデバイス120と通信することが可能なウェブサーバであってよい。コンピューティングデバイス120は、クライアントコンピューティングデバイスであってよく、サーバ110は、ディスプレイ122を経由してデバイス120のユーザ135へ情報を伝送し提示するために、ネットワーク160を使用することによって情報を表示してよい。上述したように情報が伝送または受信された場合にある利点が取得されるが、本明細書で説明された主題の他の態様は、情報の伝送のいずれの特定の方式にも限定されない。
コンピューティングデバイス120は、上記で説明されたようなプロセッサ、メモリ、および命令を備えたサーバ110に類似して構成されてよい。コンピューティングデバイス120は、ユーザによる使用のために意図されたパーソナルコンピューティングデバイスであってよく、中央処理装置(CPU)、データおよび命令を記憶するメモリ、ディスプレイ122(たとえば、スクリーンのあるモニター、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するために動作可能な他のデバイス)のようなディスプレイ、ユーザ入力デバイス162(たとえば、マウス、キーボード、タッチスクリーン、マイクロホン等)、またカメラ163のように、パーソナルコンピューティングデバイスと接続して通常使用されるコンポーネントのすべてを有してよい。
コンピューティングデバイス120はまた、インターネットのようなネットワークを介してサーバとワイヤレスにデータを交換することができるモバイルコンピューティングデバイスであってよい。単なる例として、デバイス120は、モバイル電話、もしくはワイヤレス対応PDA、タブレットPC、ウェアラブルコンピューティングデバイス、またはインターネットを経由して情報を取得することが可能なネットブックのようなデバイスであってよい。デバイスは、GoogleのAndroidオペレーティングシステム、Microsoft Windows、またはApple iOSのようなオペレーティングシステムで動作するように構成されてよい。その点に関し、本明細書で説明された動作中に実行される命令のいくつかは、オペレーティングシステムによって提供されてよい一方、他の命令は、デバイスにインストールされたアプリケーションによって提供されてよい。本明細書において説明されたシステムおよび方法に従うコンピューティングデバイスは、命令を処理し、人間へ/からデータを伝送することが可能な他のデバイス、および/またはローカル記憶能力を欠くネットワークコンピュータ、およびテレビのためのセットトップボックスを含む他のコンピュータを含んでよい。
コンピューティングデバイス120は、デバイスの地理的場所および方位を決定するために、回路のようなコンポーネント130を含んでよい。たとえば、クライアントデバイス120は、デバイスの緯度、経度、および高度位置を決定するために、GPSレシーバ131を含んでよい。このコンポーネントはまた、クライアントデバイスがセル電話であれば、1つまたは複数のセル電話塔からセル電話のアンテナにおいて受信した信号のような、クライアントデバイス120において受信された他の信号に基づいて、デバイスの位置を決定するためのソフトウェアを備えてよい。それはまた、デバイスが向けられる方位を決定するために、磁気コンパス132、加速度計133、およびジャイロスコープ134を含んでよい。単なる例として、デバイスは、重力の方向、またはそれに垂直な面に対するピッチ、ヨー、またはロール(またはその変化)を決定してもよい。コンポーネント130はまた、デバイスとオブジェクトの表面との間の距離を決定するためにレーザ照準機または類似のデバイスを含んでよい。
サーバ110は、その少なくとも一部がクライアントデバイスへ伝送されてよい地図関連情報を記憶してよい。地図情報は、どの特定のフォーマットにも限定されない。たとえば、地図データは、衛星または航空機によってキャプチャされた写真のような、地理的場所のビットマップ画像を含んでよい。
サーバ110はまた、単なる例として平面写真、光球、または背景の動画のようなイメージを記憶してよい。このイメージは、後のアクセスのために、または特徴に関連する情報を探索する人へ、写真をアクセス可能にする目的のために、エンドユーザによってキャプチャされアップロードされてよい。カメラによってキャプチャされた画像データに加えて、イメージの個々のアイテムが、キャプチャの日付、キャプチャの日時、キャプチャの地理的方位(たとえば、カメラ角度または方向)および場所(たとえば、緯度、経度、および高度)のような追加のデータに関連付けられてよい。
イメージの一部は、イメージ内に現れる特徴の地理的場所のモデルを含む追加情報に関連付けられてよい。たとえばモデルは、パノラマ画像においてキャプチャされたオブジェクトの表面の場所を識別してよい。表面の場所はたとえば、その場所が固定位置からの立体角および距離(たとえば、イメージがキャプチャされたポイントからの方位および距離)として定義される地点のコンステレーション、または頂点が緯度/経度/高度座標で表現される地理的に位置するポリゴンのように、異なる手法でメモリに記憶されてよい。システムおよび方法はさらに、その場所が、レーザ照準機を使用してダイレクトにキャプチャされた、または立体画法の三角測量を使用することによって画像から生成された地点のコンステレーションから地理的に位置されたポリゴンのモデルを生成することのように、1つの基準系から別の基準系へ場所を変換してよい。場所は、他の手法でも同様に表現されてよく、アプリケーションおよび必要とされる精度の性質に依存してよい。単なる例として、地理的場所は、道路住所、(道路地図のエッジに対するピクセル位置のような)地図のエッジに対するx-y座標、または地理的場所を識別することが可能な他の基準系(たとえば、サーベイ地図上のロットおよびブロック番号)によって識別されてよい。場所はまた範囲によって説明されてよく、たとえば地理的場所は、緯度/経度/高度座標の範囲、離散的な系列によって説明されてよい。
例示的な方法
本発明の様々な態様に従う動作が説明されるであろう。以下の動作は、以下に説明される正確な順序で実行される必要はないことが理解されるべきである。むしろ、様々なステップは、異なる順序で、または同時に取り扱われることができる。
地理的なオブジェクトは、多数の視座からイメージによってキャプチャされてよい。例として、図2は、それぞれ、2つの異なる場所210および220から2つの個別の画像215および225においてキャプチャされた車240を図示する。視座210から車の正面によって一般に定義される平面202に対するカメラ角度211は、比較的直角であり、車の側面によって一般に定義される平面201に対するカメラ角度212は、比較的鋭角である。対照的に、視座220から正面の平面202に対する視角221は、比較的鋭角であり、側面201に対する視角222は、比較的直角である。(参照番号201および202は、これら表面によって一般に定義される平面のみならず、車240の正面および側面を称するために、相互置換可能に使用される。)その点に関し、場所210および220からキャプチャされた画像は、異なる角度から車の異なる表面をキャプチャし、1つの表面は、比較的一直線にキャプチャされ、他の表面は、鋭い角度からキャプチャされる。
イメージにおいてキャプチャされたオブジェクト表面の場所のモデルが、生成され、かつイメージに関連付けられてよい。例として、ソースイメージは、パノラマ画像を含んでよい。ソース画像がキャプチャされた時において、パノラマ画像の各ピクセルをキャプチャ場所からその視覚的特性がピクセルによって表される表面の一部への距離へ関連付けるために、レーザ照準機135または別のデプス決定技術が使用されてよい。そのような情報と、画像がキャプチャされた場所(たとえば、GPSレシーバ131によって提供された緯度/経度/高度情報)とに基づいて、システムは、その頂点がオブジェクトの表面に沿った地点の場所(たとえば、緯度/経度/高度)に一致するポリゴン(たとえば、三角形)のメッシュを含むソースモデルを生成してよい。
ソース画像においてキャプチャされた視覚的特性は、そのソース画像に関連付けられたモデルを織り込むために使用されてよい。たとえば、イメージ215および216の各ピクセルはまた、たとえばカメラからピクセルに関連付けられた表面の一部へ延びる光線を定義するデータのようなカメラ角度に関連付けられてよい。カメラ角度データは、コンパス132によって提供される基本方向と、ジャイロスコープ134によって提供される方位データとのような、画像がキャプチャされた時に地理的コンポーネント130によって提供される情報に基づいてよい。光線との交差の地点におけるポリゴンの視覚的特性が、関連付けられたピクセルの視覚的特性と一致するように、画像215の各ピクセルの視覚的特性をモデル216のポリゴンへ投影するために、レイトレーシングが使用されてよい。
ポリゴンの視覚的情報は、テクセルから構成されたテクスチャとして記憶されてよい。単なる例として、テクスチャのテクセルは、画像のピクセルが配置されてよい手法、たとえば1つまたは複数の視覚的特性を定義するグリッドまたは個々のユニットの他の集合と類似の方式で配置されてよい。以下の説明の一部は、説明の容易のために、色のようなピクセルまたはテクセルの単一の視覚的特性のみを称してよい。しかしながら、ピクセルおよびテクセルは、色相、飽和、および輝度を含む多くの異なる視覚的特性を定義するデータに関連付けられてよい。
2つの異なるソースモデルが表面の場所の同一の表現を含んでいても、各モデルにおける表面の視覚的特性は、大きく異なってよい。たとえば、イメージ215は鋭い角度212で車240の側面201をキャプチャするので、車の側面の長さ全体はほんの少数の画像215においてのみ水平に表れてよい。その結果、ピクセル情報が車の側面を表すポリゴンへ投影された場合、単一のピクセルからの情報は、水平方向において、多くのテクセルを介して延びてよい。モデル216が視座230から表示されたのであれば、車の側面は、結果として色の長い水平線を有するように見えてよい。しかしながら、モデル216が視座210(テクスチャが投影された同じ場所)から表示されるのであれば、車240の側面201は少ないアーティファクト乃至アーティファクトなしで表示されてよい。
システムは、未だに別の視座から地理的オブジェクトを表示するために、多数の視座からキャプチャされた視覚的情報を組み合わせてよい。たとえば、ユーザは、視座230から車240の画像235を要求してよい。ユーザへ表示されるべき画像のピクセル(「表示されるピクセル」)の視覚的特性を決定する場合、システムは、表示された各ピクセルを視座からおよびピクセルを含む画像面を介して延びる光線に関連付けてよい。システムは、各ピクセルの関連付けられた光線がモデルによって定義された表面と交差する地点およびテクセルを決定してよい。たとえば、画像235におけるピクセルの視覚的特性を決定する場合、システムは、ピクセルの光線がモデル216のポリゴンと交差するテクセル(T1)と、ピクセルの光線が、モデル226のポリゴンと交差するテクセル(T2)とを決定してよい。システムは、T1の色とT2の色とをアルファ混合することによってピクセルの色を決定してよい。
交差したテクセルの視覚的特性がともに混合される場合、別のソース画像から導出されたテクセルよりも1つのソース画像から導出されたテクセルへより大きな重みが適用されてよい。この重みは、表示されるべきオブジェクトの視覚的特性の正確な表現であるテクセルの尤度に基づいてよい。
少なくとも1つの態様では、品質値は、テクセルの解像度に対する表示されたピクセルの解像度に依存してよく、最適な品質は、表示された各ピクセルのために単一のテクセルが存在する場合に生じるように定義されてよい。逆に、低品質は、単一のピクセルに関連付けられた多くのテクセルが存在する場合、または単一のテクセルに関連付けられた多くのピクセルが存在する場合に生じるように定義されてよい。例として、第1のポリゴンが生成されてよい。第1のポリゴンへ投影される各ピクセルのために単一のテクセルが存在する。ピクセルが、比較的一直線な角度から第1のポリゴンへ投影されているのであれば、テクスチャは、一杯に詰め込まれた多くのテクセルを含んでよい。このポリゴンが一直線に表示されたのであれば、表示された各ピクセルのためにおおよそ1つのテクセルが存在してよく、したがってテクスチャは、比較的高い品質を有すると考慮されるであろう。しかしながら、ポリゴンが鋭角から表示されたのであれば、表示された各ピクセルのために多くのテクセルが存在してよく、テクスチャの比較的高い解像度に関わらず、テクスチャは、比較的低い品質を有すると考慮されるであろう。
さらなる例として、第2のポリゴンが生成されてよい。第2のポリゴンへ投影される各ピクセルのためにも単一のテクセルが存在する。しかしながら、ピクセルが比較的鋭角から第2のポリゴンへ投影されたのであれば、テクスチャは、長く薄いテクセルを含んでよい。このポリゴンがその後、一直線に表示されるのであれば、表示された多くのピクセルは、それらの特性を単一のテクセルのみから導出するであろう。このケースでは、テクスチャは、比較的低品質を有すると考慮されるであろう。しかしながら、ポリゴンが比較的鋭角から表示されるのであれば、表示される各ピクセルのために1つのみのテクセルが存在してよい。このケースでは、テクスチャの比較的低い解像度にも関わらず、テクスチャは比較的高い品質を有すると考慮されるであろう。
テクセルの品質値は、表示されるべき表面の方位に対するユーザによって定義されたキャプチャされた視座の場所に基づいて計算されてもよい。例示として、図3の地点320は、モデルの地理的に配置されたポリゴンが見られるであろう地理的場所であってよい。地点330は、表示されたピクセルに関連付けられたカメラ角度がポリゴンと交差する地点である。線"s"は、視座320から交差地点330へ延びる。円錐350は、鋭い立体角("α")で地点320から外側へ延びる。αの尺度は、任意に選択されてよい。αの尺度はまた、テクスチャがキャプチャされた場所から見られるように、円錐がテクセルと類似した立体角を提供するように、たとえばテクスチャの解像度が高いほど、より小さな円錐となるように選択されてよい。楕円310は、円錐350と平面(図示せず)との交差を表す。平面、たとえば交差地点330を含むポリゴンの頂点によって定義される平面は、交差地点における表面の方位を反映する。
楕円が延ばされる範囲は、表面の方位と視座に関連する。たとえば、線"s"が、平面の方位に完全に直交している(それは、表面を一直線に見ることに関連付けられるであろう)のであれば、楕円310は、完全な円になるであろう。線"s"の立体角が平面の方位に対してより鋭角になると、楕円310はより延ばされるようになり、楕円の短軸("a")に対する長軸("b")の比は、"n"を面法線として増加するであろう。軸"a"および"b"は、式a=αs×nおよびb=(n・s/|s|)(a×n)から決定されてよい。
テクセルの品質値は、キャプチャ場所から交差地点へ延びる円錐に関連付けられた楕円(「テクセル楕円」)と、ユーザによって選択された場所から交差地点へ延びる円錐に関連付けられた楕円(「ピクセル楕円」)との差分に基づいて決定されてよい。図4では、テクセル楕円425がキャプチャ場所420に関連付けられ、ピクセル楕円435がユーザによって要求された視座430に関連付けられる。交差地点450におけるテクセルの品質値は、特定の角度θにおけるテクセル楕円の半径に対するピクセル楕円の半径の比、たとえばquality(θ)=radiust(θ)/radiusp(θ)から計算されてよい。1つの態様では、角度θは、最小比をもたらす角度または角度の推定値である。たとえば、品質値は、異なるθの値において計算されてよく、テクセルの品質値は、たとえばqualitymin=quality(argminθ{quality(θ)})のように、計算された最低値に等しくてよい。最小は、両楕円を行列形式で表現し、かつテクセル楕円が単位円となるであろう座標系へピクセル楕円をマップするテクセル楕円の反転をピクセル楕円へ乗じることによって決定されてよい。この座標系内では、比は再マップされたピクセル楕円の半径に等しく、最小比は再マップされたピクセル楕円の短軸長に等しい。
品質値は、テクセル楕円軸の各々をピクセル楕円軸の各々へ投影し、最長比を与えるピクセル楕円軸を選択することによって推定されてよい。例として、シェーダは、4つの可能な方向をサンプルし、最低品質値に関連付けられた角度を選択する式qualitymin〜1/max((at・ap)/(ap・ap),(bt・ap)/(ap・ap),(at・bp)/(bp・bp),(bt・bp)/(bp・bp))に従って値を計算することによって最小品質値を概算してよい。他の方法も品質を計算するために使用されてよい。
テクセルの品質が一旦計算されると、品質は、表示されるピクセルの色がテクセルの色にどの程度類似しているのかを決定するために使用されてよい。たとえば、3つのテクセルT1、T2、およびT3を識別するために3つのソース画像が使用されるのであれば、各テクセルのための混合重みが、フラグメントシェーダにおいて各入力テクセルおよび出力(w1T1+w2T2+w3T3)/(w1+w2+w3)について計算されてよく、wnはテクセルの品質値に等しい。重みはまた、品質値を累乗へ上げることのように他の手法でも適用されてよい。たとえば、重みを大きな指数まで上げることによって、最大重みを有する表面が他の重みを支配してよい。したがって、より低い重みを有するテクセルのインパクトを低減することによってゴーストを低減する。
システムはまた、図5に例として図示されるように、閉塞へ対処するために重み値を使用してよい。表面502および503は、画像520において視座Aからキャプチャされ、表面501および503は、画像530において視座Bからキャプチャされた。モデル521および531はそれぞれ、各画像520および530のために生成されてよい。モデルが生成される場合、モデルは、テクスチャをポリゴンの特定の側面に関連付けてよい。たとえば、表面502は単一の三角形によってモデル521において表されてよく、1つの側面は視座Aに面し、他の側面は視座Aから離れている。画像データがモデルへ投影された場合、モデルは、テクスチャが視座に面している三角形の側面上にあるかどうかを示してよい。
要求された画像を生成する場合、その関連付けられたテクスチャが要求された視座に面しているか離れているかを決定することによって、およびテクスチャが同じモデル内の他のテクスチャよりも視座に近いかどうかを決定することによって、閉塞された表面が隠されてよい。たとえば、表示されたピクセルの色を視座540から決定した場合、システムは、ピクセルの関連付けられた光線550が各表面と交差したポイントのすべて、すなわちポイント511〜513を決定してよい。システムはまた、各モデルについて、視座に最も近い交差したテクセルと、交差したテクスチャのテクスチャが、視座に面している(「正面向き」)ポリゴンの側面にあるか、または視座から離れている(「背面向き」)ポリゴンの側面にあるかを決定してよい。したがって、システムは、T511Bが、モデル531における最も近いテクセルであり、正面向きであると決定してよい("Tpppm"は、交差地点pppにおけるテクセルであり、視座mに関連付けられたモデルに記憶されたテクセルを称する)。システムはまた、T512Aが、モデル521における最も近いテクセルであり、かつ背面向きであることを決定してよい。T512Aが背面向きであるので、システムはその重みをゼロへ自動的に設定してよい。その結果、光線550に関連付けられたピクセルの色は、(w511BT511B+w512AT512A)/(w511B+w512A)によって決定されてよく、w511BはT511Bについて決定された品質値であり、w512Aはゼロに設定される。その結果、表示されたピクセルの色はT511Bと同じになるであろう。
あるいは、あるテクスチャを無視することでも、またはそれらの重みをゼロへ設定することでもなく、それらの相対的な重みが低減されてよい。たとえば、w512Aをゼロへ設定することでも、T513AおよびT513Bをともに無視することでもなく、背面向きのテクセルおよび他のテクセルがまた、低減された重みで混合のために使用されてよい。
デプスデータにおける不連続性によって引き起こされるアーティファクトを含むアーティファクトはまた、重み値を用いて対処されてよい。たとえば、図6に図示されるように、モデル621は、場所620からキャプチャされた画像に関連付けられてよく、モデル631は、場所630からキャプチャされた画像に関連付けられてよい。表面601、602間のギャップ603は、モデル621において正確に表されてよい。しかしながら、キャプチャ時において検索されたデプスデータから生じた不正確さ、またはモデル631の生成中に生じた他のいくつかの誤差の結果、表面635がギャップ603を介して延びることをモデル631が不正確に示すことになってよい。モデル631が視座640から見られたのであれば、無関係な表面635は、ギャップの1つのエッジから他のエッジへ延びたゴムシートの外観を有してよい。いくつかの態様では、システムは、モデル621をモデル631と比較することによって無関係なポリゴンをチェックし、かつ除去してよい。
他の態様では、システムは、表示するための画像を生成する場合、無関係な表面を使用してよい。たとえば、ユーザは、視座640から表面を表示する画像を要求してよい。光線641に関連付けられたピクセルの色に対するモデル621の寄与を決定する場合、システムは、第1の命令地点として表面601における地点Aを識別してよい。テクセルは、テクセルがキャプチャされた角度(場所620)に類似した角度において見られるため、システムはまた、地点Aにおけるテクセルが比較的高い品質値を有すると決定してよい。ピクセルの色に対するモデル631の寄与を決定する場合、システムは、第1の交差地点として無関係な表面635における地点Bを識別してよい。テクセルは、テクセルがキャプチャされた角度(場所630)に比較的直角である角度において見られるため、システムは、地点Bにおけるテクセルが比較的低い品質値を有すると決定してよい。その結果、ポイントAおよびBにおいてテクセルがともに混合される場合、比較的少ない重みが地点Bにおいてテクセルへ適用されるであろう。また、ピクセルの色は、表面601における地点Aの色にほとんど完全に基づくであろう。
ある角度から、無関係な表面は、表示されるべき画像の視覚的特性に対する顕著な寄与を有してよい。たとえば、ユーザは、視座650からの画像を要求してよい。これは、モデル631のキャプチャ場所630に比較的近い。光線641に関連付けられたピクセルの色へのモデル631の寄与を決定する場合、システムは、第1の交差地点として無関係な表面635における地点Cを識別してよく、さらに、モデル631の地点Cにおけるテクセルは、比較的高い品質値を有していることを決定してよい。同じピクセルの色に対するモデル621の寄与を決定する場合、表面602がモデルによって表されないのであれば、システムは交差地点を識別しなくてよい。あるいは、表面602がモデルによって表されるのであれば、交差地点から視座650への角度は交差地点からキャプチャ場所620への角度に比較的直角であるため、モデル621における交差地点におけるテクセルの品質値は比較的低くてよい。いずれのケースであれ、結果として表示されたピクセルの色は無関係な表面のテクセルと実質的に同じでよい。これは、無関係な表面635を表示することは、何も表示しないこと(たとえば、表面の不在を示す色)よりも好適であってよいため、モデル621が表面602の表現を有していないのであれば、特に有利である。
ユーザは、システムを使用し、かつモデルとインタラクトしてよい。単なる例として、図1を参照して、ユーザ135は、多数の視座から画像データおよびデプスデータをキャプチャするために、クライアントデバイス120のカメラ163および地理的コンポーネント130を使用してよい。ユーザ135は、画像およびデプスデータをサーバ110へアップロードしてよい。プロセッサ112は、ユーザによって提供されたデータに基づいて、各画像のテクスチャモデルを生成し、かつそのデータをメモリ114に記憶してよい。サーバ110は、その後、具体的な視座からオブジェクトの画像に対する要求を受信してよい。たとえば、ユーザ135(または、クライアントデバイス121を使用する異なるユーザ)は、ユーザ入力162を用いて地理的場所を選択し、かつ要求をサーバ110へ送信することによって、具体的な地理的場所におけるパノラマ画像を要求してよい。要求を受信すると、サーバ110は、たとえば要求された地理的場所のしきい距離内のキャプチャ場所または表面場所を有するすべてまたは限定された数のモデルを選択することによって、要求された地理的場所に基づいて2つ以上のモデルを検索してよい。サーバはその後、ネットワーク160を経由してクライアントデバイス120へモデルを送信してよい。モデルを受信すると、クライアントデバイス120のプロセッサは、モデルに基づいてかつ視座として要求された地理的場所を使用して、パノラマ画像を生成してよい。要求された地理的場所が高度を含んでいなかったのであれば、視座の高度はモデルのキャプチャ場所の高度に基づいてよい。
パノラマ画像はディスプレイ122上に表示されてよい。たとえば、図2および図7を参照して示すように、車240のモデル216および226がクライアントデバイスへ送信されたのであれば、車240の画像710は、視座230に基づいて生成され、かつユーザへ表示されてよい。ユーザは、クライアントデバイスのユーザインターフェースを経由してコマンドを提供すること、たとえば画像をピックアップするためにボタンを押すことによって、キャプチャ場所とは異なる他の視座を選択してよい。
図8は、上記で説明された態様のいくつかに従うフローチャートである。ブロック801では、第1の視座と第2の視座とに対するオブジェクトの表面の方位と、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを含む、オブジェクトの表面のモデルがアクセスされる。ブロック802では、第1の視座および第2の視座とは異なる、要求された視座からオブジェクトの画像に対する要求が受信される。ブロック803では、第1の視覚的特性が、第1の視覚的特性のセットから識別され、第2の視覚的特性が、第2の視覚的特性のセットから識別される。ブロック804では、要求された視座および第1の視座に対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値が決定される。ブロック805では、要求された視座および第2の視座に対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値が決定される。ブロック806では、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性が決定される。ブロック807では、要求された画像が表示のためにユーザへ提供される。
特許請求の範囲によって定義されたような本発明から逸脱することなく、上記で議論された特徴のこれらおよび他のバリエーションおよび組合せを利用することができるので、実施形態の先述した説明は、特許請求の範囲によって定義されたような本発明の限定によってではなく、例示として採用されるべきである。本発明の例の提供(のみならず、「〜のような」、「たとえば」、「〜を含む」等のようにフレーズされた句)は、具体的な例に本発明を限定するものとして解釈されるべきではなく、むしろ、これら例は、多くの可能な態様のうちのいくつかのみを例示することが意図されていると理解されるであろう。
100 システム
110 サーバ
112 プロセッサ
114 メモリ
116 命令
118 データ
120 クライアントデバイス
121 クライアントデバイス
122 ディスプレイ
130 地理的コンポーネント
131 GPSレシーバ
132 コンパス
133 加速度計
134 ジャイロスコープ
135 照準機
135 ユーザ
160 ネットワーク
162 ユーザ入力
163 カメラ
201 側面
202 正面
210 視座
211 カメラ角度
212 カメラ角度
215 画像
216 モデル
220 視座
221 視角
222 視角
225 画像
226 モデル
230 視座
235 画像
240 車
310 楕円
320 視座
330 交差地点
350 円錐
420 キャプチャ場所
425 テクセル楕円
430 視座
435 ピクセル楕円
450 交差地点
501 表面
502 表面
503 表面
511 ポイント
512 ポイント
513 ポイント
520 画像
521 モデル
530 画像
531 モデル
540 視座
550 光線
601 表面
602 表面
603 ギャップ
620 キャプチャ場所
621 モデル
630 キャプチャ場所
631 モデル
635 表面
640 視座
641 光線
650 視座
710 画像

Claims (20)

  1. 画像を生成する方法であって、
    オブジェクトの第1の表面および前記オブジェクトの第2の表面の方位および視覚的特性のモデルにアクセスするステップであって、前記視覚的特性は、第1の視座からの前記第1の表面の外観を表す第1の視覚的特性のセットと、前記第1の視座とは異なる第2の視座からの前記第2の表面の外観を表す第2の視覚的特性のセットとを備える、ステップと、
    前記画像に対する第3の視座を識別するステップと、
    前記モデルを使用して、前記第1の表面が前記第2の表面よりも前記第3の視座に近いと判定するステップと、
    前記第1の表面が前記第2の表面よりも前記第3の視座に近いと前記判定するステップに基づいて、前記第1の視覚的特性のセットを使用して前記画像を生成するステップと
    を備える、方法。
  2. 前記画像を生成するステップが、前記画像を生成するために、前記第2の視覚的特性のセットを使用することを含まない、請求項1に記載の方法。
  3. 前記第1の表面が前記第2の表面よりも前記第3の視座に近いと前記判定するステップが、前記第3の視座に対する前記第1の表面の方位に基づく、請求項1に記載の方法。
  4. 前記第1の表面が前記第2の表面よりも前記第3の視座に近いと前記判定するステップが、前記第3の視座に対する前記第2の表面の方位に基づく、請求項1に記載の方法。
  5. 前記第1の視覚的特性のセットが、前記第1の表面のテクスチャを規定する、請求項1に記載の方法。
  6. 前記第2の視覚的特性のセットが、前記第2の表面のテクスチャを規定する、請求項1に記載の方法。
  7. 前記第1の視覚的特性のセットが前記第2の視覚的特性のセットよりも前記第3の視座に近いと判定するステップをさらに備え、前記第1の視覚的特性のセットが前記第2の視覚的特性のセットよりも前記第3の視座に近いと判定するステップが、前記画像を生成するためにさらに使用される、請求項1に記載の方法。
  8. 前記オブジェクトとの1つまたは複数の交差する地点を識別するために、前記モデルの前記オブジェクトの上に前記第3の視座からの光線を投影するステップをさらに備え、前記1つまたは複数の交差する地点のうちの1つが、前記画像を生成するために使用される、請求項1に記載の方法。
  9. 前記1つまたは複数の交差する地点のうちの第1の地点が前記第1の表面に対応し、前記1つまたは複数の交差する地点のうちの第2の地点が前記第2の表面に対応し、前記第1の表面が前記第2の表面よりも前記第3の視座に近いと前記判定するステップが、前記1つまたは複数の交差する地点のうちの前記第1の地点および前記1つまたは複数の交差する地点のうちの前記第2の地点に基づく、請求項8に記載の方法。
  10. 前記第1の表面が前記第2の表面よりも前記第3の視座に近いと前記判定するステップに少なくとも部分的に基づいて、前記第1の視覚的特性のセットの第1の重みおよび前記第2の視覚的特性のセットの第2の重みを決定するステップをさらに備え、前記画像を生成するステップが、前記第1の重みおよび前記第2の重みに基づく、請求項1に記載の方法。
  11. 前記第2の重みが0に設定される、請求項10に記載の方法。
  12. 前記第1の重みが、前記生成された画像における前記オブジェクトの表面の方位に対する前記第1の視座の関係に対応する前記第1の視覚的特性のセットについての品質値に対応する、請求項10に記載の方法。
  13. 前記画像を生成するステップが、比(w1T1+w2T2)/(w1+w2)にさらに基づき、w1は前記第1の重みに対応し、w2は前記第2の重みに対応し、T1は前記第1の視覚的特性のセットに対応し、T2は前記第2の視覚的特性のセットに対応する、請求項10に記載の方法。
  14. 画像を生成するためのシステムであって、
    オブジェクトの第1の表面および前記オブジェクトの第2の表面の方位および視覚的特性のモデルにアクセスすることであって、前記視覚的特性は、第1の視座からの前記第1の表面の外観を表す第1の視覚的特性のセットと、前記第1の視座とは異なる第2の視座からの前記第2の表面の外観を表す第2の視覚的特性のセットとを備える、アクセスすることと、
    前記画像に対する第3の視座を識別することと、
    前記モデルを使用して、前記第1の表面が前記第2の表面よりも前記第3の視座に近いと判定することと、
    前記第1の表面が前記第2の表面よりも前記第3の視座に近いと前記判定することに基づいて、前記第1の視覚的特性のセットを使用して前記画像を生成することと
    を行うように構成される1つまたは複数のプロセッサ
    を備える、システム。
  15. 前記1つまたは複数のプロセッサが、前記画像を生成するために、前記第2の視覚的特性のセットを使用することなく前記画像を生成するようにさらに構成される、請求項14に記載のシステム。
  16. 前記1つまたは複数のプロセッサが、前記第3の視座に対する前記第1の表面の方位にさらに基づいて、前記第1の表面が前記第2の表面よりも前記第3の視座に近いと判定するようにさらに構成される、請求項14に記載のシステム。
  17. 前記1つまたは複数のプロセッサが、前記第3の視座に対する前記第2の表面の方位にさらに基づいて、前記第1の表面が前記第2の表面よりも前記第3の視座に近いと判定するようにさらに構成される、請求項14に記載のシステム。
  18. 前記1つまたは複数のプロセッサが、前記オブジェクトとの1つまたは複数の交差する地点を識別するために、前記モデルの前記オブジェクトの上に前記第3の視座からの光線を投影するようにさらに構成され、前記1つまたは複数の交差する地点のうちの1つが、前記画像を生成するために使用される、請求項14に記載のシステム。
  19. 前記1つまたは複数の交差する地点のうちの第1の地点が前記第1の表面に対応し、前記1つまたは複数の交差する地点のうちの第2の地点が前記第2の表面に対応し、前記1つまたは複数のプロセッサが、前記1つまたは複数の交差する地点のうちの前記第1の地点および前記1つまたは複数の交差する地点のうちの前記第2の地点にさらに基づいて、前記第1の表面が前記第2の表面よりも前記第3の視座に近いと判定するようにさらに構成される、請求項18に記載のシステム。
  20. 前記1つまたは複数のプロセッサが、前記第1の表面が前記第2の表面よりも前記第3の視座に近いと前記判定することに少なくとも部分的に基づいて、前記第1の視覚的特性のセットの第1の重みおよび前記第2の視覚的特性のセットの第2の重みを決定するようにさらに構成され、前記画像を生成することが、前記第1の重みおよび前記第2の重みに基づく、請求項14に記載のシステム。
JP2019143176A 2015-10-07 2019-08-02 複数のモデルに基づくオブジェクトの表示 Active JP6915001B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021115686A JP7247276B2 (ja) 2015-10-07 2021-07-13 複数のモデルに基づくオブジェクトの表示
JP2023041182A JP2023076498A (ja) 2015-10-07 2023-03-15 複数のモデルに基づくオブジェクトの表示

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/877,368 2015-10-07
US14/877,368 US9773022B2 (en) 2015-10-07 2015-10-07 Displaying objects based on a plurality of models
JP2018500421A JP6571262B2 (ja) 2015-10-07 2016-10-04 複数のモデルに基づくオブジェクトの表示

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018500421A Division JP6571262B2 (ja) 2015-10-07 2016-10-04 複数のモデルに基づくオブジェクトの表示

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021115686A Division JP7247276B2 (ja) 2015-10-07 2021-07-13 複数のモデルに基づくオブジェクトの表示

Publications (3)

Publication Number Publication Date
JP2019194924A JP2019194924A (ja) 2019-11-07
JP2019194924A5 JP2019194924A5 (ja) 2021-03-11
JP6915001B2 true JP6915001B2 (ja) 2021-08-04

Family

ID=57218984

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2018500421A Active JP6571262B2 (ja) 2015-10-07 2016-10-04 複数のモデルに基づくオブジェクトの表示
JP2019143176A Active JP6915001B2 (ja) 2015-10-07 2019-08-02 複数のモデルに基づくオブジェクトの表示
JP2021115686A Active JP7247276B2 (ja) 2015-10-07 2021-07-13 複数のモデルに基づくオブジェクトの表示
JP2023041182A Pending JP2023076498A (ja) 2015-10-07 2023-03-15 複数のモデルに基づくオブジェクトの表示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018500421A Active JP6571262B2 (ja) 2015-10-07 2016-10-04 複数のモデルに基づくオブジェクトの表示

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021115686A Active JP7247276B2 (ja) 2015-10-07 2021-07-13 複数のモデルに基づくオブジェクトの表示
JP2023041182A Pending JP2023076498A (ja) 2015-10-07 2023-03-15 複数のモデルに基づくオブジェクトの表示

Country Status (8)

Country Link
US (5) US9773022B2 (ja)
EP (1) EP3304497A1 (ja)
JP (4) JP6571262B2 (ja)
KR (3) KR102340678B1 (ja)
CN (2) CN107851329B (ja)
DE (1) DE112016003134T5 (ja)
GB (2) GB2556511B (ja)
WO (1) WO2017062357A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9691241B1 (en) * 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
US9773022B2 (en) * 2015-10-07 2017-09-26 Google Inc. Displaying objects based on a plurality of models
CN108921191B (zh) * 2018-05-25 2021-10-26 北方工业大学 基于图像质量评估的多生物特征融合识别方法
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
CN112583900B (zh) * 2020-12-02 2023-04-07 深圳市互盟科技股份有限公司 云计算的数据处理方法及相关产品
US11756261B2 (en) * 2021-11-10 2023-09-12 Ford Global Technologies, Llc Single-perspective image relighting
US11776200B2 (en) 2021-11-10 2023-10-03 Ford Global Technologies, Llc Image relighting

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697062B1 (en) 1999-08-06 2004-02-24 Microsoft Corporation Reflection space image based rendering
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
GB2390792B (en) * 2002-07-08 2005-08-31 Vision Rt Ltd Image processing system for use with a patient positioning device
EP1510973A3 (en) * 2003-08-29 2006-08-16 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
JP4521568B2 (ja) * 2005-06-14 2010-08-11 国立大学法人京都大学 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
US8244025B2 (en) * 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
CN101321299B (zh) * 2007-06-04 2011-06-01 华为技术有限公司 视差生成方法、生成单元以及三维视频生成方法及装置
JP5011224B2 (ja) * 2008-07-09 2012-08-29 日本放送協会 任意視点映像生成装置及び任意視点映像生成プログラム
US8525871B2 (en) * 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
CN101398936A (zh) * 2008-11-07 2009-04-01 北京航空航天大学 一种双向纹理函数的压缩和合成方法
US8970478B2 (en) * 2009-10-14 2015-03-03 Nokia Corporation Autostereoscopic rendering and display apparatus
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US20130127988A1 (en) 2011-11-17 2013-05-23 Sen Wang Modifying the viewpoint of a digital image
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
WO2013133648A1 (ko) 2012-03-07 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8842162B2 (en) * 2012-08-16 2014-09-23 Nice-Systems Ltd Method and system for improving surveillance of PTZ cameras
US9836875B2 (en) 2013-04-26 2017-12-05 Flipboard, Inc. Viewing angle image manipulation based on device rotation
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US20150130799A1 (en) * 2013-11-12 2015-05-14 Fyusion, Inc. Analysis and manipulation of images and video for generation of surround views
US10073590B2 (en) * 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
JP2016162392A (ja) * 2015-03-05 2016-09-05 セイコーエプソン株式会社 ３次元画像処理装置および３次元画像処理システム
US11783864B2 (en) * 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US9773022B2 (en) * 2015-10-07 2017-09-26 Google Inc. Displaying objects based on a plurality of models

Also Published As

Publication number Publication date
WO2017062357A1 (en) 2017-04-13
GB2596662A (en) 2022-01-05
US20200012678A1 (en) 2020-01-09
US11086927B2 (en) 2021-08-10
GB2596662B (en) 2022-04-13
US20210271706A1 (en) 2021-09-02
KR102340678B1 (ko) 2021-12-17
US20240054155A1 (en) 2024-02-15
KR20200052984A (ko) 2020-05-15
US10474712B2 (en) 2019-11-12
JP2018526724A (ja) 2018-09-13
US20180046647A1 (en) 2018-02-15
US20170103091A1 (en) 2017-04-13
JP2023076498A (ja) 2023-06-01
KR102111079B1 (ko) 2020-05-15
GB202112089D0 (en) 2021-10-06
US11809487B2 (en) 2023-11-07
GB2556511A (en) 2018-05-30
KR102232724B1 (ko) 2021-03-26
JP2021185484A (ja) 2021-12-09
KR20210034693A (ko) 2021-03-30
KR20180017108A (ko) 2018-02-20
JP2019194924A (ja) 2019-11-07
DE112016003134T5 (de) 2018-03-29
CN114898025A (zh) 2022-08-12
GB2556511B (en) 2021-10-06
GB201800102D0 (en) 2018-02-21
US9773022B2 (en) 2017-09-26
EP3304497A1 (en) 2018-04-11
CN107851329B (zh) 2022-05-03
JP7247276B2 (ja) 2023-03-28
CN107851329A (zh) 2018-03-27
JP6571262B2 (ja) 2019-09-04

Similar Documents

Publication Publication Date Title
JP6915001B2 (ja) 複数のモデルに基づくオブジェクトの表示
JP2019194924A5 (ja)
US11860923B2 (en) Providing a thumbnail image that follows a main image
CN111081199B (zh) 选择用于显示的时间分布的全景图像
US10235800B2 (en) Smoothing 3D models of objects to mitigate artifacts
US9551579B1 (en) Automatic connection of images using visual features
US20150109328A1 (en) Techniques for navigation among multiple images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190814

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201026

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210714

R150 Certificate of patent or registration of utility model

Ref document number: 6915001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250