JP5053404B2 - 関連メタデータに基づくデジタル画像のキャプチャと表示 - Google Patents

Description

本発明の実施形態は、デジタル画像に関し、より具体的には関連メタデータに基づくデジタル画像のキャプチャと表示とに関する。

デジタルカメラやデジタル写真が普及する前には、他人に写真を見せる場合、アルバムやスライドショーで見せたり、写真を束ねて渡して見せたりしていた。ユーザはデジタルカメラにより個人的に大量のデジタル写真を撮って保管できるようになった。さらに、デジタル写真を「デジタルスライドショー」としてコンピュータの画面やデジタルフレームに個別に表示することもできる。

ウェブサービス（例えば、Ｆｌｉｃｋｒ（登録商標）など）に画像をアップロードしてそれを他人と共有することにより、デジタル写真を共有することもできる。しかし、ユーザには、こうした写真を個別に見なければならないという制約があり、またはディスプレイ装置に同時に複数の写真を表示する場合には、「サムネイル」（すなわち、写真を縮小したもの）のコレクションとして見なければならないという制約がある。

しかし、デジタル写真を個別に表示したり、サムネイルを表示したりしたのでは、撮影時に撮影者が体験した感覚を見る者に伝えきれない。

デジタルビデオデータも同様にアップロードして共有できる。また、デジタルビデオデータのコレクションも、コレクション中の各デジタルビデオのフレームを表すサムネイルのコレクションとしてまとめられることが多い。上記の制約に加え、サムネイルによる概観ではデジタルビデオのコンテンツに関する情報を見る者に十分伝えることはできない。

本開示の一態様による方法は、
第１の画像と前記第１の画像に関連する第１のメタデータとを受け取る段階であって、前記第１の画像は画像キャプチャデバイスでキャプチャされ、前記第１のメタデータは前記第１の画像のコンテンツの地理情報を含む、段階と、第２の画像と前記第２の画像に関連する第２のメタデータとを受け取る段階であって、前記第２のメタデータは前記第２の画像のコンテンツの地理情報を含む、段階と、前記第１の画像の視点を決定する段階であって、前記視点は前記第１の画像をキャプチャした時の前記画像キャプチャデバイスの位置と方向を表す、段階と、前記第１の画像と前記第２の画像とを含むビューを生成する段階とを含み、前記ビューにおける前記第１の画像の配置は前記第１のメタデータと前記第１の画像の視点とに基づき、前記第１の画像に対する前記第２の画像の配置は前記第２のメタデータと前記第１の画像の視点とに基づく、方法である。

本開示の他の一態様による装置は、第１の画像と前記第１の画像に関連する第１のメタデータであって、前記第１の画像は画像キャプチャデバイスでキャプチャされ、前記第１のメタデータは前記第１の画像のコンテンツの地理情報を含むものと、第２の画像と前記第２の画像に関連する第２のメタデータであって、前記第２のメタデータは前記第２の画像のコンテンツの地理情報を含むものと、を含むデータ記憶部と、前記第１の画像の視点を決定し、ここで前記視点は前記第１の画像をキャプチャした時の前記画像キャプチャデバイスの位置と方向を表し、前記第１の画像と前記第２の画像とを含むビューを生成し、ここで、前記ビューにおける前記第１の画像の配置は前記第１のメタデータと前記第１の画像の視点とに基づき、前記第２の画像の配置は前記第１と第２のメタデータと前記第１の画像の視点とに基づく、前記第１と第２の画像と、前記第１と第２のメタデータとにアクセスする、前記データ記憶部に動作可能に結合したレンダリングモジュールと、生成されたビューにアクセスし表示する、前記レンダリングモジュールに動作可能に結合したディスプレイと、を有する装置である。

本開示のさらに他の一態様によるコンピュータプログラムは、コンピュータに実行されると、前記コンピュータに、画像キャプチャデバイスによりキャプチャされた第１の画像の視点を決定する段階であって、前記視点は前記第１の画像をキャプチャした時の前記画像キャプチャデバイスの位置と方向を表す、段階と、前記第１の画像と第２の画像とを含むビューを生成する段階とを実行させ、前記ビューにおける前記第１の画像の配置は前記第１の画像に関連する第１のメタデータと前記第１の画像の視点とに基づき、前記第１のメタデータは前記第１の画像のコンテンツの地理情報を含み、前記第１の画像に対する前記第２の画像の配置は前記第１のメタデータと、前記第１の画像の視点と、前記第２の画像に関連する第２のメタデータとに基づき、前記第２のメタデータは前記第２の画像のコンテンツの地理情報を含む、コンピュータプログラムである。

以下の説明は、本発明の実施形態の実施例による例示を示す図面の説明を含んでいる。図面は限定としてではなく例示として理解すべきものである。ここでは、「実施形態」と言った場合、本発明の実施に含まれる具体的なフィーチャ（feature）、構成、または特徴の記載であると理解すべきである。よって、「一実施形態では」または「別の一実施形態では」と言った場合、本発明の様々な実施形態や実施を表し、必ずしも同一の実施形態を示すものではない。しかし、これらの実施形態は必ずしも互いに排他的である必要はない。
本発明の一実施形態による、画像データをレンダリング及び表示するシステムまたは装置を示すブロック図である。 レンダリングデバイスにより生成される画像コレクションの一ビューを示す図である。 受け取った画像とメタデータとに基づきビューを生成するプロセスの一実施形態を示すフロー図である。 画像コレクションの「動いている」非静的コンテンツを含むビューの一例を示す図である。 没入型３次元環境と、画像に対してレンダリングできる画像表示フィーチャとの実施形態を示す図である。 レンダリングした写真とビデオのコンテンツを表示するユーザインタフェースの一実施形態を示す図である。以下に詳細と実施形態とを説明する。これには、図面の説明も含む。図面は以下に説明する全てまたは一部の実施形態を示す。また、ここに説明する発明コンセプトのその他の潜在的な実施形態も説明する。以下に本発明の実施形態の概要を説明し、次に図面を参照してより詳細に説明する。

本発明の実施形態はデジタル写真及びビデオのデータのレンダリング及び表示に関する。本発明の実施形態はレンダリング及び表示のプロセスとして表すことができる。

一実施形態では、レンダリングデバイスが、複数の画像ファイルとそれに関連するメタデータとを受け取る。以下に説明する実施形態では、「画像」という用語は、デジタル写真とデジタルビデオのフレームとを両方とも指す。

レンダリングデバイスは、複数の画像ファイルの各々を含むビューを生成できる。各画像ファイルの配置は画像のコンテンツに基づく。ビュー中の各画像の配置は、さらに各画像に関連するメタデータに基づく。

マイクロソフトＰｈｏｔｏｓｙｎｔｈ（商標）などの従来のレンダリング及び表示プロセスは、多くの写真コレクションを用いて、写真から各写真の画像コンテンツのみに基づき多次元情報を抽出する。これらのプロセスは各写真の画像コンテンツのみに基づくので、ビューに表示する写真のコンテンツはオーバーラップしなければならない。よって、写真コレクション中の他の画像とオーバーラップしない画像はこのビューには含まれない（ドロップされる）。コレクションから写真をドロップすることは、自分の個人的な写真コレクションを表示して共有しようとする人にとっては受け入れられない。しかし、見る者にとっては、写真コレクション中の冗長な情報を見ることは退屈なことである。例えば、背景が同じで各画像の変化が比較的少ない画像を複数見ても面白くない。

さらに、写真やビデオのデータは、異なるファイルフォーマットで格納されるため、格納して整理する（organize）する従来技術による方法には制約があった。そのため、写真やビデオのデータをそのコンテンツに応じて格納して整理することは厄介である。例えば、従来の格納及び整理方法を用いると、写真やビデオは通常、コンテンツが空間的及び／または時間的に近くても、この近さを反映して格納及び／または整理されることはない。

一実施形態では、レンダリングデバイスが複数の画像とそれに関連するメタデータとを受け取り、画像の没入ビューを生成する。画像を関連メタデータとともに受け取るので、前記レンダリングデバイスは大きな写真コレクションを受け取る必要はなく、受け取る写真のコンテンツがオーバーラップする必要はない。

画像メタデータは、環境検出機能及び方向検出機能を有するデバイスまたはデバイスコレクションから得ることができる。画像ファイルに関連するメタデータは、地理情報、磁場情報（例えば、磁極方向情報）、空間情報（加速及び各運動量などの運動に関する情報を含む）、及び時間情報を含み得る。かかる環境及び方向検出メタデータの組み合わせは、３次元方向メタデータと呼ぶこともある。関連する画像メタデータに替わりに他のラベルを適用してもよい。３次元方向メタデータは、例えば地理的センサ、加速度計、磁気計、及びジャイロスコープを組み合わせて求めてもよい。

地理的情報は写真や画像のコンテンツの情報を含んでいてもよい。地理的情報は、レンダリング及び表示する各写真やビデオをキャプチャした画像キャプチャデバイスの地理的情報（すなわち、写真やビデオをキャプチャした時の画像キャプチャデバイスの位置及び方向に関する情報）を追加的または代替的に含んでいてもよい。

一実施形態では、地理的情報はグローバルナビゲーションサテライトシステム（グローバルポジショニングシステムなど）から受け取り、磁場情報は磁気計から受け取り、空間及び時間情報は（加速度を測る）加速度計と（各運動量を測る）ジャイロスコープとから受け取る情報に基づく。他の一実施形態では、上記の全ての情報を単一のデバイスから受け取る。

レンダリングデバイスは、十分な関連メタデータとともに写真やビデオデータのコレクションを受け取り、そのコレクション全体または概要を表示するビューを生成する。写真やビデオのファイルフォーマットは異なっていてもよい。さらに、ビデオデータは関連データを含むものであってもよい（例えば、ビデオデータファイルはビデオの画像データとともに再生する、対応するサウンドデータを含んでいてもよい）。レンダリングデバイスは写真データとビデオデータとを一緒に処理して、写真データとビデオデータを含むビューを生成してもよい。例えば、ビデオデータを連続した画像（consecutive unique images）（すなわち、フレーム）のコレクションとして処理できる。この時、ビデオの各フレームは個別の写真と同様に処理される。

一実施形態では、没入ビュー（immersive view）として表示を生成する。例えば、３次元没入環境として没入ビューをレンダリングしてもよい。画像及び／またはビデオのコンテンツを、ビデオや写真を撮った時のカメラの位置と方向に対する正しいサイズに比例するように表示し、そのコンテンツの動きを空間的及び／または時間的に適切に表示する。

関連メタデータに基づき画像コンテンツをレンダリングすることにより、写真やビデオを様々な方法で表示できる。一実施形態では、コレクションの写真やビデオの１つを撮った時のカメラの位置と方向とに基づき、見る者の視点を決め、この視点に対してそのコレクションを表示する。他の一実施形態では、写真やビデオのコレクションのコンテンツを分析して、冗長なコンテンツを検出する。冗長なコンテンツを含む画像はつなぎ合わせて、冗長なコンテンツがすべてオーバーラップした１つの画像を表示してもよい。こうすることにより、個別の写真やビデオフレームよりも多くのコンテンツを含む画像を提供する。

一実施形態では、第１の画像の配置が、関連するメタデータに基づく、第１の画像のビューを生成する。第１と第２の画像のビューも生成する。ここで、第１の画像の配置はその第１の画像に関連するメタデータに基づく。第１の画像に対する第２の画像の配置はその第１の画像に関連するメタデータと、第２の画像に関連するメタデータと、第１の画像の配置とに基づく、このように、複数の画像の相対的な位置と方向のビューを生成し、オーバーラップがあれば、ビュー中の画像の位置をそのコンテンツに基づき調整する。

動きに関する画像メタデータを用いて、表示中を「動く」オブジェクトをレンダリングしてもよい。一実施形態では、（比較的）静的な背景コンテンツを含む写真のコレクションを背景としてレンダリングし、動くコンテンツをその背景中の「動き」をシミュレーションするように表示してもよい。

画像メタデータを用いて様々な方法で写真やビデオのコレクションを整理できる。一実施形態では、写真及び／またはビデオのコレクションをナビゲートするインタフェース（例えば、時間バーや位置経路など）としてメタデータをビュー内に表示する。メタデータをユーザインタフェースに組み込んで、コレクションのコンテンツの空間的及び／または時間的コンテキスト中で写真やビデオのコレクションを見る。

図１は、本発明の一実施形態による、画像データをレンダリング及び表示するシステムまたは装置を示すブロック図である。システムまたは装置１００は、画像キャプチャデバイス１０２とデータ記憶部１０１とに動作可能に結合したレンダリングデバイス１０３を含む。写真及び／またはビデオに関連するメタデータを画像キャプチャデバイス１０２とデータベース１０１に含んでいてもよい。レンダリングデバイスはディスプレイ１０４に表示すべくレンダリングしたデータを送る。

一実施形態では、画像キャプチャデバイス１０２、データ記憶部１０１、レンダリングデバイス１０３、及びディスプレイ１０４は１つの装置に含まれる。例えば、デジタルカメラ（１０２）がセキュアデジタル（ＳＤ）カード（１０１）に動作可能に結合し、そのデジタルカメラの液晶ディスプレイ（ＬＣＤ）ユニットのディスプレイにレンダリングするレンダリングモジュール（１０３）を含む。他の一実施形態では、画像キャプチャデバイス１０２とデータ記憶部１０１は別々のデバイスであり、レンダリングデバイス１０３によりレンダリングされる写真及び／またはビデオを含む。画像キャプチャデバイス１０２とデータ記憶部１０１とは、写真及び／またはビデオに関する３次元方向メタデータを含んでもよい。

例えば、画像キャプチャデバイス１０２は、写真、ビデオ、及び関連メタデータをキャプチャできる携帯電話カメラであってもよい。画像キャプチャデバイス１０２のローカルな記憶部がいっぱいになると、画像キャプチャデバイス１０２はそのローカルな記憶部のコンテンツを外部データ記憶部１０１に転送する。レンダリングデバイス１０３を呼び出し、画像キャプチャデバイス１０２とデータ記憶部１０１の両方のデータをレンダリングする。レンダリングされたビューは、その全体がディスプレイ１０４に送られ、またはセグメント単位でバッファされディスプレイ１０４に送られ、空間または時間に基づきバッファされる。

図２は、レンダリングデバイスにより生成される画像コレクションを含むビューを示す図である。画像２０１、２０２、及び２０３はオーバーラップしたコンテンツを含む。図２に示した実施例では、画像２０１のコンテンツは画像２０２のコンテンツとオーバーラップする。画像２０２のコンテンツと冗長である画像２０１のコンテンツ（参照要素２０１ａ）は、例えばビュー２００中には表示されない。画像２０２と２０３のコンテンツは同様にオーバーラップし、画像２０２の冗長コンテンツ（参照要素２０２ａ）はビュー中に表示されない。このように、画像２０１−２０３のコンテンツを「つなぎ合わせて」（stitched together）、画像２０６として表示する。

図２に示した実施例では、画像２０４は画像２０１、２０２、及び２０３のコンテンツとオーバーラップするコンテンツは含んでいない。従来技術のメカニズムは、画像２０４のコンテンツを、画像２０１−２０３のコンテンツに対して適切な空間的コンテキストで表示できない。一実施形態では、マージされた画像２０６に対する２０４の配置（すなわち、画像２０４と２０６の間のスペーシング２０５の計算）を、各画像に関連する地理的配置（geo-locating）のメタデータから求める。ビューポイント２１０は、ビデオや写真を撮る時の画像キャプチャデバイスの位置と方向を表すメタデータに基づく。

一実施形態では、さらに視点２１０を画像２０１−２０４のコンテンツから求める。例えば、ＧＰＳユニットによりキャプチャした地理的配置のメタデータは、画像２０１−２０４をキャプチャした時に、画像キャプチャデバイスの１０ｍ以内の精度しかないことがある。さらに、ＧＰＳデータは、画像２０１−２０４をキャプチャした時の画像キャプチャデバイスの垂直方向（例えば、３次元のｘ、ｙ、ｚ軸２５０のｙ軸）の位置を正しくレポートできない可能性がある。それゆえ、地理的配置のメタデータ（及び付加的な３次元方向メタデータ）に加えて画像２０１−２０４のコンテンツを用いて視点２１０を決める（establish）。

図３は、受け取った画像とメタデータとに基づきビューを生成するプロセスの一実施形態を示すフロー図である。ここに示したフロー図はプロセス動作の順序の例を示している。動作を具体的な順序で示したが、特に断らなければ、これらの動作は変更可能である。このように、図示した実施形態は単なる例であり、これらの動作を異なる順序で実行してもよいし、一部の動作を並行して実行してもよい。また、実施形態によっては、一部の動作を省略してもよく、すべての実施形態で図示したすべての動作が必要でということではない。他のプロセスフローも可能である。

レンダリングデバイスが第１と第２の写真を受け取る（ステップ３０１）。前記の写真はオーバーラップしたコンテンツを含んでいても、含んでいなくてもよい。レンダリングデバイスはさらに、第１と第２の画像に関連するメタデータを受け取る（ステップ３０２）。一実施形態では、第１と第２の画像のメタデータは、各画像のコンテンツに関する地理的位置データ（geo-locating data）を含んでいる。受け取った画像のコンテンツとメタデータとに基づき、視点を決定する（ステップ３０３）。視点は、ビデオや写真を撮った時のカメラの位置と方向を推定してものである。（例えば、画像キャプチャデバイスが画像キャプチャ時にズームレンズを用いたなどの）画像のコンテンツに関する要因と、地理的位置メタデータに関する要因（すなわち、地理的位置情報の精度）により、決定される視点の精度は変化する。前記視点に基づいて第１の画像をビュー内に配置する（ステップ３０４）。第１の画像と視点に対して、第２の画像をビュー内に配置する（ステップ３０５）。ビューを生成し、ディスプレイデバイスに送信する（ステップ３０６）。

図４は、画像コレクションの「動いている」非静的コンテンツを含むビューの一例を示す図である。ビュー４００は画像４０１−４０５のコレクションを含む。この例では、これらの画像はすべてオーバーラップしたコンテンツを含む。このように、これらの画像は、図２の参照要素２０６と同様に、ビュー４００において連続して表示及びレンダリングされる。しかし、この図を参照して説明したフィーチャは、すべての画像がオーバーラップするコンテンツを含むコレクションに限定されない。

画像４０１−４０５は各々が少なくとも静的コンテンツ部分４１１（木）、４１２（木）、及び４１３（雲）を含む。画像４０１、４０２、４０５は、それぞれ動くオブジェクト４１０ａ、４１０ｂ、及び４１０ｃ（飛んでいる鳥）を含む。一実施形態では、ビュー４００には、各画像に関連する３次元方向メタデータに基づき、ビュー４００中を「動く」ようにレンダリングされた動くコンテンツが表示されている。例えば、画像４０１−４０５は、一定の焦点距離に固定したズームレンズを用いて、一定の位置で画像キャプチャデバイスからキャプチャしたものとする。この例では、オブジェクト４１０ａ−４１０ｃの動きのタイミングは、時間的メタデータのみに基づいて決める。しかし、画像キャプチャデバイスが（例えば、鳥が飛んでいるのとは反対の方向に）動いている時に画像４０１−４０５がキャプチャされ、各画像においてズームレンズの焦点距離を変えている場合、地理的情報、磁場情報（例えば磁極方向情報）、及び（動き、すなわち加速と角運動量に関する情報を含む）空間的情報などの付加的な３次元方向メタデータを用いてオブジェクト４１０ａ−４１０ｃの動きのタイミングを決定することができる。

一実施形態では、レンダリングデバイスは動くオブジェクトの「飛行経路」４２０を推定計算して、飛行経路４２０に合わせてオブジェクト４１０ａ−４１０ｃを予測する。他の一実施形態では、見る者がオブジェクト４１０ａにフォーカスして、そのためビュー４００内の静的コンテンツを飛行経路４２０に合わせて動かす。

図５は、画像コンテンツと各画像の関連メタデータとを用いて、没入型３次元環境と、画像に対してレンダリングできる画像表示フィーチャ（feature）との実施形態を示す図である。以下、具体的なフレーズやラベルによりフィーチャを参照する。その替わりに、以下に説明する表示フィーチャ例には各々に他のラベルを適用することもできる。

さらに、以下で「ビデオコンテンツ」を用いると説明するフィーチャは写真コンテンツにも用いることができる。ビデオコンテンツを用いてフィーチャを例示した場合、当業者には、ビデオコンテンツが複数のビデオフレームよりなり、各ビデオフレームは写真と同様であることは明らかである。このように、実施例においてビデオデータの表示を説明する下記のフィーチャにおいて、写真のコレクションを用いることができる。

フィーチャ５０１は、すべての画素を適切な空間位置にレンダリングする、画像をレンダリングするビデオ／写真パノラマ表示機能である。一実施形態では、視点から見えるすべての画素を表示して、冗長な情報を削除するように、「連続」するビデオフレームをつなげて、ビデオコンテンツをまとめて表示する。ビデオコンテンツに関して、一実施形態では、連続したビデオフレームをつなげて、ビデオ中に見えるすべての画素を適切な空間位置にレンダリングしたパノラマビューにする。ビデオキャプチャデバイスからの視点の動きがあると仮定して、前記パノラマビューは単一のビデオフレームより大きい。一実施形態では、連続した写真を「つなぎ合わせる」写真パノラマ表示フィーチャを同様にレンダリングする。連続していない写真を図２の参照要素２０４と２０６に示した実施形態と同様に表示してもよい。

ビデオフレームのコレクションとして処理したビデオコンテンツは、各フレーム間に大きな冗長コンテンツを含むことになる。画像のコレクションにおける冗長情報は、統計的手法によりフィルタできる。この統計的手法には、複数のフレームにわたり一定な静的な背景を計算した統計的尺度と、冗長情報を合成する画像キャプチャデバイス（例えば、カメラ）ノイズの低減と、ビデオ超解像による原解像度以上のパノラマ解像度を含むが、これらに限定されない。一実施形態では、レンダリングしたビデオや写真の画像のパノラマ５０１を、そのビデオや写真の画像コンテンツを含むフラットな壁紙状のパノラマとして表示する。他の実施形態では、すべてのビデオや写真の画像に対して３次元方向メタデータがあり、レンダリングしたコンテンツを用いて、パノラマを曲げて３次元空間中の面にマッピングした３次元表現を生成することができる。一実施形態では、パノラマの最初の視点は、ビデオや写真を撮った時のカメラの位置と方向を推定したものである。

一実施形態では、最低の画像解像度でキャプチャした写真やビデオにより、レンダリングされるパノラマの解像度が決まる。他の一実施形態では、写真やビデオの解像度を上げる既知の方法を用いて、できるだけ解像度を上げてパノラマをレンダリングする。

フィーチャ５０２は、画像コンテンツの別の側（例えば、反対側）のレンダリングである。一実施形態において、オブジェクトの反対側をレンダリングすることにより、見る者は表示の「視点」を、コンテンツ内のオブジェクトの反対側に移すことができる。例えば、画像コンテンツの別の側面をレンダリングすることにより、見る者は、ビルや構造物の複数の側面を実際のビルや構造物の空間的関係で見ることができる。前述の通り、かかる写真やビデオのコンテンツはオーバーラップした画像コンテンツを含まない。例えば、地理的位置メタデータを用いて適切な画像データを適切に配置できる。

フィーチャ５０３はレンダリングされたパノラマにおけるビデオすなわち「動く画像」のレンダリングを示し、「ビデオラマ（videorama）」の表示である。以下に説明する例ではこのフィーチャをビデオデータを用いて例示するが、このフィーチャによりいかなるタイプの「動く」画像レンダリング（例えば、図４の実施形態における表示４００中を「飛んでいる」鳥４１０ａ−４１０ｃ）を用いてもよい。

上記の通り、フィーチャ５０１はビデオコンテンツの静的な３次元空間表現をであってもよい。しかし、前記ビデオコンテンツをフレームのコレクションとして処理して「つなぎ合わせる」と、各フレームの時間的関係は失われてしまう。フィーチャ５０３はビデオコンテンツを「ビデオラマ」として表示する。ビデオラマは、ビデオのハイブリッド時空間表示であり、フィーチャ５０１によりレンダリングされたビデオパノラマ中に時間変化する情報をレンダリングするものである。このフィーチャにより、空間と時間にわたって表示される情報を同時にレンダリングできる。一実施形態では、ビデオ全体を再生（及びループ）するデフォルトモードでビデオデータを自動的に表示してもよい。他の一実施形態では、ユーザインタフェース（例えば、パノラマ中に表示した「時間スライダ」バー）によりビデオコンテンツを制御してもよい。

一実施形態では、「ビデオラマ」は、フィーチャ５０１で説明した静的パノラマディスプレイを生成することと、ビデオコンテンツのフレームレートで（地理的位置データにより決まる）パノラマ中の適切な空間的位置にビデオコンテンツを表示することとを含む。これにより、ビデオコンテンツの前空間的範囲をカバーするパノラマでビデオを見る効果が生じる。これにより、見る者は、「動く」動作にリアルタイムでフォーカスしつつ、ビデオ中の異なる時間に現れる「静的」コンテンツの人工的な「周辺視野」を体験できる。

他の一実施形態では、「ビデオラマ」はパノラマ内の異なる場所で生起するビデオコンテンツを、そのパノラマのそれぞれの場所で同時に表示することを含む。これにより、パノラマ全体にわたる同時動作の効果が生じ、「動く」画像の場所が異なれば、対応するビデオ内の時間ウィンドウも異なる。

他の一実施形態では、静的な背景画素を抽出して静的パノラマディスプレイを生成した場合、統計的手法により動くオブジェクトに対応する画素を識別できる。例えば、パノラマ中に全部のビデオフレームを表示するのではなく、適切な時間に（すなわち、ビデオの時間的に正確な表現）セグメント化した前景画素のみを表示する。こうして、全ビデオフレームの概要を表示せずに、個々のオブジェクトがパノラマ中を動く効果を生じる。

フィーチャ５０４により、パノラマ中の各領域の写真やビデオのコンテンツの位置決めや表示が可能となる。このフィーチャにより、見る者はパノラマの一部の領域にズームして、そこにある高解像度の写真やビデオのコンテンツを見ることができる。一実施形態では、ズームのレベルがパノラマの解像度を超えたら、ビデオと写真をスムースにブレンドすることによりズームを実行することができる。他の一実施形態では、事前にレンダリングしたパノラマ部分を置き換えて、パノラマに写真を位置決めして組み込むことができる。

フィーチャ５０５により、画像キャプチャデバイスの地理的位置と３次元的方向に基づき、写真とビデオのコンテンツを表示することができる。オーバーラップしている複数の写真をシームレスな写真パッチワークに地理的に位置決めして、その絶対的な位置と相対的な方向で表示することができる。これにより、異なる写真のコンテンツの互いに相対的な地理的位置を示す３次元パノラマを生成できる。図２を参照して説明したように、このような表示は、関連メタデータによってデータがオーバーラップしない比較的少数の写真において可能である。

フィーチャ５０６により、レンダリングしたビデオパノラマ中にすべてのビデオや写真のデータを同時に表示して、前記ビデオと写真のコンテンツによりカバーされた空間的情報のシームレスな３次元ビューを生成することができる。これにより、ある場所で撮ったすべての写真とビデオを便利に概観することができる。写真やビデオのデータは各アイテムが見えるフレームを含んでいてもよいし、またはレンダリングしたパノラマ中にその写真やビデオデータをシームレスにブレンドしてもよい。このようにして、前記のレンダリングしたパノラマ表示は静的及び動的なコンテンツを含み得る。

フィーチャ５０７は、写真やビデオの関連メタデータを利用して、前記写真やビデオをキャプチャした画像キャプチャデバイスのユーザが取った経路を表示する。一実施形態では、連続して記録したＧＰＳデータに基づき、ユーザが取る経路全体を表示する。他の一実施形態では、推定した経路を表示して、アイコン５０７ａ−５０７ｃによりＧＰＳイベントデータ（例えば、写真画像をキャプチャしたときにのみ記録したＧＰＳメタデータ）をハイライトする。他の一実施形態では、関連する３次元方向メタデータと表示する写真やビデオのコンテンツとを利用して、表示した経路を、画像キャプチャデバイスが関連する写真やビデオのデータをキャプチャしたのと同じ速さと位置で通ってもよい。

表示した経路を用いて、レンダリングした写真やビデオのコレクションをブラウズしてもよい。一実施形態では、フィーチャ５０７により生成した表示経路により、見る者は、画像がキャプチャされた経路を通って、またはその経路に沿って配置されたアイコン５０７ａ−５０７ｃをクリックして、写真やビデオのコレクションをブラウズできる。一実施形態では、レンダリングした経路による表示を、ユーザインタフェースによりマニュアルで制御してもよい。他の一実施形態では、関連する３次元方向メタデータによりレンダリングされた経路を通り、時間的メタデータに基づく速さでコレクションを見る。

フィーチャ５０８により、フィーチャ５０３により生成される「ビデオラマ」を、利用可能な地理データ上に表示できる。一実施形態では、地理データを用いてコンテンツの３次元トポロジによりレンダリングした写真またはビデオのコレクションを表示する。画像コンテンツと関連する３次元方向メタデータとに基づいて、地理データを決定してもよい。関連する画像メタデータに加えて地理データを提供してもよい。

フィーチャ５０９により、レンダリングした画像とビデオパノラマを、場所及び／または時間によりグループ化して、大きなデータセットの管理と検索（exploration）を容易にすることができる。例えば、見る者は、長い間に同じ場所で撮ったすべての写真やビデオを見ることを欲するかも知れない。この場合、密度の高い空間的カバレッジを行う。他の一実施形態では、時間的データに応じて写真とビデオを表示する。よって、多数の場所のパノラマを、レンダリングする写真及び／またはビデオをキャプチャした時間に基づき、ユーザに表示する。

フィーチャ５１０により３次元セグメンテーションに応じてコンテンツを表示できる。画像と写真のデータを関連３次元方向メタデータを用いてレンダリングして、例えば３次元的に動く画素を表示して、動くコンテンツの空間的特性を正しく表示するように、表示する。

上記のフィーチャに加えて、画像とビデオのコレクションを、前記写真やビデオのコレクションには含まれないテキスト情報、オーディオ情報、及びビデオ情報で補強することができる。

図６は、本発明の一実施形態による、レンダリングした写真とビデオのコンテンツを表示するユーザインタフェースの一実施形態を示す図である。ユーザインタフェース６００は１１枚の写真のコレクションをレンダリングした写真表示の一例である。写真６０１−６１１は、関連３次元方向メタデータに基づき合成され、３次元で視覚化されている（3D visualization）。写真６０１−６０８はオーバーラップしたコンテンツを含み、写真６０９−６１１はオーバーラップしたコンテンツを含む。写真コレクションは、キャプチャされていないエリア（すなわち、画像６１１と画像６０１の間のすきま）があるという制約があり、表示は連続していない。しかし、写真６１１と写真６０１のコンテンツは互いに正しい空間的関係で配置されている。

図５のフィーチャ５０７で説明したように、３次元方向メタデータもレンダリングして、写真をいつどこで撮ったかを記述する経路を示す。このレンダリングにより、見る者は、画像キャプチャデバイスのユーザが取った経路に沿ってコレクションをブラウズでき、またはランダムに場所を切り替えることができ、さらに空間と時間の関数として写真コレクションをブラウズできる。

マップ６２０は、この画像のサブセットが地球上の空間的位置のひろがりを示す（図６では、画像６０１−６１１はスペインで撮影された。これは撮影位置６９０により示されている）。ＵＩ６００中のレンダリングしたビューの視点の位置をデータ６４０として示した。時間的メタデータは時間バー６８０に示した。

他の写真コレクションはＵＩ６００のアイコン６２１−６２３中にまとめられている。写真コレクション６０１−６１１はアイコン６３０により表されており、アイコン６３０はアイコン６２１−６２３より大きく表示されている。さらに、写真コレクション６０１−６１１に関する情報を、ユーザインタフェース６００中の情報６３１として表示してもよい。一実施形態では、画像関連のメタデータを用いて、コレクション中の写真の枚数、その写真を撮った期間（time span）、及び写真コレクションの中央位置を表示する。

すべての写真コレクションのメタデータを用いて、写真コレクションサマリー６８０を求めてもよい。見る者は、前記写真コレクションサマリーによりコレクション全体中の写真の枚数、写真を撮った期間、コレクションすなわち「クラスタ」の数を知ることができる。

見る者は、例えば、３次元空間を仮想的に飛んで、またはコレクションをクリックしてズームイン・ズームアウトして、「クラスタ」を移動することができる。一実施形態では、「クラスタ」のコンテンツに関係ないマップ６２０上のエリアを、写真コレクションには含まれていない画像データ（例えば、利用可能なマップデータや地理画像データ）を用いてレンダリングしてもよい。他の一実施形態では、見る者は、特定の期間を選択して、時間的に対応する画像クラスタをＵＩ６００が表示する。他の一実施形態では、空間的及び時間的オプションを組み合わせてもよい。例えば、特定の期間にフォーカスする（例えば時間バー上のアイコンを動かす）ことにより、空間的に適切な場所やエリアに自動的にナビゲーションされ、マップ６２０のエリアをクリックすることにより、時間的にソートされた適切なクラスタにナビゲーションされる。

個人的な写真コレクションをブラウズする直感的な方法を提供するのに加えて、ＵＩ６００は、多数のサムネイルを個別に表示する替わりに、オーバーラップした写真の領域の冗長性を除去することにより、自動要約効果を発揮する。例えば、一実施形態では、写真６０１−６１１を同じ解像度でキャプチャする。しかし、写真６０１−６１１は各画像のオーバーラップしたコンテンツと関連３次元方向メタデータとに基づき、様々な形状と方向で表示される。画像と関連メタデータとのクラスタリングにより、空間と時間によるクラスタを自動的に生成することができる。

ここで説明した事項の他に、本発明の開示した実施形態に、その範囲から逸脱せずに様々な変更を加えることができる。それゆえ、ここで説明した実施例は例示として解釈すべきであり、限定する意図ではない。本発明の範囲は特許請求の範囲のみを参照して判断すべきである。

ここでプロセス、サーバ、またはツールとして説明した様々なコンポーネントは、記載した機能を実行する手段である。ここで説明した各コンポーネントは、ソフトウェア、ハードウェア、またはこれらの組み合わせを含む。コンポーネントは、ソフトウェアモジュール、ハードウェアモジュール、特定用途ハードウェア（例えば、特定用途ハードウェア、特定用途集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）など）、組み込みコントローラ、ハードウェア回路などとして実施できる。ソフトウェアコンテンツ（例えば、データ、命令、設定）は、コンピュータ読み取り可能記憶媒体を含む製造物により提供できる。コンピュータ読み取り可能記憶媒体は実行可能な命令を表すコンテンツを提供するものである。このコンテンツによりコンピュータはここに説明した様々な機能や動作を実行する。コンピュータ読み取り可能記憶媒体には、コンピュータ（例えば、コンピューティングデバイス、電子システム）がアクセスできる形態の情報を提供（すなわち、記憶及び／または送信）する任意のメカニズムが含まれる。このメカニズムは、書き換え可能な媒体でも書き換え不能な媒体であってもよく、例えば、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなどが含まれる。コンテンツは直接実行可能（「オブジェクト」または「実行可能」な形態）なコード、ソースコード、または差分コード（「デルタ」または「パッチ」コード）であってもよい。コンピュータ読み取り可能記憶媒体は、コンテンツをダウンロードできる記憶装置やデータベースを含んでいてもよい。コンピュータ読み取り可能記憶媒体は、販売時または納入時にコンテンツを記憶したデバイスやプロダクトを含んでいてもよい。このように、コンテンツを記憶したデバイスの納入や、コンテンツの通信媒体を介したダウンロードのオファーは、ここで説明したコンテンツを有する製造物の提供となる。

１００ システムまたは装置
１０１ データ記憶部
１０２ 画像キャプチャデバイス
１０３ レンダリングデバイス
１０４ ディスプレイ
２００ ビュー
２１０ 視点
４００ ビュー
６００ ユーザインタフェース

Claims (20)

1. コンピュータが実行する方法であって、
   第１の画像と前記第１の画像に関連する第１のメタデータとを受け取る段階であって、前記第１の画像は画像キャプチャデバイスでキャプチャされ、前記第１のメタデータは前記第１の画像のコンテンツの地理情報を含む、段階と、
   第２の画像と前記第２の画像に関連する第２のメタデータとを受け取る段階であって、前記第２のメタデータは前記第２の画像のコンテンツの地理情報を含む、段階と、
   前記第１の画像の視点を決定する段階であって、前記視点は前記第１の画像をキャプチャした時の前記画像キャプチャデバイスの位置を表す、段階と、
   前記第１の画像の視点に基づいて、前記第１の画像と前記第２の画像とを含むビューを生成する段階であって、
   前記ビューにおける前記第１の画像の配置は前記第１のメタデータに含まれた地理情報と前記第１の画像の視点とに基づき、
   前記第１の画像に対する前記第２の画像の配置は前記第１と第２のメタデータに含まれた地理情報と前記第１の画像の視点とに基づく段階と
   を含む、方法。
2. 前記ビューは３次元ビューをさらに含む、請求項１に記載の方法。
3. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの磁場情報を含む、請求項１に記載の方法。
4. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの空間的情報を含む、請求項１に記載の方法。
5. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの時間的情報を含む、請求項１に記載の方法。
6. 前記第１と第２の画像の静止したコンテンツと動いているコンテンツとを決定する段階をさらに含む、請求項５に記載の方法。
7. 前記第１と第２の画像の動くコンテンツを前記第１と第２の画像のそれぞれの時間的情報に基づいて前記ビュー中に表示する、請求項６に記載の方法。
8. 第１の画像と前記第１の画像に関連する第１のメタデータであって、前記第１の画像は画像キャプチャデバイスでキャプチャされ、前記第１のメタデータは前記第１の画像のコンテンツの地理情報を含むものと、第２の画像と前記第２の画像に関連する第２のメタデータであって、前記第２のメタデータは前記第２の画像のコンテンツの地理情報を含むものと、を含むデータ記憶部と、
   前記データ記憶部に動作可能に結合し、前記第１と第２の画像と前記第１と第２のメタデータとにアクセスするレンダリングモジュールであって、前記第１の画像をキャプチャした時の前記画像キャプチャデバイスの位置を表す第１の画像の視点を決定し、前記第１の画像の視点に基づき、前記第１の画像と前記第２の画像とを含むビューを生成する、前記ビューにおける前記第１の画像の配置は前記第１のメタデータに含まれる地理情報と前記第１の画像の視点とに基づき、前記第１の画像に対する前記第２の画像の配置は前記第１と第２のメタデータに含まれる地理情報と前記第１の画像の視点とに基づく、レンダリングモジュールと、
   前記レンダリングモジュールに動作可能に結合し、生成されたビューにアクセスし表示するディスプレイと、を有する装置。
9. 前記ビューは３次元ビューをさらに含む、請求項８に記載の装置。
10. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの磁場情報を含む、請求項８に記載の装置。
11. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの空間的情報を含む、請求項８に記載の装置。
12. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの時間的情報を含む、請求項８に記載の装置。
13. 前記第１と第２の画像をレンダリングして各画像の静止したコンテンツと動いているコンテンツとを決定する、請求項１２に記載の装置。
14. 各画像の動いているコンテンツを、前記第１と第２の画像それぞれの動いているコンテンツの時間的情報に応じて、前記ビュー中に表示する、請求項１３に記載の装置。
15. コンピュータに実行されると、前記コンピュータに、
    画像キャプチャデバイスによりキャプチャされた第１の画像の視点を決定する段階であって、前記視点は前記第１の画像をキャプチャした時の前記画像キャプチャデバイスの位置を表す、段階と、
    前記第１の画像の視点に基づいて、前記第１の画像と第２の画像とを含むビューを生成する段階であって、
    第１のメタデータが前記第１の画像に関連し、前記第１の画像のコンテンツの地理情報を含み、
    第２のメタデータが前記第２の画像に関連し、前記第２の画像のコンテンツの地理情報を含み、
    前記ビューにおける前記第１の画像の配置は前記第１のメタデータに含まれた地理情報と前記第１の画像の視点とに基づき、
    前記第１の画像に対する前記第２の画像の配置は前記第１のメタデータに含まれた地理情報と、前記第１の画像の視点と、前記第２のメタデータに含まれた地理情報とに基づく段階とを実行させる、コンピュータプログラム。
16. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの磁場情報を含む、請求項１５に記載のコンピュータプログラム。
17. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの空間的情報を含む、請求項１５に記載のコンピュータプログラム。
18. 前記第１と第２のメタデータは前記第１と第２の画像のコンテンツの時間的情報を含む、請求項１５に記載のコンピュータプログラム。
19. 前記第１と第２の画像をレンダリングして各画像の静止したコンテンツと動いているコンテンツとを決定する、請求項１８に記載のコンピュータプログラム。
20. 各画像の動いているコンテンツを、前記第１と第２の画像それぞれの動いているコンテンツの時間的情報に応じて、前記ビュー中に表示する、請求項１９に記載のコンピュータプログラム。