JP6767558B2 - 明視野画像ファイルを符号化および復号するためのシステムおよび方法 - Google Patents

Description

本発明は、画像ファイルの符号化および復号に関し、より具体的には、明視野画像ファイルの符号化および復号に関する。

ＩＳＯ／ＩＥＣ １０９１８−１規格は、より一般的には、その規格を開発したＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ ＧｒｏｕｐにちなんでＪＰＥＧ規格と呼ばれ、静止画像のデジタル圧縮およびコーディングのための標準プロセスを確立する。ＪＰＥＧ規格は、画像をビットストリームに圧縮するため、およびビットストリームを画像に解凍するためのコーデックを規定する。

ＪＰＥＧビットストリームを記憶するために、ＩＳＯ／ＩＥＣ １０９１８−５で規定されるＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＪＦＩＦ）、およびＥｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ（Ｅｘｉｆ）を含む、種々のコンテナファイル形式を使用することができる。ＪＦＩＦは、ＪＰＥＧビットストリームが多種多様のプラットフォームおよびアプリケーションの間で交換されることを可能にする、最小限のファイル形式と見なすことができる。ＪＦＩＦファイルで使用される色空間は、２５６レベルを伴う、ＣＣＩＲ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ６０１によって定義されるようなＹｃｂＣｒである。画像ファイルのＹ、Ｃｂ、およびＣｒ構成要素は、Ｒ、Ｇ、およびＢから変換されるが、８ビット２進コード化の完全２５６レベルを占有するよう正規化される。ＹｃｂＣｒは、ＪＰＥＧによって使用される圧縮形式のうちの１つである。別の頻用されているオプションは、Ｒ、Ｇ、およびＢ色平面上で圧縮を直接行うことである。直接ＲＧＢ色平面圧縮はまた、可逆圧縮が適用されているときにも頻用されている。

ＪＰＥＧビットストリームは、ビッグエンディアン形式で１６ビットワード値を記憶する。ＪＰＥＧデータ全般は、ブロックのストリームとして記憶され、各ブロックは、マーカー値によって識別される。全ＪＰＥＧビットストリームの最初の２バイトは、画像開始（ＳＯＩ）マーカー値ＦＦｈ Ｄ８ｈである。ＪＦＩＦ準拠ファイルでは、次の項で説明されるように、マーカーコード値ＦＦｈ Ｅｏｈおよびマーカーデータ内の文字ＪＦＩＦから成る、ＳＯＩの直後にＪＦＩＦ ＡＰＰ０（アプリケーション）マーカーがある。ＪＦＩＦマーカーセグメントに加えて、実際の画像データが後に続く、１つ以上の随意的なＪＦＩＦ拡張マーカーセグメントがあり得る。

全体的に、ＪＦＩＦ形式は、メタデータを記憶するように１６個の「アプリケーションマーカー」をサポートする。アプリケーションマーカーを使用することは、デコーダがＪＦＩＦファイルを解析し、画像データの必要セグメントのみを復号することを可能にする。アプリケーションマーカーは、それぞれ６４Ｋバイトに限定されるが、同一のマーカーＩＤを複数回使用し、異なるメモリセグメントを参照することが可能である。

ＳＯＩマーカーの後のＡＰＰ０マーカーは、ＪＦＩＦファイルを識別するために使用される。ＪＦＩＦ拡張子を規定するために、付加的なＡＰＰ０マーカーセグメントを随意に使用することができる。デコーダが特定のＪＦＩＦアプリケーションマーカーを復号することをサポートしないとき、デコーダは、そのセグメントを飛ばして復号を継続することができる。

デジタルカメラによって使用されている最も頻用されているファイル形式のうちの１つは、Ｅｘｉｆである。ＥｘｉｆがＪＰＥＧビットストリームとともに採用されるとき、ＡＰＰ１アプリケーションマーカーが、Ｅｘｉｆデータを記憶するために使用される。Ｅｘｉｆタグ構造は、Ａｄｏｂｅ Ｓｙｓｔｅｍｓ Ｉｎｃｏｒｐｏｒａｔｅｄ（Ｓａｎ Ｊｏｓｅ， Ｃａｌｉｆｏｒｎｉａ）によって維持されているＴａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ（ＴＩＦＦ）から借用される。

本発明の実施形態によるシステムおよび方法は、電子ファイル内に明視野画像データから合成される画像および画像を表すメタデータを記憶し、記憶された画像およびメタデータを使用して画像をレンダリングするように構成される。本発明の一実施形態は、プロセッサと、符号化アプリケーションおよび明視野画像データを含有するメモリとを含み、明視野画像データは、異なる視点から捕捉される光景の複数の低解像度画像を備える。加えて、符号化アプリケーションは、より高い解像度の画像を合成することが、より高い解像度の画像内のピクセルの参照視点から深度を規定する深度マップを作成することを伴う、低解像度画像を使用して参照視点から光景のより高い解像度の画像を合成し、より高い解像度の画像を符号化し、メタデータが深度マップを含む、符号化画像と、符号化画像を表すメタデータとを含む、明視野画像ファイルを作成するように、プロセッサを構成する。

本発明のさらなる実施形態は、プロセッサと、レンダリングアプリケーション、および符号化画像と、符号化画像を表すメタデータとを含む、明視野画像ファイルを含有する、メモリとを含み、メタデータは、符号化画像内のピクセルの参照視点から深度を規定する深度マップを備える。加えて、レンダリングアプリケーションは、明視野画像ファイル内の符号化画像の場所を規定し、符号化画像を復号し、明視野画像ファイル内のメタデータの場所を規定し、レンダリングされた画像を作成するように、深度マップ内で示される深度に基づいてピクセルを修正することによって、復号画像を後処理するようにプロセッサを構成する。

別の実施形態では、明視野画像ファイルは、ＪＦＩＦ規格に準拠する。

別のさらなる実施形態では、高解像度画像は、ＪＰＥＧ規格に従って符号化される。
本発明は、例えば、以下を提供する。
（項目１）
明視野画像データを明視野画像ファイルとして符号化するためのシステムであって、
プロセッサと、
符号化アプリケーションおよび明視野画像データを含有するメモリであって、上記明視野画像データは、異なる視点から捕捉される光景の複数の低解像度画像を備える、メモリと
を備え、
上記符号化アプリケーションは、
上記低解像度画像を使用して参照視点から上記光景のより高い解像度の画像を合成することであって、上記より高い解像度の画像を合成することは、上記より高い解像度の画像内のピクセルの参照視点から深度を規定する深度マップを作成することを伴う、ことと、
上記より高い解像度の画像を符号化することと、
符号化画像と、上記符号化画像を表すメタデータとを含む明視野画像ファイルを作成することであって、上記メタデータは、上記深度マップを含む、ことと
を行うように、上記プロセッサを構成する、システム。
（項目２）
上記符号化アプリケーションは、上記深度マップを符号化するように上記プロセッサを構成し、上記符号化画像を表す上記メタデータに含まれる上記深度マップは、符号化深度マップである、項目１に記載のシステム。
（項目３）
上記より高い解像度の画像を合成することは、上記参照視点内で閉塞される上記光景の上記複数の低解像度画像内のピクセルを識別することを伴い、
上記明視野画像ファイル内の上記符号化画像を表す上記メタデータは、閉塞ピクセルの説明を含む、
項目１に記載のシステム。
（項目４）
上記閉塞ピクセルの上記説明は、上記閉塞ピクセルの色、場所、および深度を含む、項目３に記載のシステム。
（項目５）
上記より高い解像度の画像を合成することは、上記深度マップの信頼マップを作成することを伴い、上記信頼マップは、上記深度マップ内のピクセルの深度値の信頼性を示し、
上記明視野画像ファイル内の上記符号化画像を表す上記メタデータは、上記信頼マップを含む、
項目３に記載のシステム。
（項目６）
上記符号化アプリケーションは、上記信頼マップを符号化するように上記プロセッサを構成する、項目１に記載のシステム。
（項目７）
上記符号化アプリケーションは、不連続性上に位置する合成画像内のピクセルを示すエッジマップを生成するように上記プロセッサを構成し、
上記明視野画像ファイル内の上記符号化画像を表す上記メタデータは、上記エッジマップを含む、
項目３に記載のシステム。
（項目８）
上記エッジマップは、ピクセルが強度不連続性上に位置するかどうかを識別する、項目７に記載のシステム。
（項目９）
上記エッジマップは、ピクセルが強度および深度不連続性上に位置するかどうかを識別する、項目７に記載のシステム。
（項目１０）
上記符号化アプリケーションは、上記エッジマップを符号化するように上記プロセッサを構成する、項目７に記載のシステム。
（項目１１）
上記符号化アプリケーションは、上記光景の上記複数の低解像度画像からのピクセルに対応しない、かつ合成画像内の隣接ピクセルからのピクセル値を補間することによって生成される、上記合成画像内のピクセルを示す、欠落ピクセルマップを生成するように上記プロセッサを構成し、
上記明視野画像ファイル内の上記符号化画像を表す上記メタデータは、上記欠落ピクセルマップを含む、
項目３に記載のシステム。
（項目１２）
上記符号化アプリケーションは、上記欠落ピクセルマップを符号化するように上記プロセッサを構成する、項目１に記載のシステム。
（項目１３）
上記メタデータはまた、焦点面も含む、項目１に記載のシステム。
（項目１４）
上記明視野画像ファイルは、ＪＦＩＦ規格に準拠する、項目１に記載のシステム。
（項目１５）
上記高解像度画像は、ＪＰＥＧ規格に従って符号化される、項目１４に記載のシステム。
（項目１６）
上記メタデータは、上記明視野画像ファイル内のアプリケーションマーカーセグメント内に位置する、項目１５に記載のシステム。
（項目１７）
上記アプリケーションマーカーセグメントは、ＡＰＰ９マーカーを使用して識別される、項目１６に記載のシステム。
（項目１８）
上記符号化アプリケーションは、可逆圧縮を使用して上記ＪＰＥＧ規格に従って上記深度マップを符号化するように上記プロセッサを構成し、上記符号化深度マップは、上記メタデータを含有する上記アプリケーションマーカーセグメント内に記憶される、項目１６に記載のシステム。
（項目１９）
上記より高い解像度の画像を合成することは、上記参照視点内で閉塞される上記光景の上記複数の低解像度画像からピクセルを識別することを伴い、
上記閉塞ピクセルの説明は、上記メタデータを含有する上記アプリケーションマーカーセグメント内に記憶される、
項目１８に記載のシステム。
（項目２０）
上記閉塞ピクセルの上記説明は、上記閉塞ピクセルの色、場所、および深度を含む、項目１９に記載のシステム。
（項目２１）
上記より高い解像度の画像を合成することは、上記深度マップの信頼マップを作成することを伴い、上記信頼マップは、上記深度マップ内のピクセルの深度値の信頼性を示し、
上記信頼マップは、上記メタデータを含有する上記アプリケーションマーカーセグメント内に記憶される、
項目１６に記載のシステム。
（項目２２）
上記符号化アプリケーションは、可逆圧縮を使用して上記ＪＰＥＧ規格に従って上記信頼マップを符号化するように上記プロセッサを構成する、項目２１に記載のシステム。
（項目２３）
上記符号化アプリケーションは、不連続性上に位置する上記合成画像内のピクセルを示すエッジマップを生成するように上記プロセッサを構成し、
上記エッジマップは、上記メタデータを含有する上記アプリケーションマーカーセグメント内に記憶される、
項目１６に記載のシステム。
（項目２４）
上記エッジマップは、ピクセルが強度不連続性上に位置するかどうかを識別する、項目２３に記載のシステム。
（項目２５）
上記エッジマップは、ピクセルが強度および深度不連続性上に位置するかどうかを識別する、項目２３に記載のシステム。
（項目２６）
上記符号化アプリケーションは、可逆圧縮を使用して上記ＪＰＥＧ規格に従って上記エッジマップを符号化するように上記プロセッサを構成する、項目２３に記載のシステム。（項目２７）
上記符号化アプリケーションは、上記光景の上記複数の低解像度画像からのピクセルに対応しない、かつ上記合成画像内の隣接ピクセルからのピクセル値を補間することによって生成される、上記合成画像内のピクセルを示す、欠落ピクセルマップを生成するように上記プロセッサを構成し、
上記欠落ピクセルマップは、上記メタデータを含有する上記アプリケーションマーカーセグメント内に記憶される、
項目１６に記載のシステム。
（項目２８）
上記符号化アプリケーションは、可逆圧縮を使用して上記ＪＰＥＧ規格に従って上記欠落ピクセルマップを符号化するように上記プロセッサを構成する、項目２７に記載のシステム。
（項目２９）
明視野画像データを明視野画像ファイルとして符号化するための方法であって、
符号化デバイスおよび明視野画像データを使用して、参照視点からの光景のより高い解像度の画像、および合成画像内のピクセルの深度を表す深度マップを合成することであって、上記明視野画像データは、異なる視点から捕捉される光景の複数の低解像度画像を備え、上記より高い解像度の画像を合成することは、上記より高い解像度の画像内のピクセルの上記参照視点から深度を規定する深度マップを作成することを伴う、ことと、
上記符号化デバイスを使用して、上記より高い解像度の画像を符号化することと、
上記符号化デバイスを使用して、上記符号化画像と、上記符号化画像を表すメタデータとを含む明視野画像ファイルを作成することであって、上記メタデータは、上記深度マップを含む、ことと
を含む、方法。
（項目３０）
プロセッサ命令を含有する機械可読媒体であって、プロセッサによる上記命令の実行は、上記プロセッサに、
明視野画像データを使用して、参照視点からの光景のより高い解像度の画像を合成することであって、上記明視野画像データは、異なる視点から捕捉される光景の複数の低解像度画像を備え、上記より高い解像度の画像を合成することは、上記より高い解像度の画像内のピクセルの上記参照視点から深度を規定する深度マップを作成することを伴う、ことと、
上記より高い解像度の画像を符号化することと、
符号化画像と、上記符号化画像を表すメタデータとを含む、明視野画像ファイルを作成することであって、上記メタデータは、上記深度マップを含む、ことと
を含む、プロセスを行わせる、
機械可読媒体。
（項目３１）
符号化画像と、上記符号化画像を表すメタデータとを含む明視野画像ファイルを使用して、画像をレンダリングするためのシステムであって、上記メタデータは、上記符号化画像内のピクセルの参照視点から深度を規定する深度マップを備え、
上記システムは、
プロセッサと、
レンダリングアプリケーションと、符号化画像と上記符号化画像を表すメタデータとを含む明視野画像ファイルとを含有する、メモリであって、上記メタデータは、上記符号化画像内のピクセルの上記参照視点から深度を規定する深度マップを備える、メモリと
を備え、
上記レンダリングアプリケーションは、
上記明視野画像ファイル内の上記符号化画像の場所を規定することと、
上記符号化画像を復号することと、
上記明視野画像ファイル内の上記メタデータの場所を規定することと、
レンダリングされた画像を作成するように、上記深度マップ内で示される上記深度に基づいて上記ピクセルを修正することによって、復号画像を後処理することと
を行うように、上記プロセッサを構成する、システム。
（項目３２）
上記レンダリングされた画像を作成するように、上記深度マップ内で示される上記深度に基づいて上記ピクセルを修正することによって、上記復号画像を後処理するように上記プロセッサを構成する、上記レンダリングアプリケーションは、深度ベースの効果を上記復号画像の上記ピクセルに適用することを含む、項目３１に記載のシステム。
（項目３３）
上記深度ベースの効果は、
上記復号画像の焦点面を修正することと、
上記復号画像の被写界深度を修正することと、
上記復号画像の焦点外領域中のぼやけを修正することと、
上記復号画像の上記被写界深度を局所的に変化させることと、
上記復号画像内の異なる深度で複数の焦点領域を作成することと、
深度関連のぼやけを適用することと
から成る群より選択される、少なくとも１つの効果を含む、
項目３２に記載のシステム。
（項目３４）
上記符号化画像は、異なる視点から光景を捕捉する複数のより低い解像度の画像を使用して、参照視点から合成される光景の画像であり、
上記明視野画像ファイル内の上記メタデータはさらに、上記参照視点内で閉塞される上記より低い解像度の画像からのピクセルを備え、
上記レンダリングされた画像を作成するように、上記深度マップ内で示される上記深度に基づいて上記ピクセルを修正することによって、上記復号画像を後処理するように上記プロセッサを構成する、上記レンダリングアプリケーションは、上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることを含む、
項目３１に記載のシステム。
（項目３５）
上記明視野画像ファイル内の上記メタデータは、上記閉塞ピクセルの色、場所、および深度を含む、上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルの説明を含み、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、
上記ピクセルの上記深度に基づいて、上記復号画像からのピクセルおよび上記メタデータ内の上記閉塞ピクセルを上記異なる視点へ移行することと、
ピクセル閉塞を判定することと、
閉塞されていない移行ピクセルを使用して、かつ閉塞されていない隣接ピクセルを使用して欠落ピクセルを埋めるように補間することによって、上記異なる視点から画像を生成することと
を含む、
項目３４に記載のシステム。
（項目３６）
上記異なる視点からレンダリングされる上記画像は、立体の一対の画像の一部である、項目３４に記載のシステム。
（項目３７）
上記明視野画像ファイル内の上記メタデータはさらに、上記深度マップの信頼マップを備え、上記信頼マップは、上記深度マップによってピクセルに提供される深度値の信頼性を示し、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、上記信頼マップに基づいて少なくとも１つのフィルタを適用することを含む、
項目３４に記載のシステム。
（項目３８）
上記明視野画像ファイル内の上記メタデータはさらに、不連続性上に位置する上記復号画像内のピクセルを示すエッジマップを備え、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、上記エッジマップに基づいて少なくとも１つのフィルタを適用することを含む、
項目３４に記載のシステム。
（項目３９）
上記エッジマップは、ピクセルが強度不連続性上に位置するかどうかを識別する、項目３８に記載のシステム。
（項目４０）
上記エッジマップは、ピクセルが強度および深度不連続性上に位置するかどうかを識別する、項目３８に記載のシステム。
（項目４１）
上記明視野画像ファイル内の上記メタデータはさらに、上記光景の上記複数の低解像度画像からのピクセルに対応しない、かつ合成画像内の隣接ピクセルからのピクセル値を補間することによって生成される、上記復号画像内のピクセルを示す、欠落ピクセルマップを備え、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、上記欠落ピクセルマップに基づいてピクセルを無視することを含む、
項目３４に記載のシステム。
（項目４２）
上記明視野画像ファイルは、ＪＦＩＦ規格に準拠し、上記符号化画像は、ＪＰＥＧ規格に従って符号化され、
上記メモリは、ＪＰＥＧデコーダアプリケーションを備え、
上記レンダリングアプリケーションは、
上記明視野画像ファイル内で画像開始マーカーの場所を規定することによって、上記符号化画像の場所を規定することと、
上記ＪＰＥＧデコーダを使用して、上記符号化画像を復号することと
を行うように、上記プロセッサを構成する、
項目３１に記載のシステム。
（項目４３）
上記メタデータは、上記明視野画像ファイル内のアプリケーションマーカーセグメント内に位置する、項目４２に記載のシステム。
（項目４４）
上記アプリケーションマーカーセグメントは、ＡＰＰ９マーカーを使用して識別される、項目４３に記載のシステム。
（項目４５）
上記深度マップは、可逆圧縮を使用して上記ＪＰＥＧ規格に従って符号化され、
上記レンダリングアプリケーションは、
上記深度マップを備える上記メタデータを含有する、少なくとも１つのアプリケーションマーカーセグメントの場所を規定することと、
上記ＪＰＥＧデコーダを使用して、上記深度マップを復号することと
を行うように、上記プロセッサを構成する、
項目４３に記載のシステム。
（項目４６）
上記符号化画像は、異なる視点から光景を捕捉する複数のより低い解像度の画像を使用して、参照視点から合成される上記光景の画像であり、
上記明視野画像ファイル内の上記メタデータはさらに、上記参照視点内で閉塞される上記より低い解像度の画像からのピクセルを備え、
上記レンダリングアプリケーションは、上記参照視点内で閉塞される上記より低い解像度の画像からのピクセルを備える、上記メタデータを含有する、少なくとも１つのアプリケーションマーカーセグメントの場所を規定するように上記プロセッサを構成し、
上記レンダリングされた画像を作成するように、上記深度マップ内で示される上記ピクセルの上記深度に基づいて上記ピクセルを修正することによって、上記復号画像を後処理するように上記プロセッサを構成する、上記レンダリングアプリケーションは、上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることを含む、
項目４３に記載のシステム。
（項目４７）
上記明視野画像ファイル内の上記メタデータは、上記閉塞ピクセルの色、場所、および深度を含む、上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルの説明を含み、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、
上記ピクセルの上記深度に基づいて、上記復号画像からのピクセルおよび上記メタデータ内の上記閉塞ピクセルを上記異なる視点へ移行することと、
ピクセル閉塞を判定することと、
閉塞されていない移行ピクセルを使用して、かつ閉塞されていない隣接ピクセルを使用して欠落ピクセルを埋めるように補間することによって、上記異なる視点から画像を生成することと
を含む、
項目４６に記載のシステム。
（項目４８）
上記異なる視点からレンダリングされる上記画像は、立体の一対の画像の一部である、項目４６に記載のシステム。
（項目４９）
上記明視野画像ファイル内の上記メタデータはさらに、上記深度マップの信頼マップを備え、上記信頼マップは、上記深度マップによってピクセルに提供される深度値の信頼性を示し、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、上記信頼マップに基づいて少なくとも１つのフィルタを適用することを含む、
項目４６に記載のシステム。
（項目５０）
上記明視野画像ファイル内の上記メタデータはさらに、不連続性上に位置する上記復号画像内のピクセルを示すエッジマップを備え、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、上記エッジマップに基づいて少なくとも１つのフィルタを適用することを含む、
項目４６に記載のシステム。
（項目５１）
上記エッジマップは、ピクセルが強度不連続性上に位置するかどうかを識別する、項目５０に記載のシステム。
（項目５２）
上記エッジマップは、ピクセルが強度および深度不連続性上に位置するかどうかを識別する、項目５０に記載のシステム。
（項目５３）
上記エッジマップは、可逆圧縮を使用して上記ＪＰＥＧ規格に従って符号化され、
上記レンダリングアプリケーションは、
上記エッジマップを備える上記メタデータを含有する、少なくとも１つのアプリケーションマーカーセグメントの場所を規定することと、
上記ＪＰＥＧデコーダを使用して、上記エッジマップを復号することと
を行うように、上記プロセッサを構成する、
項目５０に記載のシステム。
（項目５４）
上記明視野画像ファイル内の上記メタデータはさらに、上記光景の上記複数の低解像度画像からのピクセルに対応しない、かつ上記合成画像内の隣接ピクセルからのピクセル値を補間することによって生成される、上記復号画像内のピクセルを示す、欠落ピクセルマップを備え、
上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用して、異なる視点から画像をレンダリングすることはさらに、上記欠落ピクセルマップに基づいてピクセルを無視することを含む、
項目４６に記載のシステム。
（項目５５）
上記欠落ピクセルマップは、可逆圧縮を使用して上記ＪＰＥＧ規格に従って符号化され、
上記レンダリングアプリケーションは、
上記欠落ピクセルを備える上記メタデータを含有する、少なくとも１つのアプリケーションマーカーセグメントの場所を規定することと、
上記ＪＰＥＧデコーダを使用して、上記欠落ピクセルマップを復号することと
行うように、上記プロセッサを構成する、
項目５４に記載のシステム。
（項目５６）
符号化画像と、上記符号化画像を表すメタデータとを含む、明視野画像ファイルを使用して、画像をレンダリングするための方法であって、上記メタデータは、上記符号化画像内のピクセルの参照視点から深度を規定する深度マップを備える、方法であって、
レンダリングデバイスを使用して、上記明視野画像ファイル内の上記符号化画像の場所を規定することと、
上記レンダリングデバイスを使用して、上記符号化画像を復号することと、
上記レンダリングデバイスを使用して、上記明視野画像ファイル内の上記メタデータの場所を規定することと、
上記レンダリングデバイスを使用してレンダリングされた画像を作成するように、上記深度マップ内で示される上記深度に基づいて上記ピクセルを修正することによって、上記復号画像を後処理することと
を含む、方法。
（項目５７）
上記レンダリングされた画像を作成するように、上記深度マップ内で示される上記深度に基づいて上記ピクセルを修正することによって、上記復号画像を後処理することは、上記レンダリングデバイスを使用して、深度ベースの効果を上記復号画像の上記ピクセルに適用することを含む、項目５６に記載の方法。
（項目５８）
上記深度ベースの効果は、
上記レンダリングデバイスを使用して、上記復号画像の焦点面を修正することと、
上記レンダリングデバイスを使用して、上記復号画像の被写界深度を修正することと、
上記レンダリングデバイスを使用して、上記復号画像の焦点外領域中のぼやけを修正することと、
上記レンダリングデバイスを使用して、上記復号画像の上記被写界深度を局所的に変化させることと、
上記レンダリングデバイスを使用して、上記復号画像内の異なる深度で複数の焦点領域を作成することと、
上記レンダリングデバイスを使用して、深度関連のぼやけを適用することと
から成る群より選択される、少なくとも１つの効果を含む、
項目５７に記載の方法。
（項目５９）
上記符号化画像は、異なる視点から光景を捕捉する複数のより低い解像度の画像を使用して、参照視点から合成される上記光景の画像であり、
上記明視野画像ファイル内の上記メタデータはさらに、上記参照視点内で閉塞される上記より低い解像度の画像からのピクセルを備え、
上記レンダリングされた画像を作成するように、上記深度マップ内で示される上記深度に基づいて上記ピクセルを修正することによって、上記復号画像を後処理することは、上記レンダリングデバイスを使用して異なる視点から画像をレンダリングするために、上記深度マップ、および上記参照視点内で閉塞される上記より低い解像度の画像からの上記ピクセルを使用することを含む、
項目５７に記載の方法。
（項目６０）
プロセッサ命令を含有する機械可読媒体であって、プロセッサによる上記命令の実行は、上記プロセッサに、
明視野画像ファイル内の符号化画像の場所を規定することであって、上記明視野画像ファイルは、符号化画像と、上記符号化画像内のピクセルの参照視点から深度を規定する深度マップを備える、上記符号化画像を表すメタデータとを含む、ことと、
上記符号化画像を復号することと、
上記明視野画像ファイル内の上記メタデータの場所を規定することと、
レンダリングされた画像を作成するように、上記深度マップ内で示される上記深度に基づいて上記ピクセルを修正することによって、上記復号画像を後処理することと
を含む、プロセスを行わせる、
機械可読媒体。

図１は、本発明の実施形態による、明視野画像ファイルを生成するように構成されるアレイカメラのアーキテクチャを概念的に図示する。 図２は、本発明の実施形態による、明視野画像データから合成される画像と、明視野画像データを使用して生成される合成画像の深度マップとを含む、明視野画像ファイルを作成するためのプロセスのフローチャートである。 図３は、本発明の実施形態による、ＪＦＩＦ規格に準拠し、かつＪＰＥＧ規格に従って符号化される画像を含む、明視野画像ファイルを作成するためのプロセスである。 図４は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメントを図示する。 図５は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「ＤＺ選択記述子」を図示する。 図６は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「深度マップ、カメラアレイ、および補助マップ選択記述子」を図示する。 図７は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「深度マップ、カメラアレイ、および補助マップ圧縮記述子」を図示する。 図８は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「深度マップヘッダ」内の「深度マップ属性」フィールドを図示する。 図９は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「深度マップヘッダ」内の「深度マップ記述子」フィールドを図示する。 図１０は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「深度マップデータ記述子」を図示する。 図１１は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「カメラアレイヘッダ」内の「カメラアレイ属性」フィールドを図示する。 図１２は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「カメラアレイヘッダ」内の「カメラアレイ記述子」フィールドを図示する。 図１３は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「個別カメラ記述子」を図示する。 図１４は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内の「個別カメラデータ」を図示する。 図１５は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内の「個別ピクセルデータ構造」を図示する。 図１６は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内に含有された「補助マップヘッダ」内の「補助マップ記述子」を図示する。 図１７は、本発明の実施形態による、ＪＦＩＦ規格に準拠する明視野画像ファイルのＡＰＰ９アプリケーションマーカーセグメント内の「補助マップデータ記述子」を図示する。 図１８は、本発明の実施形態による、明視野画像データを捕捉して明視野画像ファイルを符号化するように、およびネットワークを介して明視野画像ファイルをレンダリングデバイスと共有するように構成される、少なくとも１つの符号化デバイスを含む、ネットワークを図示する。 図１９は、明視野画像ファイルを使用して画像をレンダリングするように、レンダリングアプリケーションによって構成されるレンダリングデバイスを概念的に図示する。 図２０は、本発明の実施形態による、明視野画像ファイルを使用して画像をレンダリングするためのプロセスを図示するフローチャートである。 図２１は、ＪＰＥＧ規格に従って符号化される画像および／またはマップを含有する明視野画像ファイルを使用して画像をレンダリングするように、レンダリングアプリケーションによって構成されるレンダリングデバイスを概念的に図示する。 図２２は、ＪＦＩＦ規格に準拠し、ＪＰＥＧ規格に従って符号化される画像と、符号化画像を表すメタデータとを含む、明視野画像ファイルを使用して、画像をレンダリングするためのプロセスを図示するフローチャートである。 図２３は、本発明の実施形態による、明視野画像ファイル内に含有された深度マップに基づいて、深度依存効果を明視野画像ファイル内に含有された符号化画像に適用するプロセスを図示する、フローチャートである。 図２４は、本発明の実施形態による、異なる視点から明視野画像ファイル内に含有された画像の参照視点へ画像をレンダリングするためのプロセスを図示する、フローチャートである。

ここで図面を参照すると、本発明の実施形態による、電子ファイル内に明視野画像データから合成される画像および画像を表すメタデータを記憶するため、ならびに記憶された画像およびメタデータを使用して画像をレンダリングするためのシステムおよび方法が図示されている。明視野画像データから合成される画像、および明視野画像データから導出されるメタデータを含有するファイルは、明視野画像ファイルと呼ぶことができる。以下でさらに論議されるように、明視野画像ファイル内の符号化画像は、典型的には、いくつかのより低い解像度の画像から、超解像度プロセスを使用して合成される。明視野画像ファイルはまた、合成画像の後処理を可能にする、明視野画像データから導出される合成画像を表すメタデータも含むことができる。多くの実施形態では、明視野画像ファイルは、明視野画像データから合成される画像を符号化し、符号化画像を明視野画像データから導出される深度マップと組み合わせることによって作成される。いくつかの実施形態では、符号化画像は、参照視点から合成され、メタデータは、参照視点から閉塞される明視野画像内のピクセルに関する情報を含む。いくつかの実施形態では、メタデータはまた、明視野画像データファイルを使用してレンダリングされる画像の質を向上させるために、符号化画像の後処理中に利用することができる、信頼マップ、エッジマップ、および欠落ピクセルマップ等の補助マップを含む（がそれらに限定されない）付加的な情報も含むことができる。

多くの実施形態では、明視野画像ファイルは、ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＪＦＩＦ）と互換性がある。合成画像は、ＪＰＥＧビットストリームとして符号化され、ファイル内に記憶される。次いで、付随の深度マップ、閉塞ピクセル、および／または補助マップを含む（がそれに限定されない）適切で付加的な情報が、メタデータを識別するアプリケーションマーカーを使用して、メタデータとしてＪＦＩＦファイル内に記憶される。レガシーレンダリングデバイスは、単純に、ＪＰＥＧビットストリームを復号することによって合成画像を表示することができる。本発明の実施形態によるレンダリングデバイスは、深度マップおよび／または任意の利用可能な補助マップを使用して、復号ＪＰＥＧビットストリームに付加的な後処理を行うことができる。多くの実施形態では、メタデータに含まれるマップはまた、可逆ＪＰＥＧ符号化を使用して圧縮し、ＪＰＥＧデコーダを使用して復号することもできる。以下に続く論議の大部分は、ＪＦＩＦおよびＪＰＥＧ規格を参照するが、これらの規格は、単純に実施例として論議され、種々の規格ファイル形式内の符号化画像を合成するために使用される明視野画像データから導出されるメタデータを組み込むために、類似技法を利用することができ、合成画像および／またはマップは、種々の規格ベースの画像符号化プロセスのうちのいずれかを使用して符号化されることを理解されたい。

符号化画像と、符号化画像を表すメタデータとを含む、明視野画像ファイルを伝送することによって、レンダリングデバイス（すなわち、明視野画像ファイル内の情報を使用してレンダリングされる画像を生成するように構成されるデバイス）は、元の明視野画像データに超解像度処理を行う必要なく、ファイル内の情報を使用して新しい画像をレンダリングすることができる。このようにして、レンダリングデバイスに伝送されるデータの量、および画像をレンダリングすることの計算複雑性が低減される。いくつかの実施形態では、レンダリングデバイスは、ユーザによって規定される焦点面に基づいて符号化画像の焦点を再び合わせることと、異なる視点から画像を合成することと、立体の一対の画像を生成することとを含む（がそれらに限定されない）プロセスを行うように構成される。本発明の実施形態による、明視野画像データの捕捉、ならびに明視野画像ファイルの符号化および復号が、以下でさらに論議される。明視野画像データの捕捉 しばしば、光景内の全ての点で全ての方向からの光を特徴付ける、４Ｄ関数として定義される、明視野は、光景の２次元（２Ｄ）画像の２Ｄ集合として解釈することができる。明視野画像を捕捉するために、Ｖｅｎｋａｔａｒａｍａｎらに対する「Ｃａｐｔｕｒｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｉｍａｇｅｓ ｕｓｉｎｇ Ｍｏｎｏｌｉｔｈｉｃ Ｃａｍｅｒａ Ａｒｒａｙ ｗｉｔｈ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｉｍａｇｅｒｓ」と題された米国特許出願第１２／９３５，５０４号で説明されているもの等のアレイカメラを利用することができる。いくつかの実施形態では、アレイカメラによって捕捉される明視野内のより低い解像度の画像から、より高い解像度の２Ｄ画像または立体の一対のより高い解像度の２Ｄ画像を合成するために、Ｌｅｌｅｓｃｕらに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｐｒｏｃｅｓｓｅｓ」と題された米国特許出願第１２／９６７，８０７号で説明されているもの等の超解像度プロセスが利用される。高いまたはより高い解像度、および低いまたはより低い解像度という用語は、ここでは、アレイカメラによって捕捉される画像の特定の解像度を示すためではなく、相対的な意味で使用される。米国特許出願第１２／９３５，５０４号および米国特許出願第１２／９６７，８０７号の開示は、それらの全体で参照することにより本明細書に組み込まれる。

捕捉された明視野内の各２次元（２Ｄ）画像は、アレイカメラの中のカメラのうちの１つの視点に由来する。超解像度処理を使用して合成される高解像度画像は、参照視点と呼ぶことができる特定の視点から合成される。参照視点は、カメラアレイの中のカメラのうちの１つの視点に由来し得る。代替として、参照視点は、恣意的な仮想視点であり得る。

カメラのそれぞれの異なる視点により、視差は、光景の画像内の前景オブジェクトの位置の変動をもたらす。視差検出を行うためのプロセスは、その開示がその全体において参照することにより本明細書に組み込まれる、Ｖｅｎｋａｔａｒａｍａｎらに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐａｒａｌｌａｘ Ｄｅｔｅｃｔｉｏｎ
ａｎｄ Ｃｏｒｒｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ Ｃａｐｔｕｒｅｄ Ｕｓｉｎｇ
Ａｒｒａｙ Ｃａｍｅｒａｓ」と題された米国仮特許出願第６１／６９１，６６６号で論議されている。米国仮特許出願第６１／６９１，６６６号で開示されているように、視差による明視野内の画像内のピクセル間の相違を判定することによって、参照視点からの深度マップを生成することができる。深度マップは、参照視点からの光景オブジェクトの表面の距離を示す。いくつかの実施形態では、最初の低解像度深度マップを生成し、次いで、深度遷移を伴う領域および／または明視野内の１つ以上の画像内で閉塞されるピクセルを含有する領域等（であるがそれらに限定されない）の付加的な深度情報が望ましい領域中で、深度マップの解像度を増加させることによって、深度マップを生成することの計算複雑性が低減される。

超解像度処理中に、種々の方法で深度マップを利用することができる。米国特許出願第１２／９６７，８０７号は、動的に合成画像の焦点を再び合わせて合成画像を不鮮明にし、焦点面上に位置しない光景の部分を焦点外で出現させるために、超解像度処理中にどのようにして深度マップを利用することができるかを説明する。米国特許出願第１２／９６７，８０７号はまた、３Ｄ用途で使用するために立体の一対のより高い解像度の画像を生成するために、超解像度処理中にどのようにして深度マップを利用することができるかも説明する。深度マップはまた、１つ以上の仮想視点から高解像度画像を合成するために利用することもできる。このようにして、レンダリングデバイスは、運動視差およびドリーズーム（すなわち、参照視点の前または後ろの仮想視点）をシミュレートすることができる。超解像度処理中に深度マップを利用することに加えて、深度マップは、動的再集束、立体ペアの生成、および超解像度処理を行うことを伴わない仮想視点の生成を含む（がそれらに限定されない）効果を達成するために、種々の後処理プロセスで利用することができる。本発明の実施形態による、アレイカメラによって捕捉される明視野画像データ、明視野画像ファイル内の明視野画像データの記憶、および明視野画像ファイルを使用した画像のレンダリングが、以下でさらに論議される。
アレイカメラアーキテクチャ
本発明の実施形態によるアレイカメラは、アレイカメラソフトウェアが明視野画像データの捕捉を制御することができ、種々の適切に構成されたレンダリングデバイスのうちのいずれかで１つ以上の画像をレンダリングするために使用することができるファイルの中へ明視野画像データを捕捉することができるように、構成される。本発明の実施形態による、撮像装置アレイを含むアレイカメラが、図１で図示されている。アレイカメラ１００は、焦点面１０４のアレイを有し、プロセッサ１０８と通信するように構成される、センサ１０２を含む。プロセッサはまた、画像データを記憶し、および／または以下で説明される種々のプロセスを含む（がそれらに限定されない）プロセスを行うようにプロセッサを構成するために利用される機械可読命令を含有するために使用することができる、１つ以上の異なる種類のメモリ１１０と通信するように構成される。アレイカメラ１００はまた、ユーザインターフェースをユーザに提示するため、および明視野画像データを使用してレンダリングされる画像を表示するためにプロセッサ１０８によって利用することができる、ディスプレイ１１２も含む。プロセッサは、単一のプロセッサとして図示されているが、本発明の実施形態によるアレイカメラは、グラフィックスプロセッシングユニット（ＧＰＵ）を含む（がそれに限定されない）単一のプロセッサまたは複数のプロセッサを利用することができる。

図示した実施形態では、プロセッサは、センサによって生成される画像データを受信し、画像データからセンサによって捕捉される明視野を再構築する。プロセッサは、明視野内のピクセルの深度および可視性を判定すること、および明視野の画像データからより高い解像度の２Ｄ画像を合成することを含む（がそれらに限定されない）種々の異なる方法のうちのいずれかで、明視野を操作することができる。複数の焦点面を含むセンサが、その開示がその全体で参照することにより本明細書に組み込まれる、Ｐａｉｎらに対する「Ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ Ａｒｒａｙ Ｃａｍｅｒａｓ」と題された米国特許出願第１３／１０６，７９７号で論議されている。

図示した実施形態では、焦点面は、５×５アレイで構成される。センサ上の各焦点面１０４は、光景の画像を捕捉することが可能である。焦点面で利用されるセンサ要素は、限定されないが、従来のＣＩＳ（ＣＭＯＳ画像センサ）ピクセル、ＣＣＤ（電荷結合素子）ピクセル、高ダイナミックレンジセンサ要素、マルチスペクトルセンサ要素、および／または構造に入射する光を示す電気信号を生成するように構成される任意の他の構造等の個別光感知要素であり得る。多くの実施形態では、各焦点面のセンサ要素は、類似の物理的性質を有し、（存在する場合）同一の光チャネルおよび色フィルタを介して光を受光する。他の実施形態では、センサ要素は、異なる特性を有し、多くの場合において、センサ要素の特性は、各センサ要素に適用される色フィルタに関係する。

多くの実施形態では、センサ内の焦点面によって捕捉される画像データを使用して、画像のアレイ（すなわち、明視野）が作成される。上述のように、本発明の多くの実施形態によるプロセッサ１０８は、明視野内で画像データを獲得し、１つ以上の高解像度画像を合成するように、適切なソフトウェアを使用して構成される。いくつかの実施形態では、高解像度画像は、典型的には、センサ１０２内の参照焦点面１０４の参照視点である、参照視点から合成される。多くの実施形態では、プロセッサは、センサ１０２内の焦点面１０４のうちのいずれかの視点に対応しない、仮想視点から画像を合成することができる。捕捉された光景内のオブジェクトの全てがアレイカメラから有意な距離になければ、明視野内の画像は、画像を捕捉するために使用される焦点面の異なる視野により、相違を含むであろう。本発明の実施形態による超解像度処理を行うときに相違を検出および補正するためのプロセスは、（上記で参照することにより組み込まれる）米国仮特許出願第６１／６９１，６６６号で論議されている。検出された相違は、深度マップを生成するために利用することができる。高解像度画像および深度マップは、符号化し、明視野画像ファイル内のメモリ１１０に記憶することができる。プロセッサ１０８は、１つ以上の高解像度画像をレンダリングするために明視野画像ファイルを使用することができる。プロセッサ１０８はまた、１つ以上の高解像度画像をレンダリングするために明視野画像ファイルを使用することができる、（例えば、ネットワーク接続を介した）他のデバイスとの明視野画像ファイルの共有を協調させることもできる。

特定のアレイカメラアーキテクチャが図１で図示されているが、代替的なアーキテクチャも、本発明の実施形態に従って利用することができる。本発明の実施形態による、電子ファイルに記憶するための高解像度画像および深度マップを符号化するためのシステムおよび方法が、以下で論議される。
明視野画像データの捕捉および記憶
本発明の多くの実施形態による、明視野画像データを捕捉および記憶するためのプロセスは、明視野画像データを捕捉することと、参照視点から深度マップを生成することと、参照視点から画像を合成するために明視野画像データおよび深度マップを使用することとを伴う。次いで、合成画像は、記憶するために圧縮することができる。後処理で利用することができる深度マップおよび付加的なデータはまた、符号化画像とともに同一のコンテナファイルに記憶することができるメタデータとして符号化することもできる。

本発明の実施形態による、明視野画像データを捕捉および記憶するためのプロセスが、図２で図示されている。プロセス２００は、明視野画像データを捕捉すること（２０２）を含む。いくつかの実施形態では、明視野画像データは、上記で説明されるアレイカメラに類似するアレイカメラを使用して捕捉される。他の実施形態では、明視野画像データを捕捉するために、種々の画像捕捉デバイスのうちのいずれかを利用することができる。明視野画像データは、深度マップを生成する（２０４）ために使用される。Ｖｅｎｋａｔａｒｍａｎらに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ Ｄｅｐｔｈ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｖｉｅｗｓ ｏｆ ａ Ｓｃｅｎｅ ｔｈａｔ Ｉｎｃｌｕｄｅ Ａｌｉａｓｉｎｇ Ｕｓｉｎｇ Ｈｙｐｏｔｈｅｓｉｚｅｄ Ｆｕｓｉｏｎ」と題された米国仮特許出願第６１／６９１，６６６号または米国特許出願第１３／６２３，０９１号で開示されるプロセスのうちのいずれかを使用することを含む（がそれに限定されない）、種々の技法のうちのいずれかを使用して、深度マップを生成することができる。米国特許第１３／６２３，０９１号の開示は、その全体で参照することにより本明細書に組み込まれる。

明視野画像データおよび深度マップは、特定の視点から画像を合成する（２０６）ために利用することができる。多くの実施形態では、明視野画像データは、超解像度プロセスを使用して、より高い解像度の画像を合成するために使用される、いくつかの低解像度画像を含む。いくつかの実施形態では、参照視点からより高い解像度の画像を合成するために、米国特許出願第１２／９６７，８０７号で開示される超解像度プロセスのうちのいずれか等（であるがそれに限定されない）の超解像度プロセスを利用することができる。

元の明視野画像データを伴わずに合成画像を修正するように後処理を行うことができるために、明視野画像データ、合成画像、および／または深度マップからメタデータを生成することができる（２０８）。メタデータは、明視野画像ファイルに含み、ユーザによって規定される焦点面に基づいて符号化画像の焦点を再び合わせること、および異なる視点から１つ以上の画像を合成することを含む（がそれらに限定されない）処理を行うために、合成画像の後処理中に利用することができる。いくつかの実施形態では、補助データは、明視野画像データから画像を合成するために使用される、参照視点から閉塞された明視野画像データ内のピクセル、信頼マップ、エッジマップ、および／または欠落ピクセルマップを含む（がそれらに限定されない）１つ以上の補助マップを含む（がそれらに限定されない）。マップまたは層としてフォーマットされる補助データは、合成画像内のピクセルの場所に対応する情報を提供する。信頼マップは、深度マップの生成中に作成され、特定のピクセルの深度値の信頼性を反映する。この情報は、画像の領域中で異なるフィルタを適用し、レンダリングされた画像の画質を向上させるために使用されてもよい。エッジマップは、どのピクセルがエッジピクセルであるかを定義し、エッジを精緻化するフィルタの適用（例えば、事後鮮明化）を可能にする。欠落ピクセルマップは、隣接ピクセルの補間によって計算されるピクセルを表し、画質を向上させるように後処理フィルタの選択を可能にする。容易に理解することができるように、生成される特定のメタデータは、画像データファイルによってサポートされる後処理に依存する。いくつかの実施形態では、いかなる補助データも画像データファイルに含まれない。

画像データファイルを生成するために、合成画像が符号化される（２１０）。符号化は、典型的には、合成画像を圧縮することを伴い、合成画像の可逆または不可逆圧縮を伴うことができる。多くの実施形態では、深度マップおよび任意の補助データが、明視野画像データファイルを生成するように、メタデータとして符号化画像を伴うファイルに書き込まれる（２１２）。いくつかの実施形態では、深度マップおよび／または補助マップは、符号化される。多くの実施形態では、符号化は、可逆圧縮を伴う。

明視野画像ファイルに記憶するための明視野画像データを符号化するための特定のプロセスが、上記で論議されているが、明視野画像データを処理し、画像ファイルに結果を記憶するために、アレイカメラによって捕捉される低解像度画像、および超解像度処理で利用することができるアレイカメラに関する較正情報を符号化する、プロセスを含むがそれに限定されない、種々の技法のうちのいずれかを利用することができる。本発明の実施形態による、ＪＦＩＦファイル内の明視野画像データの記憶が、以下でさらに論議される。画像データ形式
いくつかの実施形態では、合成画像の符号化および明視野画像ファイルを作成するために利用されるコンテナファイル形式は、静止画像をビットストリームとして符号化するためのＪＰＥＧ規格（ＩＳＯ／ＩＥＣ １０９１８−１）およびＪＦＩＦ規格（ＩＳＯ／ＩＥＣ １０９１８−５）を含むが、それらに限定されない規格に基づく。これらの規格を利用することによって、合成画像は、ＪＦＩＦファイル内に含有されたＪＰＥＧ画像のレンダリングをサポートするように構成される任意のレンダリングデバイスによってレンダリングすることができる。多くの実施形態では、合成画像の後処理で利用することができる、深度マップおよび補助データ等（であるがそれらに限定されない）の合成画像に関する付加的なデータを、ＪＦＩＦファイル内のアプリケーションマーカーと関連付けられるメタデータとして記憶することができる。従来のレンダリングデバイスは、単純に、このメタデータを含有するアプリケーションマーカーを飛ばすことができる。本発明の多くの実施形態によるレンダリングデバイスは、メタデータを復号し、種々の後処理プロセスのうちのいずれかでメタデータを利用することができる。

本発明の実施形態による、ＪＰＥＧ仕様に従って明視野画像データを使用して合成される画像を符号化するため、およびＪＦＩＦファイル内の画像の後処理で利用することができる符号化画像およびメタデータを含むためのプロセスが、図３で図示されている。プロセス３００は、ＪＰＥＧ規格に従って明視野画像データから合成される画像を符号化すること（３０２）を含む。画像データは、ＪＦＩＦファイルに書き込まれる（３０４）。合成画像のための深度マップが圧縮され（３０６）、圧縮された深度マップおよび任意の付加的な補助データが、メタデータとして、符号化画像を含有するＪＦＩＦファイルのアプリケーションマーカーセグメントに書き込まれる（３０８）。補助データがマップを含む場合、マップはまた、ＪＰＥＧ規格に従ってマップを符号化することによって圧縮することもできる。その時点で、ＪＦＩＦファイルは、（基礎的な明視野画像データに超解像度処理を行う必要なく）高解像度画像を合成するために利用される明視野画像データにおいて捕捉される付加的な情報を利用する方法で、符号化画像に後処理を行うために利用することができる、符号化画像およびメタデータを含有する。

特定のプロセスが、ＪＦＩＦファイルに明視野画像データを記憶するために上記で論議されているが、本発明の実施形態によれば、特定の用途の要件に適切であるように、ＪＦＩＦファイル内の符号化画像を合成するために使用される明視野画像データから導出される、合成画像および付加的なメタデータを符号化するために、種々のプロセスのうちのいずれかを利用することができる。本発明の実施形態による、ＪＦＩＦファイルに挿入するための合成画像およびメタデータの符号化が、以下でさらに論議される。以下に続く論議の大部分は、ＪＦＩＦファイルに関するが、種々の専有あるいは規格ベースの符号化技法のうちのいずれかを使用して、および／または種々の専有あるいは規格ベースファイル形式のうちのいずれかを利用して、合成画像およびメタデータを明視野画像ファイルに含むために符号化することができる。
明視野画像データから合成された画像の符号化
超解像度処理を使用して明視野画像データから合成される画像は、本発明の実施形態によれば、明視野画像ファイルに含むためにＪＰＥＧ規格に従って符号化することができる。ＪＰＥＧ規格は、不可逆圧縮規格である。しかしながら、情報損失は、典型的には、オブジェクトのエッジに影響を及ぼさない。したがって、画像の符号化中の情報の損失は、典型的には、（符号化合成画像とは対照的に）合成画像に基づいて生成されるマップの精度に影響を及ぼさない。ＪＦＩＦ規格に準拠するファイル内に含有された画像内のピクセルは、典型的には、ＹＣｂＣｒ値として符号化される。多くのアレイカメラは、画像を合成し、各ピクセルは、赤、緑、青の強度値に関して表される。いくつかの実施形態では、合成画像を符号化するプロセスは、符号化の前にＲＧＢドメインからＹｃｂＣｒドメインへ画像のピクセルをマッピングすることを伴う。他の実施形態では、ＲＧＢドメイン内の画像を符号化するために、機構がファイル内で使用される。典型的には、ＹｃｂＣｒドメイン内の符号化は、より良好な圧縮比を提供し、ＲＧＢドメイン内の符号化は、より高い復号画像の質を提供する。
明視野画像データから導出される付加的なメタデータの記憶
ＪＦＩＦ規格は、アレイカメラによって生成される深度マップまたは補助データを記憶するための形式を規定しない。しかしながら、ＪＦＩＦ規格は、ファイル内に含有された符号化画像に関するメタデータを記憶するために利用することができる、１６個のアプリケーションマーカーを提供する。いくつかの実施形態では、ファイル内に含有された符号化画像の後処理で利用することできる、符号化深度マップおよび／または１つ以上の補助マップを記憶するために、ＪＦＩＦファイルのアプリケーションマーカーのうちの１つ以上が利用される。

本発明の実施形態による、深度マップ、個別カメラ閉塞データ、および補助マップデータを記憶するために利用することができる、ＪＦＩＦアプリケーションマーカーセグメントが、図４で図示されている。ＡＰＰ９アプリケーションマーカーセグメント４００は、アプリケーションマーカーセグメントが、明視野画像データを使用して合成される画像を表すメタデータを含有することを一意的に識別する、形式識別子４０２を使用する。いくつかの実施形態では、識別子は、「ＤＺ形式識別子」４０２と呼ばれ、ゼロで終端した文字列「ＰＩＤＺ０」として表される。

アプリケーションマーカーセグメントは、アプリケーションマーカーセグメント内に含有されたメタデータの説明を提供する、「ＤＺヘッダ」として示されるヘッダ４０４を含む。図示した実施形態では、「ＤＺヘッダ」４０４は、「ＤＺヘッダ」内のデータがビッグエンディアンであるかリトルエンディアンであるかを示す、ＤＺエンディアンフィールドを含む。「ＤＺヘッダ」４０４はまた、「ＤＺ選択記述子」も含む。

４バイトを含む、「ＤＺ選択記述子」の実施形態が、図５で図示されている。最初の２バイト（すなわち、バイト０および１）は、存在する符号化画像を表すメタデータ（図６参照）および異なるメタデータが圧縮される様式（図７参照）に関する情報を含有する。図示した実施形態では、サポートされるメタデータの種類は、深度マップ、閉塞ピクセルデータ、仮想視点データ、欠落ピクセルマップ、規則的エッジマップ、シルエットエッジマップ、および／または信頼マップである。他の実施形態では、画像を合成するために使用される明視野画像データから取得される符号化画像を表す、種々のメタデータのうちのいずれかを、本発明の実施形態によれば、ＪＦＩＦファイル内に含有されたメタデータに含むことができる。多くの場合において、符号化画像を表すメタデータは、ＪＰＥＧ符号化を使用して符号化することができる白黒の画像であると見なすことができる、マップを含むことができる。いくつかの実施形態では、マップは、可逆ＪＰＥＧ ＬＳ符号化を使用して圧縮することができる。いくつかの実施形態では、マップは、不可逆ＪＰＥＧ符号化を使用して圧縮することができる。マップを圧縮するためにＪＰＥＧ符号化を利用することにより、マップのサイズを縮小し、レンダリングデバイスが、ＪＦＩＦファイル内に含有された画像および符号化画像を表すマップの両方を復号するためにＪＰＥＧデコーダを活用することを可能にする。「ＤＺ選択記述子」の第３のバイト（すなわち、バイト２）は、アプリケーションマーカーセグメント内に含有された符号化画像を表すメタデータのセットの数を示し、第４のバイトは保留されている。アプリケーションマーカーセグメント内に含有されたメタデータを表すヘッダ４０４の特定の実装が図４−７で図示されているが、本発明の実施形態によれば、用途の要件に適切であるように、明視野画像ファイル内に含有されたメタデータ内に存在する合成画像を表すマップを識別するために、種々の実装のうちのいずれかを利用することができる。
深度マップ
図４を再び参照すると、アプリケーションマーカーセグメントはまた、アプリケーションマーカーセグメント内に含まれた深度マップ４１６を表す、「深度マップヘッダ」４０６も含む。「深度マップヘッダ」４０６は、「深度マップヘッダ」に含まれた「深度マップ属性」４１０のサイズの指示４０８と、「深度マップ属性」４１０と、「深度マップ記述子」４１２とを含む。上述のように、深度マップ４１６は、白黒の画像であると見なすことができ、ＪＦＩＦファイルに含まれた「深度マップデータ」を圧縮するために、可逆または不可逆ＪＰＥＧ符号化を利用することができる。

本発明の実施形態による「深度マップ属性」表が、図８で図示され、符号化画像をレンダリングするために深度マップが使用されるべきである様式に関する情報を含む。図示した実施形態では、「深度マップ属性」表内に含有された情報は、符号化画像をレンダリングするときに利用する焦点面および合成開口のＦ＃を含む。符号化画像をレンダリングするために深度マップを利用することができる様式に関係する特定の情報が、図８で図示されているが、特定の用途の要件に適切な種々の情報のうちのいずれかを本発明の実施形態に従って利用することができる。

本発明の実施形態による「深度マップ記述子」が、図９で図示され、深度マップを表すメタデータを含む。図示した実施形態では、「深度マップ記述子」は、ゼロで終端した識別子文字列「ＰＩＤＺＤＨ０」と、バージョン情報とを含む。他の実施形態では、特定の用途の特定の要件に適切な種々の情報のうちのいずれかを本発明の実施形態に従って利用することができる。

ＪＦＩＦアプリケーションマーカーセグメントは、６５，５３３バイトに制限される。しかしながら、アプリケーションマーカーをＪＦＩＦファイル内で複数回利用することができる。したがって、本発明の多くの実施形態による深度マップは、複数のＡＰＰ９アプリケーションマーカーセグメントに及ぶことができる。深度マップデータが、本発明の実施形態に従ってＪＦＩＦファイル内のアプリケーションマーカーセグメント内に記憶される様式が、図１０で図示されている。図示した実施形態では、深度マップデータは、「ＰＩＤＺＤＤ０」というゼロで終端した文字列を使用して一意的に識別される記述子内に含有される。記述子はまた、記述子および深度マップデータの長さも含む。

深度マップおよびＪＦＩＦファイルのアプリケーションマーカーセグメント内の深度マップを表すヘッダの特定の実施例が、図４、８、９、および１０で図示されているが、本発明の実施形態によれば、用途の要件に適切であるように、ＪＦＩＦファイル内の符号化画像を表す深度マップを含むために、種々の実装のうちのいずれかを利用することができる。
閉塞データ
図４を再び参照すると、アプリケーションマーカーセグメントはまた、明視野画像ファイル内に含有された画像を合成するために利用される明視野画像データを捕捉した、アレイカメラ内の個々のカメラの閉塞データ４２８を表す、「カメラアレイヘッダ」４１８も含む。閉塞データは、符号化画像の視点を修正することを伴うプロセスを含む（がそれに限定されない）種々の後処理プロセスにおいて有用であり得る。「カメラアレイヘッダ」４１８は、「カメラアレイヘッダ」内に含まれた「カメラアレイ一般属性」表４２２のサイズの指示４２０と、「カメラアレイ一般属性」表４２２と、「カメラアレイ記述子」４２４とを含む。

本発明の実施形態による「カメラアレイ一般属性」表が、図１１で図示され、ＪＦＩＦファイル内で符号化された画像を合成するために利用される、明視野画像データを捕捉するために利用されるカメラの数およびカメラアレイの寸法を表す情報を含む。加えて、「カメラアレイ一般属性」表は、アレイ内の参照カメラ位置および／またはアレイ内の仮想視認位置を示すことができる。「カメラアレイ一般属性」表はまた、閉塞データがＪＦＩＦファイル内で提供される、アレイ内のカメラの数に関する情報も提供する。

本発明の実施形態による「カメラアレイ記述子」が、図１２で図示され、ＪＦＩＦファイル内に含有された個別カメラ閉塞データを表すメタデータを含む。図示した実施形態では、「カメラアレイ記述子」は、ゼロで終端した識別子文字列「ＰＩＤＺＤＨ０」と、バージョン情報とを含む。他の実施形態では、特定の用途の特定の要件に適切な種々の情報のうちのいずれかを本発明の実施形態に従って利用することができる。

多くの実施形態では、閉塞データが、カメラごとの基準で提供される。いくつかの実施形態では、閉塞データは、個別カメラ記述子および関連する一式の閉塞データを使用して、ＪＦＩＦファイル内に含まれる。本発明の実施形態による、カメラを識別し、ＪＦＩＦファイル内で表される識別されたカメラに関係する閉塞ピクセルの数を識別する、個別のカメラ記述子が、図１３で図示される。図示した実施形態では、記述子は、「ＰＩＤＺＣＤ０」というゼロで終端した文字列を使用して識別される。記述子はまた、ＪＦＩＦファイル内に含有された符号化画像を合成するために利用される明視野画像データを捕捉したアレイカメラ内のカメラを識別するために利用することができる、カメラ数も含む。加えて、記述子は、ＪＦＩＦファイル内で表される閉塞ピクセルの数と、閉塞ピクセルを表すデータの（バイト単位の）長さとを含む。本発明の実施形態による、閉塞ピクセルデータを表すことができる様式が、図１４で図示されている。同一の記述子「ＰＤＩＺＣＤ０」が、閉塞ピクセルデータを識別するために使用され、記述子はまた、閉塞ピクセルデータに加えて、セグメント内に含有された閉塞データのピクセルの数と、バイト単位のデータの長さと、次のマーカーへのオフセットとを含む。データが６５，５３３バイトを超えないアプリケーションマーカーセグメントへの制限により、付加的な情報は、本発明の実施形態に従って、レンダリングデバイスがＪＦＩＦファイル内の複数のＡＰＰ９アプリケーションマーカーセグメントにわたって閉塞ピクセルデータを再構築することを可能にする。

本発明の実施形態による、ＪＦＩＦファイル内に挿入することができる閉塞ピクセルを表す表が、図１５で図示されている。表は、閉塞ピクセルの深度と、閉塞ピクセルのピクセル色と、ピクセル座標とを含む。図示した実施形態では、ピクセル色は、ＲＧＢドメイン内にあるものとして図示される。他の実施形態では、ピクセル色は、ＹｃｂＣｒドメインを含む任意のドメインにおいて表すことができる。

ＪＦＩＦファイルのアプリケーションマーカーセグメント内に閉塞ピクセル深度を表す情報を記憶するための特定の実装が、図４、１３、１４、および１５で図示されているが、本発明の実施形態によれば、用途の要件に適切であるように、ＪＦＩＦファイル内に閉塞ピクセル情報を含むために、種々の実装のうちのいずれかを利用することができる。
補助マップ
図４を再び参照すると、種々の補助マップのうちのいずれかを、本発明の実施形態に従ってＪＦＩＦファイル内のアプリケーションマーカーセグメントに含むことができる。補助マップの総数および補助マップの種類を、アプリケーションマーカーセグメントの中で示すことができる。「補助マップ記述子」４３２および「補助マップデータ」４３４を使用して、各補助マップを表すことができる。図示した実施形態では、「補助マップ記述子」４３２は、ＪＦＩＦファイルの中のアプリケーションマーカーセグメント内の「補助マップヘッダ」４３０に含まれる。

本発明の実施形態による、明視野画像ファイル内に含有された補助マップを表す「補助マップ記述子」が、図１６で図示されている。「補助マップ記述子」は、「ＰＩＤＺＡＭ０」というゼロで終端した文字列である識別子と、補助マップの種類およびマップの中のピクセルあたりのビット数を規定する情報とを含む。上述のように、符号化画像を合成するために使用される明視野画像データから導出される種々の補助マップのうちのいずれかを、本発明の実施形態に従ってＪＦＩＦファイル内に含むことができる。図示した実施形態では、信頼マップ、シルエットエッジマップ、規則的エッジマップ、および欠落ピクセルマップがサポートされる。

本発明の実施形態による、ＪＦＩＦファイルに記憶された「補助マップデータ」が、図１７で概念的に図示されている。「補助マップデータ」は、同一の「ＰＤＩＺＡＤ０」というゼロで終端した文字列識別子を使用し、補助マップのピクセルに加えて、セグメント内に含有された補助マップのピクセルの数と、バイト単位のデータの長さと、次のマーカーへのオフセットとを含む。データが６５，５３３バイトを超えないアプリケーションマーカーセグメントへの制限により、付加的な情報は、レンダリングデバイスがＪＦＩＦファイル内の複数のＡＰＰ９アプリケーションマーカーセグメントにわたって符号化画像を表す補助マップを再構築することを可能にする。

ＪＦＩＦファイルのアプリケーションマーカーセグメント内に補助マップを記憶するための特定の実装が、図４、１６、および１７で図示されているが、本発明の実施形態によれば、用途の要件に適切であるように、ＪＦＩＦファイル内に補助マップ情報を含むために、種々の実装のうちのいずれかを利用することができる。本発明の実施形態による、符号化画像を合成するために利用される明視野画像データに基づいて、符号化画像に関する付加的な情報を提供するために利用することができる、補助マップの種々の実施例が、以下で論議される。
信頼マップ
特定のピクセルの場所における情報の相対的信頼性に関する情報を提供するために、信頼マップを利用することができる。いくつかの実施形態では、信頼マップは、符号化画像を合成するために使用される画像の一部のみで可視的であった符号化画像内のピクセルを表すピクセルマップにつき相補的な１ビットとして表される。他の実施形態では、信頼マップは、超解像度処理中に判定される信頼尺度、またはピクセルが可視的である画像の数を含む（がそれらに限定されない）、種々の測定基準のうちのいずれかを使用して、信頼を表すために情報の付加的なビットを利用することができる。
エッジマップ
規則的エッジマップおよびシルエットマップを含む（がそれらに限定されない）、種々のエッジマップを提供することができる。規則的エッジマップは、エッジが強度不連続性である、画像内のエッジ上にあるピクセルを識別するマップである。シルエットエッジマップは、エッジが強度不連続性および深度不連続性を伴う、エッジ上にあるピクセルを識別するマップである。いくつかの実施形態では、それぞれを、別個の１ビットマップとして表すことができ、または２つのマップを、マップにつき２つのピクセルを含むマップとして組み合わせることができる。ビットは、単純に、種々のエッジ保存および／またはエッジ鮮明化フィルタを含む（がそれらに限定されない）フィルタを適用する後処理プロセスに特定の場所における特定の種類のエッジの存在を信号伝達する。
欠落ピクセルマップ
欠落ピクセルマップは、明視野画像データからのピクセルを含まないが、代わりに補間ピクセル値を含む、合成画像内のピクセルの場所を示す。いくつかの実施形態では、ピクセルマップにつき相補的な１ビットを使用して、欠落ピクセルマップを表すことができる。欠落ピクセルマップは、画質を向上させるように後処理フィルタの選択を可能にする。多くの実施形態では、明視野画像データからのより高い解像度の合成中に、単純補間アルゴリズムを使用することができ、より計算的に高価な補間プロセスを後処理プロセスとして適用するために、欠落ピクセルマップを利用することができる。他の実施形態では、本発明の実施形態によれば、特定の用途の要件に適切であるように、種々の異なる後処理プロセスのうちのいずれかで欠落ピクセルマップを利用することができる。
明視野撮像ファイルを使用した画像のレンダリング
明視野画像データが明視野画像ファイル内で符号化されるとき、明視野画像ファイルは、限定されないが、カメラ、モバイルデバイス、パーソナルコンピュータ、タブレットコンピュータ、ネットワーク接続されたテレビ、ネットワーク接続されたゲームコンソール、ネットワーク接続されたメディアプレーヤ、およびインターネットに接続され、画像を表示するように構成することができる任意の他のデバイスを含む、種々のレンダリングデバイスと共有することができる。本発明の実施形態による明視野画像ファイルを共有するためのシステムが、図１８で図示されている。システム１８００は、明視野画像データを捕捉し、明視野画像ファイル内の明視野画像データを符号化するように構成されるアレイカメラを含む、モバイルデバイス１８０２を含む。モバイルデバイス１８０２はまた、インターネット１８０４を介した他のレンダリングデバイスへの明視野画像ファイルの転送を可能にする、ネットワークインターフェースも含む。いくつかの実施形態では、明視野画像ファイルは、他のデバイスによるアクセスのために明視野画像ファイルを記憶するか、または明視野画像ファイルを他のレンダリングデバイスに伝えるかのいずれかができる、サーバシステム１８０６の助けを借りて転送される。多くの実施形態では、サーバシステム１８０６は、ユーザがデバイスに提供される画像のレンダリングを修正することを可能にする、ユーザインターフェースを提供する。いくつかの実施形態では、サーバシステム１８０６は、明視野画像ファイルをレンダリングのためのデバイスに提供する。図示した実施形態では、携帯電話およびパーソナルコンピュータを含む、種々のネットワーク接続されたレンダリングデバイス１８０８が図示されている。他の実施形態では、種々のネットワーク接続および／または切断されたデバイスのうちのいずれかが、本発明の実施形態に従って、明視野画像ファイルを使用して画像をレンダリングすることができる。本発明の実施形態による、画像をレンダリングするためのレンダリングデバイスおよびプロセスが、以下でさらに論議される。
レンダリングデバイス
本発明の実施形態によるレンダリングデバイスは、典型的には、プロセッサと、明視野画像データファイルに基づいて画像のレンダリングを可能にするレンダリングアプリケーションとを含む。最も単純なレンダリングは、レンダリングデバイスが明視野画像データファイル内に含有された符号化画像を復号することである。より複雑なレンダリングは、画像の視点を修正すること、および／または画像の焦点面を修正することを含む（がそれらに限定されない）操作を行うように、明視野画像ファイル内に含有されたメタデータを使用して、後処理を符号化画像に適用することを伴う。

本発明の実施形態によるレンダリングデバイスが、図１９で図示されている。レンダリングデバイス１９００は、プロセッサ１９０２と、メモリ１９０４と、随意的なネットワークインターフェース１９０６とを含む。メモリは、明視野画像ファイル１９１０を使用して表示するための画像をレンダリングするようにマイクロプロセッサを構成するために使用される、レンダリングアプリケーション１９０８を含有する。図示した実施形態では、明視野画像ファイルは、メモリに記憶されて示されている。他の実施形態では、明視野画像ファイルは、外部記憶デバイスに記憶することができる。特定のレンダリングデバイスが図１９で図示されているが、本発明の実施形態によれば、画像ファイルを使用して画像を表示するために習慣的に使用されるデバイスの種類を含む（がそれに限定されない）、種々のレンダリングデバイスのうちのいずれかを利用することができる。本発明の実施形態による、明視野画像ファイルを使用した画像のレンダリングのためのプロセスが、以下でさらに論議される。
明視野画像ファイルを使用して画像をレンダリングするためのプロセス
上述のように、明視野画像ファイルをレンダリングすることは、明視野画像ファイル内に含有された符号化画像を復号することのように単純であり得るか、または符号化画像を合成するために使用される同一の明視野画像データから導出されるメタデータを使用した、符号化画像のより複雑な後処理を伴うことができる。本発明の実施形態による明視野画像をレンダリングするためのプロセスが、図２０で図示されている。プロセス２０００は、画像ファイル内に含有された符号化画像の場所を規定するように、明視野画像ファイルを解析すること（２００２）を含む。符号化画像ファイルは、復号される（２００４）。上述のように、規格ベースのエンコーダを使用して画像を符号化することができ、したがって、復号プロセスは、レンダリングデバイス内の規格ベースのコーデックを利用することができ、または専有符号化を使用して画像を符号化することができ、画像を復号するように、専有デコーダがレンダリングデバイス上に提供される。画像をレンダリングするためのプロセスが、単純に、画像をレンダリングすることを伴うとき、復号画像を表示することができる。画像をレンダリングするためのプロセスが後処理を含むとき、後処理を行うために利用することができるファイル内のメタデータの場所を規定するように、画像ファイルが解析される（２００６）。メタデータは、復号される（２００８）。メタデータはしばしば、規格ベースの画像エンコーダを使用して符号化することができる、マップの形態を成すことができ、メタデータを復号するために、レンダリングデバイス上に存在する規格ベースのデコーダを利用することができる。他の実施形態では、メタデータを復号するために、専有復号プロセスが利用される。次いで、符号化画像の後処理を行う（２０１０）ためにメタデータを使用することができ、画像を表示することができる（２０１２）。画像の表示は、局所的であり得る。代替として、画像は、遠隔デバイスにストリーム配信するか、または画像として符号化し、表示するために遠隔デバイスに提供することができる。

明視野画像ファイルから画像をレンダリングするための特定のプロセスが、図２０を参照して論議されているが、本発明の実施形態によれば、明視野画像ファイルを使用して表示するための画像をレンダリングするために、特定の用途の要件に適切な種々の情報のうちのいずれかを利用することができる。上述のように、本発明の実施形態によれば、種々の規格ベースのエンコーダおよびデコーダのうちのいずれかを、明視野画像ファイルの符号化および復号で利用することができる。ＪＦＩＦ規格に準拠し、ＪＰＥＧ規格に従って符号化される画像および／またはメタデータを含む、明視野画像ファイルを使用して画像をレンダリングするためのプロセスが、以下でさらに論議される。
ＪＦＩＦ明視野画像ファイルを使用した画像のレンダリング
展開されたＪＰＥＧデコーダを活用する能力は、明視野画像をレンダリングするプロセスを大いに単純化することができる。明視野画像ファイルがＪＦＩＦ規格に準拠し、明視野画像ファイル内で符号化される画像および／またはメタデータがＪＰＥＧ規格に従って符号化されるとき、レンダリングアプリケーションは、明視野画像ファイルを使用して画像をレンダリングするために、ＪＰＥＧデコーダの既存の実装を活用することができる。明視野画像ファイルが、画像符号化のための別の頻用されている規格に従って符号化される画像および／またはメタデータを含む、類似効率を得ることができる。

本発明の実施形態による、明視野画像ファイルを使用して画像をレンダリングするように、レンダリングアプリケーションによって構成されるレンダリングデバイスが、図２１で図示されている。レンダリングデバイス２１００は、プロセッサ２１０２と、メモリ２１０４と、明視野画像ファイルを受信するために利用することができる随意的なネットワークインターフェース２１０６とを含む。図示した実施形態では、レンダリングデバイス２１００のメモリ２１０４は、レンダリングアプリケーション２１０８と、ＪＰＥＧデコーダアプリケーション２１１０と、ＪＰＥＧ規格に従って符号化される少なくとも１つの画像および／またはメタデータを含有する明視野画像ファイル２１１２とを含む。レンダリングアプリケーション２１０８は、明視野画像ファイルを解析して符号化画像の場所を規定するように、およびＪＰＥＧデコーダアプリケーション２１１０を使用して符号化画像を復号するようにプロセッサを構成する。同様に、レンダリングアプリケーションは、明視野画像ファイルを解析してメタデータの場所を規定するように、およびＪＰＥＧデコーダを使用してメタデータ内に含有された符号化マップを復号するようにプロセッサを構成することができる。

ＪＰＥＧデコーダを含む特定のレンダリングデバイスが、図２１を参照して上記で論議されているが、本発明の実施形態によれば、適切に符号化された明視野画像ファイルから画像をレンダリングするために、規格ベースのデコーダを組み込む種々のレンダリングデバイスのうちのいずれかを利用することができる。本発明の実施形態による、ＪＦＩＦ規格に準拠し、ＪＰＥＧ規格に従って符号化される少なくとも１つの画像および／またはメタデータを含有する、明視野画像ファイルを復号するためのプロセスが、以下でさらに論議される。
ＪＦＩＦ明視野画像ファイルから画像をレンダリングするためのプロセス
ＪＦＩＦ規格に準拠する明視野画像ファイルを使用して画像をレンダリングするためのプロセスは、符号化画像およびメタデータを識別するために明視野画像ファイル内のマーカーを利用することができる。メタデータ内のヘッダは、ファイルの中に存在するメタデータに関する情報を提供し、ファイルの解析を支援するように、ファイル内の付加的なメタデータおよび／またはマーカーの場所へのオフセット情報またはポインタを提供することができる。いったん適切な情報の場所が規定されると、ファイル内の符号化画像および／またはマップを復号するために、標準ＪＰＥＧデコーダ実装を利用することができる。

本発明の実施形態による、ＪＰＥＧデコーダを使用して、ＪＦＩＦ規格に準拠する明視野画像ファイルを使用してレンダリングされる画像を表示するためのプロセスが、図２２で図示されている。プロセス２２００は、画像開始（ＳＯＩ）マーカーの場所を規定するように明視野画像ファイルを解析すること（２２０２）を伴う。ＳＯＩマーカーは、ＪＰＥＧ形式に従って符号化される画像ファイルの場所を規定するために使用される。符号化画像は、ＪＰＥＧデコーダを使用して復号することができる（２２０４）。復号画像の後処理が所望されないとき、画像を単純に表示することができる。（例えば、画像の視点および／または画像の焦点面を変化させるように）画像の後処理が所望される場合、プロセスは、適切なアプリケーションマーカーの場所を規定するように明視野画像ファイルを解析する（２２０６）。図示した実施形態では、ＡＰＰ９マーカーが、明視野画像ファイル内のメタデータの存在を示す。ファイル内のメタデータを表す、ＡＰＰ９アプリケーションマーカーセグメント内のヘッダを解析すること（２２０６）によって、ファイル内の特定のメタデータを判定することができる。図示した実施形態では、ヘッダは、ＡＰＰ９アプリケーションマーカーセグメント内の「ＤＺヘッダ」である。メタデータヘッダ内の情報は、明視野画像ファイル内の後処理プロセスで利用される特定のメタデータの場所を規定する（２２０８）ために利用することができる。メタデータが符号化される場合において、メタデータは、復号することができる。多くの実施形態では、明視野画像ファイル内の符号化画像を表すメタデータは、明視野画像ファイル内に含有された符号化画像内の特定のピクセルに関する情報を提供するマップの形態であり、マップを圧縮するためにＪＰＥＧ符号化が使用される。したがって、マップを復号するためにＪＰＥＧデコーダを利用することができる。復号メタデータは、復号画像の後処理を行う（２２１２）ために利用することができる。次いで、画像を表示することができる（２２１４）。多くの実施形態では、画像は、ローカルディスプレイ上に表示される。いくつかの実施形態では、画像は、遠隔ディスプレイにストリーム配信されるか、または画像として符号化され、表示するために遠隔デバイスに転送される。

明視野画像ファイルを使用してレンダリングされる画像を表示するための特定のプロセスが、図２２に関して上記で論議されているが、本発明の実施形態によれば、明視野画像ファイルを解析し、ＪＰＥＧデコーダを使用してＪＰＥＧ規格に従って符号化される画像および／またはメタデータを復号するための種々のプロセスのうちのいずれかを利用することができる。上記の論議の大部分は、明視野画像データから合成される符号化画像に後処理プロセスを行うために、明視野画像データから導出され、明視野画像ファイル内に含有されたメタデータの使用を参照する。本発明の実施形態による、明視野画像データを使用して得られるメタデータを使用した、明視野画像データから合成される画像の後処理が、以下でさらに論議される。
明視野画像データから導出されるメタデータを使用した画像の後処理
種々の方法で、明視野画像データから画像を合成することができる。本発明の実施形態による、明視野画像ファイルに含まれたメタデータは、超解像度処理を行う必要なく、明視野画像データから合成される単一の画像から画像がレンダリングされることを可能にすることができる。このようにして画像をレンダリングすることの利点は、最終画像を得るプロセスがあまりプロセッサ集約的ではなく、最終画像を得るためにより少ないデータが使用されることを含むことができる。しかしながら、明視野画像データは、複数の視点からの捕捉された光景に関する豊富な情報を提供する。多くの実施形態では、典型的には明視野画像データ内に含有された付加的な情報のうちのいくらかを提供するように、明視野画像データからの深度マップおよび閉塞ピクセル（すなわち、合成画像の参照視点から可視的ではないピクセル）を明視野画像ファイルに含むことができる。深度マップは、画像をレンダリングするときに焦点面を修正するため、および／または深度依存効果をレンダリングされた画像に適用するために利用することができる。深度マップおよび閉塞ピクセルは、異なる視点から画像を合成するために利用することができる。いくつかの実施形態では、結果として生じるレンダリングされた画像を向上させるように代替的な視点をレンダリングするときに利用することができる、付加的なマップ（限定されないが、信頼マップ、エッジマップ、および欠落ピクセルマップ等）が提供される。異なる視点から画像をレンダリングする能力は、異なる視点から画像を単純にレンダリングするために利用することができる。多くの実施形態では、異なる視点から画像をレンダリングする能力は、３Ｄ視認のために立体ペアを生成するために利用することができる。いくつかの実施形態では、レンダリングデバイスの運動に基づいて視点を修正し、運動視差効果を生じるために、（その開示がその全体で参照することにより本明細書に組み込まれる）Ｊａｉｎに対する「Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｉｍａｇｅｓ Ｆｒｏｍ Ｌｉｇｈｔ Ｆｉｅｌｄｓ Ｕｔｉｌｉｚｉｎｇ Ｖｉｒｔｕａｌ Ｖｉｅｗｐｏｉｎｔｓ」と題された米国仮特許出願第６１／７０７，６９１号で説明されているものに類似する、プロセスを利用することができる。深度ベースの効果を使用して画像をレンダリングするため、および異なる視点を使用して画像をレンダリングするためのプロセスが、以下でさらに論議される。
深度ベースの効果を使用した画像のレンダリング
本発明の実施形態によれば、画像の動的再集束を適用すること、画像内の被写界深度を局所的に変化させること、異なる深度における焦点領域中の倍数を選択すること、および／または１つ以上の深度関連ぼやけモデルを適用することを含む（がそれらに限定されない）、種々の深度ベースの効果を、明視野画像データから合成される画像に適用することができる。本発明の実施形態による、明視野画像データから合成され、かつ深度マップを含む明視野画像ファイル内に含有された画像に深度ベースの効果を適用するためのプロセスが、図２３で図示されている。プロセス２３００は、明視野画像ファイル内に含有された明視野画像データから合成される画像を復号すること（２３０２）を含む。加えて、合成画像を表す明視野画像データから導出される深度マップも、明視野画像ファイル内に含有されたメタデータから復号される（２３０４）。次いで、深度マップによって示されるピクセルの深度に基づいて、１つ以上の深度依存効果を、復号画像のピクセルに適用することができる（２４０６）。いくつかの実施形態では、深度依存効果は、焦点面および／またはＦ数（異なる被写界深度および焦点外領域中のぼやけの程度を提供する）を修正することによって自動的に判定される。次いで、画像を表示することができる（２３０８）。多くの実施形態では、画像は、ローカルディスプレイ上に表示される。いくつかの実施形態では、画像は、遠隔ディスプレイにストリーム配信されるか、または画像として符号化され、表示するために遠隔デバイスに転送される。

明視野画像データを使用して得られる深度マップを使用して、明視野画像データから合成される画像に深度依存効果を適用するための特定のプロセスが、図２３に関して上記で論議されているが、本発明の実施形態によれば、明視野画像ファイルから画像および深度マップを抽出するため、および１つ以上の深度依存効果を適用するために深度マップを使用するための種々のプロセスのうちのいずれかを利用することができる。本発明の実施形態による、明視野画像ファイル内に含有された深度マップおよび閉塞ピクセルに関する情報に基づいて、異なる視点から明視野画像ファイル内に含有された画像の参照視点へ画像をレンダリングするためのプロセスが、以下でさらに論議される。
異なる視点を使用した画像のレンダリング
計算撮像の有力側面のうちの１つは、異なる視点から画像を合成するために明視野画像データを使用する能力である。異なる視点から画像を合成する能力は、３Ｄ用途のための立体ペアの作成、およびユーザが画像と相互作用する際の運動視差のシミュレーションを含む、興味深い可能性を生じる。本発明の多くの実施形態による明視野画像ファイルは、参照視点からの明視野画像データから合成される画像と、合成画像のための深度マップと、参照視点内で閉塞される明視野画像データからのピクセルに関する情報とを含むことができる。レンダリングデバイスは、ピクセルに適用する適切な移行を判定し、それらを異なる視点から出現するであろう場所に移行するために、合成画像内のピクセルの深度および閉塞画像の深度に関する情報を使用することができる。異なる視点からの閉塞ピクセルを識別することができ、欠落ピクセルである異なる視点のグリッド上の場所を識別することができ、隣接する非閉塞ピクセルの補間を使用して、穴埋めを行うことができる。多くの実施形態では、レンダリングプロセスを精緻化するために使用することができる補助マップの形態で付加的な情報を提供することによって、異なる視点からレンダリングされる画像の質を増加させることができる。いくつかの実施形態では、補助マップは、信頼マップ、エッジマップ、および欠落ピクセルマップを含むことができる。これらのマップのそれぞれは、ユーザによって提供されるカスタマイズされた選好に基づいて画像をレンダリングする方法に関する情報をレンダリングプロセスに提供することができる。他の実施形態では、特定のレンダリングプロセスの要件にとって適宜に、付加的な補助マップを含む種々の補助情報のうちのいずれかを提供することができる。

本発明の実施形態による、参照視点からの明視野画像データ、合成画像のピクセルの深度を表す深度マップ、および閉塞ピクセルに関する情報を使用して合成される画像を含有する、明視野画像ファイルを使用して、異なる視点から画像をレンダリングするためのプロセスが、図２４で図示されている。プロセス２４００は、明視野画像ファイル内に含有された画像を復号すること（２４０２）を含み、画像は、明視野画像データから合成される画像である。プロセスはまた、明視野画像ファイルから深度マップを復号すること（２４０４）も含み、深度マップもまた、符号化画像を合成するために使用された明視野画像データから得られた。参照視点内で閉塞される明視野画像データからのピクセルに関する情報も、明視野画像ファイルから得られ（２４０５）、情報は、参照視点からの閉塞ピクセルの場所および深度を含む。多くの実施形態では、符号化画像内のピクセルに関する付加的な情報を規定する補助マップを含む、補助情報も、明視野画像ファイル内に含有され、異なる視点から参照視点への画像のレンダリングに有用な補助情報を、明視野画像ファイルから抽出して復号することができる（２４０８）。深度マップおよび閉塞ピクセルの深度を使用して、異なる視点内のピクセルの場所および深度の移行を判定することができる（２４１０）。移行に基づいて、閉塞ピクセルを判定し（２４１４）、画像を表示することができる。補助情報が利用可能である場合、補助情報は、レンダリング前に画像内のピクセルを調整する（２４１２）ために利用することができる。多くの実施形態では、調整は、閉塞ピクセルを識別し、最終画像を表示する前に行われる。いくつかの実施形態では、調整は、閉塞ピクセルが識別された後に行われる。

明視野画像データを使用して参照視点から合成される画像、明視野画像データを使用して得られる深度マップ、および参照視点内で閉塞される明視野画像データ内のピクセルに関する情報を使用して、異なる視点から画像をレンダリングするための特定のプロセスが、図２４に関して上記で論議されているが、本発明の実施形態によれば、特定の用途の要件に適切であるように、明視野画像ファイルを使用して異なる視点から画像をレンダリングするために、種々のプロセスのうちのいずれかを利用することができる。本発明の実施形態による、異なるレンズ特性をシミュレートする画像をレンダリングするためのプロセスが、以下でさらに論議される。

上記の説明は、本発明の多くの具体的実施形態を含有するが、これらは、本発明の範囲への制限としてではなく、むしろその一実施形態の実施例として解釈されるべきである。したがって、本発明の範囲は、図示される実施形態によってではなく、添付の請求項およびそれらの同等物によって判定されるべきである。

Claims (20)

1. 画像処理システムであって、前記画像処理システムは、
   プロセッサと、
   ディスプレイと、
   復号アプリケーションを含むメモリと
   を備え、
   前記復号アプリケーションは、
   画像ファイルを取得することであって、前記画像ファイルは、
   複数の異なる視点から捕捉された光景の複数の画像であって、前記複数の画像における前記光景の前記複数の画像のうちの１つは、参照画像である、複数の画像と、
   前記参照画像におけるピクセルの深度を特定する深度マップと、
   前記光景の合成された画像であって、前記合成された画像は、複数の異なる視点から捕捉された前記光景の複数の画像における前記複数の画像のうちの少なくとも１つの画像と、前記深度マップとを使用して合成されたものであり、前記光景の合成された画像は、ぼやけ効果を有する、前記光景の合成された画像と、
   アプリケーションマーカーセグメントであって、前記深度マップは、前記アプリケーションマーカーセグメント内にメタデータとして記憶される、アプリケーションマーカーセグメントと
   を含む、ことと、
   前記画像ファイルから前記光景の前記合成された画像を抽出することと、
   前記ディスプレイを使用して前記合成された画像を表示することと
   を行うように前記プロセッサを構成する、システム。
2. 前記メタデータは、閉塞ピクセルの説明を含む、請求項１に記載のシステム。
3. 前記閉塞ピクセルの前記説明は、前記閉塞ピクセルの色、場所、深度を含む、請求項２に記載のシステム。
4. 前記メタデータは、前記深度マップに対する信頼マップをさらに含み、前記信頼マップは、前記深度マップにおけるピクセルに対する深度値の信頼性を示す、請求項１に記載のシステム。
5. 前記メタデータは、不連続性上に位置する前記参照画像内のピクセルを示すエッジマップをさらに含む、請求項１に記載のシステム。
6. 前記エッジマップは、ピクセルが強度不連続性上に位置するかどうかを識別する、請求項５に記載のシステム。
7. 前記エッジマップは、ピクセルが強度および深度不連続性上に位置するかどうかを識別する、請求項５に記載のシステム。
8. 前記メタデータは、前記光景の前記複数の画像からのピクセルに対応しない前記参照画像内のピクセルを示す欠落ピクセルマップさらに含む、請求項１に記載のシステム。
9. 前記複数の画像のうちの少なくとも１つは、前記参照画像の視点から分離されかつ区別される視点から捕捉されたものである、請求項１に記載のシステム。
10. 前記画像ファイルは、ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＪＦＩＦ）規格に準拠する、請求項１に記載のシステム。
11. 前記参照画像は、ＪＰＥＧ規格に従って符号化される、請求項１に記載のシステム。
12. 前記アプリケーションマーカーセグメントは、ＡＰＰ９マーカーを使用して識別される、請求項１に記載のシステム。
13. 前記深度マップは、可逆圧縮を使用して前記ＪＰＥＧ規格に準拠する、請求項１１に記載のシステム。
14. 画像ファイルを復号するための方法であって、前記方法は、
    画像ファイルを取得することであって、前記画像ファイルは、
    複数の異なる視点から捕捉された光景の複数の画像であって、前記複数の画像における前記光景の前記複数の画像のうちの１つは、参照画像である、複数の画像と、
    前記参照画像におけるピクセルの深度を特定する深度マップと、
    前記光景の合成された画像であって、前記合成された画像は、複数の異なる視点から捕捉された前記光景の前記複数の画像のうちの少なくとも１つの画像と、前記深度マップとを使用して合成されたものであり、前記光景の合成された画像は、ぼやけ効果を有する、前記光景の合成された画像と、
    アプリケーションマーカーセグメントであって、前記深度マップは、前記アプリケーションマーカーセグメント内にメタデータとして記憶される、アプリケーションマーカーセグメントと
    を含む、ことと、
    前記画像ファイルから前記光景の前記合成された画像を抽出することと、
    ディスプレイを使用して前記合成された画像を表示することと
    を含む、方法。
15. 前記メタデータは、閉塞ピクセルの説明を含む、請求項１４に記載の方法。
16. 前記メタデータは、前記深度マップに対する信頼マップをさらに含み、前記信頼マップは、前記深度マップにおけるピクセルに対する深度値の信頼性を示す、請求項１４に記載の方法。
17. 前記メタデータは、不連続性上に位置する前記参照画像内のピクセルを示すエッジマップをさらに含む、請求項１４に記載の方法。
18. 前記画像ファイルは、ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＪＦＩＦ）規格に準拠する、請求項１４に記載の方法。
19. 前記参照画像は、ＪＰＥＧ規格に従って符号化される、請求項１４に記載の方法。
20. 前記アプリケーションマーカーセグメントは、ＡＰＰ９マーカーを使用して識別される、請求項１４に記載の方法。