JP6759371B2

JP6759371B2 - ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法

Info

Publication number: JP6759371B2
Application number: JP2019003491A
Authority: JP
Inventors: ギゥリアーノ・マシオッチ
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-11-27
Filing date: 2019-01-11
Publication date: 2020-09-23
Anticipated expiration: 2033-11-13
Also published as: EP2926554A1; US9137524B2; KR20150090183A; KR102164723B1; WO2014085092A1; US20140146148A1; CN104798370A; JP2016504825A; CN104798370B; JP2019092170A

Description

[0001]本発明は一般的には立体視プレノプティックビデオ画像（stereoscopic plenoptic video images）を作成するためのシステムおよび方法に関し、またより詳細には観察者の目の座標をトラッキングすることによって立体視プレノプティックビデオ画像を作成し表示するためのシステムおよび方法に関する。

[0002]３Ｄ立体視映像は固定したフォーカスを有する、このことは観察者が設定深度面（set depth plane）の外部において画像にフォーカスしようと試みたときに深度の錯覚が破られることを意味する。この効果のために、３Ｄコンテンツの一部の観察者に目の疲れを生じさせる可能性があり、これは当初撮像された際にシーンの設定深度面の外部にあったコンテンツに目がフォーカスしようと試みる（ものの、これがうまくできない）ことによる。プレノプティック（別名、「ライトフィールド」）カメラ技術は、画像が取り込まれた後のフォーカスを可能にするように画像を取り込むことを可能にしている。従来の応用設定ではこれによって、プレノプティック画像内のあらゆる物体をそれがどんなフォーカルプレーン（focal plane）内に包含されていてもシャープなフォーカスにすることを可能にしている。

[0003]従来の写真技術では、画像のフォーカス領域は写真を撮影する前に構成されている。写真が撮影された後では、フォーカス領域が設定されており、フォーカスの外れた領域を合フォーカスにすることは不可能である。逆に、ライトフィールドカメラすなわちプレノプティックカメラは、シーンの視野域内のライトフィールド全体を取り込むために特殊なレンズおよびセンサを使用する。したがってプレノプティックカメラは、空間内のあらゆる点であらゆる方向に伝播する光のすべてを取り込むことが可能である。プレノプティックカメラではすべての光の色相、方向および強度が取り込まれるため、写真が撮影された後でソフトウェアを用いてフォーカシングが実行される。写真が撮影された後にフォーカスすることによってユーザは、合フォーカスの画像領域を任意の時点で修正することが可能となる。

[0004]一実施形態では本発明は、プレノプティック画像を作成するためのシステムを提供する。本システムは、少なくとも１つのプレノプティック画像の作成が可能なプレノプティック画像ソースを備える。本システムは、少なくとも１つのプレノプティック画像内の物体を深度面に割り当てるように構成された深度マッピングモジュールをさらに備える。本システムは、少なくとも１つのプレノプティック画像を表示するためのディスプレイをさらに備える。本システムは、ディスプレイ上のユーザの注視位置をトラッキングするように構成されたアイトラッキングシステムと、ユーザによって観察されている深度面に表示画像のフォーカルプレーンを設定することと、をさらに備える。

[0005]別の実施形態では本発明は、ユーザにより観察される画像のフォーカルプレーンを設定するための方法を提供する。本方法は、少なくとも１つのプレノプティック画像を作成することを備える。本方法は、少なくとも１つのプレノプティック画像内の物体を深度面にマッピングすることをさらに備える。本方法は、少なくとも１つのプレノプティック画像を表示することをさらに備える。本方法は、ユーザの注視位置およびディスプレイをトラッキングすること、ならびにユーザによって観察されている深度面に表示画像のフォーカルプレーンを設定することをさらに備える。

[0006]別の実施形態では本発明は、プレノプティック画像のフォーカルプレーンを設定するためのシステムを提供する。本システムは、少なくとも１つのプレノプティック画像を作成するための手段を備える。本システムは、少なくとも１つのプレノプティック画像内の物体を深度面にマッピングするための手段をさらに備える。本システムは、少なくとも１つのプレノプティック画像を表示するための手段をさらに備える。本システムは、ディスプレイ上のユーザの注視位置をトラッキングするための手段をさらに備える。本システムは、ユーザによって観察されている深度面に表示画像のフォーカルプレーンを設定するための手段をさらに備える。

[0007]メガネ（Ｂ）を介したまたは赤外線（Ａ）を介したユーザのアイトラッキングを用いたスクリーン上の３Ｄプレノプティック画像を観察しているユーザを示した図。 [0008]ユーザの目の座標に従ってフォーカシングを受ける３つの深度面を有するプレノプティック画像フレームの図。 [0009]本発明の一実施形態に従ったシステムレベル概要のブロック図。 [0010]３Ｄプレノプティック映像を作成するためのプロセスの概要を示した流れ図。 [0011]ユーザの目の位置を取り込むためのプロセスの概要を示した流れ図。 [0012]ユーザの目の座標をプレノプティック画像深度面にマッピングするためのプロセスの概要を示した流れ図。 [0013]ユーザの目の座標をプレノプティック画像深度面にマッピングするためのプロセスの概要を示した流れ図。

[0014]本発明の実施形態は、ユーザに対して立体視プレノプティック画像を表示するためのシステムおよび方法に関する。プレノプティック画像は、単一のプレノプティック画像から当該画像を立体視的に表示するのに十分な情報を包含する。プレノプティックカメラは深度情報を記録しているため（様々な深度でのフォーカスが可能であるため）、単一のプレノプティック画像取り込みからソフトウェアで立体視画像が構築され得る。プレノプティックカメラは、「４次元の」ライトフィールド情報を取り込むためにマイクロレンズアレイを使用する。マイクロレンズアレイは、マイクロレンズ上の入射光（incident rays）の一部を分離して同じ位置から発せられたが異なる角度方向となった束にすることが可能である。したがって、取り込まれたプレノプティック画像はあるフォーカス距離範囲をカバーするある画像ボリュームを、アポステリオリ（a posteriori）に再生成するのに十分な情報を包含する。異なる焦点距離および深度（different focal distances and depths）において画像対をマッチングさせることによって、ユーザに対して３Ｄ用途向けにプレノプティック画像が立体視的に表示され得る。

[0015]実施形態は一般的には、静止画像や映像を作成するためにプレノプティック画像を使用するシステムおよび方法に関し、ここにおいてこの画像や映像の異なる深度部分はアイトラッキングの使用を通じてユーザによってフォーカスされ得る。したがっていくつかの実施形態では、多重深度面情報を包含した２Ｄまたは３Ｄ動画シーケンスを作成するために個々のプレノプティック画像からなるストリームが１つのフレームシーケンスに合成される。プレノプティックデータからなる各フレームは、ユーザに対して表示するためにたとえば毎秒３０フレームなどの標準的な速度で合成されることがある。ユーザに対してある特定の映像フレームが表示されているときに、本システムは画像のある種のフィーチャの２Ｄスクリーン座標をその適正な深度面にリンクさせているフレームごとの座標マップを計算することになる。たとえば、シーンの前景にある木が前方深度面に割り当てられることになり、また背景にある山が第２の深度面に割り当てられることになる。動画のシーンごとに異なる数の深度面が使用されることがある。要素が数個だけの単純なシーンは２〜５の深度面を有することがある一方、多くの要素を伴ったさらに複雑なシーンは６〜１０の深度面を有することがある。

[0016]画像の各フィーチャの２Ｄ座標が深度面に割り当てられると、３Ｄテレビジョンなどの標準的なまたは立体視的なディスプレイ上にフレームが表示され得る。ユーザの目を正しい深度面上に適正にフォーカスするために本システムは、ディスプレイ上でユーザがフォーカスしていた位置を検出し、次いでこのレンダリングされたプレノプティック画像を観察者の注視を包含したスクリーン座標に対応する深度面にリフォーカスさせるアイトラッキング構成要素を含むことになる。この実施形態で使用するためのアイトラッキングデバイスの例はよく知られており、ＴｏｂｉｉＴｅｃｈｎｏｌｏｇｙ，Ｉｎｃ（ＦａｌｌＣｈｕｒｃｈ，ＶＡ）によるＩＳ−１またはＩＳ−２ＥｙｅＴｒａｃｋｅｒなどである。これらの特定のデバイスは、ユーザの目の位置および注視をトラッキングするためにユーザの角膜から反射する赤外光を使用する。他のシステムは、ユーザによって任意の時点でフォーカスされる画像内の点を計算するために、ユーザによって装着されたヘッドアップディスプレイやメガネの中にカメラ、赤外線レーザーまたは赤外線センサを組み込むことがある。

[0017]このような要素の組合せによれば、表示画像のフォーカルプレーンをユーザによって目下観察されている深度面に適応させることによってユーザが注視している箇所の変化に応答するような反応性の画像や動画を表示するシステムが得られる。したがって、このシステムによってユーザは、任意の検知深度にある２Ｄまたは立体視像（３Ｄ）内の表示されたシーンの任意の一部に関してクリアなフォーカスを得ることが可能となる。

[0018]図１は、ユーザに対してプレノプティック画像および映像を表示するためのプレノプティック映像システム１００の一実施形態の図である。テレビジョンスクリーン（ただし、これに限らない）などの表示デバイス１１０が、ユーザに対してプレノプティック映像情報１２０を表示させる。スクリーン１１０はたとえば、単一のプレノプティック画像、２Ｄプレノプティック画像または３Ｄプレノプティック映像を表示することがある。図１に示した実施形態では、プレノプティック画像１２０は表示された画像の前景に第１の人物１２５Ａと第２の人物１２５Ｂとを含む。さらに、表示された画像の背景にはシーンの一部として表された山１２８が存在している。人物１２５Ａ、Ｂの像を有する前景が１つの深度面を示すことがある一方、山１２８の背景シーンが第２の深度面を示すことがある。プレノプティックフレーム内には、その各々が表示されたシーンの異なる部分を示すような任意の数の深度面が存在することがある。

[0019]表示デバイス１１０は、プレノプティックデータを表示デバイス１１０に送るハードウェアデバイス１４０に接続されることがある。ハードウェアデバイス１４０はたとえば、プレノプティック映像や画像データを保存しているブルーレイ（登録商標）ディスクプレーヤや記憶デバイスを備えることがある。一実施形態では、「Ａ」で示した１対の観察者の目１６０が表示デバイス１１０上のプレノプティック画像または映像１２０を注視しており、またこれがアイトラッキングデバイス１３０を介して線Ｃ₂およびＣ₂に沿ってトラッキングされている。アイトラッキングデバイス１３０は、プレノプティック画像または映像１２０上の観察者の目の位置および観察角度をトラッキングするために赤外線システムを備えることがある。観察者の目位置および観察角度をトラッキングすることによって本システムは、事前規定の時間期間にわたって観察が見ているディスプレイ１１０上の場所を決定することが可能である。たとえば本システムは観察者が表示デバイス１１０上を見回すに連れて、観察者の目を１秒ごと、２分の１秒ごと、４分の１秒ごと、または１０分の１秒ごとにトラッキングすることがある。アイトラッキングデバイス１３０はまた、追加のユーザに対して、プレノプティック画像または映像１２０を観察すること、ならびにその部屋にいる各観察者の位置および注視を別々にトラッキングすることを可能にさせることができ得る。

[0020]本システムによってユーザが任意の時点で見ているところが計算され終わった後に、本システムはディスプレイ上における観察者の注視の２Ｄ座標を決定することが可能である。たとえば本システムは、ディスプレイを２次元の格子になるように分割するとともに、このディスプレイ１２０に関する事前規定の格子内においてユーザが位置Ｘ＝１００、Ｙ＝２００のところを見ていると決定することがある。ディスプレイ上でユーザが注視している座標位置が決定された後に本システムは次いで、どの深度面が観察されているかを決定することになる。本システムは次いで、観察者向けに表示された画像を観察者が注視している位置および深度面にフォーカスさせることになる。したがって、表示されるプレノプティック画像フレーム１２０は、観察者の注視箇所に対応する深度面にフォーカスが来ることになる。

[0021]たとえば観察者が前景の人物１２５Ａを注視している場合、アイトラッキングデバイス１３０は、目下のフレーム１２０上の座標箇所として観察者の目の注視をトラッキングするとともに、プレノプティックフレームを人物１２５Ａに帰結する対応する深度面にフォーカスすることができ得る。本システムは、フレームが変わるに従って合フォーカスの深度面を更新する。そのため観察者がフレーム１２０上の異なる場所を見るに従って観察者の注視箇所が変わると、フォーカスのある深度面もフレームが２Ｄ映像ストリームを進むに連れて変化する。さらにプレノプティックフレーム１２０は、３Ｄ映像ストリームのフレームとすることがある。

[0022]したがってユーザが表示スクリーン１１０の自身の注視箇所を変えると、フレームが立体視映像ストリームで表示される際に本システムは異なる深度面にフォーカスをもって来ることになる。この結果は、見かけでは表示デバイス１１０上に表示されたのではなくユーザの前方で演じられる「実在の」シーンと同じである。別の実施形態では、「Ｂ」で示した観察者の目がアイトラッキングメガネ１５０を介してトラッキングされている。この実施形態では表示スクリーン１１０は、アイトラッキングメガネ１５０に対してまたアイトラッキングメガネ１５０からのデータの送受信をするように構成された内部のまたは外部の受信機を備える。アイトラッキングメガネ１５０は、表示スクリーン上のユーザ注視の位置を能動的にトラッキングするとともに、このユーザの注視情報を表示スクリーン１１０に送信する。表示スクリーン１１０は次いで、観察者の目の座標に関する任意の２Ｄ座標を含んだこの注視情報を、スクリーン向けの座標決定系に変換することがある。たとえばメガネ１５０の内にある観察者の目がプレノプティックフレーム１２０のうちの（ｘ₁，ｙ₁）という２Ｄ座標箇所にある箇所を注視している場合、表示スクリーン１１０は方向余弦行列または数学的変換を用いてこの２Ｄ座標箇所を、表示スクリーン１１０上の座標（ｘ₁’，ｙ₁’）の等価位置に変換することがある。スクリーン１１０上における観察者の注視の箇所が既知となると、プレノプティックフレーム１２０は次いで、スクリーン上のユーザが見ている位置にクリアなフォーカスされた画像がユーザによって見えるように対応する深度面にフォーカスすることが可能である。実施形態「Ａ」に関して上で説明したように、プレノプティック映像フレーム１２０は２Ｄまたは３Ｄ映像ストリームのいずれかのフレームとすることができ得る。

[0023]図２は、３つの異なる深度面にフォーカスされた同じ取り込まれたプレノプティック画像の異なる例を示している。第１の画像２０１では、オットセイ２０２を含んだ前景深度面が画像のフォーカルプレーンにあるように設定されている。したがって、手前側のオットセイ２０２が合フォーカスとなって示されており、一方中間のオットセイ２０３と山のシーン２０４はフォーカス外れで示されている。第２の画像２０５では、シーンの中央の中間のオットセイ２０３に合フォーカスとなるようにそのフォーカルプレーンが中間の深度面と一致するように設定されており、一方手前側のオットセイ２０２と山のシーン２０４はボケている。第３の画像２０７は、山のシーン２０４が合フォーカスとなり、一方手前側のオットセイ２０２と中間のオットセイ２０３はフォーカス外れとなるようにフォーカルプレーンが背景の深度面と一致するように設定されている例を示している。

[0024]図２に示したように、立体視テレビジョン２２０は動画の各プレノプティックフレームを表示することができ得る。フレームが表示されると、観察者の目の注視が計算され、次いでテレビジョン２２０上でユーザが特定の任意の時点で見ている場所に関する予測がなされる。一実施形態では、観察者の目の動きがリアルタイムでトラッキングされ、ユーザがある特定の時点で画像内のどこを見ているかに基づいてテレビジョン２２０上に提示される画像は絶えず異なるフォーカスに合フォーカスになったりフォーカス外れになったりしている。したがってシステムは、ユーザの注視を監視するとともに、十字細線２２５で示したようにユーザがある特定の時点でテレビジョン上で見ている場所の２次元座標を予測することができ得る。これらの座標からシステムは、どの深度面を合フォーカスにさせるべきかを予測することが可能である。たとえば観察者が中間のオットセイ２０３を見ているとき、ユーザにこの中間のオットセイのクリアな像が得られるようにこのオットセイと関連付けされた深度面を合フォーカスにもって来ることになる。本システムは次いで、ユーザによって具体的に観察されているフィーチャの深度面と連携するように、プレノプティック画像のフォーカスを変更するとともに表示されるフォーカルプレーンを絶えず更新するように構成されている。このためにシステムは、ユーザに対して絶えずフォーカスの合った立体視情報を提示することが可能である。

[0025]図３は、図１のシステム１００と同様とし得るシステム３００のブロック図である。アイトラッキングおよび深度面フォーカシングシステムの機能のうちの多くを提供するためにシステム内で協働して動作するような１組のシステムモジュール３１０が示されている。アイトラッキングモジュール３０４は、表示されたプレノプティック映像または画像を注視する間における観察者の目の座標をトラッキングする役割をする。観察者の目はたとえば、アイトラッキングメガネまたは赤外線システムを介してトラッキングされることがある。座標マッピングモジュール３０６は、観察者の目の座標面を表示デバイスの対応する座標面に変換するように構成されている。

[0026]表示デバイス上における観察者の注視の２Ｄ座標箇所は、目下表示中のプレノプティックフレームにどの深度面がフォーカスされ得るかを決定することができ得る。深度面フォーカスモジュール３０８は、目下表示中のプレノプティックフレームをそのフレーム上の観察者の注視の箇所に対応する深度モジュールにフォーカスさせるように構成されている。たとえば目下表示中のプレノプティックフレームが１０面の異なる深度面を備える場合、深度面フォーカスモジュール３０８は（モジュール３０６による計算に従って）１０面の深度面のうちのどの面が観察者の２Ｄ座標箇所に対応するかを計算するとともに、これに従って目下表示中のプレノプティックフレームの１０面の深度面のうちの１つをフォーカスすることができ得る。

[0027]プレノプティック画像記憶装置３２２は、システム３００によって表示させようとするプレノプティック画像を保存するように構成されている。プレノプティック２Ｄ画像作成器モジュール３２０は、プレノプティック画像記憶装置３２２から表示のために待ち行列に入れられたプレノプティック画像を取り出すことができ得る。プレノプティック映像作成器モジュール３１８は、プレノプティック画像記憶装置３２２からプレノプティック画像のシーケンスを取り出すとともにこれらを映像ストリームに変換するように構成されることがある。同じくシステム３００内には、アイトラッキングおよび深度面フォーカシングのためのモジュール３１０の組をプレノプティック映像または画像ソースモジュール３１８および３２０のうちのいずれかと組み合わせるように構成されたプロセッサ３０２を存在させることが可能である。映像作成モジュール３１２は、プレノプティック映像モジュール３１８から出力された２Ｄ映像ストリームを３Ｄプレノプティック映像ストリームに変換するように構成されることがある。さらにシステム３００は、２Ｄ映像ストリームを表示するために２Ｄ映像信号をモジュール３１２に通すことが可能なように構成されることがある。表示出力３１４は、３Ｄ映像をモニターやテレビジョンなどの表示デバイス上に表示するように構成されることがある。作成画像出力モジュール３１６は、単一のプレノプティック画像またはフレームを表示出力３１４上に表示するためのフォーマットとなるように変換することができ得る。

[0028]図４は、本明細書で検討しているような３Ｄプレノプティック映像を作成するためのプロセス４００の一実施形態の流れ図である。プロセス４００は、プレノプティック画像を取り込むためのブロック４１０で開始される。プレノプティック画像は、「ＲｅｄＨｏｔ」モデル（ｌｙｔｒｏ．ｃｏｍ；ＭｏｕｎｔａｉｎＶｉｅｗ，ＣＡ）などのプレノプティックカメラ、またはプレノプティック画像の映像ストリームを取り込むように構成されたプレノプティック映像記録デバイスを介して取り込まれ得る。ブロック４１０ではプロセス４００はさらに、プレノプティック画像のストリームを取り込むとともに、映像ストリームを作成するように取り込まれた画像をシーケンスの形に「一体に縫い合わせる」ことができ得る。プロセス４００は次いで、プレノプティック画像の深度面が規定されるブロック４２０に進む。

[0029]たとえば前景に人物がありかつ背景に木があるような単純なプレノプティックフレームでは、プロセスブロック４２０は２つの深度面だけしか規定しないことがある。逆に、複数の深度領域を備えたさらに複雑なプレノプティックフレームではプロセス４００はブロック４２０において、画像内でその各深度面がプレノプティック画像内の異なる深度領域を意味するようなさらに多くの深度面を規定することがある。プロセス４００は次いで、観察者の目の位置を取り込むためのプロセスブロック４３０に続く。観察者の目の位置を取り込むこのプロセス４３０については、後で図５に関連してさらに詳細に説明することにする。

[0030]観察者の目の座標が取り込まれた後に、プロセス４００は目の座標情報を読み取るためにブロック４４０に続く。この目の座標情報は、観察者によって観察されている表示デバイス上において観察者が当該時点で見ている場所である決定された座標位置である。プロセス４００は次いで、ユーザの目の座標を表示されたプレノプティックフレームの座標面と対応する深度面とにマッピングするためのプロセスブロック４５０に進む。プロセス４５０については、後で図６に関連してさらに詳細に説明することにする。

[0031]次にプロセス４００は、プレノプティックフレームまたは画像が観察者の注視箇所に対応する深度面にフォーカスされるプロセスブロック４６０に進む。このプロセスについては、後で図７に関連してさらに詳細に説明することにする。最後にプロセス４００はブロック４７０に進むとともに、観察者の目下の注視箇所に対応する深度面にフォーカスされ終えたプレノプティックフレームを表示する。

[0032]プロセス４００は次いで、映像ストリーム内のプレノプティックフレームのシーケンスにあるプレノプティックフレームごとに反復する。したがって、映像シーケンス内の各プレノプティックフレームは観察者の２Ｄ注視座標、深度面およびフォーカス領域を規定し直している。得られた３Ｄ映像は、プレノプティック映像ストリーム内の各プレノプティックフレームのフォーカスされた領域を観察者の注視箇所に基づいて相次いで更新しているような「実在の」体裁を有する。

[0033]図５は、ユーザの目の位置を取り込むためのプロセスブロック４３０で行われるプロセスをさらに詳細に示している。プロセス４３０は、開始ブロック５１０で始まり、次いで観察者がアイトラッキングメガネを用いていることをシステムが検出したか否かが判定される判断ブロック５２０に進む。観察者が起動されたアイトラッキングメガネをしていることが分かった場合、プロセスは観察者の目のトラッキングを開始するためにブロック５３０に進む。次にプロセスは、メガネ内部の観察者の目の観察座標をプレノプティック画像のうちユーザが注視しているところに表示された領域の２Ｄ座標箇所に対応してトラッキングを開始するためにブロック５４０に進む。プロセスは次いでユーザの目の座標を、表示スクリーン上の表示されたプレノプティック画像の対応する座標にマッピングするブロック５８０に進む。この変換は、表示されたプレノプティック画像の大きさおよびスクリーンの大きさに応じて様々となる。プロセスは次いで、システム内部に観察者の目下の目の座標情報を保存するためにブロック５９０に進む。

[0034]判断ブロック５２０に戻って、観察者が起動されたアイトラッキングメガネをしていないと判定された場合、プロセスは観察者の目をトラッキングするために赤外線システムが利用可能かどうかを判定するために判断ブロック５５０に進む。利用可能な赤外線アイトラッキングシステムが存在する場合、プロセスは観察者の目の座標をプレノプティック画像のうちユーザが注視しているところに表示された領域の２Ｄ座標箇所に対応してトラッキングするためにブロック５６０に進む。プロセスは次いで、ユーザの目の目座標を表示スクリーン上でユーザが見ている位置に対してマッピングするためにブロック５８０に進む。プロセス４３０は次いで、システム内における座標のマッピングおよび保存のためにブロック５９０に進む。

[0035]判断ブロック５５０において赤外線アイトラッキングシステムがアイトラッキングに利用可能でないと判定された場合、プロセスは観察者の目の座標をトラッキングするための他のトラッキングシステムを開始させるためにブロック５７０に進む。プロセスは次いで、上で検討したようなユーザそれ注視しているディスプレイの座標のマッピングおよび保存のために上で検討したようにブロック５８０および５９０に進む。

[0036]図６は、ユーザの目の２Ｄ座標をプレノプティック画像深度面に対してマッピングするためのプロセス４５０をさらに詳細に考察したものである。プロセスは、目下表示中のプレノプティックフレーム内に存在する深度面の数が決定されているブロック６１０で開始される。次に、目下表示中のプレノプティックフレーム内の深度面の数に関する決定がなされた後にプロセスは、目下表示中の画像内にある深度面のうちのどれが観察者の注視の箇所に対応するかを決定するためにブロック６２０に進む。たとえば、深度面が２つしか存在せずかつユーザが第２の深度面の領域にあるプレノプティック画像の箇所を注視している場合、プロセスは第２の深度面が観察者の目の目下の座標に対応する深度面であると決定することになる。ユーザ現注視位置と観察される正しい深度面とのこの整列を実現するために、システムはユーザの目下の視線をこれらの視線がディスプレイを横切る位置と一致させる。

[0037]したがって一実施形態では本システムは、ディスプレイに向かうユーザの注視の視線を決定する。これは、各目の位置を決定し次いでユーザの目からディスプレイまで線を投射することによって計算することが可能である。ディスプレイは通常、ユーザを基準として固定された位置にあり、したがってシステムはユーザの目の位置を基準としたディスプレイ位置を認識するようにトレーニングしておくことが可能である。たとえば、目の位置がディスプレイに取り付けられた赤外線検出器によって検出される場合、検出器は常にディスプレイを基準とした同じ位置を有することになる。したがって、ディスプレイの前方の３次元空間内においてユーザの各瞳孔の位置および方向を決定することによって、ユーザの注視に関する最初の位置および方向を示すベクトルが決定され得る。このベクトルからシステムは、ディスプレイ上のベクトルがディスプレイと交差する点を決定することが可能である。ディスプレイ上のユーザの注視が見ているこの位置は次いで、どの深度面がユーザの目下の注視と対応するかを決定するために使用することが可能である。いくつかの実施形態では、ディスプレイが２次元座標系に分割されているとともに、システムはディスプレイ上でユーザの注視が向けられている位置のＸ／Ｙ座標を検出する。

[0038]ユーザの注視がディスプレイに接触する座標を知ることに加えて、システムはさらに、表示されたフレーム上の等価位置を決定済みとするように構成されている。したがってディスプレイ上に各フレームが表示されると、システムはこの表示された画像フレームに対して座標系を割り当てることが可能であり、画像の座標を表示デバイスの座標と一致させる。これによってシステムは、表示デバイスのある特定の座標位置がユーザによって注視されているときに画像のどの座標位置が観察されているかを決定することが可能である。

[0039]最後にプロセスは、観察者の目の座標に対応する深度面情報を保存するためにブロック６３０に進む。

[0040]図７は、プレノプティック画像を観察者の注視に対応する深度面にフォーカスするプロセス４６０をさらに詳細に考察したものである。プロセスは、上で検討したブロック６３０からの保存された深度面から深度面情報を読み取るためのブロック７１０で開始となる。次にプロセスは、目下表示中のプレノプティックフレームをプレノプティックフレーム上の観察者の２Ｄの目の座標に対応する深度面にフォーカスするためにブロック７２０に進む。プロセスはさらに、プレノプティックフレームのフォーカスされた深度面がこれに対して３Ｄ効果を有し、人が実世界のシーンを観察するやり方と同じ現出となるようなブロック７３０に示したような立体視３Ｄのための機能を含む。上で検討したように、合フォーカスにさせる深度面はプレノプティック映像ストリームのプレノプティックフレームのフレームごとに様々となり得る。最後にプロセスは、ブロック７４０に示したように目下のフォーカスのあるプレノプティックフレームをメモリ内に保存する。

[0041]本技術は、汎用または特殊目的の他の多くのコンピューティングシステム環境または構成で動作する。本発明と一緒に用いるのに適し得るよく知られたコンピューティングシステム、環境および／または構成の例としては、パーソナルコンピュータ、サーバコンピュータ、ハンドへルド型またはラップトップ型デバイス、マルチプロセッサシステム、プロセッサベースのシステム、プログラマブルな家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムやデバイスのいずれかを含む分散コンピューティング環境、その他（ただし、これらに限らない）が含まれる。

[0042]本明細書で使用される場合に命令とは、システム内で情報を処理するためのコンピュータ実装型のステップを意味している。命令は、ソフトウェア、ファームウェアまたはハードウェアの形で実装可能であり、システムの構成要素によって実施される任意のタイプのプログラム式ステップを含むことが可能である。

[0043]プロセッサは、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、ＰｅｎｔｉｕｍＰｒｏプロセッサ、８０５１プロセッサ、ＭＩＰＳ（登録商標）プロセッサ、ＰｏｗｅｒＰＣ（登録商標）プロセッサまたはＡｌｐｈａ（登録商標）プロセッサなど、単一チップまたはマルチチップの任意の従来式で汎用のプロセッサとすることがある。さらにこのプロセッサは、ディジタル信号プロセッサやグラフィックスプロセッサなどの任意の従来式の特殊目的プロセッサとすることがある。このプロセッサは典型的には、従来式のアドレスライン、従来式のデータライン、および１つまたは複数の従来式の制御ラインを有する。

[0044]本システムは、詳細に検討したような様々なモジュールからなる。当業者であれば理解できるようにこれらのモジュールの各々は様々なサブルーチン、手続き、定義文およびマクロを備える。これらのモジュールの各々は典型的には、単独でコンパイルされて単一の実行可能プログラムとするようにリンクされている。したがって好ましいシステムの機能を記述するために便宜上、これらのモジュールの各々に関する記述が用いられている。したがって、これらのモジュールの各々によって実施されるプロセスはそれ以外のモジュールのうちの１つに適宜再配分されること、単一のモジュールとするように互いに結合されること、あるいはたとえば共有可能なダイナミックリンクライブラリ内で利用可能とさせることがあり得る。

[0045]本システムは、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）またはＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ（登録商標）などの様々なオペレーティングシステムと接続して使用されることがある。

[0046]本システムは、Ｃ、Ｃ＋＋、ＢＡＳＩＣ、ＰａｓｃａｌまたはＪａｖａ（登録商標）などの従来の任意のプログラミング言語で記述されることがあり、また従来のオペレーティングシステム下で動作されることがある。Ｃ、Ｃ＋＋、ＢＡＳＩＣ、Ｐａｓｃａｌ、ＪａｖａおよびＦＯＲＴＲＡＮは、実行可能コードを作成するために多くの商用のコンパイラの使用が可能な工業標準のプログラミング言語である。本システムはまた、Ｐｅｒｌ、ＰｙｔｈｏｎまたはＲｕｂｙなどのインタプリタ型言語を用いて記述されることがある。

[0047]当業者であればさらに、本明細書で開示された実施形態と連携して説明した様々な例示の論理ブロック、モジュール、回路およびアルゴリズムステップが電子的ハードウェアとして、コンピュータソフトウエアとして、あるいはこの両者の組合せとして実装され得ることを理解されよう。ハードウェアとソフトウェアのこの相互交換可能性を明瞭に例証するために、様々な例示の構成要素、ブロック、モジュール、回路およびステップについて全体としてその機能に関して上で説明した。このような機能をハードウェアとして実装されるかソフトウェアとして実装されるかは、具体的な用途や全体システムに課せられた設計上の制約に依存する。当業者は、記載された機能を具体的な各用途に合わせて多様な方法で実装することになるが、このような実装上の判断は本開示の趣旨からの逸脱を生じるものと解釈されるべきでない。

[0048]本明細書で開示された実施形態と連携して説明した様々な例示の論理ブロック、モジュールおよび回路は、汎用のプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、離散的なゲートまたはトランジスタロジック、離散的なハードウェア構成要素、または本明細書に記載された機能を実行するように設計されたこれらの任意の組合せを用いて実装または実行されることがある。汎用プロセッサはマイクロプロセッサとすることがあるが、代替としてプロセッサを任意の従来式プロセッサ、コントローラ、マイクロコントローラまたは状態機械とすることがある。プロセッサはまた、コンピューティングデバイスの組合せ（たとえば、ＤＳＰとマイクロプロセッサの組合せ）として、複数のマイクロプロセッサとして、ＤＳＰコアと接合させた１つまたは複数のマイクロプロセッサとして、または他の任意のこうした構成として実装されることがある。

[0049]１つまたは複数の例示の実施形態では、記載された機能および方法は、ハードウェア、ソフトウェア、またはプロセッサ上で実行させるファームウェア、あるいはこれらの任意の組合せの形で実装されることがある。ソフトウェアでの実装の場合にその機能は、コンピュータ読み取り可能な媒体上に保存されることや、コンピュータ読み取り可能な媒体上の１つまたは複数の命令またはコードとして送信されることがある。コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体と、コンピュータプログラムのある箇所から別の箇所への転送を容易にする任意の媒体を含んだ通信媒体と、の両方を含む。記憶媒体は、コンピュータによるアクセスが可能な利用可能な任意の媒体とすることがある。限定ではなく一例として、このようなコンピュータ読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスまたは他の磁気記憶デバイス、または命令またはデータ構造の形態での所望のプログラムコードの運搬または保存に使用することが可能でありかつコンピュータによるアクセスが可能であるような他の任意の媒体を備えることが可能である。さらに任意の接続も、コンピュータ読み取り可能な媒体と呼ぶのに適当である。たとえばソフトウェアをウェブサイト、サーバまたは他のリモートソースから同軸ケーブル、光ファイバケーブル、ツイストペア、ディジタル加入者線（ＤＳＬ）、または赤外線、無線およびマイクロ波などのワイヤレス技術を用いて送信する場合、この同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬまたは赤外線、無線およびマイクロ波などのワイヤレス技術は媒体の定義の中に含まれる。本明細書で使用される場合のディスク（ｄｉｓｋ）やディスク（ｄｉｓｃ）には、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、ディジタル多目的ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイディスクを含んでいる（ここで、ディスク（ｄｉｓｋ）は通常データを磁気式に再生するものであり、一方ディスク（ｄｉｓｃ）はデータをレーザーを用いて光学式に再生するものである）。上述したものの組合せもコンピュータ読み取り可能な媒体の範囲に含まれるべきである。

[0050]上の説明は、本明細書で開示されたシステム、デバイスおよび方法に関するある種の実施形態について詳述したものである。しかし、上述の内容がテキストでどのように詳述されたかによらず、このシステム、デバイスおよび方法は多くの方法で実施される可能性があることが理解されるべきである。さらに上で述べたように、本発明のある種のフィーチャや態様を説明する際における具体的な用語法の使用は、その用語法が本明細書では当該の用語法に関連付けされる技術のフィーチャや態様の任意の指定の特性を含むような限定を受けるように再定義されていることを示唆するものと取られるべきでないことに留意されるべきである。

[0051]様々な修正および変更が記載された技術の趣旨を逸脱することなく実施され得ることが当業者によって理解されるであろう。このような修正や変更は、実施形態の趣旨の域内にあるように意図されている。さらに、一実施形態に含まれる部品がその他の実施形態と相互交換可能であること、記載された実施形態からの１つまたは複数の部品が記載された他の実施形態とで任意の組合せで含まれ得ること、が当業者によって理解されるであろう。たとえば、本明細書に記載されたおよび／または図面に示された様々な構成要素のうちのいずれかが、他の実施形態と組み合わされること、相互交換されること、あるいはこれから除かれることがあり得る。

[0052]本明細書における実質的に任意の複数および／または単数の用語の使用に関して、当業者はコンテキストおよび／または用途に対する適合に応じて複数形を単数形におよび／または単数形を複数形に変換することが可能である。本明細書では明瞭にするために、様々な単数形／複数形の置換が明確に示されることがある。

[0053]一般に、本明細書で用いられる用語が全般的に「開放型の（ｏｐｅｎ）」用語とするように意図されていること（たとえば、「〜を含んだ（ｉｎｃｌｕｄｉｎｇ）」という用語は「〜（ただし、これらに限らない）を含んだ（ｉｎｃｌｕｄｉｎｇｂｕｔｎｏｔｌｉｍｉｔｅｄｔｏ）」と解釈されるべきである、「〜を有する（ｈａｖｉｎｇ）」という用語は「少なくとも〜を有する（ｈａｖｉｎｇａｔｌｅａｓｔ）」と解釈されるべきである、「〜を含む（ｉｎｃｌｕｄｅｓ）」という用語は「（ただし、これらに限らない）を含む（ｉｎｃｌｕｄｅｓｂｕｔｉｓｎｏｔｌｉｍｉｔｅｄｔｏ）」と解釈されるべきである、その他であること）が当業者によって理解されるであろう。さらに、導入された特許請求記述について具体的な数を意図している場合、このような意図がその特許請求で明示的に記述されることになるが、このような記述がなければこのような意図は存在しないことが当業者によって理解されるであろう。たとえば理解の支援として、以下の添付の特許請求の範囲は、特許請求記述を導入するために「少なくとも１つの」や「１つまたは複数の」という導入表現の使用を包含することがある。しかしこのような表現の使用は「ａ」や「ａｎ」という不定冠詞による特許請求記述の導入が、導入されたこのような特許請求記述を包含した具体的な任意の特許請求をこのような記述１つだけを包含した実施形態に限定していることを示唆するものと解釈されるべきでないこと（同じ特許請求が「１つまたは複数の」あるいは「少なくとも１つの」という導入表現と「ａ」や「ａｎ」などの不定冠詞とを含む場合（たとえば、「ａ」および／または「ａｎ」は典型的には「少なくとも１つの」あるいは「１つまたは複数の」を意味すると解釈されるべきである）であっても同じ）、また特許請求記述の導入に使用された定冠詞の使用についても同じことが成り立つ。さらに当業者であれば、導入された特許請求記述について具体的な数が明示的に記述されている場合であっても、このような記述は典型的には、記述した数が少なくともあることを意味する（たとえば、他の修飾詞を伴わない「２つの記述内容」のむき出しの記述は典型的には、少なくとも２つの記述内容、または２つ以上の記述内容を意味する）ことを理解されよう。さらに、「Ａ、ＢおよびＣ、その他のうちの少なくとも１つ」に相当する用法が用られている場合においては一般に、このような構造は当業者がこの用法を理解するような感覚で捉えられ得る（たとえば、「Ａ、ＢおよびＣのうちの少なくとも１つを有するシステム」であればＡを単独で有する、Ｂを単独で有する、Ｃを単独で有する、ＡおよびＢを一緒に有する、ＡおよびＣを一緒に有する、ＢおよびＣを一緒に有する、および／またはＡ、ＢおよびＣを一緒に有する、その他を有するようなシステムを含むが、これらに限定されることがない）。「Ａ、ＢまたはＣ、その他のうちの少なくとも１つ」に相当する用法が用られている場合においては一般に、このような用法は当業者がこの用法を理解するような感覚で捉えられ得る（たとえば、「Ａ、ＢまたはＣのうちの少なくとも１つを有するシステム」であればＡを単独で有する、Ｂを単独で有する、Ｃを単独で有する、ＡおよびＢを一緒に有する、ＡおよびＣを一緒に有する、ＢおよびＣを一緒に有する、および／またはＡ、ＢおよびＣを一緒に有する、その他を有するようなシステムを含むが、これらに限定されることがない）。さらに、２つ以上の代替的な用語を示すような事実上任意の離接語および／または表現は、本説明、特許請求の範囲または図面のいずれであるかによらず、その用語のうちの１つ、その用語のうちのいずれか一方、あるいはその用語の両方を含む可能性を企図しているものと当業者によって理解されるべきである。たとえば、「ＡまたはＢ」という表現は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むものと理解されることになる。

[0054]本明細書に様々な態様および実施形態が開示されているが、他の態様および実施形態については当業者には明らかであろう。本明細書で開示された様々な態様および実施形態は、例示を目的としたものであり、限定とするように意図されたものではない。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
少なくとも１つのプレノプティック画像を作成することが可能なプレノプティック画像ソースと、
前記少なくとも１つのプレノプティック画像内の物体を深度面に割り当てるように構成された深度マッピングモジュールと、
前記少なくとも１つのプレノプティック画像を表示するためのディスプレイと、
前記ディスプレイ上のユーザの注視位置をトラッキングするように構成されかつ前記ユーザによって観察されている深度面に前記表示画像のフォーカルプレーンを設定しているアイトラッキングシステムと、
を備える、プレノプティック画像を作成するためのシステム。
［Ｃ２］
前記少なくとも１つのプレノプティック画像はプレノプティック画像からなる映像である、Ｃ１に記載のシステム。
［Ｃ３］
前記少なくとも１つのプレノプティック画像は立体視画像である、Ｃ１に記載のシステム。
［Ｃ４］
前記少なくとも１つのプレノプティック画像は２次元画像である、Ｃ１に記載のシステム。
［Ｃ５］
前記アイトラッキングシステムは前記ユーザの目の動きおよび座標をトラッキングするために前記ユーザによって装着されるメガネを備える、Ｃ１に記載のシステム。
［Ｃ６］
前記アイトラッキングシステムは前記ユーザの目の動きおよび座標をトラッキングするように構成された赤外線システムを備える、Ｃ１に記載のシステム。
［Ｃ７］
前記プレノプティック画像ソースはプレノプティック画像フレームを備えた映像を表示することが可能である、Ｃ１に記載のシステム。
［Ｃ８］
少なくとも１つのプレノプティック画像を作成することと、
前記少なくとも１つのプレノプティック画像内の物体を深度面にマッピングすることと、
前記少なくとも１つのプレノプティック画像を表示することと、
ディスプレイ上のユーザの注視位置をトラッキングすることと、
前記ユーザによって観察されている深度面に前記表示画像のフォーカルプレーンを設定することと、
を備える、ユーザにより観察される画像のフォーカルプレーンを設定する方法。
［Ｃ９］
前記少なくとも１つのプレノプティック画像はプレノプティック画像からなる映像である、Ｃ８に記載の方法。
［Ｃ１０］
前記少なくとも１つのプレノプティック画像は２次元画像である、Ｃ８に記載の方法。
［Ｃ１１］
前記ユーザの注視位置をトラッキングすることは、前記ユーザの目の前記動きおよび座標をトラッキングするために前記ユーザによって装着されるメガネを備える、Ｃ８に記載の方法。
［Ｃ１２］
前記ユーザの注視位置をトラッキングすることは前記ユーザの目の前記動きおよび座標をトラッキングするように構成された赤外線システムを備える、Ｃ８に記載の方法。
［Ｃ１３］
少なくとも１つのプレノプティック画像を作成するための手段と、
前記少なくとも１つのプレノプティック画像内の物体を深度面に対してマッピングするための手段と、
前記少なくとも１つのプレノプティック画像を表示するための手段と、
ディスプレイ上のユーザの注視位置をトラッキングするための手段と、
前記ユーザによって観察されている深度面に前記表示画像の前記フォーカルプレーンを設定するための手段と、
を備える、プレノプティック画像のフォーカルプレーンを設定するシステム。
［Ｃ１４］
少なくとも１つのプレノプティック画像を作成するための前記手段はプレノプティックカメラを備える、Ｃ１３に記載のシステム。
［Ｃ１５］
前記少なくとも１つのプレノプティック画像内の物体を深度面にマッピングするための前記手段は座標マッピングモジュールを備える、Ｃ１３に記載のシステム。
［Ｃ１６］
前記少なくとも１つのプレノプティック画像を表示するための前記手段は表示デバイスを備える、Ｃ１３に記載のシステム。
［Ｃ１７］
前記ディスプレイ上のユーザの注視位置をトラッキングするための前記手段はアイトラッキングメガネを備える、Ｃ１３に記載のシステム。
［Ｃ１８］
前記ディスプレイ上のユーザの注視位置をトラッキングするための前記手段は赤外線アイトラッキングシステムを備える、Ｃ１３に記載のシステム。
［Ｃ１９］
前記ユーザによって観察されている深度面に前記表示画像の前記フォーカルプレーンを設定するための前記手段は深度面フォーカスモジュールを備える、Ｃ１３に記載のシステム。
［Ｃ２０］
プロセッサによって実行されたときに前記プロセッサに対してプレノプティック画像のフォーカルプレーンを設定する方法を実行させる命令を備えた非一時的コンピュータ読み取り可能な媒体、ここにおいて前記方法は、
少なくとも１つのプレノプティック画像を作成することと、
前記少なくとも１つのプレノプティック画像内の物体を深度面にマッピングすることと、
前記少なくとも１つのプレノプティック画像を表示することと、
ディスプレイ上のユーザの注視位置をトラッキングすることと、
前記ユーザによって観察されている深度面に前記表示画像の前記フォーカルプレーンを設定することと、
を備える、
非一時的コンピュータ読み取り可能な媒体。

Claims

プレノプティック画像を作成するためのシステムであって、
複数の深度面を有する少なくとも１つのプレノプティック画像を作成することが可能なプレノプティック画像ソースと、
前記少なくとも１つのプレノプティック画像内の物体を前記複数の深度面のうちの１つに割り当てるように構成された深度マッピングモジュールと、
前記複数の深度面のうちの１つに割り当てられた前記物体を有する前記少なくとも１つのプレノプティック画像を表示するためのディスプレイと、
前記表示されたプレノプティック画像の前記複数の深度面のうちの１つ内の前記物体にユーザの注視位置をトラッキングし、かつ前記ユーザによって観察されている前記物体の前記深度面に前記表示されたプレノプティック画像のフォーカルプレーンを設定するように構成されるアイトラッキングシステム、ここにおいて、前記アイトラッキングシステムは、前記ユーザから離れた赤外線システムを備え、前記システムは、前記ユーザの目の動きおよび座標をトラッキングするように構成される、と、
前記ユーザによって観察されている前記物体の前記深度面と連携するように前記プレノプティック画像のフォーカスを変更するとともに表示されるフォーカルプレーンを更新するように構成される深度面フォーカスモジュールと
を備える、システム。
前記少なくとも１つのプレノプティック画像はプレノプティック画像からなる映像である、請求項１に記載のシステム。
前記少なくとも１つのプレノプティック画像は立体視画像である、請求項１に記載のシステム。
前記少なくとも１つのプレノプティック画像は２次元画像である、請求項１に記載のシステム。
前記アイトラッキングシステムは前記ユーザの目の前記動きおよび座標をトラッキングするために前記ユーザによって装着されるメガネを備える、請求項１に記載のシステム。
前記プレノプティック画像ソースはプレノプティック画像フレームを備えた映像を表示することが可能である、請求項１に記載のシステム。
ユーザにより観察される画像のフォーカルプレーンを設定することを備える方法であって、
複数の深度面を有する少なくとも１つのプレノプティック画像を作成することと、
前記少なくとも１つのプレノプティック画像内の物体を前記複数の深度面のうちの１つにマッピングすることと、
ディスプレイ上に前記複数の深度面のうちの１つに割り当てられた前記物体を有する前記少なくとも１つのプレノプティック画像を表示することと、
ディスプレイ上の前記複数の深度面のうちの１つ内の前記物体へのユーザの注視位置をトラッキングするためのアイトラッキングシステムを使用すること、ここにおいて、前記アイトラッキングシステムは、前記ユーザから離れた赤外線システムを備え、前記システムは、前記ユーザの目の動きおよび座標をトラッキングするように構成される、と、
前記ユーザによって観察されている前記物体の前記深度面に、前記表示されたプレノプティック画像のフォーカルプレーンを設定することと、
前記ユーザによって観察されている前記物体の前記深度面と連携するように前記プレノプティック画像のフォーカスを変更するとともに表示されるフォーカルプレーンを更新することと
を備える、方法。
前記少なくとも１つのプレノプティック画像はプレノプティック画像からなる映像である、請求項７に記載の方法。
前記少なくとも１つのプレノプティック画像は２次元画像である、請求項７に記載の方法。
前記ユーザの注視位置をトラッキングすることは、前記ユーザの目の前記動きおよび座標をトラッキングするために前記ユーザによって装着されるメガネを備える、請求項７に記載の方法。
プロセッサによって実行されたときに前記プロセッサに請求項７乃至１０のいずれか１項に記載の方法を実行させる命令を備えた非一時的コンピュータ読み取り可能な媒体。