JP5107338B2 - コンテンツの更なるフレームに基づいたビデオコンテンツの適応的なレンダリング - Google Patents

Description

本発明は、周囲の照明の効果を有するビデオディスプレイユニットに関し、周囲の照明の特性は、複数の画像フレームに基づいて適合される。

供給されるコンテンツのアスペクト比からプレゼンテーション装置のアスペクト比にコンテンツのアスペクト比を変えることでコンテンツのプレゼンテーションを調節するシステムが知られている。アスペクト比は、レンダリングされた画像の幅と高さの比のようなイメージアウトラインを一般に示す。

たとえば、１６：９のアスペクト比は、ハイエンドテレビジョンセットの標準的なディスプレイの形状として広く普及しているが、大部分のテレビ放送は、４：３のアスペクト比で送信される。同時に、他のアスペクト比（たとえば１６：９，１４：９等）をもつ大量のイメージマテリアルが提供される一方で、このマテリアルは、４：３アスペクト比をもつディスプレイで最終的に表示される。このミスマッチのため、幾つかの形式のアスペクト比の変換が典型的に提供される。

４：３から１６：９の変換を提供する１つのシステムでは、いわゆる「レターボックス“letterbox”」プレゼンテーションを提供する表示されたコンテンツのサイドでブラックバーが追加される。この方法は、現実的な１６：９の結果を供給しないが、他の方法により導入される画像の歪みを除くために典型的に供給される。代替的なシステムでは、画像（たとえば動画フレーム）は、コンテンツを水平方向及び垂直方向に伸張することで拡大されるが、このシステムにより、コンテンツの上及び下の情報が失われることになる。更に別の実施の形態では、コンテンツは、水平方向にのみ伸張される場合があり、さらに、このシステムにより、コンテンツにおける表示されたオブジェクトが歪むことになり、結果的にオブジェクトの形状において変化する（たとえば円形のオブジェクトは楕円形状になる）。同様に、表示されたコンテンツは、表示された画像のサイドのオブジェクトが表示された画像の中央におけるオブジェクトよりも伸張されるように、非一様なズームファクタで水平方向に伸張される。このシステムは、中央に位置されたオブジェクトを僅かな歪みで又は歪みなしで表示されるように提供するが、これらのオブジェクトはディスプレイのある部分（たとえばディスプレイの中央）からディスプレイの別の部分（たとえばディスプレイのエッジ）に移動するとき、オブジェクトは、非常に邪魔となる、ディスプレイをクロスするときに異なるズームファクタを受ける。この問題は、テレビジョンのプレゼンテーションのために編集される、動画コンテンツのような１６：９のコンテンツとして生じるコンテンツにより悪化する。しばしば、このコンテンツは、「パンアンドスキャン」技術を利用して提供され、動画コンテンツが、動画コンテンツの一方のサイドから動画コンテンツの別のサイドにスキャンされ、その後に放送される４：３のアスペクト比を形成する。このパンアンドスキャンのプレゼンテーションでは、オブジェクトは、ディスプレイの一方のサイドから別のサイドに一定に移動する。

Klompenhouwerによる米国特許公報第2003/0035482号（以下“Klompenhouwer特許”と呼ぶ）は、引用により完全な形で本明細書に盛り込まれ、前の画像及び／又は後の画像から画素を利用することで所与の画像を拡大するシステムを記載する。たとえば、右に移動する全体的な動きを有する供給される動画について、前の画像は、所与の画像で示されるオブジェクトを歪ませることなしに、所与の画像の左に画素を埋めるために利用される場合がある。同様に、記憶されたコンテンツ、又は表示される前に利用可能なコンテンツ、及び右に移動する全体的な動きについて、後続する画像は、所与の画像の右に画素を埋めるために利用される。このシステムは前のソリューションよりも自然なコンテンツのプレゼンテーションを与える一方で、表示装置を超えてコンテンツのプレゼンテーションを強調するのに役に立たない。

Koninklijke Philips Electronics N.V.（フィリップス）及び他の会社は、典型的な家庭用又は事業用の用途についてビデオコンテンツを強調するあめに環境又は周囲の照明を変える手段を開示している。ビデオディスプレイ又はテレビジョンに追加される環境の照明は、視聴者の疲労を低減し、実験の現実性と深さを改善するために示される。現在、フィリップスは、環境照明を持つフラットパネルテレビジョンを含むテレビジョンのラインを有し、テレビジョンの周囲のフレームは、テレビジョンをサポートするか又はテレビジョンの近くに後方の壁に環境の照明を投影する環境光源を含む。さらに、テレビジョンから分離する光源は、テレビジョンのディスプレイを超えて延びる環境光を生成するために利用される。

引用により完全な形で本明細書に盛り込まれるＰＣＴ特許出願WO2004/006570は、色相、飽和、輝度、色、シーン変化の速度、認識された文字、検出されたムード等のような表示されたコンテンツの色の特性に基づいて環境光の作用を制御するシステム及び装置を開示している。動作において、システムは、受信されたコンテンツを分析し、ディスプレイ全体を通して平均色のようなコンテンツの分布を利用するか、環境の照明のエレメントを制御するためにディスプレイの境界の近くに位置される表示されたコンテンツの部分を利用する。環境の照明の特徴は、ディスプレイ自身のビデオコンテンツを一般に使用して、環境の照明エレメントの時間的な遷移を平滑化するために時間的な平均化と共にフレーム毎に環境の照明の作用を生成する。他のシステムでは、照明のスクリプトが利用され、現在描かれている画像と連携して環境の照明の作用を生成する。このシステムは知覚される画像のサイズを効果的に拡大する一方で、従来の環境照明システムは、コンテンツの所与のフレームで提供されるオブジェクト及びシーンを典型的に拡大する。

本発明の目的は、従来技術における問題点を克服し、より実体験のように感じる視聴経験を容易にする環境照明の効果に関して改善することにある。

本発明は、コンテンツをレンダリングする装置及び方法を提供する。装置及び方法は、コンテンツの前の時間的な部分及び／又は後続する時間的な部分を分析して、コンテンツ信号の現在の部分のエレメントに位置的に関連されるエレメントを決定する。コンテンツ信号の現在の部分は、テレビジョンのような第一のレンダリング装置でレンダリングされ、コンテンツ信号の現在の部分のエレメントに位置的に関連されるエレメントは、第二のレンダリング装置で同時にレンダリングされる。１実施の形態では、第二のレンダリング装置でレンダリングされるエレメントは、コンテンツ信号のレンダリングされた現在の部分よりも低い解像度でレンダリングされる。１実施の形態では、少なくとも１つのコンテンツ信号の前及び後の時間的な部分は、コンテンツ信号よりも低い解像度で分析される。

第二のレンダリング装置でレンダリングされたエレメントは、変動する解像度でレンダリングされ、この変動は、第一のレンダリング装置でレンダリングされるコンテンツ信号に関してレンダリングされたエレメントの一部に基づいて決定される。別の実施の形態では、第二のレンダリング装置でレンダリングされたエレメントは、第一のレンダリング装置でレンダリングされたコンテンツ信号に関してレンダリングされたエレメントの位置に基づいて決定される解像度でレンダリングされる。第二のレンダリング装置でレンダリングされたエレメントは、第一のレンダリング装置でレンダリングされたコンテンツ信号に関してレンダリングされたエレメントの時間的な位置に基づいて決定される解像度でレンダリングされる。

第二のレンダリング装置でレンダリングされたエレメントは、決定されたエレメントに関連して、ＡＭＢＸ（Ambient Experience data）及びＳＥＩ（Supplemental Enhancement Information）のような補助データを利用してレンダリングされる。補助データは、コンテンツ信号と共にブロードキャストされるようなコンテンツ信号と関連付けされるか、コンテンツ信号と共に記憶されるようなコンテンツ信号と関連される。このように、第一のレンダリング装置のサイトでの処理要件が低減されるか、及び／又はレンダリングされたエレメントに関連される更に正確な情報が提供される。また、補助データは、第二のディスプレイの特徴及び／又はオブジェクトの位置合わせを決定するのを支援するための情報を提供する。

１実施の形態では、第二のレンダリング装置は、環境照明（ambient lighting）のレンダリング装置であり、エレメントは、環境照明のエレメントとしてレンダリングされる。同じ又は代替の実施の形態では、第二のレンダリング装置は、１以上の周辺の（peripheral）レンダリング装置（たとえばディスプレイ）であり、エレメントは、周辺のイメージエレメントとしてレンダリングされる。本明細書で利用されるように、周辺のレンダリング装置／ディスプレイは、第一のレンダリング装置の周辺にあるレンダリング装置／ディスプレイを記述することが意図される。決定されるエレメントは、第一のレンダリング装置に関して第二のレンダリング装置の位置に基づいて決定される。第二のレンダリング装置は、複数の第二のディスプレイを含む。決定されたエレメントは、第一のレンダリング装置に関して第二のレンダリング装置のそれぞれの位置に基づいて決定される場合がある。決定されるエレメントは、コンテンツに関連される、ＡＭＢＸ（Ambient Experience data）及びＳＥＩ（Supplemental Enhancement Information）のような補助データに基づいて決定される。

第二のレンダリング装置は、２以上の第二のレンダリング装置を含み、第二のレンダリング装置のうちの１つが第一のレンダリング装置の一方のサイド（たとえば上、下、左サイド、右サイド）に位置され、第二のレンダリング装置のうちの別の１つが第一のレンダリング装置の別のサイドに位置される。１実施の形態では、コンテンツ信号の前及び後の時間的な部分のそれぞれが分析され、たとえば第一のレンダリング装置の左及び右に位置合わせされる第二のレンダリング装置についてエレメントを判定する。１実施の形態では、第二のレンダリング装置でレンダリングされるエレメントは、第一のレンダリング装置でレンダリングされたコンテンツ信号よりも低速のフレームレートでレンダリングされる。

以下の図面と共に行なわれたときに上述された特徴及び利点並びに更なる特徴及び利点を示す例示的な実施の形態の記載が以下では行われる。以下の記載では、限定よりはむしろ説明のため、特定のアーキテクチャ、インタフェース、技術等のような特定の詳細が説明される。しかし、これらの特定の詳細から逸脱する他の実施の形態は特許請求の範囲であることが理解されることは当業者にとって明らかであろう。さらに、明確さのために、公知の装置、回路及び方法の詳細な説明は、本システムの説明を曖昧にすることのないように省略される。

図面は例示のために含まれ、本システムの範囲を表さないことを明示的に理解されるべきである。添付図面では、異なる図面における同じ参照符号は、同様のエレメントを示す。

図１は、４：３のアスペクト比の表示領域のようなノーマルビューイングエリアの外にライトパターン１２０Ａ、１２０Ｂを形成することでディスプレイ１１０の視聴経験をエンハンスするために構成される本発明のシステムの実施の形態１００を示す。この実施の形態では、このアーギュメンテーションのコンテンツは、たとえば現在のビデオ画像の外のエリアへの現在のビデオフレームの延長を計算することで従来の環境照明の特徴に適用されるような、スクリーン又はスクリーンの一部で表示される現在のビデオコンテンツから単に導出されない。図示される実施の形態では、４：３アスペクト比の画像で提供される（たとえばビデオコンテンツの表示されるフレームといった）ビデオコンテンツの現在のレンダリングは、ビデオコンテンツの前のフレーム及び／又は後のフレーム（現在のフレームに対して前又は後）から導出される拡大された画像（たとえば１以上のライトパターン１２０Ａ，１２０Ｂ）により拡大される。ビデオコンテンツの前のフレーム及び／又は後のフレームは、１以上の前のビデオフレーム及び／又は後のビデオフレームを含む。１実施の形態では、（たとえば一般に特徴、オブジェクト及び／又はエレメントのような）前及び／又は後のビデオフレームの一部のみが分析される場合がある。たとえば、前のフレームのバックグランドの特徴は、前のフレーム全体を調べることなしに分析される。１実施の形態では、２以上のフレーム部分が分析される。たとえば、２つの連続する前のフレーム部分、又は１つの前の部分及び現在のフレーム部分は、本発明のシステムに従って利用される。別の実施の形態では、（たとえば前又は後のフレーム部分の少なくとも１つを含む）２つのフレーム部分が分析されてライトパターン（たとえばライトパターン１２０Ａ）を判定するとき、フレーム部分は、時間的に連続である必要はないが、ある実施の形態では、フレーム部分は時間的に連続する場合がある。１以上の拡大エリア１３０Ａ，１３０Ｂは、ディスプレイ１１０の視聴者の視野からディスプレイ１１０の背後に配置される壁に１以上の環境照明の画像をレンダリング（たとえば投影）することで提供されるような、本発明のシステムに従って環境照明の特徴により提供される。必然的に、１以上のライトパターン１２０Ａ、１２０Ｂは、ディスプレイ１１０に付加された１以上のレンダリング装置により、及び／又はディスプレイ１１０から分離され、１以上のライトパターン１２０Ａ、１２０Ｂをレンダリング（表示及び／又は投影）する能力を有する１以上のレンダリング装置（たとえばプロジェクタ）又は他の装置により提供される。１実施の形態では、１以上のライトパターン１２０Ａ、１２０Ｂは、１以上のディスプレイ装置により提供される。たとえば、ライトパターン１２０Ａは、環境照明のエレメントとして動作する２以上のディスプレイ装置により提供される。同様に、ライトパターン１２０Ｂは、環境照明のエレメントとして動作する２以上のディスプレイ装置により提供される。

本発明のシステムに係る１実施の形態では、１以上のライトパターン１２０Ａ、１２０Ｂは、ディスプレイ１１０で表示されるフレームよりも低い解像度で提供される。たとえば、１以上の拡大エリア１３０Ａ，１３０Ｂは、拡大エリア当たり２０×４０画素の解像度により提供される。必然的に、他の実施の形態では、多かれ少なかれ解像度は、低い解像度のライトパターンを提供するために必要とされるライトパターンを見分けるため、高い解像度が典型的に多くの処理を必要とするという認識により提供される。

たとえば、本発明のシステムによれば、（たとえば前及び／又は後のフレームといった）フレームにおいて示されるフレーム及び／又はオブジェクトのグローバル及び／又はローカルな動きベクトルは、本発明のシステムに従って使用するために決定されるか、及び／又はＭＰＥＧ（Moving Picture Experts Group）画像処理の間に利用されるようなシステムの他の部分の副産物として決定される。ディスプレイ１１０で提供される画像（たとえばゴール１４０）の（たとえば画素のバックグランド／優先度の）グローバルの動きベクトル、又はディスプレイ１１０で提供されるビデオフレームとして右に移動しているオブジェクトのローカルの動きベクトルを有するビデオ画像が時間的に進行し、ライトパターン１２０Ａは、ディスプレイ１１０で現在表示されているフレームに先行するビデオコンテンツの１以上のフレームから見分けられる。フレーム（グローバル）及び／又はオブジェクト（ローカル）の動きベクトルのサイズ、及び拡大エリア１３０Ａで提供されるライトパターン１２０Ａの幅は、容易に理解されるように、どの位多くの前のフレームがライトパターン１２０Ａを判定するために調べられるかを判定することに利用される。本発明のシステムに係る１実施の形態では、大きな動きベクトルについて、少ない前のフレームがライトパターン１２０Ａを見分けるために利用されるが（たとえば１以上の前のフレーム）、別の実施の形態では、動きベクトルのサイズにも関わらず、同じ数の前のフレームが調べられる。たとえば、１実施の形態では、動きベクトルが大きいとき、より多くの解像度が拡大エリア１３０Ａに提供される。

同様に、ディスプレイ１１０で提供される画像のグローバルな動きベクトル又はディスプレイ１１０で提供されるビデオフレームとして右に移動している示されたプレーヤ１５０のようなオブジェクトのローカルな動きベクトルを有するビデオ画像が時間的に進行し、ライトパターン１２０Ｂは、ディスプレイ１１０で現在示されるフレームに先行するビデオコンテンツの１以上のフレームから見分けられる。この処理は、コンテンツがローカルに記憶されるか、及び／又はディスプレイ１１０での表示の前に一時的に記憶されるときのような、ディスプレイ１１０で表示される前にビデオコンテンツのフレームが利用可能であるときに容易にされる。フレーム（グローバル）及び／又はオブジェクト（ローカル）の動きベクトルのサイズ、及び拡大エリア１３０Ｂで提供される解像度の幅は、容易に理解されるように、どの位多くの処理フレームがライトパターン１２０Ｂを判定するために調べられるかを判定するために利用される。本発明のシステムに係る１実施の形態では、大きな動きベクトルについて、少ない処理フレームがライトパターン１２０Ｂを見分けるために利用されるが（たとえば１以上の前のフレーム）、別の実施の形態では、同じ数の処理フレームが動きベクトルのサイズにも関わらずに調べられる。たとえば、１実施の形態では、動きベクトルが大きいとき、より多くの解像度が拡大エリア１３０Ｂに提供される。

必然的に、グローバル及び／又はローカルの動きベクトルが左へ移動すると、１以上の先行するフレームが拡大エリア１３０Ｂに示されるライトパターン１２０Ｂを見分けるために利用される。同様に、左に移動しているグローバル及び／又はローカルの動きベクトルについて、１以上の処理フレームは、拡大エリア１３０Ａで示されるライトパターン１２０Ａを識別するために利用される。

このタイプの実施の形態では、１以上の拡大エリア１３０Ａ，１３０Ｂで提供される解像度は、判定された動きベクトルのサイズに基づいて動的に決定される。容易に理解されるように、拡大エリア１３０Ａ，１３０Ｂで示される画像の精度は、ライトパターン１２０Ａ，１２０Ｂを導出するために利用されるフレームがディスプレイ１１０で表示されるデータのフレームから更に時間的に遠くなるときに減少する。さらに、拡大エリア１３０Ａ，１３０Ｂで示される画像部分の精度は、ライトパターン１２０Ａ，１２０Ｂを導出するために利用されるフレームの画像部分がディスプレイ１１０で表示されるデータのフレームに示される現在の画像部分から更に物理的に遠くなるときに減少する。言い換えれば、ライトパターン１２０Ａ，１２０Ｂが更に拡大されると、これにより、拡大エリア１３０Ａ、１３０Ｂで表示されているライトパターン１２０Ａ、１２０Ｂと共にディスプレイ１１０で現在表示されているフレームにより構成される「完全な画像」が拡大され、拡大エリア１３０Ａ，１３０Ｂのリモートエリアの精度が低減される。これに応じて、用語「物理的及び位置的に遠い」とは、完全な画像内の１つ又は両方のプロキシミティ及びディスプレイ１１０に対するプロキシミティが拡大エリア１３０Ａ、１３０Ｂ内でレンダリングされるコンテンツを決定するために利用される場合があるので、ディスプレイ装置１１０から更に生成される完全な画像及び／又はライトパターン１２０Ａ，１２０Ｂの観点で、ディスプレイ１１０で現在表示されているフレームから更に位置されるオブジェクトを含むことが意図される。幾つかのケースでこの発生を補償するため、拡大エリア１３０Ａ，１３０Ｂの物理的及び／又は時間的に遠隔のエリアの解像度は、拡大エリア１３０Ａ、１３０Ｂがディスプレイ１１０でレンダリングされる画像から更に物理的及び／又は時間的に遠くなるにつれて減少する。

本発明のシステムに係る１実施の形態では、Klompenhouwer特許で適用されるような自然の動き技術は、ディスプレイ１１０でレンダリングされるビデオフレームの外で目に見えるものを時間的に予測するために使用される。自然の動きは、シーンにおけるオブジェクトを追跡し、したがって、（ディスプレイ１１０を超えて）スクリーン外に移動したときにフレームの外でオブジェクトの動きを外挿する。このように、自然の動き画像の平滑化を可能にするために既に供給される計算を利用して、拡大エリア１３０Ａ、１３０Ｂに供給されるコンテンツの判定が行なわれる。

１実施の形態では、拡大エリアで提供される画像は低解像度からなり、幾分ぼやけているので、提供される詳細の量を潜在的な外挿のアーチファクトを隠すための願望とバランスさせるため、（上述されたように）遠いエリアで低い解像度が提供される。１実施の形態では、低解像度での画像／オブジェクトのトラッキングを行い、ぼやけたバージョンの大きなオブジェクト、又はいわゆるオブジェクトブロブを追跡することで十分である。オブジェクトブロブの追跡は、この追跡がダウンスケールされたバージョンのビデオコンテンツで実行されるので、低い計算上の複雑さで実行される。たとえば、ディスプレイ１１０で表示されるビデオコンテンツにおける赤い自動車は（スクリーンの外に移動するとき）、拡大エリアにおける赤のブロブとして継続する。したがって、補助ディスプレイでのデータは、第一のディスプレイの画像から現在の環境の投影の正確な低解像度のバージョンである必要がないが、オブジェクト及びバックグランドのグローバルに構造化されたカラープロファイルについて、オブジェクトの一般的な形状（たとえば楕円形状）に類似するブロブ形状と同様にシンプルである（サッカーフィールドの例では、これは、下半分の傾いた草の緑と、上半分の観衆について鈍い、おそらく統計的にテクスチャ加工のグレイ領域とであり、これに応じて、画像形成される観衆のバックグランドに現実的に近似的に存在する場合に低解像度の色の勾配は重ね合わせされる）。なお、以下で更に詳細に説明される周辺のディスプレイについて、（遠近の）変形が許容可能である。これは、ビジョンが深刻ではなく、熱中の感情のみが要求されるためである。したがって、遠近の変形の判定は、容易に理解されるように、周辺のディスプレイで提供される拡大エリア及び／又は画像において、一般にエレメントと呼ばれる、ライトパターン（たとえば特徴、オブジェクト、バックグランド等）について適用される。１実施の形態では、バックグランドエレメントは、遠近の変形なしに与えられ、フォアグランドエレメント（たとえば自動車、プレーヤ等）は、遠近を提供するためにエレメントの判定の後に変形される（たとえば、ディスプレイ１１０で発生し、そこから外側に発生する角度に沿ったエレメントの伸張）。

自然の動きのアプローチがライトパターン１２０Ａ，１２０Ｂの低い解像度と結合される実施の形態では、スクリーンの外に移動したオブジェクトが過去／将来のビデオフレームに存在し、したがって係るスクリーン外のオブジェクトを表示することは過去／将来のイメージコンテンツ、又は１実施の形態では、係る孤立したコンテンツ／エレメントの少なくとも簡略化された近似／モデルを表示することを観察することができる。したがって、グローバルな動きモデルがグローバルな動きを予測する（これによりトラッキングを実現する）非常に低コスト実現が可能であり、過去（又は将来）においてどの位遠くで、拡大画像１３０Ａ，１３０Ｂで供給される画像が取得されるべきかが判定される。拡大画像を判定することは、この場合、従来の環境照明システムにより計算されるような、拡大画像（非常に低い解像度の場合における色）を遅延（又は進める）ことに等価であり、この場合、遅延／進行の量は、グローバルな動き予測により行なわれるトラッキングにより決定される場合がある。オリジナルビデオの代わりに拡大画像を一時的に記憶することで、僅かなバッファリングが必要とされ、従来のシステムのコストを実質的に増加することなしに特徴が実現される。

本発明のシステムの実施の形態によれば、（他の適切なシステムが容易に適用されるが、動き及び閉鎖に基づくような、たとえばフォアグランド／バックグランド検出アルゴリズムにより）フォアグランドのオブジェクト（たとえばフォアグランドオブジェクト２５２）とバックグランドのオブジェクト（たとえばバックグランドオブジェクト２５４）との間、シーンの間、又は一般に特徴の間の区別を行い、それらを個別に追跡し、たとえばバックグランド又はフォアグランドの特徴のうちの１つにのみ基づいて拡大を計算することが有利である。更に別の実施の形態では、（たとえばＭＰＥＧ−Ｃｐａｒｔ３規格に従って、エキストラレイヤとして送信される深さマップの形式で）３次元（３Ｄ）情報の存在は、特徴を識別する助けとなり、どの特徴がフォアグランド及びバックグランドであるかを識別する助けとなり、したがって、これらの特徴は、拡大エリアで容易に追跡され、適切に位置合わせされる。

１実施の形態によれば、拡大エリアの処理は、第一のディスプレイハードウェアにより実行され、この場合、結果的に得られる拡大のライトパターンは、拡大ライトパターンを表示するために使用される（たとえばディスプレイ表面、ディスプレイ等といった）第二の表示エリアに伝達される。別の実施の形態では、拡大エリアの１以上のプロセッサは、第一のディスプレイと同じビデオストリームを供給し、この場合、１以上のプロセッサのそれぞれは、分析（必要とする一部）を実行し、これにより、レンダリングについてそれ自身の部分を判定する。１実施の形態では、システムの特定の分割は、（たとえばコンテンツの作製側で）ディスプレイ全体から離れた追跡及び予測部分を有し、これにより、（たとえば拡大の可視化の異なるサイズ及び形状を可能にするためにパラメータ化される）拡大のライトパターンは、たとえばＡＭＢＸ（Ambient Experience）情報（たとえばスクリプト、ソフトウェアエンジン、アーキテクチャ等）の形式で、及び／又はＡＶＣ（Advanced Video Coding）規格内のＳＥＩ（Supplemental Enhancement Information）の形式で、ビデオコンテンツと共に送信される。

幾つかのシステム及び／又は方法は、第一のディスプレイの環境に拡大の画像エリアを投影／提供するために使用される。特定の実施の形態が本明細書で記載されたが、当業者により容易に理解されるように、本発明のシステムの範囲に適合する他の実施の形態も考案される。

本発明のシステムに係る１以上の実施の形態では、環境レンダリングシステムの一部は、従来の環境照明ハードウェアを使用するか、又はたとえばマイクロプロジェクタを使用して更なる解像度に従来のハードウェアを拡張して、第一のディスプレイに組み込まれる（たとえば第一のディスプレイのベゼル）。

１実施の形態では、（たとえば画像のサイドで現在の色に類似した色の代わりに）第一の表示エリアで現在提供される画像の適切な拡大を表示することで、前に記載された処理のみが本発明のシステムを実現するために従来の環境照明のテレビジョンに追加される必要がある。なお、本発明のシステム及び従来の環境照明のソリューションはオブジェクトを幾分異なって追跡し、これにより、環境照明エリアにおける異なるコンテンツを提供する。赤のオブジェクトが緑のバックグランドの前で表示される場合、赤のオブジェクトが従来の環境照明のテレビジョンでスクリーンの外に移動するとき、環境照明は、赤のオブジェクトがスクリーン外にあるとすぐに緑になる。本発明のシステムに係る実施の形態では、（拡大エリア１３０Ａ、１３０Ｂのうちの１つで生成される）対応する環境照明の効果は、その後暫く赤となり、これにより、たとえばオブジェクトの最後に知られた動き、スクリーン外に移動した後にフレームについて予測されるグローバルな動き、及びオブジェクトベースの動き予測器から得られるような速度に依存して第一のスクリーンの境界を超えて動く赤のオブジェクトを表示する。この点について、たとえば、R.B.Wittebrood及びG.de Haanによる“Real-Time Recursive Motion Segmentation of Video Data on a Programmable Device” IEEE Transactions on Comsumer Electronics, Aug. 2001, pp.559-567で提供され、引用により本明細書に完全な形で盛り込まれる。本発明のシステムによれば、オフスクリーン（たとえばディスプレイ１１０）の画像／色が表示された時間は、オブジェクトが移動した速度に依存し（たとえば関連する動きベクトルのサイズ、高速＝短時間）、本発明のシステムの１実施の形態によれば、（たとえば赤の自動車に起因する）これらの色は、しばらくして低速（たとえばオブジェクトの動きが拡大エリアの外にオブジェクトを未だ移動していない速度）で、デフォルトの色（たとえばバックグランドの色）に衰える。容易に理解されるように、幾つかの実施の形態では、本発明のシステムの色の衰えは、拡大エリアを非常に迅速に離れる高速に移動するオブジェクトについて余りに低速である。

従来の環境照明システムは、（たとえば光出力を増加し、異なるサイドで異なる色を生成するため）多数の光源から構成される。それぞれの光源を個々に制御し、たとえばレンズ及び／又はディフューザ（システム）を追加することで、低解像度の画像は、（たとえばディスプレイ１１０の左、右、上及び／又は下といった）第一のディスプレイの周囲の環境に投影される。更なる実施の形態では、第一のディスプレイの周りの天井及び／又は床は、ディスプレイに存在する環境照明エレメントにより照明され、及び／又は、専用の環境照明タワー又は結合された環境照明装置／スピーカにより提供されるような、第一のディスプレイにとって遠くにある環境照明エレメントにより提供される。１実施の形態では、環境照明マイクロ−プロジェクタは、（たとえばユーザの望みに従って配置されるスタンドアロンマイクロプロジェクタポッドといった）個別の周辺装置の形状を取る。容易に理解されるように、環境照明を提供する他のシステムは、本発明のシステムに従って利用される。

図２は、本発明のシステムの実施の形態に従ってシステム２００の前面図を示す。１実施の形態では、液晶ディスプレイ（ＬＣＤ）ベースのディスプレイ装置のようなディスプレイ２１０は、低解像度の環境照明システムを提供するために利用される。図２に示される実施の形態では、１以上の環境照明パネル２６０Ａ、２６０Ｂは、ディスプレイ２１０に追加される。環境照明パネル２６０Ａ、２６０Ｂは、（たとえば製造工場で提供されるか、バス及びプロトコルを介してホームユーザにより市場の後に接続される）アッドオンとして提供される。１実施の形態では、環境照明パネル２６０Ａ，２６０Ｂは、マイクロプロジェクタ、個々又はグループ化された発光ダイオード（ＬＥＤ）のような環境光源２５０を含む。１実施の形態では、パターン化された環境照明の効果は、スケーリングされた低解像度の画像を形成するために設けられる、レンズ／デヒューザシステム２４０の背後にあるＬＥＤのＭ×Ｎアレイの個々の出力を制御することで提供される。

この実施の形態では、環境光源２５０の出力は、機器構成可能である。たとえば、環境光源２５０は、ディスプレイ２１０又は位置合わせされた反射スクリーンの背後／周囲に位置される壁により提供されるように、環境光源により照射される領域を選択するために位置合わせ／再位置合わせされる場合がある。１実施の形態では、レンズ２４０は、ディスプレイ２１０と壁との間で形成される角度の関数として壁の投影について手動的及び／又は自動的に調節される。たとえば、１実施の形態では、マイクロプロジェクタは、垂線の周りで回転可能であるようにディスプレイに動作可能に取り付けられる。自動的に調節される実施の形態では、環境照明パネル２６０Ａ，２６０Ｂは、ディスプレイ２１０と環境照明の作用が提供される表面との間で作られる角度を決定するため、カメラ及び／又は他のシステムを組み込み、これにより、拡大エリア２３０Ａ，２３０Ｂを提供するために環境光源２５０の角度を自動的に調節する。

本発明のシステムの１実施の形態によれば、ビデオコンテンツのバックグランド部分は、（たとえば比較的一様な青のバックグランドの木といった）オブジェクトブロブ２７０のような均質な領域のブロブでセグメント化される。色及び／又はテクスチャに基づくといったような多くの適切なセグメント化アルゴリズムが使用される。１つの実施の形態では、セグメンテーションモデルは、メタデータ及び／又は他の補助データのような高いシーン記述情報でガイドされる。更なる実施の形態では、この近似的なバックグランドパターンは、（低解像度の周期的又は統計的なテクスチャパターンとして）ディスプレイ２１０の何れかのサイドで繰り返されるか、及び／又は、拡大エリア２３０Ａ、２３０Ｂの何れか又は両方で提供される所与の環境照明の作用の異なる部分を通して繰り返される。このように、たとえば拡大エリアの唯一の部分について、特徴及び／又はオブジェクト情報が区別され、たとえば、区別されたバックグランド情報は、拡大エリア２３０Ａ，２３０Ｂの規則的及び／又は不規則なインターバルで繰り返される。１実施の形態によれば、ＳＥＩメッセージは、右のブロックを取得するためにセグメンテーションのガイダンスを提供するために使用されるバックグランド及びフォアグランドのオブジェクトを識別することで、セグメント化をガイドするデータを含む。別の実施の形態では、周囲の画像が比較的低い解像度の画像であるので、セグメント化は自動的に実行される。マイクロプロジェクタを利用した別の実施の形態では、高いキャパシティの環境照明の画像形成が提供される。マイクロプロジェクタは、レンダリングされた画像／コンテンツの拡大を容易にするため、環境照明のパネル２６０Ａ，２６０Ｂの実質的な部分に沿って長くされる。

図３は、本発明のシステムの実施の形態に係る環境光源３５０を利用した環境照明システム３００の詳細を例示する外観図である。例示的に、環境光源３５０は、１以上の２次元（２Ｄ，Ｍ×Ｎ）ＬＥＤアレイを含むか、又は１以上のマイクロプロジェクタを含む。ディスプレイ３１０の前に位置される視点３０２から示されるように、ベゼル３１２は、視聴者の見晴らしの利く地点、すなわち視点３０２からシステム３００の実質的に隠し地点で提供される。デヒュージング（マイクロ）レンズのようなレンズ（システム）３４０は、環境光源３５０により生成される、放射環境光円錐３４２として示される拡散された環境照明の作用を向けるために提供される。本発明のシステムに係る１実施の形態では、放射された光円錐は、たとえば環境光源の画素の列当たり生成される。環境光源３５０及びレンズ３４０の結合により生成される環境照明の作用は、例示的な実施の形態において壁３８０から反射される。必然的に、別の実施の形態では、環境光源３５０は、ディスプレイ３１０に動作的に結合されるか、ディスプレイ３１０で表示されたコンテンツのソースに動作的に結合される個別の投影装置又はマイクロ投影装置によるように、ディスプレイ３１０とは別に提供される。

図４は、本発明のシステムの実施の形態に係る例示的な実体験のように感じる周辺照明システム４００を示す。図示される実施の形態では、周辺装置４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄとして例示的に示される個別の第二のレンダリング装置は、ディスプレイ４１０として例示的に示される、第一のレンダリング装置を通して複数の拡大画像を提供するために利用される。１実施の形態では、個別の周辺ディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ、２Ｄのそれぞれは、個別のマイクロプロジェクタのような個別の照明システムにより照明され、ユーザにとって実体験のように感じる経験を提供する。代替的な実施の形態では、１以上の周辺の装置４１２Ａ，４１２Ｂ，４１２Ｃ、４１２Ｄは、投影システムとは独立な画像を提供する。個別の周辺ディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄは、ホームウェルネスソリューションにおけるようなエクササイズ用の自転車により提供されるような、視聴者の視点４８０の周りで位置される。別の実施の形態では、ユーザには、実体験のように感じるビデオゲーム再生環境が提供される。

容易に理解されるように、第二のレンダリング装置は、第一のレンダリング装置の左と右のサイドの間で等しく配置され、分割されるように例示されているが、これは、本発明のシステムの単なる例示について示される。容易に理解されるように、第二のレンダリング装置は、第一のレンダリング装置の左及び右に対称的に分散される必要がない。実際に、第二のレンダリング装置は、ユーザにより望ましいやり方で位置合わせ及び分散される場合がある。別の実施の形態では、１以上の第二のレンダリング装置は、第一のレンダリング装置の上及び／又は下に位置される。同じ又は別の実施の形態では、更に多くの第二のレンダリング装置が第一のレンダリング装置の別のサイドよりも一方のサイドに位置される。望まれる場合、第二のレンダリング装置は、第一のレンダリング装置の別のサイドを除いて、第一のレンダリング装置の一方のサイド（上、下、左、右）に配置される。多かれ少なかれ第二のレンダリング装置は、本発明のシステムに従って利用される。

図示される実施の形態では、ユーザには（たとえばプラズマディスプレイパネル（ＰＤＰ）といった）第一のディスプレイにコンテンツ（たとえばビデオ）が提供され、周辺のディスプレイ４１２Ａ、４１２Ｂ，４１２Ｃ，４１２Ｄについて、補助のコンテンツが提供され、導出される。この実施の形態では、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄはユーザの周辺のビジョンで視聴されるので、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ、４１２Ｄは、高い解像度も提供されるが、比較的低い解像度であり、レンダリングされるコンテンツは、第一のディスプレイで提供されるコンテンツに（たとえば位置的、時間的等に）関連する。

小さい部屋では、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄは、視聴者の視野の周辺の壁に取り付けられる。いずれの場合であっても、周辺のディスプレイ４１２Ａ、４１２Ｂ、４１２Ｃ，４１２Ｄは、ユーザへの周辺のビューをレンダリングするために動作可能に位置合わせされる（たとえば視聴者の視野４８０に十分近くに位置合わせされる）。代替的な実施の形態では、周辺のディスプレイ４１２Ａ，４１２Ｂ、４１２Ｃ，４１２Ｄは、実体験のように感じる環境照明システム４００が提供される部屋の天井に取り付けられる。１実施の形態では、天井プレート４９０は、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ、４１２Ｄの位置合わせを容易にするために提供される。パネルは、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ、４１２Ｄが使用中でないとき、永続的に位置合わせされ、部屋を通してトラフィックを外れた位置合わせを可能にするために構成される。

１実施の形態によれば、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄは、たとえば容易な取り付け／取り外し及び配置を可能にする、フック及びファスナーのアタッチメントシステム（たとえばVelcro^TM）を通して、視聴者の視野４８０の周囲（たとえば椅子又はホームトレイナの周囲）の所望の位置で取り付けられる。１実施の形態では、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ、４１２Ｄは、周辺のディスプレイ４１２Ｃ，４１２Ｄで例示的に示されるローリングメカニズム４１４Ｃ，４１４Ｄのようなローリングメカニズムが設けられる。必然的に、ローリングメカニズムは、必要に応じて天井に隠される。この実施の形態では、ローリングメカニズムは、必要とされないとき、道を外れて、周辺のディスプレイ４１２Ｃ，４１２Ｄが容易にロールアップされ、周辺のディスプレイ４１２Ｃ，４１２Ｄの使用が望まれるときにロールダウンされるのを可能にする。代替的な実施の形態では、周辺のディスプレイは、周辺のディスプレイ４１２Ａ，４１２Ｂに例示的に取り付けられるヒンジメカニズム４１６Ａ，４１６Ｂのようなヒンジメカニズムで天井に取り付けられる。この実施の形態では、ヒンジメカニズム４１６Ａ，４１６Ｂは、使用中ではないときに周辺のディスプレイ４１２Ａ，４１２Ｂが天井に向かって上に回転され、周辺のディスプレイ４１２Ａ，４１２Ｂの使用が望まれるときに下に回転されるのを可能にする。必然的に、周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄを位置合わせする他のシステムは、適切に利用され、実体験のように感じる周辺照明システム４００の使用が望まれるときに自動化される。

この実施の形態によれば、実体験のように感じる周辺照明システム４００は、（たとえばコンテンツの前のフレーム及び後のフレームに基づいて）ディスプレイ４１０で提供されるコンテンツを分析し、コンテンツの前のフレーム及び／又は後のフレームで提供される特徴及びオブジェクトに実質的に一致する領域又はブロブを生成する。本発明のシステムに係る１実施の形態では、実体験のように感じる周辺照明システム４００は、また、又はコンテンツの他のフレームの代わりに、適切な特徴及びブロブを判定するために現在のコンテンツを分析する。

たとえば、フォアグランドの自動車のオブジェクト４５０は、（たとえば３Ｄ深さマップ、他の余分のデータを使用して、及び／又はコンテンツ自身から自動的に）セグメント化され、１以上の周辺のディスプレイに沿ってぼやけたブロブとしてその経路を継続する。さらに、バックグランドの特徴（たとえば道路）及びオブジェクト（たとえば木）は、１以上の周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄで同様に示される。たとえば、周辺の画像情報を生成するためにアルゴリズムのシンプルなバリエーションでは、通過する木は、第一のディスプレイの画像における木の情報（たとえば周期性）と相互に関連する、シンプルな低周波の時空間の光変調によりエミュレートされる。類似のシステムは、環境のエレメントについて適用される。１実施の形態では、特徴及び／又はオブジェクトがユーザの周辺のビジョンに更に進むときに提供される特徴及び／又はオブジェクトの詳細（たとえば解像度）は、特徴及び／又はオブジェクトを決定するための分析の要件を低減し、及び／又は望まれないイメージアーチファクトを低減するために減少する。たとえば、自動車のオブジェクト４５０が周辺のディスプレイ４１２Ｃから周辺のディスプレイ４１２Ｄに進むとき、自動車のオブジェクト４５０は、自動車のオブジェクトから自動車にブロブに（たとえばステップ的に、又は除々に）変化するか、自動車のオブジェクトの画像の解像度は、シンプルに減少される。周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄのそれぞれにより提供される詳細における類似の解像度は、（たとえば周辺のディスプレイ４１２Ａ，４１２Ｂについて右から左に、周辺のディスプレイ４１２Ｃ，４１２Ｄについて左から右に）特徴及び／又はオブジェクトが視聴者の周辺のビューに更に移動するときに低減される。１実施の形態では、周辺のディスプレイ４１２Ｂ，４１２Ｃは、周辺のディスプレイ４１２Ａ，４１２Ｄよりも高い解像度を提供するためにイネーブルにされる。このように、潜在的に安価なディスプレイは、周辺のディスプレイ４１２Ｂ，４１２Ｃについて使用されるよりも周辺のディスプレイ４１２Ａ，４１２Ｄについて利用され、実体験のように感じる環境照明システム４００のコストにおける低減を可能にする。

１実施の形態によれば、実体験のように感じる環境照明システム４００（及び／又は環境照明エレメントをもつ環境照明システム）には、周辺のディスプレイ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄの詳細が設けられ、周辺のディスプレイ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄで表示される特徴及び／又はオブジェクトの適切な判定を可能にする。たとえば、１実施の形態では、ディスプレイ４１０に比較される周辺のディスプレイ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄのサイズは、（たとえば自動車４５０の経路を継続するため）周辺のディスプレイ４１２Ａ、４１２Ｂ、４１２Ｃ、４１２Ｄで示される／レンダリング特徴及び／又はオブジェクトを決定するために提供される。他のパラメータは、適切な特徴及び／又はオブジェクト、その位置合わせ及び／又は解像度の決定を可能にするために提供される。１実施の形態によれば、ディスプレイ解像度、最大のリフレッシュレート、（たとえば有線、無線、光等の）通信の結合の形態のような周辺のディスプレイのディスプレイ機能は、動作を可能にするために本発明のシステムに手動及び／又は自動で伝達される。たとえば、第一のディスプレイのリフレッシュレートよりも小さい最大のリフレッシュレートを有する周辺のディスプレイについて、周辺のディスプレイで提供される特徴及び／又はオブジェクトのリフレッシュレートは、より低速のリフレッシュレートを提供するために適切に適合される。たとえば、周辺のディスプレイで提供されるフレームは、第一のディスプレイで更新されたそれぞれ２以上のフレームについて１度だけ更新される。類似の適合は、環境照明の効果について提供される。これは、環境及び／又は周辺の作用を提供するために計算上の要件を低減する付加された利益を有する。

１実施の形態では、（たとえばＡＭＢＸ、ＡＶＣのＳＥＩ等の）補助のデータが提供される場合、補助データは、第二のレンダリング装置に提供される特徴及び／又はオブジェクトを決定するために利用される。この実施の形態では、補助データは、第一のディスプレイのサイトでの処理要求を低減し、及び／又は、第二のレンダリング装置に提供される特徴及び／又はオブジェクトの正確な判定を提供するために利用される。さらに、補助データは、コンフィギュレーションに依存する周辺のディスプレイ４１２Ａ，４１２Ｂ，４１２Ｃ，４１２Ｄでの特徴、オブジェクト（たとえば詳細及び／又はブロブ）の最適な位置合わせを容易にする。たとえば、３つの周辺のディスプレイが何れかのサイドに設けられ、角度Ｘを通して延長されるコンフィギュレーションでは、たとえば特定の決定された角度（たとえば角度Ｙ）で中央の周辺のディスプレイで表示される場合に、ドラゴンのようなオブジェクトは恐ろしく見えるか、天井に投影されるユーザの「上に」高くそびえ立つように見える。同じコンテンツについて、２つの周辺のディスプレイをもつ構成では、本発明の実施の形態は、たとえば補助データを利用して、ドラゴンの最良の記述がたとえば角度Ｚで第二の窓ガラスにあることを導出する。

オブジェクトの位置を補助信号がどのようにパラメータ的に規定するかに関する例は、以下に示される。方式は、たとえば左側の表示可能な延長の中間、第一のディスプレイの外のパーセンテージを規定する更に複雑な方式（たとえば、第一のディスプレイのサイズ及び解像度／アスペクトに依存するが、サイドパネルに（及び／又は環境照明システムにより）表示することができるものに依存する）。異なる第二のディスプレイのコンフィギュレーションについて１以上の補正方式。たとえば３つのサイドパネルが存在し、及び／又はユーザの周りの角度がたとえば７０又は１１０°よりも大きい場合、中間であると決定されたエレメントは、（たとえば中央のサイドパネルに配置するため）たとえば３分の２に上書きされる。

ローカルディスプレイシステムがその幾何学的な形状（たとえばパネル配置、位置）を知る実施の形態では、ユーザは、第一のディスプレイの最も左のサイドに対して５０ｃｍを、高さ２ｍ及び幅５０ｃｍの表示エリアからなる本発明のシステムの１実施の形態で提供される適切なユーザインタフェースの使用を通して、家庭内でのコンフィギュレーションの後に大まかに測定及び入力する（又は、システムは、包含されるローカライズ手段を介してシステムへのパネル送信サイズ及びロケーション情報を自動的に構成する）。別の実施の形態では、システムは、パネルのサイズ及び／又は位置情報を識別するためのビジョンシステムを含む。

次いで、システムは、（最大のインパクトについて創作側でのコンテンツアーティストにより提供される）プロファイルで示されるものに近いようにオブジェクトを表示するマッピングを利用する。たとえば、システムは、中間の位置合わせが所与の時間ｔでの自動車のオブジェクトについて第一の左の周辺のディスプレイでの画素の位置（１２５０，９９９）に対応することを計算する場合がある。

必然的に、本実施の形態によれば、システムは、示唆された／提供されたプロファイルを無視又は訂正し、ローカルプロファイル及び／又はユーザにより提供されるプロファイルを利用する。

さらに、簡略化されたバージョンでは、本実施の形態に係るシステムは、最も明らかに抽出可能なオブジェクト（たとえばフォアグランドのオブジェクト／エレメントを通過する大きなオブジェクト／エレメント）についてのみこの位置合わせを使用しているが、勿論、何れかの複雑さ及び／又は多数の複雑さのガイドデータは、幾つかのバックグランドデータと共に周辺に投影されるラフボックスから開始して、全ての受信された画像から及び／又は補助訂正データを含めて特定のやり方で抽出可能なものが与えられた場合にオブジェクトがどのように現れるべきかに関する非常に正確な記述まで、（たとえばブロードキャスト信号に含まれる）コンテンツと関連される。したがって、補助データは、（たとえば画像フレーム）コンテンツから決定可能なデータを捕捉し、更なるデータを提供して、エレメント及びサプルメントをエレメントに追加し、更なるデータをレンダリングするためにイネーブルにされるシステムに更なる値を追加する。

本発明のシステムに係る１実施の形態では、補助データは、ビデオデータ又は予測されたビデオデータを訂正／改善する為のデータを含む。たとえば、本発明の実施の形態によれば、バックグランドの木は、明−暗（たとえば緑）の遷移として非常にシンプルに要約され、これにより、木の下で駆動する影の波が立ったパターンをシミュレートするために必要とされる処理が簡略化される。かかるシミュレーションは、（たとえばセグメントの統計値に基づいて）画像の領域をトラッキングすることで実行される。

１以上の周辺のディスプレイは、Koninklijke Philips Electronics N.V.から利用可能なLumaliveTM photonic textileから製造されるようなフォトニックテクスタイルから製造される。フォトニックテクスタイルは、低解像度の画像のような画像を放出するために構成され、したがって、１以上の周辺のディスプレイとしての役割を果たす。１実施の形態では、フォトニックテクスタイルは、１以上の周辺のディスプレイとしての役割を果たし、他の目的をも果たす。たとえば、フォトニックテクスタイルから製造された部屋に位置されるカーテンは、本実施の形態に係るシステムが動作可能であるとき、第一のディスプレイ（たとえばディスプレイ４１０）へのネットワーク接続（たとえば有線、無線、光等）のような結合を介してリンク及び同期する。システムが動作していないとき、フォトニックテクスタイルは非作動状態にあるか、又は、他の画像を表示するために自発的に制御される。必然的に、容易に理解されるように、本発明のシステムの１以上のディスプレイは、ディスプレイがフォトニックテクスタイルから製造されるか否かで同様に動作する。

１実施の形態では、１以上のディスプレイ（たとえば環境照明のディスプレイ、周辺のディスプレイ等）は、電子インク（ｅ−ｉｎｋ）ディスプレイ又は他の反射型ディスプレイとして製造される。係るディスプレイは、たとえば周辺のディスプレイとして利用され、ｅ−ｉｎｋの壁紙の形態をとる場合がある。ｅ−ｉｎｋの壁紙は、システムが動作中であるときに本発明のシステムに従って画像を表示し、システムが動作中で無いときに壁紙のパターンのような他の画像を表示する。１実施の形態では、ｅ−ｉｎｋフォトフレーム及び／又はより大きなフレームは、１以上の環境及び／又は周辺のディスプレイとして動作する。フレームは、周辺のディスプレイとして動作するために第一のディスプレイにより制御されないときにペインティング及び／又はピクチャを表示する。本発明のシステムの実施の形態によれば、拡大画像は、ディスプレイの表示機能により決定される第一のディスプレイ装置よりも低い解像度、低いリフレッシュレート等で提供される。

フォトフレーム等のような他のネットワーク化されたイメージソースは、周辺のディスプレイ及び／又は環境光源として利用される。ネットワーク化されたイメージソースは、自己識別及び／又は自動化された問合せシステムを通して自動的にシステムに追加され、ネットワーク化されたイメージソースの相対的な位置合わせと同様に、ネットワーク化されたイメージソースの可用性及び機能を識別する。このように、面倒なセットアップ手順を必要とすることなしに、更なる画像及び／又は環境光源がシステムに追加され、システムから除かれる。代替的な実施の形態では、ワンタイムセットアップ手順が実行され、ディスプレイの特性、位置等が規定される。第一のディスプレイは、（たとえば周辺のディスプレイ、環境照明ディスプレイ等の）第二のディスプレイに自動的にリンクされ、望まれたときに周辺及び／又は環境照明の作用が提供される。１実施の形態では、ディスプレイ装置、及び／又はシステムのエリア内にディスプレイ及び／又は照明機能をもつ装置の導入により、第一のディスプレイ、及び／又は現在の環境照明及び／又は周辺の画像形成システムの一部として装置の登録を可能にする装置でのユーザインタフェースの生成を始動する。１実施の形態では、環境と周辺照明の作用の組み合わせが提供され、作用の一部は、環境照明の作用として提供され、作用の一部は、周辺の作用として提供される。更なるバリエーションでは、第二のディスプレイは、本発明のシステム従って環境照明の効果を生成する能力を有する。必然的に、他の組み合わせは、本発明のシステムに従って容易に利用される。

本発明のシステムに係る実施の形態では、利用されたとき、周辺及び／又は環境装置により示されるオブジェクトの解像度、品質及び／又は位置を低下するグローバル／ローカルモーションモデルの精度における制限のため、周辺及び／又は環境装置に対するコンテンツの拡大の間、アーチファクトが現れる。したがって、周辺及び／又は環境の装置について決定される全ての「拡大データ」（たとえば周辺及び／又は環境照明装置を駆動するために利用されるデータ）は、制限された時間的持続性を有し、これによりデータの所定の程度の精度が補助される。１実施の形態では、フォールバックシナリオは、第二の装置を駆動するため、コンテンツの現在示されたフレームから送出されるデータのような、「典型的な環境照明データ」と同様に、拡大データの少なくとも１部を使用することで実現される場合がある。たとえば、１実施の形態では、現在のフレームの時間的に近くにあるフレームから決定された拡大データは、典型的な環境の照明データを通して周辺及び／又は環境の装置によりレンダリングされるものを決定するために主に利用される。しかし、拡大データの特定の部分が、第一のディスプレイに現在示される（特徴、オブジェクトバックグランド、フォアグランド等の）データから更に時間的に離れるとき、典型的な環境照明のデータは、たとえば再帰型フィルタリングシステムにより古くなった拡大データを置き換えるために除々に利用される。典型的な環境照明データが利用可能ではない場合、デフォルトの色及び／又は照明も利用される。この第二の装置によりレンダリングされるものの置き換えは、特徴毎に、及びオブジェクト毎に実行される。たとえば、単一の拡大装置により提供される拡大データの一部は、拡大データの他の部分よりも「新鮮である」。したがって、本発明のシステムに係る１実施の形態では、この置換プロセスは、特徴毎に、及びオブジェクト毎に実行される。さらに、コンテンツの先行する部分の描かれている部分がシーン変化のためにもはや適切ではない検出されたシーンの変化のケースでは、周辺の照明システム及び／又は環境の照明システムは、第一のディスプレイで現在描かれるコンテンツ及び／又はデフォルトの色（たとえば強度、色相、飽和等）及び／又は照明を利用して、第二のレンダリング装置のコンテンツを決定する。

図５は、本発明のシステムの実施の形態に係るシステム５００を示す。システムは、メモリ５２０、第一のレンダリング装置５３０、１以上の第二のレンダリング装置５４０及び入力／出力（Ｉ／Ｏ）装置５７０に動作可能に結合されるプロセッサ５１０を有する。本明細書で利用される用語「レンダリング装置」は、本発明のシステムに従ってコンテンツをレンダリングする装置に関連することが意図される。したがって、第一のレンダリング装置は、テレビジョン装置のようなビデオディスプレイ装置であり、第二のレンダリング装置は、環境照明装置及び／又は周辺のレンダリング装置のような装置である。メモリ５２０は、コンテンツフレームデータのような他のデータと同様に、アプリケーションデータを記憶するために任意のタイプの装置である。特徴及びオブジェクトデータのようなアプリケーションデータ及び他のデータは、プロセッサ５１０を構成するためにプロセッサ５１０により受信され、本発明のシステムに従って動作を実行する。動作は、コンテンツを表示するために少なくとも１つのディスプレイ５３０を制御すること、本発明のシステムに従って第二のレンダリング装置を制御することを含む。入力／出力５７０は、キーボード、マウス、又は、タッチセンシティブディスプレイを含む他の装置を含み、このディスプレイは、スタンドアロンであるか、又は、有線又は無線リンクのような任意のタイプのリンクを介してプロセッサ５１０と通信するためのパーソナルコンピュータ、パーソナルデジタルアシスタント、及びテレビジョンのようなディスプレイ装置の一部のようなシステムの一部である。明らかに、プロセッサ５１０、メモリ５２０、第一のレンダリング装置５３０、第二のレンダリング装置５４０、及び／又はＩ／Ｏ装置５７０は、テレビジョンベースのコンテンツレンダリング装置のようなテレビジョンプラットフォームの全部又は一部である。

本発明のシステムの方法は、コンピュータソフトウェアプログラムにより実行されるために特に適しており、係るコンピュータソフトウェアプログラムは、本方法の個々のステップ又は動作に対応する方法を好ましくは含んでいる。係るソフトウェアは、勿論、集積回路のチップのようなコンピュータ読取り可能な媒体、メモリ５２０又はプロセッサ５１０に結合される他のメモリのような周辺装置又はメモリで実施される。

コンピュータ読み取り可能な媒体及び／又はメモリ５２０は、記録可能な媒体（たとえばＲＡＭ、ＲＯＭ、取り外し可能なメモリ、ＣＤ−ＲＯＭ、ハードドライブ、ＤＶＤ、フロッピー（登録商標）ディスク又はメモリカードといった）レコーダブルメディアであるか、（たとえば、時分割多元接続、符号分割多元接続、又は他の無線周波チャネルを使用した、光ファイバ、ワールドワイドウェブ、ケーブル、及び／又はワイヤレスチャネルを含むネットワークといった）伝送媒体である。コンピュータシステムとの使用に適した情報を記憶及び／又は提供する公知又は開発されたメディアは、コンピュータ読取り可能な媒体及び／又はメモリ５２０として使用される。

また、更なるメモリが使用される。コンピュータ読取り可能な媒体、メモリ５２０及び／又は他のメモリは、ロングターム、ショートターム、又は、ロングターム及びショートタームのメモリである。これらのメモリは、本明細書で記載された方法、動作及び機能を実現するためにプロセッサ５１０を構成する。メモリが分散されるか、ローカルである場合があり、プロセッサ５１０も分散される場合があり、この場合、更なるプロセッサが設けられる場合がある。メモリは、電気、磁気又は光メモリとして実現されるか、これら又は他のタイプのストレージ装置の組み合わせとして実現される場合がある。さらに、用語「メモリ」は、プロセッサによりアクセスされるアドレス可能な空間におけるアドレスから読取られ、又はアドレスに書き込まれる情報を包含するために十分に広く解釈される。この定義により、ネットワーク上の情報は、メモリ５２０内にある。これは、たとえばプロセッサ５１０が本発明のシステムに従う動作についてネットワークからの情報を検索するためである。

プロセッサ５１０及びメモリ５２０は、任意のタイプのプロセッサ／コントローラ、マイクロコントローラ及び／又はメモリである。プロセッサ５１０は、制御信号を供給し、Ｉ／Ｏ装置５７０からの入力信号に応答して動作を実行し、及び／又はメモリ５２０に記憶された命令を実行する。プロセッサ５１０は、特定用途向け又は汎用の集積回路である。さらに、プロセッサ５１０は、本発明のシステムに従って実行する専用プロセッサであるか、多数の動作のうちの唯一が本発明のシステムに従って実行するために動作する汎用プロセッサである。プロセッサ５１０は、プログラム部分、多数のプログラムセグメントを利用して動作するか、専用又は多用途の集積回路を使用したハードウェア装置である。

勿論、先の実施の形態又はプロセスの何れかの１つは、本発明のシステムに従って１以上の他の実施の形態又はプロセスと結合される。たとえば、所定のシステム、アルゴリズム、技術は、環境の照明システム又は周辺の画像システムの何れかに関して本明細書で記載されたが、容易に理解されるように、これらの多くは、何れかのシステム及び／又は結合されたシステムで適用される。

最後に、先の説明は、本発明のシステムの単なる例示であり、特定の実施の形態又は実施の形態のグループに特許請求の範囲を限定するものとして解釈されるべきではない。したがって、本発明のシステムは本発明の特定の例示的な実施の形態を参照して特に詳細に記載されたが、特許請求の範囲で述べた本発明のシステムの広義であって意図された精神及び範囲から逸脱することなしに、様々な変更及び代替的な実施の形態が当業者により考案されることが理解される。たとえば、例示的な説明では、環境の照明エレメント及び周辺のレンダリング装置は、第一のディスプレイ装置から物理的に離れた装置として例示されているが、これは、特に述べない限り、制限として意図されない。たとえば、１実施の形態では、第一のレンダリング装置（たとえば第一のディスプレイ）及び第二のレンダリング装置は、単一のレンダリング装置の一部を表す。この実施の形態では、レンダリング装置は、壁に基づいたディスプレイの一部とするやり方のような大型のレンダリング装置である。この実施の形態では、レンダリング装置の異なる部分は、第一及び第二のレンダリング装置として動作する。更なる変更は、本発明のシステムの範囲で意図される。したがって、明細書及び図面は、例示的なやり方で考えられ、特許請求の範囲を限定することが意図されない。

特許請求の範囲の解釈において、以下の点が理解される。ａ）単語「有する“comprising”」は、所与の請求項に列挙された以外のエレメント又はステップの存在を排除しない。ｂ）エレメントに先行する単語“ａ”又は“ａｎ”は、複数の係るエレメントの存在を排除するものではない。ｃ）請求項に於ける参照符号は、それらの範囲を制限しない。ｄ）幾つかの「手段」は、同じアイテム又はハードウェア又はソフトウェアで実現される構造又は機能により表される。ｅ）開示されるエレメントは、（たとえばディスクリート及び集積回路を含む）ハードウェア部分、（たとえばコンピュータプログラミングを含む）ソフトウェア部分、及びその組み合わせからなる。ｆ）ハードウェア部分は、アナログ及びデジタル部分の一方又は両方から構成される。ｇ）開示される装置又は部分は、特に述べない限り、互いに結合されるか、又は更なる部分に分離される。ｈ）動作又はステップの特定のシーケンスは、特に述べない限り、必要とされないことが意図される。

本システムの実施の形態に係るディスプレイの視聴経験を向上するために構成される本システムの実施の形態を示す図である。 本発明のシステムの実施の形態に係るシステムの前面図を示す図である。 本システムの実施の形態に係る環境光源を利用した環境照明システムの詳細を例示する上面図である。 本システムの実施の形態に係る例示的な周辺照明システムを示す図である。 本発明のシステムの実施の形態に係るシステムを示す図である。

Claims (44)

1. イメージコンテンツをレンダリングする方法であって、
   第一のレンダリング装置及び第二のレンダリング装置のそれぞれに結合されたプロセッサが、複数の連続する部分を含むコンテンツ信号の現在の部分に対して時間的に前の部分及び後の部分の少なくとも１つを分析して、前記コンテンツ信号の前記現在の部分に含まれる第一のオブジェクトに関連する前記前の部分又は前記後の部分に含まれる第二のオブジェクトを決定するステップと、
   前記第一のレンダリング装置が、前記第一のレンダリング装置のスクリーンに、前記コンテンツ信号の前記現在の部分をレンダリングするステップと、
   前記第二のレンダリング装置が、前記コンテンツ信号の前記現在の部分のレンダリングと同時に、前記スクリーンの背後又は周囲に配置されている壁に、前記第二のオブジェクトをレンダリングするステップと、
   を含む方法。
2. 前記第二のオブジェクトをレンダリングするステップは、前記第一のレンダリング装置に回転可能に取り付けられている前記第二のレンダリング装置が、前記第二のオブジェクトをレンダリングするステップを含む、
   請求項１に記載の方法。
3. 前記プロセッサが、前記スクリーンと前記壁とがなす角度を決定するステップと、
   前記第二のレンダリング装置の角度を調整するステップと
   をさらに含む請求項２に記載の方法。
4. 前記第二のオブジェクトをレンダリングするステップは、前記第一のレンダリング装置でレンダリングされた前記現在の部分よりも低い解像度で前記第二のオブジェクトをレンダリングするステップを含む、
   請求項１から３のいずれか一項に記載の方法。
5. 前記第二のオブジェクトを決定するステップは、前記コンテンツ信号の時間的に前記前の部分及び前記後の部分の少なくとも１つを、前記コンテンツ信号よりも低い解像度で分析するステップを含む、
   請求項１から４のいずれか一項に記載の方法。
6. 前記第二のオブジェクトをレンダリングするステップは、変動する解像度で前記第二のオブジェクトをレンダリングするステップを含み、
   前記変動は、前記第二のオブジェクトの空間及び時間的な位置の少なくとも１つに基づいて決定される、
   請求項１から５のいずれか一項に記載の方法。
7. 前記第二のオブジェクトをレンダリングするステップは、前記第二のオブジェクトの位置に基づいて決定された解像度で前記第二のオブジェクトをレンダリングするステップを含む、
   請求項１から５のいずれか一項に記載の方法。
8. 前記第二のオブジェクトをレンダリングするステップは、前記第二のオブジェクトの時間的な位置に基づいて決定された解像度で前記第二のオブジェクトをレンダリングするステップを含む、
   請求項７に記載の方法。
9. 前記第二のオブジェクトを決定するステップは、前記第二のオブジェクトに関連する補助データを生成し、前記補助データを前記コンテンツ信号と関連付けるステップを含み、
   前記第二のオブジェクトをレンダリングするステップは、前記補助データを利用して、前記第二のオブジェクトをレンダリングするステップを含む、
   請求項１から８のいずれか一項に記載の方法。
10. 前記補助データは、前記コンテンツ信号における画像データに対して補助的なデータの規格のフレームワークで記述される、
    請求項９に記載の方法。
11. 前記補助データは、ＡＭＢＸ（Ambient Experience）データ及びＳＥＩ（Supplemental Enhancement Information）のうちの１つからなる、
    請求項１０に記載の方法。
12. 前記第二のオブジェクトをレンダリングするステップは、環境照明のエレメントとして前記第二のオブジェクトをレンダリングするステップを含む、
    請求項１から１１のいずれか一項に記載の方法。
13. 前記第二のオブジェクトをレンダリングするステップは、周辺の画像エレメントとして前記第二のオブジェクトをレンダリングするステップを含む、
    請求項１から１１のいずれか一項に記載の方法。
14. 前記第二のオブジェクトを決定するステップは、前記第一のレンダリング装置に関して前記第二のレンダリング装置の位置に基づいて前記第二のオブジェクトを決定するステップを含む、
    請求項１から１３のいずれか一項に記載の方法。
15. 前記第二のオブジェクトを決定するステップは、前記第一のレンダリング装置に関して複数の前記第二のレンダリング装置のそれぞれの位置に基づいて前記第二のオブジェクトを決定するステップを含む、
    請求項１から１３のいずれか一項に記載の方法。
16. 前記第二のオブジェクトを決定するステップは、前記イメージコンテンツに関連する補助データに基づいて前記第二のオブジェクトを決定するステップを含む、
    請求項１から１３のいずれか一項に記載の方法。
17. 前記補助データは、ＡＭＢＸ（Ambient Experience）データ及びＳＥＩ（Supplemental Enhancement Information）のうちの１つからなる、
    請求項１６に記載の方法。
18. 前記第二のオブジェクトをレンダリングするステップは、前記第一のレンダリング装置の一方の側に位置される一方の前記第二のレンダリング装置が、一方の前記第二のオブジェクトをレンダリングし、前記第一のレンダリング装置の他方の側に位置される他方の前記第二のレンダリング装置が、他方の前記第二のオブジェクトをレンダリングするステップを含む、
    請求項１から１７のいずれか一項に記載の方法。
19. 前記第二のオブジェクトを決定するステップは、前記コンテンツ信号の時間的に前記前の部分及び前記後の部分のそれぞれを分析して、前記一方の第二のオブジェクト及び前記他方の第二のオブジェクトを決定するステップを含む、
    請求項１８に記載の方法。
20. 前記第二のオブジェクトをレンダリングするステップは、前記第一のレンダリング装置よりも遅いフレームレートで前記第二のオブジェクトをレンダリングするステップを含む、
    請求項１から１９のいずれか一項に記載の方法。
21. 前記第二のオブジェクトは、前記コンテンツ信号の前記現在の部分に対する動き及び幾何学的な関係の少なくとも１つを通して関連付けされる、
    請求項１から２０のいずれか一項に記載の方法。
22. 前記第二のオブジェクトを決定するステップは、前記第一のレンダリング装置で所定の瞬間にレンダリングされる少なくとも１つのサブ領域が動き分析により追跡し、前記第二のオブジェクトを決定するステップを含む、
    請求項２１に記載の方法。
23. 前記動き分析は、前記第一のレンダリング装置についてレンダリングされたとき、前記イメージコンテンツにおける動きの継続に基づいて実行される、
    請求項２２に記載の方法。
24. 前記動き分析は、前記第二のレンダリング装置の幾何学的な位置合わせに対する、前記コンテンツ信号の前記現在の部分から識別された動きの投影である、
    請求項２２に記載の方法。
25. 前記幾何学的な位置合わせは、前記第一のレンダリング装置に関する前記第二のレンダリング装置の位置、及び前記第一のレンダリング装置及び前記第二のレンダリング装置でレンダリングされたコンテンツのサイズの比の少なくとも１つを含む、
    請求項２４に記載の方法。
26. コンピュータに、請求項１から２５のいずれか一項に記載の方法を実行させるためのプログラム。
27. 第一のレンダリング装置及び第二のレンダリング装置のそれぞれにイメージコンテンツをレンダリングさせるプロセッサであって、
    当該プロセッサは、前記第一のレンダリング装置及び前記第二のレンダリング装置のそれぞれに結合され、
    複数の連続する部分を含むコンテンツ信号の現在の部分に対して時間的に前の部分と後の部分の少なくとも１つを分析して、前記コンテンツ信号の前記現在の部分に含まれる第一のオブジェクトに関連する前記前の部分又は前記後の部分に含まれる第二のオブジェクトを決定し、
    前記第一のレンダリング装置のスクリーンに、前記コンテンツ信号の前記現在の部分をレンダリングさせ、
    前記コンテンツ信号の前記現在の部分のレンダリングと同時に、前記第二のレンダリング装置に、前記スクリーンの背後又は周囲に配置されている壁に、前記第二のオブジェクトをレンダリングさせる、
    プロセッサ。
28. 当該プロセッサは、前記第二のレンダリング装置に、前記コンテンツ信号の前記現在の部分よりも低い解像度及び遅いフレームレートの少なくとも一方で前記第二のオブジェクトをレンダリングさせる、
    請求項２７記載のプロセッサ。
29. 当該プロセッサは、前記コンテンツ信号の時間的に前記前の部分及び前記後の部分の少なくとも１つを、前記コンテンツ信号よりも低い解像度で分析する、
    請求項２７又は２８に記載のプロセッサ。
30. 当該プロセッサは、前記第二のレンダリング装置に、変動する解像度で前記第二のオブジェクトをレンダリングさせ、
    前記変動は、前記第二のオブジェクトの位置に基づいて決定される、
    請求項２７から２９のいずれか一項に記載のプロセッサ。
31. 当該プロセッサは、前記第二のレンダリング装置に、前記第二のオブジェクトの位置に基づいて決定された解像度で前記第二のオブジェクトをレンダリングさせる、
    請求項２７から２９のいずれか一項に記載のプロセッサ。
32. 当該プロセッサは、前記第二のレンダリング装置に、前記第二のオブジェクトの時間的な位置に基づいて決定された解像度で前記第二のオブジェクトをレンダリングさせる、
    請求項３１に記載のプロセッサ。
33. 当該プロセッサは、前記第二のレンダリング装置に、前記第二のオブジェクトに関連する補助データを利用して、前記第二のオブジェクトをレンダリングさせる、
    請求項２７から３２のいずれか一項に記載のプロセッサ。
34. 前記補助データは、ＡＭＢＸ（Ambient Experience）データ及びＳＥＩ（Supplemental Enhancement Information）のうちの１つからなる、
    請求項３３に記載のプロセッサ。
35. 当該プロセッサは、前記第二のレンダリング装置に、環境照明のエレメント及び周辺のイメージエレメントの少なくとも１つとして前記第二のオブジェクトをレンダリングさせる、
    請求項２７から３４のいずれか一項に記載のプロセッサ。
36. 当該プロセッサは、前記第二のレンダリング装置に、環境照明のエレメントとして前記第二のオブジェクトをレンダリングさせ、
    前記第二のレンダリング装置は、発光ダイオードアレイ及びピコプロジェクタの少なくとも１つを含む、
    請求項３５に記載のプロセッサ。
37. 当該プロセッサは、前記第一のレンダリング装置に関して前記第二のレンダリング装置の位置に基づいて前記第二のオブジェクトを決定する、
    請求項２７から３４のいずれか一項に記載のプロセッサ。
38. 当該プロセッサは、前記第一のレンダリング装置に関して複数の前記第二のレンダリング装置のそれぞれの位置に基づいて前記第二のオブジェクトを決定する、
    請求項２７から３６のいずれか一項に記載のプロセッサ。
39. 当該プロセッサは、前記コンテンツ信号に関連するＡＭＢＸ（Ambient Experience）データ及びＳＥＩ（Supplemental Enhancement Information）のうちの１つである補助データに基づいて前記第二のオブジェクトを決定する、
    請求項２７から３６のいずれか一項に記載のプロセッサ。
40. 当該プロセッサは、前記第一のレンダリング装置の一方の側に位置される一方の前記第二のレンダリング装置に、一方の前記第二のオブジェクトをレンダリングさせ、前記第一のレンダリング装置の他方の側に位置される他方の前記第二のレンダリング装置に、他方の前記第二のオブジェクトをレンダリングさせる、
    請求項２７から３９のいずれか一項に記載のプロセッサ。
41. 当該プロセッサは、前記コンテンツ信号の前記前の部分又は前記後の部分に含まれるオブジェクトの空間的位置及び時間的位置の少なくとも１つに基づいて前記第二のオブジェクトを決定する、
    請求項２７から３６のいずれか一項に記載のプロセッサ。
42. 請求項２７から４１のいずれか一項に記載のプロセッサと、
    前記第一のレンダリング装置と、
    前記第二のレンダリング装置と
    を備えるシステム。
43. 前記第二のレンダリング装置は、前記第一のレンダリング装置に回転可能に取り付けられている、
    請求項４２に記載のシステム。
44. 前記プロセッサは、前記スクリーンと前記壁とがなす角度を決定し、前記第二のレンダリング装置の角度を調整させる、
    請求項４３に記載のシステム。

Images