JP5933931B2 - 設定メニューを表示する方法及び対応するデバイス - Google Patents

Description

本発明は、画像またはビデオ処理の分野に関し、特に、三次元（３Ｄ）画像及び／またはビデオ処理に関する。本発明はまた、画像補間の分野、並びに画像及び／またはビデオの３Ｄに関連付けられている特性の設定の分野に関する。

従来技術によれば、例えば立体知覚等の、レリーフの知覚の復元のためにビデオ処理において使用される様々な方法がある。立体知覚において、２つの異なったビデオカメラまたは２つの異なったスチールカメラを用いて、互いに横方向にオフセットした異なった２つの視点から、同一の場面の２つの映像が記録される。同一の場面のこれらの２つの映像は、ディスプレイデバイス（例えば、ＰＤＰ（プラズマディスプレイパネル）タイプのスクリーン、ＬＣＤ（液晶ディスプレイ）タイプのスクリーン、またはビデオプロジェクタによるスクリーン等）に、時間的に順次的な方式（左画像の後に右画像等）または空間的インタレース方式（左画像線の後に右画像線）で表示され、レリーフの知覚、すなわち奥行き情報が復元される。３Ｄ効果の大きさまたは３Ｄ画像内のレリーフの知覚は、左画像と右画像とのディスパリティ（disparity）に直接依存している、すなわち、２つの画素、すなわちディスプレイデバイスのレベルにおけるビデオ情報の同一のアイテムを表す、言い換えれば記録された場面の同一の要素を表す左画像の画素及び右画像の画素を離間させる距離（例えば、画素の数で測定され得る）に直接依存している。通常は、フィルムまたはビデオの左画像と右画像とのディスパリティは、ディレクターによって設定されかつ決定され、場面を撮影する左カメラと右カメラとの間の距離に対応する。これらの２つのカメラは、大抵６．５ｃｍの距離で離間されており、この距離は人間の目の間の平均距離に対応している。

平均値に対応する選択された距離でカメラが離間された場合、ディスパリティに適応する必要、すなわち３Ｄ効果の大きさに適応する必要が感じられるので、３Ｄフィルムまたは画像を見る個人の各々は、立体知覚３Ｄ画像を形成する左画像と右画像とのディスパリティを個人の視点に適応させて視覚疲労を避けるかまたは軽減することが可能である。さらに、著しい３Ｄ効果は、後に３Ｄ効果の大きさを調整、すなわち画像の奥行きを設定しようとする観覧者の邪魔をし得る。画像の奥行きを設定可能にするＧＵＩ（グラフィックユーザインタフェース）は、特許文献米国特許第ＵＳ６，７２７，９２４号Ｂ１（２００４年４月２７日に特許付与）によって公知になっている。このＧＵＩまたはこの設定メニューは、底部から頂部または頂部から底部に移動する画像前景内を垂直方向に従って移動して、画像奥行きを設定する設定ボタンを含んでいる。奥行き設定が高くされると、設定メニューが画像内にさらに押し込まれ、選択された奥行き設定の強度の表示が観覧者に提供される。しかし、観覧者による奥行きの設定に対応する奥行きに関連する視覚情報は、特に、３Ｄ効果の全体の大きさを示すことに関して、すなわち特に選択された最小及び最大奥行き値を示すことに関して完全ではない。

本発明の目的は、従来技術のこれらの欠点の少なくとも１つを克服することである。

さらに具体的に言えば、本発明の目的は、観覧者の設定のグラフィック表示を特に最適化することである。

本発明は、設定メニューを表示する方法に関する。

設定メニューを表示する方法は：
−次元の１つが奥行き方向に従って伸張している三次元グラフィック要素を含む設定メニューを表示するステップと、
−奥行き情報の少なくとも１つのアイテムを表す少なくとも１つの設定をその三次元グラフィック要素上に表示するステップとを含む。

特定の特徴によれば、設定メニューを表示する方法は、その三次元グラフィック要素の少なくとも一部を選択するステップを含み、その選択された三次元グラフィック要素の少なくとも一部は、その少なくとも１つの設定に関連付けられている。

有利な方法において、設定メニューを表示する方法は、奥行きが少なくとも１つの設定に基づいている少なくとも１つの三次元画像を表示するステップを含み、その少なくとも１つの画像の表示は、三次元グラフィック要素の表示における少なくとも１つの設定の適用の後になされる。

有利なことに、設定メニューを表示する方法は、少なくとも１つの三次元画像を表示するステップを含み、その少なくとも１つの三次元画像の奥行きは、少なくとも１つの設定に基づいており、その少なくとも１つの画像を表示するステップは、その少なくとも１つの設定を表示するステップと同時になされる。

特定の特徴によれば、その少なくとも１つの設定は、表示される画像の最小奥行きに対応する奥行き情報の第１のアイテム、及び表示される画像の最大奥行きに対応する奥行き情報の第２のアイテムを表している。

特定の特徴によれば、その少なくとも１つの設定は、表示される画像の平均奥行きに対応する奥行き情報のアイテムを表している。

有利なことに、その方法は、ユーザのジェスチャの解析ステップを含み、その解析の結果が解釈されて少なくとも１つの設定が制御される。

他の特徴によれば、そのユーザのジェスチャの解析は、ユーザの体の２つの決められた部分を離間させている距離の判定ステップを含み、その判定された距離は、少なくとも１つの設定に関連付けられている。

以下の説明を読むことによって、本発明がさらに良く理解され、他の特定の特徴及び利点が明らかになる。説明は、添付の図面を参照して行われる。
従来技術の特定の例に従って、観覧者による奥行き及びパララックス（parallax）知覚を示す図である。 本発明の特定の実施形態に従って、ディスプレイデバイスにおける３Ｄ画像内の設定メニューの３Ｄグラフィック要素を示す図である。 本発明の特定の実施形態に従って、図２の３Ｄグラフィック要素において表示されるいくつかの設定レベルを示す図である。 本発明の特定の実施形態に従って、図３Ａと異なる設定メニューの３Ｄグラフィック要素のグラフィック表示を示す図である。 本発明の特定の実施形態に従って、ユーザによって選択されたディスパリティ値に従った画像の補間方法を示す図である。 本発明の特定の実施形態に従って、ユーザによって選択されたディスパリティ値に従った画像の補間方法を示す図である。 本発明の特定の実施形態に従って、ユーザによって選択されたディスパリティ値に従った画像の補間方法を示す図である。 本発明の特定の実施形態に従った、本発明の実施例に関するマルチメディア端末の構造を図式的に示す図である。 本発明の２つの特定の実施形態に従って、図５のマルチメディア端末において実装される設定メニューを表示する方法を示す図である。 本発明の２つの特定の実施形態に従って、図５のマルチメディア端末において実装される設定メニューを表示する方法を示す図である。

図１は、観覧者によって知覚される奥行きと、ディスプレイデバイスまたはスクリーン１００を見ている観覧者の左目１０及び右目１１の各々によって視覚されている左画像と右画像との間のパララックス（parallax）効果との間の関係を示している。２つの異なった視点に従って同一の場面の左画像及び右画像（例えば、６．５ｃｍの距離で互いに水平方向にオフセットしている２つのカメラによってキャプチャされている）を時間的に順次的に表示している場合、観覧者は、アクティブ眼鏡（active glasses）を装備し、左目掩蔽及び右目掩蔽が、例えば、ＬＣＤまたはプラズマタイプのスクリーン上の右画像及び左画像の表示と各々同調する。この眼鏡のおかげで、観覧者の右目は右画像しか視覚せず、左目は左画像しか視覚しない。空間的にインタレースされた左画像及び右画像の表示の場合、左画像及び右画像の画像線が以下の態様にてディスプレイデバイス上でインタレースされる。すなわち左画像の１つの画像線の後に右画像の１つの画像線（画像線の各々が２つのカメラによって撮影された場面の同一の要素を示す画素を含んでいる）、その後、左画像１つの画像線、さらにその後右画像の１つの画像線が配される等の態様である。インタレースされた画像線の表示の場合、観覧者は、右目に右画像線のみを視覚可能とし、左目に左画像のみを視覚可能とするパッシブ眼鏡を装着する。この場合、右画像線は、第１の方向に従って偏向（polarize）させられ、左画像線は第２の方向に従って偏向させられ、パッシブ眼鏡の左及び右レンズは、左レンズが左画像線に表示される情報を通過させることが可能であり、右レンズが右画像線に表示される情報を通過させることが可能であるように結果として偏向させられている。図１は、観覧者から、さらに具体的には観覧者の右目１１及び左目１０の視点方向と直行する平面であって左目及び右目を含んでいる平面から距離すなわち奥行きＺｓの位置にあるディスプレイスクリーンまたはデバイス１００を示している。奥行きの基準、すなわちＺ＝０は、観覧者の目１０及び１１によって形成される。２つのオブジェクト１０１及び１０２は、観覧者の目によって視られ、第１のオブジェクト１０１はスクリーン１ １００の奥行きよりも小さい奥行きＺ_front（Ｚ_front＜Ｚｓ）にあり、第２のオブジェクト１０２はスクリーン１００の奥行きよりも大きい奥行きＺ_rear（Ｚ_rear＞Ｚｓ）にある。換言すれば、オブジェクト１０１は、観覧者によりスクリーン１００との関係で前景において視られ、オブジェクト１０２は、スクリーン１００との関係で後景において視られる。スクリーンとの関係で後景において視覚されるオブジェクトに関して、このオブジェクトを表示する左画像の左画素及び右画像の右画素は、観覧者の左目１０と右目１１を離間させる距離ｔ_e１３よりも小さいディスパリティを有するべきである。すなわち、スクリーン１００におけるこのオブジェクトの表示の左画像と右画像との間のＸ方向の位置の差は、距離ｔ_e13よりも小さい。左画像及び右画像において同一のオブジェクトを表示する左画素及び右画素のスクリーン上のＸ方向における位置の差は、左画像と右画像との間のパララックス（視差）のレベルに対応する。スクリーン１００に表示されるオブジェクトの観覧者によって知覚される奥行き、観覧者のスクリーン上のパララックス及びスクリーンからの距離の間の関係は、以下の式で表される。

ここで、
Ｚ_Pは知覚される奥行き（メートル単位、ｍ）、
Ｐは左画像と右画像との間のパララックス、
ｄは伝達されるディスパリティ情報、
ｔ_eは眼球間距離（ｍ）、
Ｚ_sは観覧者とスクリーンとの間の距離（ｍ）、
Ｗ_sはスクリーンの幅（ｍ）、
Ｎ_colはディスプレイデバイスの列の数（画素単位）である。
式２は、ディスパリティ（画素単位）をパララックス（メートル単位）に変換可能とする。

図２は、本発明の特定の実施形態による、ディスプレイデバイス２上の３Ｄ画像内に挿入されている３Ｄ設定メニューの表示を示している。設定メニューは、ユーザインタフェースを介して、ユーザまたは観覧者がオーディオ／ビデオフィルムタイプのマルチメディアドキュメント等のパラメータを設定することを可能にし、設定可能なパラメータは、表示パラメータ（例えば輝度、明度、コントラスト、画像奥行き等）及び／または音声に関するパラメータ（音声ボリューム、バランス、高音域及び低音域等）を含む。例えば、三次元（３Ｄ）コンテンツを表示する立体知覚のタイプの画像は、ディスプレイデバイス２（例えば、プラズマもしくはＬＣＤスクリーン、またはビデオプロジェクタによって画像を投影されたスクリーン）上に表示される。画像は、三次元オブジェクト２１から２７を含み、これらのオブジェクトの各々は、所定の奥行き、すなわちこれらのオブジェクトを見る観覧者からの所定の距離で、画像を見る観覧者によって視覚される。観覧者が見るオブジェクト（１または複数）から観覧者を離間させている距離が長くなるほど、オブジェクト（１または複数）の奥行きが大きくなる。すなわち、オブジェクトの奥行きは、オブジェクトを見る観覧者と相対的に判断される。これらのオブジェクトの一部２１、２２、２４及び２７は、スクリーン２の前に、すなわち、スクリーン２から所定の距離だけ前に位置している観覧者に対するスクリーンの奥行きよりも小さい奥行きで視覚される。その一方で、家を表しているオブジェクト２６は、スクリーン２の後ろに、すなわち後景に、つまり、スクリーン２の奥行きよりも大きい奥行きで視覚される。木を表しているオブジェクト２３は、スクリーンの前景、すなわちスクリーン２から所定の距離のところで画像を見ている観覧者に対してスクリーン２の奥行きと同一の奥行きで視覚される。最後に、道を表しているオブジェクト２５は、道を形成している画素の空間的位置によって異なっている奥行きで視覚される。オブジェクト２５は、観覧者によって見られている場合、画像の前景から始まり、オブジェクト２３のレベルのスクリーンの前景を通って、オブジェクト２６のレベルの後景において終わる。三次元で表されているグラフィック要素２０も、画像内に挿入される。グラフィック要素２０は、画像奥行き、すなわち画像のオブジェクト２１から２７の奥行きを設定するための設定メニューの一部である。このグラフィック要素２０は、奥行き情報のアイテム、例えば奥行き設定のレベルに各々対応している８個の単位グラフィック要素２０１から２０８等のいくつかの単位グラフィック要素から構成されている。図２の例において、単位グラフィック要素（すなわち、個別的に選択可能であり、本願の他の部分においてインクリメントと称される）２０３、２０４及び２０５が選択されてグラフィック的に強調、例えばグレーに陰影をつけられる。これらのインクリメント２０４及び２０５は、画像の奥行きの設定を表し、観覧者が奥行きの大きさのレンダリング（rendering）の実際のアイデアを持って設定することを可能にする。グラフィック要素２０は、画像の奥行きにおいて３Ｄで表されており、観覧者が、設定メニューの中間段階を介して、特にグラフィック要素２０を介して、観覧者がパラメータを設定した設定に対応している奥行きの印象を一見しただけで考慮に入れることを容易にする。８個のインクリメント２０１から２０８は、スクリーン２に表示される画像に対して設定可能である奥行きの最大の大きさに有利に対応する。観覧者によって設定される奥行きの特定のパラメータ無しに、３Ｄ画像が、初期奥行きレベル（本願の他の部分においてデフォルト設定と称される）、すなわちスクリーン２に提供される奥行きレベル、つまり、画像の記録においてまたはオペレータの撮影後の編集において設定されたパラメータ奥行きレベルでスクリーン２上に表示される。

観覧者によって判定されたコマンドの導入無しには、グラフィック要素２０によって表される設定メニューはスクリーン２に表示されない。グラフィック要素２０は、ユーザからのコマンドで、例えば、ディスプレイデバイス２のリモートコントロールデバイスの特定にキーを押すことによって、奥行き設定キー（例えば、＋及び−タイプ、または↑及び↓もしくは←及び→タイプ）を押すことによって、メニューの選択によって、音声コマンドの発音によって、または観覧者によってなされたジェスチャの検知によって表示がなされ、ジェスチャは、例えば、奥行きセンサを装備してスクリーン２に亘って配されておりスクリーン２の前に位置している観覧者の任意のジェスチャを検出するカメラによって検出される。

観覧者による奥行き設定メニューの表示のコマンドの導入において、グラフィック要素２０が表示される。有利なことに、グラフィック要素２０は、オブジェクトが存在しない画像部分のレベルにおいて表示される。変形例によれば、グラフィック要素２０は、観覧者によって判定されているかまたは観覧者によって事前設定されている画像の部分に表示される。他の変形例において、グラフィック要素は、画像において透明性を有して表示され、画像内に含まれているオブジェクトを完全には覆い隠さない。

設定メニューの最初の表示において、すなわち、奥行きの設定が、スクリーン２において観覧者が見ているビデオに関して観覧者主導で行われていなかった場合、グラフィック要素２０は、強調されたデフォルト奥行き設定と共に、すなわち、デフォルト奥行き設定に対応するインクリメント（１または複数）２０３から２０５を視覚的に明らかにしつつ表示される。グラフィック的に強調されているインクリメント２０３から２０５は、受信されて表示されている画像のコンテンツに適用されている３Ｄ効果の大きさを示している。強調されていないインクリメント２０１、２０２、２０６、２０７及び２０８は、観覧者が奥行きを変更するために選択可能である画像に使用可能でありかつ可能とする奥行き設定に有利に対応する。第１のインクリメント２０１は、パラメータを設定可能な奥行きの最小値（観覧者と最も前に見られる画像との間の最小距離に対応する）に対応し、インクリメント２０８は、画像に関するパラメータを設定可能である最大奥行き値（観覧者と最も後ろに見られる画像のオブジェクトとの間の最大距離に対応する）に対応する。変形例によれば、デフォルト設定は、対応するインクリメントの強調によっては表示されないが、最小及び最大奥行き値には対応する。すなわち、デフォルト設定は、グラフィック要素２０のインクリメントのセット２０１から２０８に対応する。変形例によれば、観覧者は、例えば、前方に向かう画像の奥行きを抑えて全てのオブジェクトが前景に（すなわち、本質的にスクリーン２の直前に）見られるようにすることによって、または後方に向かう画像の奥行きをオフセットさせて全てのオブジェクトが後景に（すなわち本質的にスクリーン２の背後に）見られるようにすることによっては、３Ｄ効果の大きさを減少させることができない、すなわち、スクリーンの奥行きの周辺の画像の奥行きの大きさを減少させることができない。

奥行き設定を変更するために、観覧者は、これらのインクリメントを強調することによって、例えば、色を変更することによって、奥行きに関して行いたい設定に対応するインクリメントを表示する。こうするために、観覧者は、例えば、移動カーソルをインクリメント上で移動させて、特定のコマンドの導入による（例えば、「ＯＫ」タイプのキー等の特定のキーを押すことによるか、リモートコントローラによるか、または「ＯＫ」動作もしくは単語「選択」等の所定のジェスチャの実行、所定の音声もしくは単語の発声の実行による）所望の設定に対応するインクリメント（１または複数）を選択する。有利なことには、画像の奥行きの設定は、奥行きに関する画像のパラメータを動的に変更し、観覧者は、スクリーン２に表示される画像における自身の奥行き設定の効果を即座に見る。画像は、画像に関連付けられたディスパリティ情報から補間される画像の生成によって、奥行き設定に従って変更される。新しい補間画像の生成は、図４Ａから図４Ｃに関してさらに詳細に説明される。観覧者によって実行される奥行きの設定は、メモリ内に保存され、観覧者が再度奥行き設定を変更したい場合に表示されるのがこの設定である。

変形例によれば、奥行きの設定は、画像に適用される前に最初に設定メニューの表示に適用される。すなわち、その奥行きに関連する新しい設定を伴う画像の表示は、その奥行きに関する新しい設定を考慮した設定メニューの表示に続く。この変形例によれば、ユーザは、画像に設定を適用する前に、設定メニューのグラフィック要素において奥行き設定の影響を実際に事前に見ることができる。すなわち、目で見て、設定がユーザの狙いに対応していなければ、画像にその設定を適用する前にユーザが設定を変更することができる。

図３Ａは、本発明の３つの実施形態によるグラフィック要素２０に表示されるいくつかの設定レベルを示している。図３Ａに示されている例において、グラフィック要素３ａ、３ｂ、及び３ｃ（図２のグラフィック要素２０に対応する）は、要素部分３１ａから３９ａ、３１ｂから３９ｂ、及び３１ｃから３９ｃによって各々構成される三次元目盛り（scale）の形式を有しており、その要素部分は、本願の他の部分においてインクリメントとも称される。グラフィック要素３ａによって示される例において、単一のインクリメント３８ａが選択されている。この場合、この関連する奥行き設定は、３Ｄ効果の限定された大きさ（観覧者に最も近いオブジェクトと、そのオブジェクトよりも観覧者からさらに遠いオブジェクトとの間の奥行きが僅かな差であり、最小奥行き値と最大奥行き値が互いに近似しており、例えば、最初の３Ｄの大きさの１／９）に対応している。インクリメント３５ａがスクリーン前景の奥行きに近づく奥行きレベルに対応することを考えると、インクリメント３８ａに対応する設定は、観覧者から見てスクリーンの後ろに行くようにオブジェクトを移動させる、すなわち、オブジェクトの奥行き値がスクリーンの奥行き値よりも大きくなる。

グラフィック要素３ｂによって示される例において、３つのインクリメント３４ｂ、３５ｂ及び３６ｂが選択されている。この場合、関連する奥行き設定は、３つのインクリメントが選択されているので、要素３ａに関して示された設定に対応する量よりも大きな量に対応する。この例によれば、３Ｄ効果は、スクリーンの奥行きの周辺に広がり（インクリメント３５ｂに対応すると仮定する）、画像の奥行きの大きさは、スクリーンの前景の奥行きの周辺を中心にしている。奥行きの最小値は、インクリメント３４ｂに対応し、オブジェクトをスクリーンの前に見ることを可能にし（すなわち、スクリーンの奥行き値よりも小さい奥行き値を有し）、奥行きの最大値は、インクリメント３６ｂに対応し、オブジェクトをスクリーンの後ろにすることを可能にする（すなわち、スクリーンの奥行き値よりも大きな奥行き値を有する）。グラフィック要素３ｂが全体として画像のデフォルト設定に対応し、インクリメント３１ｂが最小のデフォルト奥行き値に対応し、インクリメント３９ｂが画像の最大のデフォルト値に対応すると仮定した場合、このような設定は、スクリーン前景周辺を中心とする３Ｄ効果の大きさの減少に対応する。

グラフィック要素３ｃによって示される例において、６つのインクリメント３１ｃから３６ｃが選択されている。この場合、６つのインクリメントが選択されているので、関連する奥行き設定は、要素３ａ及び３ｂにおいて示されている設定に対応する大きさよりも大きな大きさに対応している。この例によれば、３Ｄ効果は、全体的にスクリーンの前にあり（引き続き、スクリーン奥行きがインクリメント３５ｃに対応すると仮定する）、画像の奥行き大きさは、本質的にスクリーン前景の前方に向けられている。奥行きの最小値は、インクリメント３１ｃに対応し、オブジェクトをスクリーンの前方に見ることを可能にし（すなわち、スクリーンの奥行き値よりも小さい奥行き値を有し）、奥行き値の最大値は、インクリメント３６ｃに対応し、オブジェクトをスクリーンの僅かに後ろに見ることを可能とする（すなわち、スクリーンの奥行き値よりも大きな奥行き値を有する）。グラフィック要素３ｃが全体として画像のデフォルト設定に対応し、インクリメント３１ｃが最小のデフォルトの奥行き値に対応し、インクリメント３９ｃが画像の最大のデフォルトの奥行き値に対応すると仮定すると、このような設定は、３Ｄ効果の大きさの僅かな低減に対応し、スクリーンの後ろにおける効果は、デフォルトの設定よりも重要ではなくなり（インクリメント３７ｃから３９ｃが選択されていない）、一方でスクリーンの前方の効果は、デフォルトの設定と対応している（インクリメントのセット３１ｃから３５ｃが選択されている）。

スクリーンの奥行きがグラフィック要素３ａ、３ｂ及び３ｃの各々のインクリメント３１ａ、３１ｂ及び３１ｃの奥行きのレベルに対応すると考える場合、可能な設定は、オブジェクトをスクリーンの後景に移動させるか、またはオブジェクトをスクリーンの前景に維持することを可能にするのみである。反対に、スクリーン奥行きが、グラフィック要素３ａ、３ｂ及び３ｃの各々のインクリメント３９ａ、３９ｂ及び３９ｃの奥行きのレベルに対応すると考える場合、可能な設定は、オブジェクトをスクリーンの前景、すなわち、スクリーンの前景かまたはスクリーンの前方に移動させることを可能にするのみである。

図３Ｂは、本発明の特定の実施形態による設定メニューの３Ｄグラフィック要素のグラフィック表示を示しており、一般形態が図３Ａの形式と異なっている。図３Ｂの例において、奥行き設定グラフィック要素は、左に向かっている奥行きＺの方向に伸張している三次元内の５個の矩形平行六面体３１ｄから３５ｄを含んでいる。平行六面体３１ｄから３５ｄの各々は、グラフィック要素３ｄの一部に対応しており、各々の部分が所定の奥行き設定に関連付けられている。

本質的に、グラフィック要素の形式は、図３Ａ及び３Ｂに関して説明されている形式、すなわち、３Ｄラダー形式または一連の３Ｄ平行六面体に限定されず、また任意の三次元幾何学図形形式、例えば三次元円板によって表される要素部分に分割されている三次元円柱、または、例えば、三次元球体スライスによって表される要素部分に分割されている球等に拡張可能である。同様に、グラフィック要素の選択された要素部分（１または複数）の表示は、他の非選択部分の色変化に限定されず、例えば、選択された部分の質感の変更による、非選択部分を透明にすることによる、または選択された部分にレリーフを入れることによる公知の強調方法に拡張可能である。

図４Ａから図４Ｃは、本発明の特定の実施形態による、ユーザによって選択されたディスパリティ値に従った画像の補間の方法を示している。ディスパリティマップを用いた画像補間は、画像間の画素のディスパリティを考慮した１またはいくつかの参照画像からの中間画像の補間である。実際、図１に関して上述したように、スクリーン２に表示される立体画像は、左画像及び右画像の組み合わせによって得られ、左画像及び右画像は同一の場面を表しているが２つの異なった視点を有している。この結果、左画像及び右画像で視覚される同一のオブジェクトは、これらの画像の各々において現れるが、画像の各々において異なった空間的位置を有している。キャプチャされたオブジェクトは、右画像において所定のｘ位置に現れ、同一の画像が左画像において数画素移動したｘ位置に現れる。この空間的移動は、右画像及び左画像の組み合わせの結果生ずる立体画像のディスパリティに対応し、画像の組み合わせが人間の脳によってなされてレリーフが知覚可能になる。従って、右基準画像及び左基準画像のペアのうちの左基準画像から（または右基準画像から）開始して、変更されたディスパリティを伴う補間によって新しい左画像（新しい右画像の各々）の生成を可能とする。基準画像（基準画像の各々）と新しく生成された左画像（または新しく生成された右画像の各々）の組み合わせは、結果として生成される立体画像を結果として変更されている奥行き情報（ディスパリティに関連付けられている）と共に取得することを可能にする。

画像補間は、左基準画像と右基準画像とを結び付けるディスパリティベクトルに沿って補間画像上に基準画像（左または右）を投影することを必要とする。図４Ａは、例えば、立体画像の左画像及び右画像に対応する２つの基準画像Ｊ４０及びＫ４１、並びに２つの画像Ｊ４０とＫ４１との間に位置している補間画像Ｈ４０ｉを示している。画像Ｊ４０の画素ｕ４０１の補間によって画像Ｈ４０ｉの補間画素ｕ′４０１ｉを得るために、画像Ｊ４０の完全なディスパリティマップを画像Ｈ４０ｉ上に投影して、画像Ｈ４０ｉの画素にディスパリティ値を割り当てることによって、補間画像Ｈ４０ｉのディスパリティマップを計算することが必要である。このディスパリティマップの計算は、画像Ｊ４０の全画素数以下の、画像Ｊ４０を表す多数の画素に関して行われる。画像Ｊの画素ｕ４０１は、ディスパリティ値ｄｉｓｐ（ｕ）を有している。画像Ｋ内の対応する画素４１１は、ｕ−ｄｉｓｐ（ｕ）によって定義され、同一の画像線上に配される（垂直変位が存在しない）。画像Ｈ内の対応する画素は、ｕ−ａ．ｄｉｓｐ（ｕ）によって定義され、スケール因子（scale factor）ａは、基線ＪＨとＪＫとの間の比（画像Ｊ、Ｈ及びＫが位置合わせされているときに得られる）である。因子ａは、０と１との間に有利に含まれる。図４Ｂは、補間画像Ｈを得るための画像Ｊのディスパリティ補償補間をさらに正確に示している。補間画像Ｈのｕ′及びｖ′は、画像Ｊの画素ｕ４０１及びｖから、ディスパリティ値ｕ及びｖ、ｄｉｓｐ（ｕ）及びｄｉｓｐ（ｖ）の各々を用いて各々予測される。ディスパリティベクトルに沿った画像Ｊの画素ｕ及びｖの投影によって得られた画像Ｈの点ｕ′及びｖ′は、位置ｕ′＝ｕ−ａ．ｄｉｓｐ（ｕ）及びｖ′＝ｖ−ａ．ｄｉｓｐ（ｖ）に各々配される。その後、ディスパリティ値は、画像Ｈ内のｕ′及びｖ′に最も近い画素、すなわちｕ^H４０１ｉ及びｖ^Hに各々割り当てられる。ＪのディスパリティマップをＨ上へ投影すると、ホールが形成される。実際、補間画像Ｈのいくつかの画素は、図４Ｂの画素４０５の場合のようにどのディスパリティ値も割り当てられず、ディスパリティベクトルに沿った画像Ｊの画素の画像Ｈ上への投影は、この画素には発生しない。この現象は、例えば、画像Ｊの一方の画素から他方の画素へのディスパリティの変化が著しい場合に発生する。従って、例えば、空間的補間によって、画像の再構築されたディスパリティマップ内のホールを埋めることが必要である。このことについて３つ事例が示される。第１の事例において、ホールは１画素未満のサイズを有しており、これらのホールは同一画像線上でホールを囲んでいる画素のディスパリティ値を平均化することによって埋められる。変形例によれば、ホールはその画像線上の最も近接した画素のディスパリティ値を使用して埋められる。第２の事例において、隔離画素、すなわちディスパリティ値を持たない画素によって囲まれたディスパリティを有する画素が除去される、すなわちこれらの画素に割り当てられたディスパリティ値が考慮から外される。実際には、これらの画素に割り当てられたディスパリティは、隣接した画素のディスパリティ値に対してはコヒーレント（coherent）ではなく、ディスプレイ内で視覚的欠陥を生成し得る。第３の事例において、ホールは１画素よりも大きいサイズである。この第３の事例において、これらのホールは閉塞（すなわち、画像Ｈの画素が、画像Ｋの対応する画素によって隠されている）及びこのホールの画素のディスパリティに対応し、これらに割り当てられるディスパリティ値は、背景ディスパリティ値であると考えられる。

ディスパリティマップが、補間画像Ｈ４０ｉに対して一度取得されると、画像間補間（（すなわち、画像ＪとＫとの間）がディスパリティベクトルに沿って行われ、グレイレベル値が取得されて、補間画像Ｈ４０ｉの画素に割り当てられる。２つのディスパリティベクトルタイプが識別可能である。
−画像Ｊのディスパリティマップの投影によって定義されるベクトル：補間画像の画素に割り当てられるグレイレベルが、一方が画像Ｊに属し、他方が画像Ｋに属しているベクトルの２つの先端点のグレイレベルから計算される。
−空間的に補間されている（すなわち、上述のように埋められたホールに対して）ベクトル：補間画像Ｈに対応する画素が、画像Ｊ内で閉塞させられていると仮定する。従って、これらの画素は、画像Ｋの画素から補間され、これらの画素に割り当てられるグレイレベルが、画像Ｋに属しているベクトルの先端点のグレイレベルから計算される。

図４Ｃは、２つの受信参照画像からいくつかの画像を補間する例を示している。図４Ｃの例によると、６個の画像４０１１から４０１６が、ディスパリティ補償補間によって、参照画像４０１及び４１１の少なくとも１つから取得される。この例によると、スケール因子が０と１との間に含まれている。すなわち、全ての補間画像４０１１から４０１６が基準画像４０１と４１１との間に含まれている。この例によると、３Ｄ効果の最大の大きさは、基準画像４０１及び基準画像４１１を組み合わせることによって取得され、基準画像４０１または４１１を補間画像４０１１から４０１６と組み合わせることによって得られた３Ｄ効果の大きさは、補間画像が基準画像に近接しているほど小さくなる。最も小さい大きさを有する３Ｄ効果は、画像４０１と４０１１とを組み合わせることによって、または画像４１１と４０１６とを組み合わせることによって得られる。

本質的に、本発明は、参照画像の少なくとも１つからの６個の画像の補間に限定されず、ｘ個の画像、例えば、７、１０、２０、５０、１００、またはそれよりも多くの画像の補間にも拡張される。さらに、本発明は、元々の３Ｄ効果の大きさよりも小さい大きさの３Ｄ効果を生成するための画像の補間（すなわち、スケール因子が１未満）に限定されず、基準画像の組み合わせによって得られた３Ｄ効果の大きさよりも大きい大きさの３Ｄ効果を取得するための画像の補間（すなわち、スケール因子が１よりも大きい）に拡張可能である。

図５は、本発明の特定の実施形態による、本発明の実装のためのマルチメディア端末５の構造を図式的に示す。端末５は、ディスプレイデバイス５０１を備えている。端末５は、プログラムメモリに接続されている中央演算ユニット５０２、及び高ビットレートデジタルネットワーク５１０と通信して、オーディオ／ビデオデータの伝送を可能にするためのインタフェース５０８を含んでいる。このネットワークは、例えばＩＥＥＥ１３９４規準に準拠しているネットワーク等である。端末５は、リモートコントローラ５１１から信号を受信するための赤外線信号受信機５０３、データベースの記憶のためのメモリ５０７、及びディスプレイデバイス５０１に伝送される音声映像信号の生成のためのオーディオ／ビデオデコーディングロジック５０９も含んでいる。リモートコントローラ５１１は、指示キー↑、↓、→、及び←、数字キーパッド、並びに「ＯＫ」キーを備えている。モーションセンサを備えている回転タイプのリモートコントローラも使用され得る。

端末は、スクリーン上にＯＳＤ（オンスクリーンディスプレイ）回路とも称されるデータ表示回路５０６も含む。ＯＳＤ回路５０６は、メニュー、ピクトグラム（例えば、表示されているチャンネルに対応する数字）のオンスクリーン表示を可能にし、かつ本発明による指示メニューを表示可能である、テキスト及びグラフィック生成器である。ＯＳＤ回路は、中央演算ユニット５０２及びグラフィック要素２０の表示信号を生成するように設計されたモジュールから情報を受信する。

端末５が再生可能なマルチメディアドキュメントは、音声映像ドキュメント、音声ドキュメント、または写真である。

変形例によれば、リモートコントローラ５１１は、観覧者のジェスチャを検知可能なデバイスに置換される。その後、このジェスチャは、端末５の専用かまたは専用でないモジュールによって、解析されて設定メニューのグラフィック要素における指示コマンドに解釈される。他の変形例によれば、リモートコントローラは、音声コマンドを登録可能なマイクロタイプのデバイスで置換されてもよい。その後、音声コマンドを含む音は、端末５の専用かまたは専用でないモジュールによって、解析されて設定メニューのグラフィック要素における指示コマンドに解釈される。

図６は、本発明の第１の非限定的な特定の有利な実施形態による、マルチメディア端末５に実装される設定メニューの表示の方法を示す。

開始ステップ６０の間に、端末の様々なパラメータが更新される。

その後、ステップ６１の間に、３つの空間的次元を有しているグラフィックメニューを含む設定メニューが、ディスプレイスクリーンタイプ（例えば、ＬＣＤまたはプラズマ）または投影スクリーンタイプのディスプレイデバイス上に表示される。設定メニューは、ディスプレイデバイス上に表示される３Ｄビデオコンテンツまたは３Ｄ画像内に挿入される。グラフィック要素の空間的次元の１つは、奥行き方向、有利にはディスプレイデバイス上に表示されている３Ｄビデオコンテンツまたは３Ｄ画像の奥行き方向に伸張している。有利なことに、設定メニューは、例えばリモートコントローラ、音声認識デバイスまたはジェスチャ認識デバイス等のコマンド導入デバイスによるユーザ入力の第１のコマンドにおいて表示される。グラフィック要素の表示において、第１のタイムアウト（例えば１、２、３、４または５秒等の期間）が開始され、ユーザ操作が検出されなかった場合、そのタイムアウトの最後にグラフィック要素の表示が解除される。

その後、ステップ６２の間、奥行き情報の少なくとも１つのアイテムを表す設定が、グラフィック要素上に表示される。有利なことに、設定は、表示されている３Ｄ画像内に含まれているオブジェクトの奥行き最小値及び奥行き最大値を表す。変形例において、設定は、３Ｄ画像のオブジェクトの平均奥行きを表す。有利なことに、設定の表示は、コマンド導入デバイスによる第２のユーザコマンド入力によって開始される。設定の表示において、第２のタイムアウト（例えば、１、２、３、４または５秒の期間）が開始され、ユーザ操作が検出されなかった場合、そのタイムアウトの最後にグラフィック要素の表示が解除される。設定が観覧者（またはユーザ）によって変更されていない場合にパラメータがデフォルトによりで設定されたため、設定は、３Ｄビデオコンテンツ（または３Ｄ画像）の３Ｄ効果の大きさを表すのが有利である。命令の入力によって、観覧者は、３Ｄ画像の奥行きの設定を変更し、奥行き設定になされた変更は、設定メニューのグラフィック要素において表示する。第２のタイムアウトの経過までに、ユーザコマンドが検出されなかった場合、設定メニューの設定及びグラフィック要素はスクリーンから消滅する。設定メニューを再度出現させるために、観覧者が新しい第１のコマンドを入力する。変形例によれば、設定メニューの表示は、第２のユーザコマンドによって命令される。

図７は、本発明の第２の非限定的な特定の有利な実施形態による、マルチメディア端末５に実装される設定メニューの表示の方法を示す。

開始ステップ７０の間、端末の様々なパラメータが更新される。

その後、ステップ７１の間、設定メニューがディスプレイデバイスに表示される。このステップ７１は、図６に関して説明されたステップ６１と同一であるので本明細書においてさらには説明されない。

その後、ステップ７２の間、ユーザ（または観覧者）は、特定のジェスチャを行って、ユーザが見ている３Ｄビデオコンテンツまたは３Ｄ画像の奥行きの設定を命令する。このジェスチャは、例えば、奥行き検出器を装備しているカメラによってキャプチャされ、そのカメラによって記録された情報は、マルチメディア端末に専用のまたは専用でないモジュールによって解析されて、見ている３Ｄ画像の奥行きの設定を命令するために解釈される。ジェスチャは、例えば、ユーザの２つの手の間の距離に対応する。移動が終了すると、２つの手を離間させている距離がマルチメディア端末のカメラ及びモジュールによって判定されて、２つの手を離間させている距離が、ユーザによって望まれている３Ｄ効果の大きさに対応すると解釈される。変形例によれば、ユーザによって行われるジェスチャは、右手に向かった左手（または右から左に向かった）のスイープ動作（sweeping）に対応し、このジェスチャは、カーソルの移動のコマンドとしてマルチメディアモジュールによって解釈され、カーソルが一方の奥行き設定レベルから他方の奥行き設定レベルまで設定メニューのグラフィック要素上を移動する。

その後、ステップ７３において、コマンドがユーザによって入力され、グラフィック要素の１または複数の部分が選択される。各々の部分は特定の設定レベルに関連付けられている、すなわち、奥行き設定レベルに対応している。ユーザコマンドがユーザジェスチャに対応している場合、部分、すなわち設定レベルの選択が特定のジェスチャ、例えば、手の一方を上から下に動かすジェスチャによって命令される。変形例において、１またはいくつかの設定レベルが、他の任意の命令手段、リモートコントローラのキー（例えば、「ＯＫ」キー）を押すこと、または音声コード（例えば、単語「選択」）の発声によって命令される。いくつかの設定レベルの選択は、所望の３Ｄ効果の大きさの設定、すなわち、ユーザが見た場合の奥行きの差または前景のオブジェクトと後景のオブジェクトとの間の距離に有利に関連付けられている。換言すれば、いくつかのレベルの選択は、３Ｄ画像の最小奥行きに対応する奥行き情報の第１のアイテムを表す第１の設定、及び３Ｄ画像の最大奥行きに対応する奥行き情報の第２のアイテムを表す第２の設定に対応し、最大の奥行きと最小の奥行きとの間の差は、ディスプレイデバイスに表示される３Ｄ画像の３Ｄ効果の大きさに対応する。

最後に、ステップ７４の間に、ユーザによって命令されたグラフィック要素の１または複数の部分の設定が、図６に関するステップ６２において説明されたように表示される。有利なことに、ユーザによって奥行き設定が行われる３Ｄ画像は、ユーザによって命令された設定に従って変更されたコンテンツを予測する。ユーザの設定が適用されるオリジナルの３Ｄ画像のコンテンツに対応する新しい３Ｄ画像は、その後、グラフィック要素における設定の表示と同時に表示される。新しい３Ｄ画像の生成は、立体知覚による３Ｄ画像を生成する左画像及び右画像の少なくとも１つからディスパリティ補償補間によって有利に取得され、補間された画像は、立体知覚による新しい３Ｄ画像の生成のために参照画像の１つと置換される。

本質的に、本発明は上述の実施形態に限定されない。

特に、本発明は、設定メニューの表示方法に限定されず、その方法を実装するマルチメディア端末、及びその表示方法を実装するマルチメディア端末を含むディスプレイデバイスにまでおよぶ。本発明は、３Ｄマルチメディアコンテンツ内の設定メニューのＰＩＰ（picture in picture）表示を含む画像処理方法にも関している。
本発明の好ましい実施形態を以下に示す。
付記１．設定メニューを表示する方法であって、
次元の１つが奥行き方向（ｚ）に従って伸張する三次元グラフィック要素（２０）を備える前記設定メニューを表示するステップ（６１、７１）と、
奥行き情報の少なくとも１つのアイテムを表す少なくとも１つの設定（２０３、２０４、２０５）を入力するステップであって、前記少なくとも１つの設定が、前記奥行き方向（ｚ）に従って前記三次元グラフィック要素（２０）を表示することに適用される、ステップと
を含むことを特徴とする方法。
付記２．前記三次元グラフィック要素（２０）の少なくとも一部を選択するステップであって、前記少なくとも１つの選択部分（２０３、２０４、２０５）が前記少なくとも１つの設定に関連付けられている、ステップを含むことを特徴とする付記１に記載の方法。
付記３．前記奥行きが前記少なくとも１つの設定に依存する少なくとも１つの三次元画像を表示するステップであって、前記少なくとも１つの三次元画像の表示は、前記三次元グラフィック要素（２０）の表示における前記少なくとも１つの設定（２０３、２０４、２０５）の適用の後でなされる、ステップを含むこと特徴とする付記１または２に記載の方法。
付記４．前記奥行きが前記少なくとも１つの設定に依存する少なくとも１つの三次元画像を表示するステップであって、前記少なくとも１つの三次元画像の表示は、前記三次元グラフィック要素（２０）の表示における前記少なくとも１つの設定（２０３、２０４、２０５）の適用と同時になされる、ステップを含むこと特徴とする付記１または２に記載の方法。
付記５．前記少なくとも１つの設定が、前記表示される画像の最小奥行きに対応する奥行き情報の第１のアイテムと、前記表示される画像の最大奥行きに対応する奥行き情報の第２のアイテムとを表すことを特徴とする付記１から４のいずれか１に記載の方法。
付記６．前記少なくとも１つの設定が、表示される画像の平均奥行きに対応する奥行き情報のアイテムを表すことを特徴とする付記１から４のいずれか１に記載の方法。
付記７．ユーザジェスチャを解析するステップ（７２）を含み、前記ユーザジェスチャの解析をすることの結果が解釈されて前記少なくとも１つの設定が制御されることを特徴とする付記１から６のいずれか１に記載の方法。
付記８．前記ユーザジェスチャの解析が、ユーザの体の２つの決められた部分を離間させている距離を判定するステップを含み、前記判定された距離が前記少なくとも１つの設定に関連付けられていることを特徴とする付記７に記載の方法。

Claims (9)

1. 設定メニューを表示する方法であって、前記設定メニューは、少なくとも１つの三次元画像の奥行きを設定するために用いられ、前記設定メニューは、三次元グラフィック要素を含み、前記設定メニューの次元のうちの１つは、奥行き方向に従って伸張し、前記方法は、
   前記設定メニューを表示するステップと、
   前記奥行き方向に従って前記三次元グラフィック要素の少なくとも一部を選択することにより、前記奥行きを表す少なくとも１つの設定を入力するステップであって、前記選択された少なくとも一部は、前記少なくとも１つの設定に関連付けられ、前記三次元グラフィック要素の前記選択された少なくとも一部は、前記少なくとも１つの三次元画像の表示のために適用されるべき前記少なくとも１つの設定を視覚的に表す、ステップと
   を含む、前記方法。
2. 前記奥行きが前記少なくとも１つの設定に依存する前記少なくとも１つの三次元画像を表示するステップであって、前記少なくとも１つの三次元画像に対する前記少なくとも１つの設定の適用は、前記三次元グラフィック要素の表示における前記少なくとも１つの設定の適用の後でなされる、ステップを含む、請求項１に記載の方法。
3. 前記奥行きが前記少なくとも１つの設定に依存する前記少なくとも１つの三次元画像を表示するステップであって、前記少なくとも１つの三次元画像に対する前記少なくとも１つの設定の適用は、前記三次元グラフィック要素の表示における前記少なくとも１つの設定の適用と同時になされる、ステップを含む、請求項１に記載の方法。
4. 前記少なくとも１つの設定が、表示される画像の最小奥行きに対応する奥行き情報の第１のアイテムと、前記表示される画像の最大奥行きに対応する奥行き情報の第２のアイテムとを表す、請求項１から３のいずれかに記載の方法。
5. 前記少なくとも１つの設定が、表示される画像の平均奥行きに対応する奥行き情報のアイテムを表す、請求項１から３のいずれかに記載の方法。
6. ユーザジェスチャを解析するステップを含み、前記解析するステップの結果が解釈されて前記少なくとも１つの設定が制御される、請求項１から５のいずれかに記載の方法。
7. 前記ユーザジェスチャを解析するステップは、ユーザの体の２つの判定された部分を離間させている距離を判定するステップを含み、前記判定された距離が前記少なくとも１つの設定に関連付けられている、請求項６に記載の方法。
8. 前記三次元グラフィック要素は、前記奥行き方向に従って表示される複数の単位グラフィック要素を含み、前記複数の単位グラフィック要素は、前記少なくとも１つの三次元画像に適した前記奥行きの最大の大きさに対応するように表示され、奥行き情報は、各単位グラフィック要素に関連付けられ、少なくとも１つの単位グラフィック要素は、前記複数の単位グラフィック要素の中から選択され、前記少なくとも１つの選択された単位グラフィック要素は、前記少なくとも１つの三次元画像に適用されるべき少なくとも１つの奥行き情報を表す前記少なくとも１つの設定に関連付けられる、請求項１に記載の方法。
9. 設定メニューを表示する装置であって、前記設定メニューは、少なくとも１つの三次元画像の奥行きを設定するために用いられ、前記設定メニューは、三次元グラフィック要素を含み、前記設定メニューの次元のうちの１つは、奥行き方向に従って伸張し、前記装置は、
   前記設定メニューを表示するデータ表示回路と、
   前記奥行き方向に従って前記三次元グラフィック要素の少なくとも一部を選択することにより、前記奥行きを表す少なくとも１つの設定を入力する制御回路であって、前記選択された少なくとも一部は、前記少なくとも１つの設定に関連付けられ、前記三次元グラフィック要素の前記選択された少なくとも一部は、前記少なくとも１つの三次元画像の表示のために適用されるべき前記少なくとも１つの設定を視覚的に表す、制御回路と、
   を備えた、前記装置。