JP6069188B2 - 3次元(3d)プレゼンテーションにおいてフローティングウィンドウを使用する方法およびシステム - Google Patents

3次元(3d)プレゼンテーションにおいてフローティングウィンドウを使用する方法およびシステム Download PDF

Info

Publication number
JP6069188B2
JP6069188B2 JP2013502567A JP2013502567A JP6069188B2 JP 6069188 B2 JP6069188 B2 JP 6069188B2 JP 2013502567 A JP2013502567 A JP 2013502567A JP 2013502567 A JP2013502567 A JP 2013502567A JP 6069188 B2 JP6069188 B2 JP 6069188B2
Authority
JP
Japan
Prior art keywords
stereoscopic
edge
video
image
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013502567A
Other languages
English (en)
Other versions
JP2013526123A (ja
Inventor
ギブンス レッドマン ウィリアム
ギブンス レッドマン ウィリアム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013526123A publication Critical patent/JP2013526123A/ja
Application granted granted Critical
Publication of JP6069188B2 publication Critical patent/JP6069188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Description

本発明は、立体視プレゼンテーション(stereoscopic presentation)において使用するための映像の作成に関する。
関連出願の相互参照
本特許出願は、2010年4月1日に出願した米国特許仮出願第61/319972号、名称「Floating Window Compensation for Three-Dimensional (3D) Presentation」の優先権の利益を主張するものである。この特許仮出願の教示は、その全体が参照により本明細書に明示的に組み込まれる。
立体視三次元(3D)プレゼンテーションでは、動画でもスチール写真でも、スクリーンまたは写真の前方に現れることになっている物体が右眼の端部または左眼の端部に触れる場合、対応するその端部で右眼用映像および/または左眼用映像をクロップすることは一般的な慣行である。この慣行は、その物体を見る際の奥行き矛盾(depth conflict)を回避することを意図しており、通常、フローティングウィンドウ(floating window)またはフローティングエッジ(floating edge)と呼ばれ、手動で設定される。
国際公開第2009/145749号パンフレット 国際公開第2009/061305号パンフレット 国際公開第2010/096030号パンフレット
しかし、劇場環境で実際に提示されるとき、スクリーンの両側のマスキングは、フローティングエッジが表示されることになっていた領域に影響を与えるか、またはこの領域をマスクし、したがってフローティングエッジを追加する目的を台無しにすることがある。モニタが原映像コンテンツのフルラスタより小さい映像を表示している場合、同じ状況が3Dビデオ表示で生じる可能性がある。
表示環境または表示デバイスにおけるフローティングエッジの復元では、フローティングエッジがコンテンツの前景要素に影響を与えないように、基本となる映像を考慮しなければならない。しかし、劇場環境では、または個人用3Dビデオディスプレイの場合は、専門家により設定されたフローティングウィンドウの調整は実際的ではなく、これらの状況では、自動的なフローティングエッジ(またはフローティングウィンドウ)の作成および/または調整が必要とされる。
本発明の原理による実施形態は、立体視プレゼンテーションのための方法およびシステムを提供し、この方法およびシステムでは、立体ペアのうちの少なくとも1つの立体映像の一部分が、立体映像を表示する間ブロック(block)される。映像の領域に関連する最小視差に基づく幅を有するブロックされる部分を提供することによって、映像または表示エリアの端の近くでの見かけ上の奥行き矛盾を回避することができる。
一実施形態は、第1の立体映像の領域に関連する最小視差を取得するステップと、この最小視差に従って、領域に近接した第1の立体映像の一部分を画定するステップと、この画定された部分が表示されるのをブロックしながら、第1の立体映像を表示するステップとを含む方法を提供する。
別の実施形態は、映像表示エリアの端に近接した立体映像の領域における物体の見かけ上の奥行きを決定するステップと、立体映像の一部分が表示されるのをブロックするステップであって、この一部分が、物体の見かけ上の奥行きに基づいて選択された幅を有する、ステップとを含む方法を提供する。
さらに別の実施形態は、第1の立体映像の領域に関連する最小視差を決定し、この最小視差に従って、領域に近接した第1の立体映像の一部分を画定し、第1の立体映像の表示中にこの画定された部分をブロックするように構成される少なくとも1つのプロセッサを含むシステムを提供する。
本発明の教示は、以下の詳細な説明を添付の図面と併せて検討することによって容易に理解することができる。
プレゼンテーションのあるシーンの一例を示す図である。 図1のシーンの3Dショットの左眼用ビューまたは構図を示す図である。 図1のシーンの3Dショットの右眼用ビューまたは構図を示す図である。 図2〜図3の左眼用映像と右眼用映像の重ね合わせによって形成された立体映像ビューを示す図である。 立体映像から知覚される3Dの架空のビュー(imaginary view)を示す図である。 視覚的奥行き矛盾を示す架空のビューを示す図である。 フローティングエッジが加えられた立体映像ペアを示す図である。 視覚的奥行き矛盾がフローティングエッジによってどのように解消されるかを示す架空のビューを示す図である。 フローティングエッジの無効化を引き起こす、覆い隠されている立体映像の一部分を示す図である。 図9の覆い隠された領域に隣接する復元されたフローティングエッジを示す図である。 図9の覆い隠された領域によって引き起こされた視覚的奥行き矛盾が、復元されたフローティングエッジによってどのように解消されるかを示す架空のビューを示す図である。 フローティングエッジの必要性をなくす覆い隠された領域を有する立体映像を示す図である。 フローティングエッジが除去された、図12の立体映像を示す図である。 フローティングエッジの自動配置の一実施形態の流れ図である。 フローティングエッジの自動配置の別の実施形態の流れ図である。 フローティングエッジの自動調整の別の実施形態の流れ図である。 本発明の原理による方法を実施するためのシステムの一実施形態を示す図である。
理解を容易にするため、可能な限り、同一の参照番号を使用して、図面に共通する同一の要素を示している。
本発明の原理による実施形態によれば、スクリーンの前方に現れることを意図した、端の近くの物体がスクリーン端の本当の位置によってスクリーン表面に固定(clamp back)される影響を軽減するために、コンテンツのプレゼンテーション中にフローティングウィンドウまたはマスクを動的に適用できる、(デジタルシネマまたはデジタルビデオにおける)3Dプレゼンテーションが実施される。たとえば、メタデータを使用してフローティングエッジの情報を提供すること、フローティングエッジをリアルタイムで動的にレンダリングするかまたは立体映像にフローティングエッジをあらかじめ記録させること、および異なる特性または寸法を有するフローティングエッジを提供することを含む、フローティングウィンドウまたはフローティングエッジのいくつかのモードが選択可能である。
フローティングエッジをリアルタイムでレンダリングすることは、あらかじめ記録する手法に勝る利点を有する。なぜなら、コンテンツは、単眼用映像ビューのみを使用する(たとえば、左眼用映像のみを示す)ことによって2Dで見ることができるが、あらかじめ記録したフローティングエッジを有するコンテンツの2Dビューイングは、視聴者の注意が散漫になる恣意的な端の起伏(undulation)をもたらす可能性があるからである。
この開示では、用語「フローティングウィンドウ」および「フローティングエッジ」は、対応する左端および/または右端における立体ペアの左眼用映像および/または右眼用映像のクロッピングを説明するために使用される。このようなクロッピングの目的は、「前景物体」がスクリーンの片側または両側の(たとえば、垂直な)端と交差する(すなわち、物体の映像がスクリーンの側端を越えて延びる)ときに視聴者に起こる心理視覚的な矛盾を減少させるかまたはなくすことである。この説明では、用語「前景物体」は、立体映像内の負の視差を有する物体、すなわちスクリーンと視聴者の間に見かけ上の奥行きの場所を有するべき物体を意味する。用語「見かけ上の奥行き」は、左眼用映像と右眼用映像の視差によって引き起こされる、視聴者によるスクリーンを基準にした奥行き知覚である。視差と見かけ上の奥行きは、一方から他方に変換可能な関連する量である。3Dプレゼンテーションは、通常、見かけ上の奥行きを提供することを強いられる。なぜなら、異なる場所にいる視聴者は、映像内の同じ要素に対して異なる見かけ上の奥行きを知覚するからである。心理視覚的な矛盾が発生するのは、物体の映像が、視認可能なスクリーンの端によって部分的に覆い隠された、この視認可能なスクリーンの端が、物体の後方に実際の奥行きの場所を有するからである。
覆い隠し(obscuration)は、奥行きの順序に関する強力な視覚的手がかりである。視聴者により近い物体は、視聴者からより遠い物体を隠すことができる。ほとんどの状況で、覆い隠しは、奥行き順序に関して両眼視差より強力な視覚的手がかりである。その結果、映像内の物体の視差は、その物体が前景物体であることを示唆するが、スクリーンの端における手がかりは、このことを否定して無視し、物体の見かけ上の位置をスクリーンへ崩させる。崩された前景物体自体が他の前景物体を部分的に覆い隠す場合、その結果として、視覚的な奥行き手がかりの不一致が大量に生じることがある。
このような不一致の結果は、立体視プレゼンテーションを見ることが、さまざまな知覚される奥行きを持つコンテンツを視聴者が楽しむ直観的な行為ではなくなり、その代わりに、混乱を誘発する視覚的パズルになり、他の物体の前方にあるいくつかの物体が、見かけ上はそれら他の物体の後方に見えることである。これにより、視聴者は、語られるストーリーに身が入らず、それによって、コンテンツから注意がそれる。
本発明の原理は、ヘッド側(head−end)のブロードキャストシステムまたはストリーミングシステムならびにテレビモニタ、セットトップボックス、DVDプレーヤ、ビデオレコーダ、パーソナルコンピュータ、ビデオプレーヤまたはスマートフォンのディスプレイなどのハンドヘルドディスプレイ、およびその他のモバイルデバイスまたはポータブルデバイスを含む消費者側の機器などの、デジタルシネマ劇場機器およびビデオ機器で使用されうる。
本発明の実施形態は、ディスプレイの見ることができるエリアを減少させ、表示される映像における奥行き知覚の矛盾などの望ましくない影響を引き起こす、特定の表示環境または表示デバイスにおける侵入物(intrusion)を考慮に入れて、フローティングエッジの自動的な適用および/または調整を提供する。したがって、所与の映像表示エリアまたはシステム構成(たとえば、マスキング、映像のサイズ変更、またはシステム関連の装置によって画定される)では、本発明によって、審美性の向上した表示を提供するように、適切なフローティングエッジが適所に自動的に追加および/または調整されるようにすることが可能である。そのうえ、前景物体が侵入物によって完全に隠れるようになった場合、その物体との奥行き手がかり矛盾を回避するために以前に画定されたフローティングエッジを削除または減少してもよい。
適切な立体表示を妨げる可能性のある、考えられうる侵入物の原因またはシステム構成は多数ある。たとえば、劇場では、スクリーンの湾曲、投影角度、レンズの理想的でないサイズまたは調整により、映写機がスクリーンの境界を越えることがあり、したがって、映像空間が事実上減少する。スクリーンのマスキングまたはカーテンが、映写スクリーンの使用可能なエリアに入り込むこともあれば、台形の(keystoned)映像をトリミングして、審美性のより向上した矩形にすることもある。
別の例では、大画面テレビなどの家庭用モニタは、たとえばコンテンツの端を表示することを回避する目的で、または高解像度のコンテンツを再スケーリングせずに提示する目的で、(映像の一部をフルスクリーンに表示するために)映像をオーバースキャンすることができる。いくつかのモードでは、個々のモニタは、モニタ自体と異なるアスペクト比を有する画像を拡大でき、たとえば、16:9のアスペクト比を有するHD(高精細度)モニタが、4:3のアスペクト比を有するSD(標準画質)番組を受信した場合、その結果、映像の特定の部分がクロップされる。フローティングエッジの適切な適用に対するこのような干渉または妨害は、本発明の実施形態によりフローティングエッジの配置を調整することによって回避することができる。そのうえ、たとえ映像がオーバースキャン(over−scan)されなくても(たとえば、映像が水平に引き延ばされるまたは拡張されるのみである、または垂直に引き延ばしてもモニタの高さを超えない)、本発明の原理によるフローティングエッジの使用が依然として有益でありうる、特定の状況が存在する。
フローティングエッジは、立体映像ペアのうちの対応する左眼用映像または右眼用映像の、垂直な左端または右端の全体の上から下に及ぶ方形の箱として指定することができる。方形は、たとえば側面マスキングにより映像端でクロップされる最前景の物体の視差の大きさと少なくとも同じ幅であるべきである。そのうえ、映像内の前景物体が端と交差するように見える場合(たとえば、実際には、物体の一部分のみが映像内に存在するとき)、本発明によるフローティングエッジは、発生しうる奥行き手がかり矛盾を回避するために使用することもできる。たとえば、立体映像ペアの左端では、視差は、前景物体上の点を表す右眼用映像の左端ピクセルと左眼用映像の同じ物体上の同じ点を表すピクセルとの間の水平な視差またはオフセットである。
あるいは、フローティングエッジは、他の何らかの規則的または不定の形状であってもよく、場合によっては、前景物体が映像の端と交わるかまたは交差するように見える端に沿った垂直な領域にのみ対処する。このようなフローティングエッジの幅は、垂直方向に沿って一定であってもよいし、ピクセルの各行と共に変化してもよく、各行でのフローティングエッジの幅は常に、その端のその行における対応する前景物体の視差に少なくとも等しい。したがって、フローティングエッジは不連続であってもよく、たとえば、ゼロの幅を持つ、ピクセルの1つまたは複数の行を有することができる。
立体映像ペアは、フローティングエッジなしで提示されてもよいし、少なくとも1つのフローティングエッジ、たとえば、左フローティングエッジ、右フローティングエッジ、またはこれらの両方によって改良または補完されてもよい。(映像がフローティングエッジによって「改良」または「補完」されることは、フローティングエッジが組み込まれるかまたは映像と共に表示されることを意味する。)フローティングエッジは、前景物体の出現または動きを予想して、段階的に見え隠れしてもよいし、突然出現したり消えたりしてもよく、具体的な選択は芸術的な判断に基づく。
以降の図の状況を設定するために、図1は、プレゼンテーションの代表的なシーン、たとえば、これ以降の後述するショットが撮影される庭でのシーンを示す。庭のシーン100は、1つの特定のチェスの駒であるルーク101を前景に含む、庭サイズの1組のチェスの駒102の中に立っている俳優103を示す。俳優103の後方には、木104がある。ほぼ同じ距離後方に、しかし右側にあるのは外灯105であり、さらに建物106がある。図2〜図13に示される庭のシーン100のショットは、図1に示される視点のやや右にある位置から撮影されている。
図2および図3は、庭のシーン100からのショットまたは構図の立体映像ペアを示し、図2は左眼用映像200を示し、図3は右眼用映像300を示す。各映像200または300は、庭のシーン100からの個々の物体の記録された映像を含み、したがって、庭のシーンの各物体は、対応する記録された映像を右眼用映像および左眼用映像200および300に有する。シーン100からの物体の映像と立体映像200および300からの物体の映像との考えられうる混乱を回避するために、立体映像は、左眼構図および右眼構図200および300と呼ばれることがある。したがって、俳優103は、対応する映像103Lと103Rとを有し、ルーク101は、対応する映像101Lと101Rとを有し、木104は、対応する映像104Lと104Rとを有し、外灯105は、対応する映像105Lと105Rとを有し、建物106は、対応する映像106Lと106Rとを有する。
図4は、映像200および300の重ね合わせであり、右眼用映像と左眼用映像(200、300)の間の立体視差または位置オフセットを示すことができるように、左眼用映像200は、破線として示される。
図4には、いくつかの視差が示されている。たとえば、ルーク101に関連するルーク視差401(たとえば、右のルーク映像および左のルーク映像101Rおよび101Lの対応する垂直な端の間の離隔距離として測定される)は、水平に約−40ピクセルであり、右眼用映像が左眼用映像の右にあるとき、測定値は正となる。ルーク101の場合、右眼用映像101Rは左眼用映像101Lの左に位置するので、ルーク101に焦点を合わせている視聴者の両眼は、この立体ペアを示すディスプレイ(またはスクリーンまたはモニタ)の前方で収束し、すなわち、ルーク101はディスプレイの前方にあるように見える。
俳優の視差403は、袖のところで測定すると約−5ピクセルであり、俳優は、スクリーンの面のやや前方にいる。木の映像104Lおよび104Rは、約+40ピクセルの視差404を示し、右眼用映像104Rは、左眼用映像104Lの右にある。したがって、木104は、視聴者には、ディスプレイまたはスクリーンの後方にあるように見える。外灯105は、映像105Lと105Rの間に約+45ピクセルの視差405を有するように見え、建物106は、106Lと106Rの間に約+60ピクセルの視差406を有するように見え、それぞれ木104よりさらに遠く離れて見える。
図5は、立体映像400を見る左眼511と右眼512とを有する視聴者510に知覚される3D効果の架空のビュー500である。(図5が架空と呼ばれるのは、このビューは、実際には、この視点から確認することができないからである。)視聴者510には、ルークの立体視差401により、ルークの映像501は、立体映像400を示すスクリーンの前方に知覚される。俳優の映像503(オフセットまたは視差403を有する)は、スクリーンのやや前方にある。木の視差404、外灯の視差405、および建物の視差406はそれぞれ、スクリーンの後方からの距離が増加していく、対応する映像504、505、および506の知覚を生じさせる。
図5では、異なる物体に対応する映像は平面として示されているが、実際には、視聴者510は、物体の映像501、503、504、505、および506を、それぞれの視差に対応する種々の距離において3Dとして知覚する。図5は、それぞれ視差401、403、404、405、および406を有する物体の3Dとして知覚される場所を示す(図4も参照されたい)。各物体の知覚される場所は、左眼511および右眼512から基準点(ここで、所与の物体に対する視差が測定される)を通って追跡したそれぞれの線(ray)の交点によって示される。
本発明の実施形態により立体視プレゼンテーションにフローティングウィンドウまたはフローティングエッジを使用するためのさまざまなシナリオおよび手法について、図6〜図17に関して説明する。
図6は、視覚的な不一致を示すために左眼視線および右眼視線611および612が追加された架空のビュー500の拡大図を示す。右眼512については、スクリーンの垂直な端610が、隠蔽ライン(occlusion line)613の左にあるルークの映像501を視認できなくする。これによって、ルークの映像501がスクリーンの端610の後方にあるという知覚が得られる。しかし、(負の量である)視差401のために、ルークの映像501は、立体視のコンバージェンスポイント601においてスクリーンの前方にあるように見える。
図7では、フローティングエッジが、立体映像700の左眼用映像にのみ黒い領域702Lを備える立体映像700の左端に追加されている。黒い領域702Lは、前景物体(ルーク)101の視差401に少なくとも等しい幅701を有する。実際の慣行では、左端フローティングウィンドウでは、前景物体の視差401(この場合、ルークの凸壁のうちの1つの右眼用映像101Rと左眼用映像101Lの間で測定される)は、好ましくは、物体の左端のより近くで測定されるが、わかりやすくするため、ここでは、ルーク101の一番前の(foremost)測定点(すなわち、スクリーンの前方にある最も遠い地点)が示されている。
図8は、その結果生成される、左フローティングエッジ702Lを有する架空のビュー800を示す。ここでは、映像700の左端がスクリーン端610にあるように見える代わりに、視聴者510は、ルークの映像501のところまたはその前方に奥行きを有する立体映像700の左端が端ライン813に位置することを知覚する(ルークの映像501は端ライン813の左では見えないことに留意されたい)。端ライン813において知覚される映像の端は、ルーク映像501を覆い隠すように見え、かつルーク映像501の立体視差と同じ程度の大きさの立体視差を有する(したがって、ルーク映像501のところまたは視聴者510のより近くにある)ので、奥行き手がかり矛盾は解消される。
1つまたは複数のフローティングエッジまたはフローティングウィンドウの追加は、たとえば、黒い領域702Lと同様に、立体映像500を含むコンテンツのコンテンツ作成時に実現でき、したがって、このコンテンツが、(フィルムで、またはデジタルファイルとして)映画館に配布される、または放映される、もしくは他の方法で、たとえばストリーミングビデオもしくはDVDにより視聴者の家庭用ディスプレイに配信されるとき、フローティングウィンドウはすでに存在する。
異なる実施形態では、コンテンツの作成時に、フローティングエッジは(たとえば、黒いエリア702Lのない、図4の立体映像400と同様に)レンダリングされないが、その代わりに、左眼用映像の左端に動的に追加される黒い領域702Lの幅701を指定するためにメタデータが提供される。左および/または右のフローティングエッジ(存在する場合)を形成する黒い領域(複数可)の動的な提供は、たとえば、デジタルシネマサーバ、対応するデジタルシネマ映写機、DVDプレーヤ、セットトップボックス、コンピュータ、または3Dを認識する(3D−aware)ビデオディスプレイによって実現されることができる。修正をリアルタイムで行ってもよいし、コンテンツをあらかじめ変えてもよい。
さらに別の実施形態では、メタデータは、左端および右端のそれぞれに対して、最前景の物体(たとえば、ルーク101)の視差(たとえば、401)が存在する場合は少なくともそれを記述するために使用される。この情報をさらに適切なものにするために、追加のメタデータを含めることができ、たとえば、部分的な視差マップは、右端および左端の近くの視差を提供し、または、簡略化された視差マップは、低解像度グリッドでの最小視差を提供し、少なくとも右端および左端近くの領域を対象とする。
ほとんどの劇場では、映写スクリーンを囲む左側マスキングおよび右側マスキングは、映写スクリーンの映写可能なまたは見ることができるエリアの少なくとも一部分を覆い隠す。このような状況でフローティングエッジの正常な提供を可能にするため、コンテンツは、特に、映像の全体がマスキングの内側に映写されるように作成されなければならない。そうでない場合、提供される黒い領域(例示的な702Lなど)は、劇場のマスキングにより見かけ上減少した幅を有するか、まったく存在しなくなり、それによって、見かけ上の映像端の移動が不十分になる(図6のように、見かけ上の映像端613は、不十分に前方に移動された)。
類似の有害な影響が一般消費者向けビデオディスプレイで見られ、モニタ(またはDVDプレーヤ、またはセットトップボックス)は立体映像全体を表示できず、代わりに立体映像の一部分のみを表示する。これは、コンテンツのアスペクト比がディスプレイのアスペクト比と一致しない場合に頻繁に発生し、ディスプレイいっぱいに表示されるように映像のクロッピングおよび/またはスケーリングが行われる。たとえば、アスペクト比16:9の高精細度用に製作されたコンテンツがアスペクト比4:3の標準画質モニタ上で表示されることがある。これを実行する1つの方法(「レターボックス」として知られている)は、縮小したアスペクト比16:9の映像を4:3の表示エリアに挿入し、スクリーンの上下に水平の黒いエリアを残しておくことである。しかし、黒いエリアが気に入らず、これらのエリアおよびこれに対応する解像度の劣化を好ましくないと思う消費者もいる。この不満に対処するにあたり、スクリーンの上から下までちょうどいっぱいに表示されるように、高精細度の縮小が軽減されるが、左側および右側は、4:3のアスペクト比に合うようにクロップされる。この場合、立体映像の左端と右端の両方がクロップされる。いくつかの一般消費者向けディスプレイでは、映像エリア内部の一部(「安全地帯」として知られている)、たとえば内部の90%が唯一の表示部であり、それによって、各端(両側、上、および下)の最大5%を放棄する。
図9は、たとえば劇場による側方マスキングまたは一般消費者向けビデオシステムによるクロッピングによって隠されている立体映像700(または図4の映像400)の一部分に対応する覆い隠された領域900を示す。以前に適用されたフローティングエッジ、すなわち図7に示される黒い領域702Lは、コンテンツに対して焼き付けられるようにスタジオで提供されても動的に適用されてもよく、この場合は、覆い隠された領域900によってすべてまたは部分的に隠される。したがって、図6のルークの映像501に関する視覚的な矛盾は、本質的に修復される(が、視覚的な矛盾は、この場合にも、図6の映像400の左端ではなく、覆い隠された領域900の右端で生じる)。
この問題の1つの解決策が、図10に示されている。図10では、修正された立体視プレゼンテーション1000が、可視の幅1001を有する黒いエリア1002Lとして示される、覆い隠された領域900の右端に位置する延長されたフローティングエッジを含む。幅1001は、覆い隠された領域900の右端と交差する最前景の物体(存在する場合)の視差の大きさに少なくとも等しく、この例では、凸壁の映像101Rおよび101Lにおけるルーク101の一番前の部分の視差の大きさに少なくとも等しい。別の実施形態では、前景物体の少なくとも一部分もブロック(block)されるように映像の領域と重なるフローティングエッジまたはブロックされる部分を有することが可能である。フローティングエッジがビューから前景物体を完全に隠すのに十分な場合、もはや視覚的な奥行き矛盾はない。
図11は、その結果生成される架空のビュー1100を示す。図11では、ルークの映像501の、端ライン1113の左の部分は両眼511、512から見えないので、視聴者501に見える映像1000の左端の位置が端ライン1113によって示されている。この場合、視覚的な矛盾は、フローティングエッジ1002Lの存在によって解消され、見かけ上の端ライン1113にある映像1000の見かけ上の端は、ルーク映像501を遮り、かつルーク映像501の奥行き配置と同じ程度の遠さである奥行き配置を有する。
図12は、異なるシナリオを示す。このシナリオでは、左端に見かけ上の奥行き矛盾を有する前景物体(ルーク101)が、スクリーンの下部にある覆い隠されたエリア1200によって隠されると、立体映像700の左眼用映像において黒いエリア702Lによって生成される左フローティングエッジが不要になる。このような場合、フローティング左端は視覚的な矛盾をもたらさないが、立体ペア700の左眼用映像のクロッピングを減少または除去することが好ましい。たとえば、立体映像700のコンテンツに焼き付ける代わりに、フローティングエッジを形成する黒い領域702Lの適用がメタデータによって指示された場合、図13では、左フローティングエッジのフローティング解除または除去によって、立体映像400とほぼ同じであるが覆い隠された領域1200を有する立体映像1300が生成される。
あるいは、別のシナリオでは、覆い隠された領域1200と領域900が両方とも図9に存在する(図示せず)場合、すでに所定の位置にあるフローティングエッジ(たとえば、黒い領域702L)に対して、これ以上何も行う必要はない。ルークの映像501が覆い隠された領域1200によって隠されるので、もはやスクリーンの左端近くで奥行き矛盾はなく、したがって、左フローティングエッジ、すなわち(図12の)黒い領域702Lは不要となるであろう。左フローティングエッジ702Lは覆い隠された領域900によって隠されるので、左フローティングエッジ702Lに対して何も実行する必要はない。
図14は、図7および図8の例に示すように、立体ペアの対応する左映像および右眼用映像において、必要に応じて、左フローティングエッジおよび/または右フローティングエッジの位置を定める自動的なフローティングエッジ配置プロセス1400ための流れ図である。さまざまな表示システムで立体視プレゼンテーションに一般的に適用可能なプロセス1400は、フローティングエッジのない立体ペアが提供されるステップ1401で始まる。フローティングエッジの作成または適用に使用するためのメタデータ(後述)も、必要に応じて提供されるかまたは導き出される。
ステップ1402では、左眼用立体映像の左端、またはより一般的には、2つの対向する端のうちの1つ(すなわち、左端または右端)に適切な最小視差が自動的に決定される。最小視差は、視聴者の最も近くに見える、またはスクリーンの前方で最も遠く見える、左端の近くにある物体に対して決定される。このような状況において、物体がスクリーンの端から所与のまたは所定の距離範囲内に位置する場合、その物体は近くにあると考えられ、その結果、スクリーンの端が物体の見かけ上の奥行きに対する有害な影響を及ぼし始める(たとえば、奥行き手がかり矛盾を発生させる)。この距離の範囲は、方針による判断に基づいて選択でき、適宜、スクリーンの端から特定の数のピクセルたとえば10ピクセル、または他の数のピクセル離れるように指定することができる。端の「近接」領域内にある物体の最小視差を決定するためのこの手順は、フローティングエッジの必要性がそのエッジによってクロップされるまたは切り取られる物体に基づくという前のシナリオと異なる。フローティングウィンドウを適用するための方針によるまたは審美的な判断が必要とは限らなくても、すなわち、あまり厳格でない基準を使用していても、その判断は、フローティングウィンドウが使用されるべきときにフローティングウィンドウがないことより好ましい場合がある。通常、フローティングエッジの幅を決定する際にエッジからの物体の距離を考慮に入れる必要はないことに留意されたい。
この視差は、さまざまな方法で取得することができる。たとえば、この視差は、メタデータとして(たとえば、左端近傍に近接する物体の最小視差として)として提供されてもよいし、(たとえば、左端に近接する一番前の物体の見かけ上の奥行きに対応する視差を計算する関数と同様に)メタデータから、または(最小を見つけるためにステップ1402で調査可能な)左端に隣接する領域の視差マップもしくは奥行きマップから、または左眼用映像および右眼用映像の視差解析によって導き出されてもよい。視差解析は、特許文献1、名称「System and Method for Depth Extraction of Images with Forward and Backward Depth Prediction」においてZhangらによって、または特許文献2、名称「System and Method for Depth Map Extraction Using Region-Based Filtering」においてZhangらによって教示された技法などの技法を使用して実行でき、これらの国際特許公開は両方とも、本願の譲受人に譲渡されている。両方のPCT出願の内容は、それらの全体が参照により本明細書に組み込まれる。
左側端に対して決定される最小視差は、左端全体の上から下までに適した単一の最小値(すなわち、左端全体に対して一定)を指してもよいし、端に沿って変化する1つまたは複数の値を指してもよいことに留意されたい。最小視差の大きさが、適用されるフローティングエッジの幅の基礎を形成するので、これは、フローティングエッジは、単一の最小視差値に基づいて端全体に沿って一定の幅を有するように提供されてもよいし、左端に沿って異なる場所で可変幅を有してもよいことも意味する。そのうえ、左端の最小視差は、フローティングエッジによるブランキングまたはブロッキングが映像のピクセル行ごとに画定される程度まですら、または任意の中間的な粗さまで、不連続とする(たとえば、いくつかの点でゼロの幅を有し、したがって左端に沿って覆い隠されていないスパンを残す)ことができる。
ステップ1403では、ステップ1402で決定された最小視差、すなわち、左端全体に沿った一定の最小視差または端に沿った種々の場所で可変の最小視差値もどちらかがゼロ未満であるかどうかに関するチェックが行われる。そうでない場合、すなわち、ステップ1402からの最小視差がゼロより大きいかこれに等しい場合、ステップ1404はスキップされる。それ以外の場合は、ステップ1404において、ステップ1402で決定された最小視差の大きさを少なくとも持つ幅の分だけ左側端で左眼用映像をブロックする黒い領域を提供することによって、左フローティングエッジが作成される。このブロッキングは、たとえば黒いエリア702Lを左眼用映像に焼き付けることによって、左眼用映像のコンテンツに直接重ね合わされてもよいし、たとえばデジタルシネマサーバ、映写機、またはビデオセットトップボックス、DVDプレーヤ、パーソナルコンピュータ、または携帯用ビデオプレーヤ、たとえばスマートフォンまたは他のモバイルデバイスによって、後で適用されるメタデータに指定してもよい。
ステップ1405で、右側端(またはステップ1402の端の反対側の端)における最小視差が同様に決定される。ステップ1406で、見つかった最小視差がゼロより大きいかまたはこれに等しい場合、ステップ1407がスキップされる。それ以外の場合、ステップ1407で、以前にステップ1404で左眼用映像について説明したように右眼用映像が右側端においてブロックされる右フローティングエッジが作成される。
プロセス1400はステップ1408で終わり、立体ペアは、コンテンツに焼き付けられるかまたは表示される前にブランクにされるかもしくはブロックされる領域を定義するメタデータとしてのどちらかの、加えられたゼロ、1つ、または2つのフローティングエッジを有する。
要約すると、3Dプレゼンテーションは、立体映像に少なくとも1つのフローティングエッジを設けることによって実施することができる。このプロセスは、少なくとも1つの立体映像の端(たとえば、左眼用映像の左端、および右眼用映像の右端)に関連する最小視差を決定するステップと、その映像の領域を封鎖するステップとを含み、この領域は、決定された最小視差の大きさに少なくとも等しい幅(映像の対応する端から測定される)を有する。その端に関連する最小視差は、視聴者に最も近い(またはディスプレイの前方にある最も遠い)、映像内の物体の視差によって与えられ、この物体は、(方針に関することとして画定される)所定の距離範囲、たとえば、いくつかのピクセル、−1、0、または10ピクセルによって定義されるように、その端の近くにあり、このピクセル数はわずかな値とすることができ、負の符号は、スクリーンの前方に見える物体の視差を示す。本発明の原理においては、(スクリーンの前方の)前景物体の最小視差のみが、フローティングエッジの適用に関係する。
ブランクにされるかまたはブロックされる領域(複数可)の内部の端(すなわち、ディスプレイの中央により近い内側の端)は(鋸歯状すなわちギザギザとはまったく異なり)滑らかにすることができ、領域は、輪郭をぼかした外観となるようにフェザリングされ(feathered)てもよいことに留意されたい。しかし、滑らかにする場合とフェザリング(feathering)の場合の両方において、ステップ1402およびステップ1405で決定されることを促進するために、追加のブランキングのみが行われるべきであり、すなわち、滑らかにすることおよびフェザリングの結果、ブランクにされるべき領域のかなりの部分がブランクにされなくなるべきではない。なぜなら、これによって、プロセスが解消を求める視覚的な不一致が再びもたらされるからである。フローティングエッジのギザギザの内側の端または他の類似の変形形態のフェザリングの使用は、様式または審美面に関するさまざまな影響を達成することに向けられるが、主な目的は依然として同じである、すなわち、スクリーン面端によって隠される前景物体の奥行き手がかりの矛盾を回避するという目的のままである。
図15は、図10および図11の例に示すような自動的または動的なフローティングエッジの位置決定を提供するプロセス1500のための流れ図を示す。映像全体が見えるという仮定の下でフローティングエッジを実施するプロセス1400とは異なり、プロセス1500は、表示システムによる映像のマスキングまたはクロッピングを考慮に入れてフローティングエッジを提供する。プロセス1500は、立体映像ペアが提供されるステップ1501で始まる。この立体ペアは、任意選択で、焼き付けられたまたはメタデータとして提供されたフローティングエッジをすでに有することができる。追加のメタデータ(たとえば、上述のように、視差情報を含む)も、必要に応じて、提供されるかまたは導き出されてよい。
ステップ1502では、たとえば特許文献3、名称「Method and Apparatus for Preparing Subtitles for Display」においてRedmannによって教示されるように、プレゼンテーション用スクリーンのクリアなエリアが決定される。「クリアなエリア」は、映像空間内の対応する部分、すなわち、左映像または右映像の、モニタの電子回路によるマスキングまたはクロッピングによって隠蔽されることなくスクリーンで見える部分を有する。図10の例では、スクリーンのクリアなエリアは部分ABCDである。クリアなエリアを決定するための較正手順の一例は、座標グリッドをスクリーン上に投影するステップを含み、スクリーンの隅部の最も近くで確認できる最も外側の座標に注意されたい。これらの隅部座標の内側の領域は、クリアな、映写される映像エリアの領域を画定するが、これらの隅部座標の外側の領域はビューから隠蔽される。一般に、この較正は、立体視動作モードでどちらの眼に対して実行されてもよいし、立体視動作を無効にすることによって2Dで実行されてもよい。
場合によっては、クリアなエリアは、以前の測定によってであれ、または1回もしくは複数回の一般的な隠蔽によってであれ、あらかじめ決定することができる。これは、特に専門家向けまたは一般消費者向けのビデオモニタに関して当てはまるが、映写システムに関してはあまりありえない。たとえば、レターボックス形式を使用せずに高精細度16:9のコンテンツを提示する、中心にある、垂直方向の追加のクロッピングを行わない、4:3のアスペクト比を有するモニタは、明確に画定された隠蔽される領域を左端および右端に有する。このようなディスプレイが共通クラスを有すると定義された場合、そのクラスのすべてのディスプレイは、共通の、明確なクリアなエリアを示す。このような場合、クリアなエリアは、ディスプレイの特定のクラスまたはタイプに属するディスプレイに基づいて、またはディスプレイのモデル番号によるインデックスが作成されたルックアップテーブルを参照して、またはディスプレイによってメタデータとして自動的に報告されるか、もしくは提供される他のメタデータ(たとえば、固有の解像度、たとえばVESA(Video Electronics Standards Association)によって標準化されたE−EDID(Enhanced Extended Display Identification Data)に記載されている)から導き出されうるクリアなエリアを有することによって、決定することができる。いくつかの実施形態では、表示のために映像をスケーリングおよび/またはクロップするかどうかの決定は、おそらくセットトップボックスまたはその他のビデオソースで行われ、次に、セットトップボックスまたはその他のビデオソースは、固有のアスペクト比において固有のビデオレートでモニタを供給(feed)し、この固有のアスペクト比はコンテンツのアスペクト比と異なってもよい。この場合、このようなクリアなエリアの事前決定は、ビデオソースのポリシーまたは好みの設定から行われる。
ステップ1503では、クリアなエリアの左端に沿った最小視差が、たとえば、最小の視差を有する(すなわち、ディスプレイの前方にある最も遠い)、左端の近くにある物体に基づいて決定される。プロセス1400のステップ1402と同様に、最小視差は、クリアなエリアの左端に沿って上から下まで決定された単一の最小値として決定されてもよいし、映像の各ピクセル行と同じ細さの間隔で、クリアなエリアの左端に沿った複数の領域または点において決定されてもよい。
ステップ1504では、見つかった視差のすべてがゼロより大きいかまたはこれに等しい場合、ステップ1505がスキップされる。それ以外の場合は、ステップ1505において、特定の幅を有するフローティングエッジまたはフローティングウィンドウが左眼用映像に適用され、その結果、映像の一部分がブロックされる。フローティングウィンドウの幅は、クリアなエリアの左端(たとえば、図10のマスク領域900の右端AB)に相当する点から、見つかった最小視差の大きさに少なくとも等しい幅まで測定される。図10を参照すると、フローティングウィンドウ(黒の領域)1002Lは、視差401に少なくとも等しい幅1001を有する。フローティングウィンドウの幅は左眼用映像の左端までずっと拡張することもできるが、マスク領域900によって隠されるフローティングウィンドウのその部分は不必要である。
言い換えれば、ステップ1504において、左端に近接した物体の最小視差が負であることが判明した場合、ステップ1505では、左眼用映像は、クリアなエリアの左端に適用されたフローティングエッジによってブロックされるかまたは消去される(blanked off)。この消去される領域(図10〜図11の1002L)の内部境界または内側区域は、最小視差に基づいて決定され、この場合、クリアなエリアの左端の右側の、最小視差の大きさに等しい距離のところに位置する。左眼用映像は、領域1002Lによって消去でき、場合によっては左の貫通(left through)領域900まで続く。領域900が(図10の例では)隠蔽されるので、左眼用映像は領域1002Lを黒く塗りつぶすのに十分であるが、隠蔽領域の測定が十分に正確でない場合、領域900をさらに黒く塗りつぶすことが望ましいことがある。あるいは、このブランキングはメタデータとしてコード化されてもよいが、このブランキングが、ステップ1502でクリアなエリアが決定された特定のディスプレイに特有であることを考慮すると、その適用を遅らせる正当な理由はないであろう。
同様に、クリアなエリアの右端の近くにある物体の最小視差がステップ1506で決定される。ステップ1507では、見つかった最小視差がゼロより大きいかまたはこれに等しい場合、ステップ1508がスキップされ、プロセスはステップ1509で終わる。それ以外の場合は、ステップ1508において、右眼用映像は、クリアなエリアの右端に対応する点から映像の中央部分に向かって、ステップ1506にて見つかった最小視差(複数可)の大きさまで、場合によっては(図10の隠蔽領域900の場合のシナリオに類似して)右眼用映像の右端に至るまで、ブランクにされる。あるいは、ステップ1505と同様に、フローティングエッジのこのブロッキングまたは追加は、メタデータとしてコード化されることができる。ステップ1506、1507、および1508がクリアなエリアの異なる端(右端対左端)上で実行され、消去領域が他の立体映像(右眼用映像対左眼用映像)に適用されることを除いて、ステップ1506、1507、および1508は本質的には、ステップ1503、1504、および1505と同じ動作を繰り返すことに留意されたい。
プロセス1500はステップ1509で終わり、立体ペアは、コンテンツに焼き付けられるかまたは表示される前にブランクにされる領域を定義するメタデータとしてのどちらかの、ステップ1502で決定されたクリアなエリアの内側に加えられた、ゼロ、1つ、または2つのフローティングエッジを有する。
別個のプロセス1400および1500を有する利点は、プロセス1500を実行するまたは映像の一部分を隠蔽するように構成されない単純なディスプレイまたはシステムでは、プロセス1400によって提供されるコンテンツが、(特に、黒の領域たとえば702Lがコンテンツに焼き付けられる場合)直ちに使用できることである。しかし、それ自身のクリアなエリアが判明しているプレゼンテーションシステム(たとえば、とりわけセットトップボックスおよび/もしくはモニタ、またはデジタルシネマサーバおよび/もしくはデジタルシネマ映写機)は、プロセス1500をさらに適用し、それによって、プロセス1400によりコンテンツ内に(またはコンテンツを有する、メタデータとして)設けられたフローティングエッジが、プレゼンテーションシステムに認識されている隠蔽エリア(たとえば、900)によって損なわれるときの自動補償を実現することができる。
図16は、図12および図13の例に示すような動的なフローティングエッジ縮小を実施する自動的なフローティングエッジ調整プロセス1600のための流れ図を示す。ここで、プロセス1600は、フローティングエッジの位置決定に関するメタデータを立体ペアがすでに備えるステップ1601で始まる。(上述のような)追加のメタデータも、必要に応じて、提供されるかまたは導出されてよい。
ステップ1602では、プロセス1500のステップ1502で説明したように、ディスプレイのクリアなエリアが決定される。ステップ1603では、前述したように、エリアクリアなの左端に関連する最小視差が決定される。隠蔽エリア(たとえば、図12または図13のエリア1200)では、前景物体(たとえば、図10のルーク101)のすべてまたは一部分がディスプレイの視認可能な部分から隠される場合があることに留意されたい。
ステップ1604では、ステップ1603で決定された最小視差(しかし、背景物体の視差はゼロに固定される)とメタデータによって規定される左端ブランキング部分の幅との比較が行われる。最小視差とゼロのうちの小さい方の大きさが、メタデータにより左端に対して規定された消去される部分の幅より大きいかまたはこれに等しい場合、ステップ1605がスキップされ、その結果、メタデータによって提供された消去される部分は縮小されない。それ例外の場合は、最小視差とゼロのうちの小さい方の大きさが、左端に規定される遮蔽部分(blocked−off portion)の幅より小さい場合、ステップ1605において、左端の遮蔽部分の幅を減少できるが、最小視差とゼロのうちの小さい方の絶対値に等しいかまたはこれより大きい量のみとなる。ゼロ視差はスクリーンの表面にあり、これより「大きな」視差はスクリーンの後方にあって、フローティングウィンドウの効果が及ばないことを想起されたい。ゼロより「小さい」(負である)視差は、スクリーンの前方にあり、潜在的にはフローティングウィンドウと相互に作用することができる。その結果、端に近接した映像内の最も近い物体がスクリーンの後方にある場合、フローティングウィンドウはゼロ(ゼロと正の視差のうちの小さい方)に縮小されるが、端における最も近いものがスクリーンの前方にある場合、フローティングエッジは、その視差(またはその絶対値)に合わせて、またはそれよりやや広く設定される。
ステップ1603、1604、および1605における手順は、他方の眼の映像に対して繰り返される。したがって、ステップ1606では、クリアなエリアの右端に関連する最小視差が決定され、ステップ1607では、メタデータによって規定される値と比較される。適切な場合、右端における右眼用映像に対して規定されたブランキングが、ステップ1608で減少される。
プロセス1600はステップ1609で終わり、左端および右端のブランキングに関する、減少される可能性のある規定は、メタデータの規定としてディスプレイ(たとえば、モニタまたは映写機)に向けて前方に渡されてもよいし、またはブランキングは、ゼロ(すなわち、ブランクにされる必要がある領域がない)またはこれより多い黒の領域としてコンテンツに焼き付けられてもよく、それぞれ立体コンテンツの左眼用映像および右眼用映像の一方または他方に適用される。
図14〜図16は、立体映像またはクリアなエリアの左側端の最小視差が右側端より前に決定される(たとえば、ステップ1402はステップ1405の前に実行される)ことを示すが、これらのプロセスのステップは、最初に右側端に対して、次に左側端に対して実行することもできる。
フローティングエッジ縮小プロセス1600は、プロセス1400からフローティングエッジを提供するためにメタデータを使用することが、対応する黒の領域(複数可)を立体コンテンツに焼き付けることに比べて有利な場合があることを示唆する。メタデータ手法は、柔軟性の向上をもたらす。なぜなら、これによって、フローティングエッジが大きすぎる、または(たとえば、1200などの隠蔽領域の存在と同様に)まったく不必要と判定される場合、優れた(savvy)または高性能な表示システムが、フローティングエッジに関連するクロッピングを減少させるかまたはなくすことが可能になるからである。その基となるコンテンツが、焼き付けられた黒の領域を有する場合、クロッピングのこのような減少または除去は容易には実行されない。
説明をわかりやすくするため、以下の詳細は、ステップ1604、1605、1607、および1608における上記の説明ならびに図12〜図13の両方から省略されることに留意されたい。クリアなエリアが、隠蔽領域たとえば領域900によって側方と結合している場合、その隠蔽領域の幅を最小視差とゼロのうちの小さい方に追加してから、ステップ1604またはステップ1607における規定されたブランキング幅との比較およびステップ1605またはステップ1608における条件付きの縮小を行わなければならない。言い換えれば、「ブランキング」が、(図11の1002Lのように)映像の端から領域の反対側の端まで定義される場合、ブランキングの幅は、1002Lの幅プラス領域900の幅である。
プロセス1400、1500、および1600は、立体映像のシーケンスに最も多く適用されると予想される。このようなシナリオでは、たとえば、キャラクターまたは物体がシーンに登場したり退場したりするので、両端に近い前景物体の位置および視差は、フレームごとに変化することができる。フローティングエッジの(シーンの変更時以外の)急な拡張もしくは収縮またはぶれ(jitter)または連続的な変化を回避するため、ステップ1402、1405、1503、1506、1603、1606での最小視差の幅、またはその結果生成される、ステップ1404、1407、1505、1508、1605、もしくは1608でコンテンツに焼き付けられるかもしくはメタデータとして記録されるブランキング幅は、このような変更を予想し、変化するフローティングエッジ(複数可)に注目を集めると思われる不必要な変更を最小限にするように、スムージングされるか他の方法でフィルタ処理される(シーケンス内の後の立体映像のことを考えることを含む)ことができる。
要約すると、本発明の実施形態は、映像空間の端において奥行き矛盾を生成しうる前景物体を有する3D立体映像のフローティングエッジ(複数可)を自動的に適用するかまたは修正するために適用可能であると提示してきた。これらの方法には、プレゼンテーションのためのフローティングエッジを最初に生成するのに適用可能なものもあれば、たとえば部分的に隠蔽された表示スクリーンが存在することにより、コンテンツと共に提供される(メタデータによって規定されるような)フローティングエッジを補正するかまたは調整するために使用されるものもある。
図17は、本発明の一実装形態を示すブロック図を表す。デジタルシネマシステム1700は、デジタルシネマサーバ1710と、立体映像の提示に適したデジタルシネマ映写機1720とを含む。ストレージデバイス1712に対する読み込みアクセスを少なくとも有するデジタルシネマサーバ1710は、ストレージデバイス1712から構図を読み込み、立体画像および音声の重要なポイント(essence)を解読するように構成される。画像の重要なポイント(焼き付けた1つまたは複数のフローティングエッジを有してもよい)、および該当する場合はフローティングエッジに関するメタデータが、接続1714を経由してデジタルシネマ映写機1720に提供され、接続1714は一方向通信路であってもよいし、双方向通信路であってもよい。デジタルシネマ映写機1720は、立体画像の重要なポイントから立体映像を生成し、その結果得られる映像を、レンズ1722を通して観客席のスクリーン(図示せず)に映写する。音声の重要なポイントは、デジタルシネマサーバ1710によって音声再生系(audio reproduction chain)(図示せず)に提供され、音声再生系は、立体画像の重要なポイントに関連するまたはこれに付随する音声成分を観客席の聴衆に届ける。
本発明では、スクリーンが、たとえばマスキングによる、隠蔽領域を有する場合、(たとえば、映写機1720内の)プロセッサは、立体映像の一方または両方に対して、フローティングエッジが適用されるべきかどうか、またはメタデータによって規定されたフローティングエッジから調整されるべきかどうかを判定する目的で、プロセス1500または1600などのプロセスを実施するために(たとえば、ストレージ1726に保存された)プログラム命令を実行することができる。
代替的実施形態では、立体映像のフローティングエッジの調整は、デジタルシネマサーバ1710によって実行され、直ちに表示できる映写機1720に提供されうる。
家庭での使用に適したさらに別の実施形態(図示せず)では、セットトップボックスまたはDVDプレーヤは、3D対応モニタ(すなわち、立体映像を表示することが可能なモニタ)で表示するために立体映像によるフローティングエッジの調整を実行することができる。あるいは、立体映像のフローティングエッジの調整は、3D対応モニタ内部のコンピュータによってすべて実行されてもよい。
具体的な例を上記で提示してきたが、他の変形形態を使用して本発明の原理の1つまたは複数の特徴を実施することができる。たとえば、ディスプレイの端に近接する領域内の最小視差に基づいてフローティングエッジを定義するのではなく、最小視差の代わりに見かけ上の奥行きを使用することができる。したがって、方法は、映像表示エリアの端に近接する立体映像の領域内の物体の見かけ上の奥行きを決定するステップと、立体映像の一部分が表示されるのをブロックし、その一部分の幅は物体の見かけ上の奥行きに基づいて選択される、ステップとを含むことができる。
別の実施形態では、フローティングエッジに関連する情報は、表示システムのメモリに保存され、立体視プレゼンテーションの前に取り出し可能である。次に、このフローティングエッジは、立体映像の特定の部分をブロックするために、取り出された情報に基づいて適用することができる。
別の実施形態は、立体映像の領域内の複数のピクセルを識別し、立体映像の領域内の複数のピクセルに関連する視差を比較することによりその領域の最小視差を決定することによって取得される最小視差情報を提供することができる。
本発明の一態様は、1つまたは複数のプロセッサによって実行されると本発明の原理の実施形態による上述の方法などの方法が実施される特定のプログラム命令が保存されたコンピュータ可読媒体(たとえば、メモリ、ストレージデバイス、リムーバブルメディアなど)も提供する。
上記は本発明の種々の実施形態を対象とするが、本発明の基本的範囲から逸脱することなく、本発明のさらに他の実施形態が考案されうる。したがって、本発明の適切な範囲は、以下の特許請求の範囲により決定されるものである。
<付記1>
立体コンテンツのプレゼンテーションに使用するための方法であって、
第1の立体映像の領域に関連する最小視差を取得するステップと、
前記最小視差に従って、前記領域に近接した前記第1の立体映像の一部分を画定するステップと、
前記画定された部分が表示されるのをブロックしながら、前記第1の立体映像を表示するステップと
を含む、前記方法。
<付記2>
前記最小視差は、前記立体コンテンツと共に提供されるメタデータ、前記領域の視差マップからの導出、および前記第1の立体映像および第2の立体映像の視差解析のうちの1つに基づいて取得され、前記第1の立体映像と前記第2の立体映像が立体映像ペアを形成する、付記1に記載の前記方法。
<付記3>
各視差は、前記第1の立体映像のピクセルと前記第2の立体映像の対応するピクセルとの間のオフセットを表す、付記2に記載の前記方法。
<付記4>
前記第1の立体映像の前記領域は、前記第1の立体映像の垂直な端および前記第1の立体映像を表示するためのエリアの垂直な端のうちの1つに近接する、付記1に記載の前記方法。
<付記5>
前記ブロックされる部分は、前記最小視差の大きさに少なくとも等しい幅を有する、付記1に記載の前記方法。
<付記6>
前記第1の立体映像の前記ブロックされる部分は、左眼用映像の左の部分および右眼用映像の右の部分のうちの少なくとも1つにある、付記1に記載の前記方法。
<付記7>
前記左の部分は、前記左眼用映像の垂直な左端と映像表示エリアの垂直な左端のうちの少なくとも1つから、前記左眼用映像の中央部分に向かって延びる、付記6に記載の前記方法。
<付記8>
前記右の部分は、前記右眼用映像の垂直な右端と映像表示エリアの垂直な右端のうちの少なくとも1つから、前記右眼用映像の中央部分に向かって延びる、付記6に記載の前記方法。
<付記9>
前記第1の立体映像を表示する前に、前記画定された部分に関する情報を保存するステップと、
前記保存された情報を取り出すステップと、
前記第1の立体映像の表示中に前記取り出された情報に基づいて前記第1の立体映像の前記画定された部分をブロックするステップと
をさらに含む、付記1に記載の前記方法。
<付記10>
前記第1の立体映像の前記領域内の複数のピクセルを識別するステップと、
前記第1の立体映像の前記領域内の前記複数のピクセルに関連する各視差を比較することによって、前記最小視差を決定するステップと
をさらに含む、付記1に記載の前記方法。
<付記11>
立体表示に使用するための方法であって、
映像表示エリアの端に近接した立体映像の領域における物体の見かけ上の奥行きを決定するステップと、
前記立体映像の一部分が表示されるのをブロックするステップであって、前記一部分が、前記物体の前記見かけ上の奥行きに基づいて選択された幅を有する、ステップと
を含む、前記方法。
<付記12>
立体コンテンツを提示するためのシステムであって、
第1の立体映像の領域に関連する最小視差を決定し、前記最小視差に従って、前記領域に近接した前記第1の立体映像の一部分を画定し、前記第1の立体映像の表示中に前記画定された部分をブロックするように構成される少なくとも1つのプロセッサ
を備える、前記システム。
<付記13>
前記少なくとも1つのプロセッサは、前記立体コンテンツと共に提供されるメタデータ、前記領域の視差マップからの導出、および前記第1の立体映像および第2の立体映像の視差解析のうちの1つに基づいて前記最小視差を決定するようにさらに構成され、前記第1の立体映像と前記第2の立体映像が立体映像ペアを形成する、付記12に記載の前記システム。
<付記14>
前記第1の立体映像の前記領域は、前記第1の立体映像の垂直な端および前記第1の映像を表示するためのエリアの垂直な端のうちの1つに近接する、付記12に記載の前記システム。
<付記15>
前記ブロックされる部分は、前記最小視差の大きさに少なくとも等しい幅を有する、付記12に記載の前記システム。
<付記16>
前記第1の立体映像の前記ブロックされる部分は、左眼用映像の左の部分および右眼用映像の右の部分のうちの少なくとも1つにある、付記12に記載の前記システム。
<付記17>
前記少なくとも1つのプロセッサは、デジタルシネマ表示システムおよび一般消費者向けビデオ表示システムのうちの1つに設けられる、付記12に記載の前記システム。
<付記18>
前記少なくとも1つのプロセッサは、デジタルビデオプレーヤ、セットトップボックス、およびモバイルデバイスのうちの少なくとも1つに設けられる、付記12に記載の前記システム。

Claims (14)

  1. 立体コンテンツのプレゼンテーションに使用するための方法であって、
    第1の立体映像の領域に関連する最小視差を取得するステップであって、前記領域は、前記第1の立体映像の覆い隠された領域に近接し、前記最小視差は、視聴者に対して最も近くに見えるかあるいはスクリーンの前方から最も遠くに見える物体であって、端の近傍内の前記物体に関して決定され、前記物体が前記端から所定の距離範囲内に位置付けられている場合、前記物体は前記端の前記近傍内とみなされる、ステップと、
    前記最小視差に従って、前記覆い隠された領域に近接した前記第1の立体映像の一部分を画定するステップであって、前記画定された一部分は、前記最小視差の大きさに等しい幅を有し、前記画定された一部分は、左眼用映像の左端側および右眼用映像の右端側のうちの少なくとも1つである、ステップと、
    黒い領域を含むフローティングウィンドウを使用して前記画定された一部分が表示されるのをブロックしながら、前記第1の立体映像を表示するステップと
    を含む、前記方法。
  2. 前記最小視差は、前記立体コンテンツと共に提供されるメタデータ、前記領域の視差マップからの導出、並びに前記第1の立体映像および第2の立体映像の視差解析のうちの1つに基づいて取得され、前記第1の立体映像および前記第2の立体映像が立体映像ペアを形成する、請求項1に記載の前記方法。
  3. 各視差は、前記第1の立体映像のピクセルと前記第2の立体映像の対応するピクセルとの間のオフセットを表す、請求項2に記載の前記方法。
  4. 前記第1の立体映像の前記領域は、前記第1の立体映像の垂直な端および前記第1の立体映像を表示するためのエリアの垂直な端のうちの1つに近接する、請求項1に記載の前記方法。
  5. 前記左端側は、前記左眼用映像の垂直な左端と映像表示エリアの垂直な左端のうちの少なくとも1つから、前記左眼用映像の中央部分に向かって延びる、請求項1に記載の前記方法。
  6. 前記右端側は、前記右眼用映像の垂直な右端と映像表示エリアの垂直な右端のうちの少なくとも1つから、前記右眼用映像の中央部分に向かって延びる、請求項1に記載の前記方法。
  7. 前記第1の立体映像を表示する前に、前記画定された部分に関する情報を保存するステップと、
    前記保存された情報を取り出すステップと、
    前記第1の立体映像の表示中に前記取り出された情報に基づいて前記第1の立体映像の前記画定された部分をブロックするステップと
    をさらに含む、請求項1に記載の前記方法。
  8. 前記第1の立体映像の前記領域内の複数のピクセルを識別するステップと、
    前記第1の立体映像の前記領域内の前記複数のピクセルに関連する視差を比較することによって、前記最小視差を決定するステップと
    をさらに含む、請求項1に記載の前記方法。
  9. 立体表示に使用するための方法であって、
    立体映像における物体の見かけ上の奥行きを決定するステップであって、前記物体は、前記立体映像の覆い隠された領域に近接し、前記見かけ上の奥行きは、視聴者に対して最も近くに見えるかあるいはスクリーンの前方から最も遠くに見える物体であって、端の近傍内の前記物体に関して決定され、前記物体が前記端から所定の距離範囲内に位置付けられている場合、前記物体は前記端の前記近傍内とみなされる、ステップと、
    黒い領域を含むフローティングウィンドウを使用して前記覆い隠された領域に近接する前記立体映像の一部分が表示されるのをブロックするステップであって、前記一部分が、前記物体の前記見かけ上の奥行きに基づいて選択された幅を有し、前記幅は、前記見かけ上の奥行きに対応する視差の大きさに等しく、前記ブロックされる一部分は、左眼用映像の左端側および右眼用映像の右端側のうちの少なくとも1つである、ステップと
    を含む、前記方法。
  10. 立体コンテンツを提示するためのシステムであって、
    第1の立体映像の領域に関連する最小視差を決定するように構成された少なくとも1つのプロセッサであって、前記領域は、前記第1の立体映像の覆い隠された領域に近接し、前記最小視差は、視聴者に対して最も近くに見えるかあるいはスクリーンの前方から最も遠くに見える物体であって、端の近傍内の前記物体に関して決定され、前記物体が前記端から所定の距離範囲内に位置付けられている場合、前記物体は前記端の近傍内とみなされ、前記プロセッサは、前記最小視差に従って、前記覆い隠された領域に近接した前記第1の立体映像の一部分を画定し、黒い領域を含むフローティングウィンドウを使用して前記第1の立体映像の表示中に前記画定された部分をブロックし、前記画定された一部分は、前記最小視差の大きさに等しい幅を有し、前記画定された一部分は、左眼用映像の左端側および右眼用映像の右端側のうちの少なくとも1つである、少なくとも1つのプロセッサ
    を備える、前記システム。
  11. 前記少なくとも1つのプロセッサは、前記立体コンテンツと共に提供されるメタデータ、前記領域の視差マップからの導出、および前記第1の立体映像および第2の立体映像の視差解析のうちの1つに基づいて前記最小視差を決定するようにさらに構成され、前記第1の立体映像と前記第2の立体映像が立体映像ペアを形成する、請求項10に記載の前記システム。
  12. 前記第1の立体映像の前記領域は、前記第1の立体映像の垂直な端および前記第1の立体映像を表示するためのエリアの垂直な端のうちの1つに近接する、請求項10に記載の前記システム。
  13. 前記少なくとも1つのプロセッサは、デジタルシネマ表示システムおよび一般消費者向けビデオ表示システムのうちの1つに設けられる、請求項10に記載の前記システム。
  14. 前記少なくとも1つのプロセッサは、デジタルビデオプレーヤ、セットトップボックス、およびモバイルデバイスのうちの少なくとも1つに設けられる、請求項10に記載の前記システム。
JP2013502567A 2010-04-01 2011-04-01 3次元(3d)プレゼンテーションにおいてフローティングウィンドウを使用する方法およびシステム Active JP6069188B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US31997210P 2010-04-01 2010-04-01
US61/319,972 2010-04-01
PCT/US2011/000589 WO2011123177A1 (en) 2010-04-01 2011-04-01 Method and system of using floating window in three-dimensional (3d) presentation

Publications (2)

Publication Number Publication Date
JP2013526123A JP2013526123A (ja) 2013-06-20
JP6069188B2 true JP6069188B2 (ja) 2017-02-01

Family

ID=44120886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013502567A Active JP6069188B2 (ja) 2010-04-01 2011-04-01 3次元(3d)プレゼンテーションにおいてフローティングウィンドウを使用する方法およびシステム

Country Status (6)

Country Link
US (1) US9681113B2 (ja)
EP (1) EP2553930B1 (ja)
JP (1) JP6069188B2 (ja)
KR (1) KR101813299B1 (ja)
CN (1) CN102835117B (ja)
WO (1) WO2011123177A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2489931A (en) * 2011-04-08 2012-10-17 Sony Corp Analysis of 3D video to detect frame violation within cropped images
DE102012209316A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
US9129436B2 (en) 2012-08-01 2015-09-08 Dreamworks Animation Llc Techniques for smoothing scripted stereo curves for stereoscopic computer animation
KR101511315B1 (ko) * 2012-10-30 2015-04-14 한국과학기술원 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
WO2014100020A1 (en) * 2012-12-20 2014-06-26 Dolby Laboratories Licensing Corporation Managing 3d edge effects on autostereoscopic displays
US9998800B2 (en) * 2013-03-12 2018-06-12 Electronics And Telecommunications Research Institute 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
EP3528496A1 (en) * 2018-02-16 2019-08-21 Ultra-D Coöperatief U.A. Overscan for 3d display
CN109391808A (zh) * 2018-09-25 2019-02-26 上海玮舟微电子科技有限公司 出屏遮挡处理方法、装置、设备和介质
CN116325720A (zh) * 2020-10-21 2023-06-23 谷歌有限责任公司 远程呈现中的深度冲突的动态消解
CN112866572B (zh) * 2021-01-11 2022-08-23 浙江大华技术股份有限公司 画面黑边矫正的方法、装置、电子装置和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269657B2 (ja) 1992-05-07 2002-03-25 日本電信電話株式会社 両眼立体視装置
US5691843A (en) * 1993-12-09 1997-11-25 O'neill; William J. Enhanced depth perception in a two-dimensional image
JPH0865715A (ja) 1994-08-22 1996-03-08 Toshiba Corp 立体映像表示方法及び立体映像表示装置
JP2826710B2 (ja) 1995-02-27 1998-11-18 株式会社エイ・ティ・アール人間情報通信研究所 2眼式立体画像表示方法
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
DE19927128A1 (de) * 1999-06-11 2000-12-28 Minoru Inaba Stereo Kamera
WO2002071764A1 (en) * 2001-01-24 2002-09-12 Vrex, Inc. Method and system for adjusting stereoscopic image to optimize viewing for image zooming
US20050195477A1 (en) 2004-03-02 2005-09-08 Cary Kornfeld Method and Apparatus for the Suppression of Pinning in Stereoscopic Display Systems
EP2067360A1 (en) * 2006-09-25 2009-06-10 Nokia Corporation Supporting a 3d presentation
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
CN101960860B (zh) 2007-11-09 2013-06-26 汤姆森许可贸易公司 使用基于区域的滤波的深度图提取系统和方法
US8300086B2 (en) * 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US9659382B2 (en) 2008-05-28 2017-05-23 Thomson Licensing System and method for depth extraction of images with forward and backward depth prediction
US9251621B2 (en) * 2008-08-14 2016-02-02 Reald Inc. Point reposition depth mapping
EP2340534B1 (en) * 2008-10-03 2013-07-24 RealD Inc. Optimal depth mapping
KR101667723B1 (ko) * 2008-12-02 2016-10-19 엘지전자 주식회사 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
US20110285726A1 (en) 2009-02-18 2011-11-24 William Gibbens Redmann Method and apparatus for preparing subtitles for display
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Also Published As

Publication number Publication date
JP2013526123A (ja) 2013-06-20
KR101813299B1 (ko) 2017-12-28
US20130010093A1 (en) 2013-01-10
CN102835117A (zh) 2012-12-19
KR20130091245A (ko) 2013-08-16
WO2011123177A1 (en) 2011-10-06
CN102835117B (zh) 2016-01-20
EP2553930B1 (en) 2024-01-17
US9681113B2 (en) 2017-06-13
EP2553930A1 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
JP6069188B2 (ja) 3次元(3d)プレゼンテーションにおいてフローティングウィンドウを使用する方法およびシステム
US10390000B2 (en) Systems and methods for providing closed captioning in three-dimensional imagery
JP6068329B2 (ja) 立体表示用のサブタイトルを生成する方法及びシステム
US8605136B2 (en) 2D to 3D user interface content data conversion
US8514275B2 (en) Three-dimensional (3D) display method and system
CA2761974C (en) Insertion of 3d objects in a stereoscopic image at relative depth
US7660472B2 (en) System and method for managing stereoscopic viewing
GB2548346A (en) Image processing method and apparatus
KR101598055B1 (ko) 다면 상영관의 컨텐츠 사이즈 노멀라이징 방법, 장치 및 컴퓨터로 판독 가능한 기록 매체
US20140104268A1 (en) Method and apparatus for correcting stereoscopic display edge violations
KR101598057B1 (ko) 다면 상영관의 컨텐츠 사이즈 노멀라이징 방법, 장치 및 컴퓨터로 판독 가능한 기록 매체
KR20150059138A (ko) 다면 상영관의 컨텐츠 사이즈 노멀라이징 방법, 장치 및 컴퓨터로 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161108

TRDD Decision of grant or rejection written
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161202

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161226

R150 Certificate of patent or registration of utility model

Ref document number: 6069188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250