JP6068329B2 - 立体表示用のサブタイトルを生成する方法及びシステム - Google Patents

Description

本発明は立体表示(stereoscopic presentation)に使用するサブタイトル又は字幕を生成することに関連する。

3次元(3D)ディジタルシネマ劇場表現の場合、サブタイトル、キャプション、説明文、見出し、字幕又は文字情報が表示される領域をマスキングにより遮蔽又は被覆するため、サブタイトルに修正を要する、例えば画面上での位置及び/又は寸法の調整を要する。3Dビデオ表示においても、同様な状況が、コンテンツ又はオリジナルのサブタイトルのラスタ全長(full raster)がモニタの表示領域より広い領域を占める場合に生じる。そのような状況において、3Dの場合、サブタイトル又はキャプションのサイズ又は寸法を調整しなければならないだけでなく、キャプションが重なる3Dコンテンツに適合させる必要もあり、キャプションがコンテンツ内の要素の奥行き(apparent depth)を妨害しないようにし、かつ背景コンテンツに対して遙か遠くの最前面に不適切に表示されないようにする。「奥行き又は深度(apparent depth)」という用語は画面に対して視聴者が感じる深度であり、左眼及び右眼画像の差異、視差又はディスパリティ(disparity)に起因する。異なる場所の視聴者は画像内の同じ要素に対して異なる奥行きを感じるので、3D表現は、通常、奥行きをもたらすように強制している。

3D表現の場合、キャプションの「重ね合わせ又はオーバーレイ(overlay)」又は「構成(composing)」は、画像空間の中でキャプションが視聴者に理解しやすくなるように、キャプション及び関連する画像又はコンテンツが形成されるようにする。この必要性は画像の一部を隠すことになり、(例えば、技術者又はサブタイトルの制作者等により)画像の一部は手作業で又は場合によっては自動的に選択され隠される。キャプションは全体的に又は部分的に半透明であってもよい。

3Dの場合、一般にサブタイトルはしばしば画素数で設定される指定されたディスパリティ(すなわち、右眼サブタイトル及び左眼サブタイトル間のずれ又はオフセット)と共に提供され、文字を表示するシステムが3D画像コンテンツと共にその文字を表示できるようにし、かつ右眼及び左眼サブタイトル間に適用される適切なオフセットを有するようにし、それらが適切に位置するようにする。右眼及び左眼間の位置のオフセットがゼロであった場合、サブタイトルは画面の表面にあるように見える。左眼用のサブタイトルに右側に右眼用のサブタイトルを設けると、そのサブタイトルは画面の後方にあるように見える。右眼用のサブタイトルが左眼用のサブタイトルの左側にある場合、そのサブタイトルは画面の前方にあるように見える。

本願と共通する発明者等はサブタイトルを表示する様々な方法及びシステムを開示しており、例えばRedmannによる「Method and Apparatus for Preparing Subtitles for Display」と題するPCT国際特許出願(特許文献1)や、Izzat等による「System and Method for Combing Text with Three - Dimensional Content」と題する国際特許出願(特許文献2)等がある。これら双方のPCT国際出願に教示されている内容全体は本願のリファレンスに明確に組み入れられる。

一般に、劇場用のキャプション及びサブタイトルは異なる意味を有する。例えば、キャプション(caption)は一次的なオーディオ(primary audio)の言語による注釈、解釈又はコメントを示し、サブタイトル(subtitle)は一次的なオーディオ以外の言語による注釈、解釈又はコメントを示す。しかしながら何れもメイン画像に適用される文字情報の例である。本願の実施の形態はキャプションにもサブタイトルにも等しく適用されるので、本願においてこれらの用語は同義語的に又は交換可能に使用される。

キャプション及びサブタイトルはしばしば「オープン(open)」又は「クローズド(closed)」として言及される。オープンキャプション又はサブタイトルは全てに視聴者にとって可視的であり、「焼き付けられ(burned-in)」ており、すなわちメイン画像(例えば、表示又は写すための画像又はコンテンツ)の切り離せない要素(inextricable element)に形成されている。クローズドキャプション又はサブタイトルは、しかしながら、メインページの伊津部としては提供されない。そうではなくそれらはモニタ又はプロジェクタ、又はモニタを駆動するセットトップボックスの操作によって、メインページの画像又はコンテンツの表示と共に表示される。

例えばディジタルシネマ上映の例の場合、サブタイトル又はキャプションはメインページ内のそれらのプレースメント(placement)にメタデータと共に提供される。例えばテレビジョンのような別の例の場合、クローズドキャプションがプレースメント情報(placement information)なしに提供され、プレースメントは表示システムにより除かれる。

多くのテレビジョンシステムは、表示装置に表示されるテキストのストリームとしてクローズドキャプションを提供している。ディジタルシネマシステムの場合、キャプション又はサブタイトルは時間テキスト(timed-text)として提供され、テキスト文字列は、デフォルトにより又は明示的な指定及びフォントにより表示され、或いはそれらはテキストの静止画フレームとして提供されてもよい。

国際公開第WO2010/096030号 国際公開第WO2008/115222号

開示される発明の課題は、立体表現用のサブタイトル又はキャプションを用意する改善された方法及びシステムを提供することである。

開示される発明による方法は、
立体表現用のサブタイトルを生成する方法であって、
調整情報に従ってサブタイトルを処理するステップと、
処理された前記サブタイトルを少なくとも1つの立体画像内に組み込み、立体表現用の少なくとも1つの平行移動された立体画像を生成するステップと
を有する方法である。

表現する場面の具体例を示す図。 図1に示す場面の3Dショット又はコンポジションの左眼画像を示す図。 図1に示す場面の3Dショット又はコンポジションの右眼画像を示す図。 図2及び図3の左眼及び右眼画像を重ね合わせることで形成された立体像を示す図。 キャプションと共に立体像を示し、キャプション及び様々なオブジェクトのディスパリティを示す図。 立体像から知覚される3Dの虚像を示す図。 途切れたキャプションを伴う立体像を示す図。 スケールを縮小したキャプションを伴う図7Aの立体像を示す図。 途切れないように調整されたキャプションを示す図。 途切れないようにしかつ3D画像内のオブジェクトに関する奥行きが矛盾しないようにする位置に調整されたキャプションを伴う立体像を示す図。 図7Bの画像に関する虚像を示す図。 図8及び図9の双方の表示を示す虚像を示す図。 シーンの中に配置された別のキャプションを示す図。 途切れたキャプションと共に図11の画像を示す図。 途切れないように上に平行移動させた図11の画像を示す図。 3D画像又はコンテンツ内のオブジェクトのディスパリティに対する位置関係をもたらすように調整されたディスパリティを有するキャプションを示す図。 図13及び図14の双方の表示を示す虚像を示す図。 3Dコンテンツ表現の表示のためにサブタイトルを調整する方法を示す図。 サブタイトル調整法の第1の形態を示す図。 サブタイトル調整法の第2の形態を示す図。 サブタイトル調整法の第3の形態を示す図。 サブタイトル調整法の第4の形態を示す図。 2つのフットプリントに関するクリアエリア及びパラメータを示す図。 本発明の実施の形態を実現するためのシステムを示す図。

＜概要＞
本発明の実施の形態は立体表現用のサブタイトル又はキャプションを用意する改善された方法及びシステムを提供する。サブタイトルは、打ち切られることなく又は邪魔することなく所与の画像表示領域の中で表示できるように、様々な方法で調整することが可能である。そのような調整は、スケール因子を適用することによりサブタイトルの寸法を変更すること、画像空間内のサブタイトルを並進させること、差異又はディスパリティ(disparity)又は奥行きを変更すること、又はそれらの組み合わせを含む。サブタイトルのディスパリティの調整は、配下の画像内の他のオブジェクト又は要素のディスパリティを考慮して行われるので、奥行きの矛盾(depth cue conflict)は最小化され、改善された立体映像を視聴できることになる。

一実施形態は、立体表現用のサブタイトルを生成する方法を提供し、本方法は、調整情報に従ってサブタイトルを処理するステップと、処理された前記サブタイトルを少なくとも1つの立体像内に組み込み、立体像用の少なくとも1つの並進させられた画像を生成するステップとを有する方法である。

別の実施の形態は、立体表現用のサブタイトルを生成するシステムを提供し、本システムは、スケール因子、並進量及びディスパリティの変化のうちの少なくとも1つを含む調整情報に従ってサブタイトルを自動的に処理し、処理された前記サブタイトルを立体像内に組み込み、立体像用に使用する並進された画像を生成する第1のプロセッサを有するシステムである。

＜発明の原理＞
本発明による教示内容は添付図面と共に以下の詳細な説明を考察することで十分に理解できるであろう。

本発明の実施の形態は立体表現による表示のためのサブタイトル又はキャプションを生成する方法及びシステムを提供し、その方法及びシステムは、表示システムの構成要素又はコンフィギュレーションにより邪魔されずに又は打ち切られずに、調整されたサブタイトルを所与の表示領域の中に提示できるように、サブタイトルに関する少なくとも1つのパラメータを調整する。調整可能なパラメータは、表示の面内でのサブタイトルの位置、寸法又はサイズ、表示面に対する水平ディスパリティ又は奥行き等を含んでもよい。サブタイトルの下のコンテンツ内の(すなわち、同じ表示画像領域を占めている)他のオブジェクトのディスパリティに基づいてサブタイトルの水平ディスパリティを調整することで、視聴者に対する深度の順序(depth cue)を乱すことなくサブタイトル及びオブジェクトを表示できる。

本発明の原理は、ディジタルシネマ劇場の装置及びビデオ装置、例えばヘッドエンドブロードキャスト又はストリーミングシステムだけでなく顧客側の装置に使用可能であり、そのような装置は、例えば、テレビジョンのモニタ、セットトップボックス、DVDプレーヤ、ビデオレコーダ、パーソナルコンピュータ、携帯用ディスプレイ(例えば、ビデオプレーヤ又はスマートフォン等におけるもの)、及びその他のモバイル又は携帯用の装置を含む。本発明の原理は、メイン画像又は画像コンテンツに事前には焼き付けられていないクローズドキャプション又はサブタイトルに、プレースメント情報がメタデータとして提供されているか否かによらず適用可能であり、プレゼンテーションの一部をなす画像又はコンテンツと共にこれらのサブタイトル又はキャプションを表示するのに使用される。

以下の説明において、「サブタイトル(subtitle)」及び「キャプション(caption)」という用語は、配信されるメイン画像に焼き付けられ(burned-in)ていない文字又は図形を示す際に同義語的に使用される。更に、サブタイトル及びキャプションは、端末装置により形成されているか或いはコンテンツストリームの一部として供給されているかによらず、重なる図形要素又はグラフィックオーバーレイ要素(graphic overlay element)を含んでもよい。端末装置により供給されるグラフィックオーバーレイ要素の具体例は、セットトップボックスのメニュー(例えば、ケーブル又は衛星ボックス)、再生速度のインジケータを含むDVDプレーヤ又はテレビジョンの制御による画面表示、音量設定、又は現在のチャネル等を含む。コンテンツストリームの一部として供給されるグラフィックオーバーレイ要素の具体例は、スポーツのスコア、水平に流れるニュースの文字(new crawl)、組み込まれている広告、「次は(coming up next)」の通知、ブロードキャストネットワークのアイコン等を含む。同様に、ピクチャーインピクチャー表示要素(pictureーinーpicture)のプレースメント及びディスパリティは上記と同様に取り扱うことができるので、これらはサブタイトル又はキャプチャが示すものに含まれることが理解できる。

本発明の原理によれば、3D表現のためのサブタイトル又はキャプション(サブタイトル、グラフィックオーバーレイ、ピクチャーインピクチャー表示要素等)は、ディジタルシネマであるかビデオであるかによらず、必要に応じてサイズを調整しながらリアルタイムで配置され又は配置され直され、マスキング又は画像サイズ変更を行い、コンテンツの特徴要素(すなわち、立体像のオブジェクト)を妨害しないようにする。或いは、サブタイトル又はキャプションの調整は、実際のコンテンツの表示に先立って行われ、何らかの詳細の表示に使用する際に備えて調整後のサブタイトルを保存してもよい。

そして、所与の画像表示領域又はシステム構成(マスキング、画像サイズ再設定又はシステム関連の調整により規定される)に関し、本方法は、位置、寸法及び/又は立体ディスパリティ(stereoscopic disparity)又はそれらの組み合わせに関してキャプションが自動的に調整できるようにし、美的でありかつ認識しやすいキャプション及びコンテンツ表示をもたらすようにする。

正当なサブタイトルの表示を妨害するおそれのある干渉源又はシステム構成が数多く存在する。例えば、劇場又はシアターの場合、プロジェクタ又は投影機は画面の曲率、投影角度、レンズの非線形性又は調整ずれ等に起因して画面の境界を越えるかもしれない。スクリーンマスキング又はカーテンは、投影スクリーンの利用可能な領域に進入するかもしれず、或いはキーストーン画像を多数の美観に配慮した四角形にするかもしれない。

別の例において、大スクリーンのテレビジョンセットのようなホームモニタは画像をオーバースキャンし(フルスクリーンに一部の画像を表示し)、例えば、輪郭のエッジを表示してしまうことを回避し或いはスケーリングし直すことなしに高解像度のコンテンツを表示する。場合によっては個々のモニタはモニタ自身のものとは異なるアスペクト比を有する映像を拡大し、例えば16：9のアスペクト比を有するHD(高解像度)モニタが4：3のアスペクト比を有するSD(標準的な解像度)の番組を受信し、画像の一部分が打ち切られてしまうような場合である。このような適切なサブタイトル表示に対する悪影響、妨害又は干渉は、本発明の実施の形態に従ってサブタイトルを調整することで回避できる。

2D及び3Dサブタイトル又はキャプションの配置に関する或る背景技術が本発明の原理による様々な実施の形態を理解する際に有益である。2Dキャプションの配置を特定するのに様々な方法がある。一実施形態において、境界ボックス(bounding box)(例えば、関心のあるオブジェクト又はアイテムを包囲する、表示の軸に沿った最小サイズの四角形)が、キャプションの高さ及び幅並びに位置(例えば、境界ボックスの左上隅の位置)によって規定されるようにして、指定される。 境界ボックスが指定されていない場合、キャプションの文字は変換又はレンダリングされ、境界ボックスが決定される。位置が指定されていない場合、デフォルトの所定値が使用されてもよい(例えば、画面の底辺から10％下及び中心から左から右へ)。そのような配置例自体は良く知られており、次のような標準仕様により公表されている。SMPTE429-5-2009 D-Cinema Packaging - Timed Text Track File and related documents published by the Society of Motion Picture and Television Engineers, White Plains, NY；MPEG-4 Part 17 text based subtitle format for MPEG-4 published as ISO/PEC 14496-17 in 2006；and the Synchronized Multimedia Integration Language (SMIL) produced by the international community of the World Wide Web Consortium (W3C), with officers in Cambridge, MA, for which timed-text has been offered as of version 2.0; or in the file format Substation Alpha (.SAS files), used by an obsolete product of the same name, created by CL Low; and Advanced Substation Alpha format (.ASS files, derived from the .SAS format) as used by the Aegisub subtitle editor (among others) promoted by a development community at the Aegisub website (www.aegisub.org)。

境界ボックス以外のより正確な表現は2Dキャプションの「最小フットプリント(minimum footprint)」であり、これは完全に表示された場合に画像にゼロでない寄与をもたらす(すなわち、完全に透明でもなく、マスクされてもおらず、オフスクリーンでもない)ラスタライズされた(rasterized)キャプションの(表示空間ではなく、ラスタライズされたキャプションの空間内の)画素全ての集合から成る領域である。

本発明の場合、2Dキャプションの「フットプリント(footprint)」は、境界ボックス(キャプションの画素全てを完全に包囲する四角形)、上記の最小フットプリント領域、或いは最小フットプリント領域委を実質的に含む他の幾何学図形の何れかとして与えられてもよい。

3Dキャプションの配置は2Dキャプションの配置と同様であるが、キャプションの右及び左眼表示間の水平オフセット又は水平ディスパリティ又は距離に対応する追加的なパラメータ(例えば、画素数、画面幅に対する割合(パーセント)、又は距離単位等により表現されてもよい)を使用する点が異なる。これは、対応する2Dキャプションに使用される基準位置又は配置ロケーションから右眼キャプションまでのオフセットを表現する単独値として与えられ、左眼キャプションはそのオフセットの分だけ逆向きの場所にある(すなわち、2D配置ロケーションから右眼キャプションと反対向きに位置する)。或いはその単独値は右眼キャプション及び左眼キャプションの間の距離を表現し、左眼キャプションは2Dキャプション配置情報に従って配置されてもよい。本説明においては後者の表現が使用されているが、双方の表現が等しく有効であり、簡易な計算により水平配置の値を調整することで一方から他方へ変換できる。

＜詳細な説明＞
後述の図面に関する状況を設定するため、図1は或る表現による代表的な場面又はシーン(scene)を示し、例えば以下で説明される幾つかのショットがなされた庭の場面を示す。庭の場面100は、一群の庭のサイズに合うチェスの駒102に囲まれて立っている役者103を示し、一群のチェスの駒は或る特定のチェスの駒、ルーク(rook)101を前方に含む。役者103の後方には木104がある。同じ距離だけ後方の右側にはランプ105があり、更に建物106もある。図2-15に示されている庭の場面のショットは、図1に表現されている見晴らしのよい地点(vantage point)に対して僅かに右側から撮影されている。

図2及び図3は庭の場面100のショット又は成分による立体像対を示し、図2は右眼画像200を示し、図3は左眼画像300を示す。画像200又は300の各々は庭の場面100内の個々のオブジェクトの記録された画像を含み、庭の場面内のオブジェクト各々が右及び左眼画像200及び300内に対応する記録画像を含むようにする。場面100内のオブジェクトの画像と立体像200、300との間の混乱のおそれを避けるため、立体像は左及び右眼成分(又は左及び右眼コンポジション)200、300と言及される。従って、役者103は対応する画像103L及び103Rを有し、ルーク101は対応する画像101L及び101Rを有し、木104は対応する画像104L及び104Rを有し、ランプ105は対応する画像105L及び105Rを有し、建物106は対応する画像106L及び106Rを有する。

図4は画像200及び300の重ね合わせにより形成された立体像を示し、左眼画像200は破線で示されており、右及び左眼画像(200、300)の間の立体ディスパリティ、位置オフセット又は差異が示されている。

図4にはいくつかのディスパリティ又は差異が示されている。例えば、ルーク101に関するルークのディスパリティ(ルークの相違)(例えば、右及び左のルーク画像101R及び101Lの対応する垂直エッジ同士の間の隔たりとして測定される)401は、右眼画像から左眼画像に至る場合にプラスであるとすると水平方向にマイナス40画素程度である。ルーク101の場合、右眼画像101Rは左眼画像101Lの左側にあるので、ルーク101を眺める視聴者の眼はディスプレイ(又はスクリーン又はモニタ)の前で収束し、その立体的な対を表示し、すなわちルーク101はディスプレイの前方にあるように見える。

役者のディスパリティ又は差異403は、彼の袖の部分で測定して約マイナス5画素であり、画面に対して僅かに前方にある。木の画像104L及び104Rは約プラス40画素のディスパリティ又は差異404を示し、右眼画像104Rが左眼画像104Lの右側にある。従って木104は視聴者にとってディスプレイ又はスクリーンの後方にあるように見える。ランプ105は画像105Lと105Rとの間で約プラス45画素のディスパリティ405を示し、建物106は画像106Lと106Rとの間で約プラス60画素のディスパリティ406を示し、これら各々は木104よりも更に後方にあるように見える。

図5は図4に示す立体像に関する立体キャプション510(こんにちは、今夜私たちはロマンスワークにさせるものについて議論します(Buon giorno Tonight we discuss what makes romance work))の望ましい配置を示す。立体キャプション510は右眼画像510R及び左眼画像510Lを含み、キャプションの左端で約マイナス7画素のディスパリティ511を有する(キャプションの他の部分で測定されたディスパリティ511’及び511”は互いに等しい)。このキャプションのフットプリント(境界枠、境界ボックス、より狭い空白でない領域(文字又は図形を含む領域))は、右眼キャプション画像510Rに関して水平方向の場所512に最左端を有し、右眼キャプション画像510Lに関して場所514に最左端を有する。

平らに見えるキャプションの場合(間違いなく最も一般的な関心事である)、キャプションのディスパリティはキャプションの幅にわたって一貫している又は一定であるべきであり、例えば、「B」の位置におけるディスパリティ511、「t」の位置におけるディスパリティ511’及び「ss」の位置におけるディスパリティ511”は一致しているべきである。キャプションのディスパリティを変更することで深度方向にキャプションが斜めに又は曲がって見えることもあり得るが、それは希である。

図5に示されているように、左眼キャプション画像510Lの最左端514は、左眼ルーク画像101Lの最右端515の右側に位置している。従って、ルーク101はキャプションと重ならない又は横切らない。本発明の原理での説明で使用されているように、キャプション(キャプションのフットプリント)と画像とのオーバーラップ、重なり又はオーバーレイは、画像空間内でのオーバーラップとして言及され、深度方向のオーバーラップである必要はない。右眼ルーク画像101Rの最右端513と左眼キャプション510Lの最左端512との間はギャップと言及される。キャプションより小さなディスパリティを有するオブジェクトの上でキャプションを表示しないようにすることが、審美的に好ましい(より小さなディスパリティを有するオブジェクトは、より大きなディスパリティを有する他のオブジェクトよりも視聴者に接近して見える)。言い換えれば、視聴者に近いオブジェクトに重なる大きなキャプション(大きなディスパリティを有するキャプション)を有しないようにすることが望ましい。そのような重なりを避ける理由は、視聴者にとって、3D効果に関する視聴者の知覚を邪魔する立体情報が存在することになってしまうからである。短期間の場合は混乱を招き、長時間にわたる場合は疲労を伴う。

図6は左眼611及び右眼612の立体像500をキャプション510と共に視聴者610が知覚する場合の3D画像又はシーンの虚像を示す。(図6では、その画像がその視点から実際には観測されないので、虚像と言及されている)。視聴者610に対して、立体像のルークのディスパリティ401は、立体像500を表示する画像の前方にルークの画像601を知覚させる。役者の像603(オフセット又はディスパリティ403を伴う)はスクリーンの僅か前方にあり、キャプション510は役者の像の直前にある。木のディスパリティ401、ランプのディスパリティ405及び建物のディスパリティ406の各々は、スクリーンの背後に遠ざかる距離にある対応する像604、605及び606の知覚を生み出す。

様々なオブジェクトに対応する像が図6で平面的に示されているが、実際には、視聴者610は各自のディスパリティに対応する様々な距離の位置においてオブジェクトの像601、603、604、605及び606を知覚する。図6は各自のディスパリティ401、403、404、405及び406(図4参照)と共にオブジェクトに関して知覚した3Dロケーションを示す。オブジェクトについて知覚されたロケーション(位置)の各々は、リファレンスポイント(所与のオブジェクトについてディスパリティが測定されるリファレンスポイント)を通じて左眼611及び右眼612からトレースされた(引き出された)個々の線の交点により示されている。

本発明の実施の形態に従って立体表現についてのサブタイトル又はキャプションを生成するための様々なシナリオ又は方法が、図7-15を参照しながら説明される。

＜＜具体例1＞＞
図7Aは、キャプション510を伴う立体像ペア500を示すスクリーンが、領域700により途切れている、マスクされている、遮蔽されている、被覆されている或いは邪魔されている状況を示す。そのように覆っている領域700を招く一例は、劇場の幕である(例えば、図10Aに関連して説明されるマスキング1020)。図7Aの例の場合、キャプション510のかなりの部分が被覆領域710により隠されており、番組に関する視聴者の受ける情報や楽しみを減殺してしまう。

図7Bはサブタイトル表示(サブタイトルの訂正又は調整と言及されてもよい)の第1の形態を示し、図7Aの立体像キャプション510が、右眼及び左眼キャプション画像510R及び510Lを含む立体像キャプション710に置換されており、それら各々は右眼及び左眼キャプション画像510R及び510Lのスケールを縮小したものである。画像710R及び710Lのスケール因子は等しく、結果のキャプション画像が領域700により邪魔されないことを補償するように選択される。この例の場合、キャプションのディスパリティ711はキャプションのディスパリティ511と同一に設定され、立体像キャプション710はキャプション510と同じ深度を維持している。更に、立体像のキャプション710のフットプリントの最左端715(例えば、アルファベット「B」の左端に対応する)は、最左端515と同じであり、従って、立体像のキャプション710の境界ボックスのフットプリントが立体像のキャプション510の境界ボックスのフットプリントの中に収まることを保証し、その結果他の如何なるオブジェクトの深度の感じ方にも影響しないようにする。

図10Aは図7Bに示すスケーリングによって生成されるサブタイトルの虚像1000Aを示し、スケール変換されたキャプション710は、キャプション510が図6において見えていたのと同じ場所に見えるが、キャプション710のスケールを縮小したことにより、劇場マスク1020(又はカーテン)がキャプションを遮っていない。キャプション710はキャプション510と同じディスパリティを維持し、スクリーンからの距離が同じに見えるようにしている。

寸法が調整された立体像キャプション710を使用するこの方法の1つの欠点は、キャプション510のオリジナルのフットプリント及び被覆される領域700の或る組み合わせが、立体像キャプション710を審美的に美しくないようにするスケール因子を必要としてしまう、又は解をもたらすものがないかもしれないことである(すなわち、キャプション510のオリジナルのフットプリントが被覆領域700内に完全に含まれるような場合である)。解が発見されなかった場合、又は立体像のキャプション710のスケール因子が所定値より小さかった場合、別の修正又は方法(そのいくつかについては以下で説明される)が選択されるべきである。別の形態において、いくつかの修正又は修正処理方法が評価され、最良のスコアの方法を使用することに決定されてもよい。この点については後述する。

＜＜具体例2＞＞
サブタイトルを表示する第2の形態では、立体像のキャプション510のフットプリント及び被覆領域700の間に何らかの重なり、オーバーラップ又は交わりがあった場合、被覆領域700によるキャプションの打ち切りを避けるように、立体像のキャプションが所定の距離の分だけ並進又は移動させられる。しかしながら、立体像のキャプション510を左に単に並進又は平行移動させると、重複したキャプション510又はルーク100の立体像と重なってしまうかもしれない(すなわち、キャプション及びルーク画像がディスプレイの画面上で同じx-y座標を占める場合又は2D画像空間内で同じ領域を占める場合である)。ルークはキャプションのディスパリティ511より小さなディスパリティ401を有するので(すなわち、ルークのディスパリティは負の方向により大きく、従って視聴者510にとってルークはキャプションよりも近くに見えるので)、この方法はキャプション510がルーク101に重なって見え、従ってそれがルークの背後にあることを示すディスパリティを有する点で深度の順序に矛盾又は問題を生じる。この場合、キャプションのディスパリティは、重なっている最も近いオブジェクトのディスパリティより小さくなるように調整可能であり(例えば、視聴者に近いほど、負の方向に大きくなる)、この場合、ルーク101とディスパリティ401との関係が考慮される。

従って、図8の場合、立体画像表現800は右眼キャプション810R及び左眼キャプション810L(破線で示されている)から成る立体像のキャプション810を含み、それら双方はキャプション510のフットプリントに対して、被覆領域700を避けるのに十分な距離だけ水平左方向に平行移動されている。キャプションのディスパリティ811はルークのディスパリティ401以下であるように選択され、これによりキャプション810はルーク101よりも前方又は同じ位置に見えるようになる。

図10Bは修正された位置及びディスパリティを有するキャプション810と共に図8に対応する虚像1000Bを示す。図10Bと図6を比較すると、キャプション510のオリジナルの位置及び奥行きに対する、キャプション810のキャプションの位置及び奥行きの変化が分かる。

キャプション510に対するキャプション810の平行移動の1つの選択肢は、スクリーン幅のうちの或る部分にキャプション510の垂直中央線が来たことを判定し(図5では表示500の左端から約60％)、表示のクリア部分(clear portion)の割合を計算し直し、すなわち図示されているようにクリアエリアになる割合を再計算することである。別の選択肢(図示せず)は、所定の量の被覆領域をクリア(clear)にするために、平行移動させるキャプションに必要な最小距離を選択することである。この選択は、所定の量だけ、すなわち最小除去値又は閾値の分だけ被覆領域700をクリアにするために、左眼画像810Lの最右端(「ss」の部分)(破線のキャプション画像)を決定する。

一例として、選択された並進又は平行移動の値は、表示又は表示されている画像/コンテンツの反対端をキャプションが横切り、クリアエリア(図18)の反対側を超えて進んだキャプションの部分が、代わりに被覆されるようにする。RedmannによるWO2010/096030(特許文献1)によれば、このキャプション移動は「逆端違反(opposite edge violation)」を招き、何れの端も超えないようにキャプションを縮小することを必要とする。なぜなら、単なる平行移動はサブタイトルの打ち切り又は中断を回避できないからである。そのような場合、キャプションに適用されるスケール因子を決定する際、ディスパリティの変化がどのようにフットプリントを増やす又は減らすかを考慮すべきである。この場合、所定のリリーフ値又は除去値(relief value)「r」を維持しつつキャプションの幅を最大化するスケール因子は、次の数式1(EQ.1)により与えられる。

ここで「s」はスケール因子であり、「W_A」は被覆されていない領域の利用可能な幅であり、D_Nは新たなディスパリティであり(この場合、キャプションのディスパリティ811)、W_Oはオリジナルの幅(すなわち、何れかの眼に対するキャプションの幅、すなわちキャプション画像510R又は510L)であり、D_Oはオリジナルのディスパリティ(眼下の例の場合、キャプションのディスパリティ511)である。

「s」が1以上であった場合、スケーリングは不要であり、利用可能な幅は適切である。しかしながら、「s」が1未満であった場合、キャプションの右及び左眼画像の各々は因子「s」によって縮小され、何れかの側の最小リリーフ値により利用可能な幅に合致した立体像のキャプションとなる。スケールが縮小(又は調整)された際の幅W_Nは以下の数式2(EQ.2)により与えられる。

EQ.2: W_N＝s×W_O
この種の修正に関する審美的ユーティリティ関数(aesthetic utility function)は、スケール因子「s」の値(スケーリングを一切必要としない場合は1に設定される)と、ディスパリティの変化の大きさ｜D_OーD_N｜又は符号を伴うディスパリティの変化(D_OーD_N)とを含むように設定されてもよい。説明の便宜上、審美的ユーティリティ関数は、所定のキャプションの配置又は調整に関する審美性を定量化又は有利化(rationalizing)するために使用される。この関数は任意の関数形を取ることが可能であり、通常は所定の境界条件により拘束される。本発明の場合、関数又は方程式はスケール「s」及びディスパリティの変化「d」のようなパラメータを含む。関数は経験的な測定に基づいてもよく、多くの場合、経験的な推測又は複数の情報源の組み合わせに基づいて、「測定単位(measure of utility)」を形成し、例えば当初の又は元々のキャプションの位置からの審美性の逸脱の尺度を形成する(当初の位置は、美術的な任務を担う者が作成しているので「完璧(perfect)」であると考えられる)。

キャプションのスケーリング及び/又は移動について幾つかの候補が与えられた場合、ユーティリティ関数は、好ましくないことが最低であるもの又は最良の候補に関する尺度を提供する。理想的には、キャプションの再配置に関する全ての候補について同じユーティリティ関数が使用されるが、このことは必須でない。しかしながら、異なるキャプション操作について異なる尺度が形成される場合、2つの可能な配置の何れが好ましいか又は何れも同様に許容可能であるかを判定する基準が必要である。ディスパリティの大きな変化は視聴者にとって見えづらい「視聴に困難」な表現810となってしまう。なぜなら、キャプション810は対象のオブジェクトの像(この例では、役者103)のかなり前方になってしまうからである。表現500におけるキャプション配置の当初の又は元々の美的な意図は、役者103の立体像の直前付近に立体像キャプション510を置き、読み取られるキャプション510及び役者103の間で視聴者の眼の収束点にほとんど変化が生じないようにすることである。

＜＜具体例3＞＞
サブタイトル表示の第3の例の場合、何らの工夫もなければ途切れてしまうサブタイトルに対する修正は、立体像のキャプション510のフットプリント及び被覆領域700の間に交わりも重なりも無いようにすることを含む。これは、被覆領域700を避けるだけでなく、キャプションのディスパリティよりも小さなディスパリティを有するオブジェクトを含む領域をも避けることで、達成される(そのようなオブジェクトは、視聴者の近くに見えるオブジェクト又はキャプションの前方に見えるオブジェクトである)。方法の1つはクリアエリア(clear area)(被覆領域等により被覆されていない領域)を追跡することであり、最初にクリアエリアは被覆領域700のない画像500に対応する領域であり、キャプションのディスパリティ511よりも小さなディスパリティを伴うオブジェクトを含む全ての領域をクリアエリアから除去する。これは、立体像500のディスパリティマップを作成又は取得し、ディスパリティマップ内のロケーション各々をディスパリティ511と比較し、ディスパリティマップを2値化することで達成される。

例えば、ディスパリティ511に等しい又はディスパリティ511より大きなディスパリティを伴うロケーションには第1の値が指定され、ディスパリティ511より小さなディスパリティを有するロケーションには第2の値が指定される。方針として、最小リリーフ値「r」が存在し、キャプションは近くのオブジェクト(例えば、ルーク101)をその値に応じてクリアする場合、2値化されたディスパリティマップは近くのオブジェクト領域を拡張するように「r」により拡張される(拡張(dilation)はバイナリ画像と共に使用される共通の画像処理関数であり、ある真値画素の半径「r」の範囲内にある如何なる偽値画素も真値に設定される。これは、ルーク101の周囲に厚さ「r」の環状物又はハロー(halo)を取り付けたようなものであり、キャプション配置に関して被覆領域700と等価に考えられる)。結果の2値化されたバイナリマップ及び被覆領域700の双方はクリアエリアから除外される。代替例の場合、最前面のルーク101及び被覆領域700により占有されている領域はクリアエリアを得るために画像500に対応する領域から除去され、最小リリーフ値「r」により除去され、指針に従ってクリアエリアを改善する(浸食(erosion)と共に、真値画素から半径rの範囲内の任意の真値画素は偽に設定される)。

図9にはこの修正の結果が示されており、視聴者に近いオブジェクトルーク101及び被覆領域700との重なりを避けるようにキャプション910が並進又は平行移動させられている。キャプション910の右及び左眼画像910R、910Lの間のディスパリティ911はオリジナルのディスパリティ511と同じである。従って、キャプション910は被覆領域700を避け、かつルーク101に近づかないようにすることで、深度又は奥行きの順序が乱れることを回避している。更に、当初選択されたのと同じ深度の見え方を維持し、これにより当初の又は元々の美的意図の少なくとも一部を維持する。

図9の修正後の位置にあるキャプション910は図10Bの虚像1000Bにより示されている(上記のキャプション810も示している)。図10Bと図6とを対比すると、キャプション510の当初の又は元々のキャプション配置及び深度に対して、キャプション910のキャプション配置及び深度が変わっていることが分かる。

少なくとも部分的に被覆されたキャプション(例えば、510)をクリアエリア又はセーフエリア(例えば、被覆領域700とルーク101を含む領域との双方を立体画像900の領域から除去したエリア)内に全体を配置するのに十分な最小の又はほぼ最小の並進又は平行移動を決定するため、以下の手順を使用することができる。クリアエリア内の画素各々について、キャプションのフットプリントが、クリアエリア内に完全に収まっているか否かを判定し(その画素に位置していた場合)、すなわち「その画素に位置してい」るフットプリントに関し、フットプリント内の全ての画素がクリアエリア内にあるか否かを判定する。キャプションのフットプリントが或る画素に位置していると言及される場合、その画素はフットプリントの位置を規定するために使用されることを意味する。可能な選択肢の1つは、境界ボックスの左上隅の位置を規定するためにその画素を使用することである。別の選択肢はキャプションの中心位置である(又は境界ボックスの中心位置であり、同じ尺度でなくてもよい)。クリアエリア外の画素と交わるフットプリント内の各々の画素について(すなわち、フットプリントがクリアエリアを越えて又は外側に伸びている場合)、同じ位置にあるスケーリングされたフットプリントがその画素と交わらないようにスケール因子を計算し、そのロケーションに関し、計算された最小スケール因子を規定する。代替的な実施の形態では、クリアエリア内の全ての画素を検査する代わりに、ロケーションの検査はまばらに又は一部の画素についてのみ行われる。例えば、10行毎に10番眼毎のラスタが検査されてもよいし、或いはモンテカルロ法を利用してクリアエリア内でランダムな地点を評価してもよい。

この第3のキャプション再配置法に使用するユーティリティ関数は、再配置された又は新たなキャプションの位置とオリジナルのキャプションの位置との間の距離、及びスケール因子に基づいてもよい。オリジナルの位置から僅かに多い画素であるがスケーリングを要しない新たな位置は、キャプションを10％縮小させるのに必要なわずかに近い位置よりも望ましい選択肢になりやすい。ユーティリティ関数は水平移動よりも多くコストがかかる又は比較的望ましくない垂直移動を考察してもよい。クリアエリアにわたるユーティリティ関数の評価(全面的に又はまばらに評価される、すなわちクリアエリア内の画素各々について又は選択された画素について行われる)は、ある傾斜又は勾配(gradient)をもたらし、最小の勾配が、再配置キャプション910の位置についての好ましい選択肢となる。ポイントがサンプルされ勾配が徐々に変化するにつれて、より精密な探索法は、局所的な最小にとらわれることなく、変化する勾配を用いてより良いスコアをもたらす領域に収束させることで、選択肢を最適化することができる。

同様な方法において、画像の際だった領域(salient regions)(例えば、重要な特徴を含む領域)がクリアエリアから除外されてもよい。例えば、役者の顔はしばしば重要な画像を規定するので、キャプションを配置し直して役者103の顔を覆ってしまうと良い表現ではなくなってしまう。同様に、背景で進行している動作に或る重要な特徴がある場合、サブタイトルを配置し直してその動作を隠してしまうことは好ましい選択肢ではない。この理由により、際だった領域はクリアエリアから除外され、際だった領域は例えばLeMuer等の米国特許出願公開第2009/0110269号で教示されているような方法で検出できる。こうして、画像の際だった領域は、被覆領域(例えば、700)やキャプション以外のオブジェクト(例えば、ルーク101)と同じ方法で処理される。米国特許出願公開第2009/0110269号に記載されている事項の全体は本願のリファレンスに組み入れられている。代替的な実施の形態において、候補位置でキャプションのフットプリントに重なっている特徴マップ(salience map)(例えば、LeMuer等の出願により教示されている)における値が累積され、その位置のユーティリティ関数に適用されてもよい。こうして、他の条件が同じなら、多数の特徴的な画素と重なる又は交わるキャプション位置は、特徴的でない画素及び/又は少数の画素と重なっている異なるキャプション位置よりも劣ったユーティリティ値を受ける(有する)。

オブジェクト又は特徴的な領域の画素と或る場所にあるキャプションの画素との間で重複又は交わりが判定される場合、左眼画像オブジェクト及び左眼キャプション画像の間で第1の対比が行われ(例えば、図5におけるルーク101L及びキャプション510L)、右眼画像オブジェクト(例えば、101R)及び右眼キャプション画像の間で第2の対比が行われ(例えば、図5におけるルーク101R及びキャプション510R)、留意を要する。代替的に、キャプションのフットプリント(左眼キャプション画像及び右眼キャプション画像の結合により形成される)と右及び左眼のクリアエリアの交わりとの間で比較が行われてもよい。例えば、最前面にある全てのオブジェクトを削除することで、右眼用だけのためのクリアエリアを算出できることが分かる(すなわち、結果のクリアエリアはオブジェクトが占めている領域を排除することになる)。同様な計算が、左眼画像に対してオブジェクトが占めている領域を排除することで、左眼に関して行われる。「領域の交わり(intersection of clear areas)」は左及び右眼双方のクリアエリア内にある画素となる。

更に別の実施の形態において、比較又は対比は一方の眼に関してのみ行われてもよく、すなわち左(又は右の)眼の像と左(又は右の)眼のキャプションとを比較してもよい。ただし、空間的なコヒーレンス(spatial coherence)がかなり異なる判定をなさないようにする。(本願における空間コヒーレンスは、一方の眼の画像(例えば、左眼画像)がキャプションに影響を与えない良好な滑らかな表面を示すならば、他方の眼の画像は根本的に異なる輪郭を示す見込みはほとんどなく、仮にそうなったとしてもそれは無視できる程度に希である、という状況を示す概念である)。これは、最小リリーフ値の適切な選択肢が、近くに見えるオブジェクトとの干渉が生じないことを実質的に保証できる場合に、特に効果的である。この確実性を得るために、多くの場合、オブジェクトの一方の側(考察対象の対応する眼の像と同じ側)についてのみ最小リリーフ値を適用することで十分である(すなわち、左眼画像を考察する場合、最小リリーフ値は対象のオブジェクト画像の左側のみに適用されてよい)。代替的に、この最小リリーフ値はキャプション画像の左側に適用されてもよい。ポリシ、指針又は美的観点によれば、キャプションがその最小リリーフ値よりもオブジェクトに近くないことが、指定されてもよい。一実施形態において、これは例えば1/2画素又は1画素のようにディスパリティにおいて表現されてもよく、最も近い位置においてさえ、キャプションが覆っているオブジェクトからキャプションが離れて見えるようにする。こ奥行き(x-y画像面とは異なるz軸方向における深度)は最小リリーフ値に応じて設定されるキャプションのディスパリティから生じる。

このキャプションの配置方法は図11-13により更に示されており、図11は別の表現1100を示し、キャプション1110(右及び左眼キャプション画像1110R及び1110L)はルークのディスパリティ401より大きな立体像ディスパリティ111を有している。キャプション1110をルーク101の前方に配置することで、キャプションとルークとの間の奥行きの矛盾は回避できる。図10Bのキャプション810と同様に、キャプション1110はルーク101に接近して配置され、かつ画面の前方に遠く離れて配置される。

図12はキャプション1110の一部分を被覆領域1200が打ち切り、一部が欠落した表現1100の例を示す。これは、キャプションに如何なる中断も被覆も生じさせない場所にキャプション1110を配置することで、図13に示すように手当てされ、キャプションよりも小さなディパリティを有する如何なるオブジェクトとも重ならずかつ如何なる特徴的な領域(例えば、役者103の顔)とも重ならないようにしている。従って、表現1300は、キャプション1110を配置し直したバージョンの右及び左眼キャプション画像1310R及び1310Lによるキャプション1310を示し、配置し直したバージョンは被覆領域1200を回避する一方、役者の顔と重ならないように隔たった位置に上方に平行移動させられている。キャプション1110の当初の又は元々のディスパリティ111は図13のディスパリティ1311と同様に維持され、キャプション1310が依然として画面の前方に遠く隔たって見えるようにする。

＜＜具体例4＞＞
図14は、キャプション1310のディスパリティが図13におけるものから更に調整されている表現1400を示す。具体的には、キャプション1310のフットプリントの直下又はそれと重なっている表現又は画像コンテンツは、最小ディスパリティについて検査され(すなわち、視聴者に最も近いキャプションのフットプリントと重なっているオブジェクトを特定し)、最も近いオブジェクトを発見した場合、最も近いオブジェクトのディスパリティに達するまでキャプションのディスパリティを増やす(すなわち、キャプションを視聴者の側から更に動かす)。すなわち、サブタイトル又はキャプションが、もはや画像の中にないオブジェクトとの間で奥行きの順序の矛盾が生じないように事前に前方に配置されていた場合(例えば、ルーク101の前方にあるキャプション1310(これは被覆領域1200によって現在は隠れている))、サブタイトルは、サブタイトルに重なっている最も近いオブジェクトまで遠く後退してもよいが、深度又は奥行きの矛盾が生じてはならない。これは、キャプションが他のオブジェクトの前方に遠く孤立してしまうことを防止し、そのようにしなかった場合、表現1300を見ることが困難になってしまう。その結果、右及び左眼キャプション画像1410R及び1410Lによるキャプション1410は、役者103の像のディスパリティ403と同じ又はやや小さい立体像ディスパリティ1411と共に設定される。代替的に、キャプションは、上述したように、最も近くで重なっているオブジェクトに関して、所定の「最小リリーフ値」よりも決して接近しないように後退させられてもよい。

図15は1300及び1400の表現に関する虚像の組み合わせを示し、図13の被覆領域1200を避けるようにキャプション1110を上方に単に平行移動させると、最も近いオブジェクト(すなわち、役者の像603)の像の前方に遠く浮いて見えるキャプション1310をもたらす結果となる。(キャプション1310は、かつて最も近かったオブジェクトであるルークの像101(現在はマスク1520により被覆されている)との間で奥行き又は深度の順序の矛盾を生じないように当初は又は元々は前方には位置されていたことに留意を要する)。キャプション1310を前方に遠く置き去りにする代わりに、このディスパリティが図14の上位に示されている次に近いオブジェクトのディスパリティと同程度に増やされ(更に正の方向に増やされ)、キャプション1410が役者603よりも近い奥行きで見えるようになる。しかしながら、キャプションのディスパリティは次に近いオブジェクトのディスパリティを超えるベキではなく、場合によっては、キャプションが重なっている次のオブジェクトに最小リリーフ値よりも接近しないようにする。

キャプションを調整するための上記の具体例は次のようにまとめることができる：
1)(何れのオブジェクトについても深度又は奥行きの順序に矛盾が生じない場合に)キャプションのディスパリティを変更することなく、その場所でキャプションのスケールを変更すること。

2)被覆領域を回避しかつオブジェクトの奥行きの順序に矛盾が生じないようにディスパリティを減らしながら(キャプションを視聴者に近づけるように動かす)、選択的なスケーリング(尺度変更)と共にキャプションを平行移動すること。

3)被覆領域及び奥行きの順序の矛盾の双方を避けるように選択的なスケーリングと共にキャプションを平行移動すること。

4)被覆領域を回避しかつ次に近いオブジェクトから前方に離れすぎる場合にはディスパリティを増やしながら(キャプションを視聴者に近づけるように動かす)、選択的なスケーリングと共にキャプションを平行移動すること。

図16は本発明の実施の形態により表示に備えてキャプションを生成又は準備する方法を示す。本プロセスは、キャプションの各々が途切れたり被覆されたりせずに全体的に表示されるように1つ以上のキャプションを配置し直す又は再配置することを含み、キャプションの途切れや被覆は、縮小された画像領域に起因して生じたり、画像の一部分が重なったりマスクされたりすることで生じる。方法1600はステップ1601から始まり、プレゼンテーションシステム及び関連する設定内容(例えば、特定の劇場やホールの観客席又はディスプレイ、及び設定内容(例えば、劇場マスキング又は画像の伸張及び/又は中断等に関する設定))が決定される。

プレゼンテーションシステム及びその設定内容はステップ1602において較正され、画像全体のうちの何れの領域が被覆されるかを判定する。そのような較正法については、例えばRedmannによる「Method and Apparatus for Preparing Subtitles for Display」と題するPCT国際公開第WO2010/096030(特許文献1)に詳細に記載されている。例えば、較正手順の1つは、スクリーンに座標格子を投影し、スクリーンの隅に最も近くに観測される最外部を特定することを含む。これらの隅の座標よりも内側にある領域は、クリア(clear)である投影された画像エリアの領域を規定する一方、これらの隅の座標の外側の領域は視界から隠される。一般に、較正は、立体像の動作モード又は2Dにおける何れかの眼について行われてもよい。しかしながら、通常ではない状況において、個々の眼の各々について較正を行うことが必要であり、例えば、右及び左眼の立体像がかなり異なる場所に投影され、その結果、かなり異なる被覆領域を有する可能性があるような場合である。プロジェクタ、投影機又はディスプレイが右及び左眼画像の各々について異なる水平オフセットを有する場合(すなわち、水平の集束性に不備がある場合又は意図的に異ならせている場合)、2つの眼は実際に各自の側で別様に中断される(異なる位置で途切れる)ことも、可能である。

較正の結果、プレゼンテーションシステムの画像のクリアエリア及び被覆されてないエリアを確立し、家庭用娯楽システム又はその他の視聴装置における特定の視聴者又はモニタの場所における投影スクリーンをなす。しばしばクリアエリアは右及び左眼画像の各々に一致するが、上述したように、場合によっては右及び左眼画像に対して異なってもよい(例えば、2つの画像が物理的に隔たっているプロジェクタから投影されるような場合である)。

映画又はプレゼンテーションが再生されている際にキャプションの位置を変えるために方法1600がリアルタイムで使用される場合、プレゼンテーションはステップ1603から始まる。方法1600が番組又はプレゼンテーションと同時にリアルタイムでは使用されない場合、例えば後の時点で再生されるコンテンツを含むファイルを検査することで、ステップ1603においてキャプションの前処理が行われる。これらのファイルのキャプション又はサブタイトルは後述するように以後のステップに従って処理される。

ステップ1604において、コンテンツファイルの中のサブタイトル又はキャプションが検査され、或いはプレゼンテーション中にリアルタイムで検査される。ステップ1605において、キャプションのフットプリントがステップ1602において取得されたクリアエリアの外に伸びているか否かの比較判断がなされる。右及び左眼画像に関して1つのクリアエリアが存在する場合、右及び左眼キャプション画像のフットプリント各々が2つの別々のステップでクリアエリアと比較されてもよいし、或いは右及び左眼キャプション画像のフットプリントの結合又は組み合わせが1つのステップでクリアエリアと比較されてもよい。左及び右眼の像のクリアエリアが異なる場合、1つの方法は、各々の眼の像についてクリアエリアが別々に追跡され、クリアエリア各々についてキャプションのフットプリントを別々に比較することである。別の方法は左及び右のキャプションの結合されたフットプリント(すなわち、フットプリントの組み合わせ)を、左及び右眼のクリアエリアの交わり(すなわち、立体像双方に共通するクリアエリア)に対して対比することができる。後者はより正確であり、後者の選択肢の様々な組み合わせはより経済的かつ全体的に相応しくなるかもしれない。或いは、2つの像のフットプリントの内の一方プラス拡張されたフットプリント部分とクリアエリアとを対比し、他方の眼のキャプションの像に対するディスパリティ又はオフセットを考慮してもよい。

キャプションのフットプリントがクリアエリア内に完全に収まっていることを比較結果が示す場合、後述するステップ1609に示されているように、キャプションを画像に重ねる又は組み合わせる処理に続く。そうでなかった場合、1つ以上のキャプション又はサブタイトルを調整する処理がステップ1606で実行される。

4つの例示的なサブタイトル調整処理方法(図17A-Dに示される方法1700、1710、1720及び1730)の内の1つ以上がステップ1606において使用されてもよい。本実施の形態の場合、各々のプロセスは品質評価に戻り、例えばステップ1607においてユーティリティ関数を用いて特定のサブタイトル調整プロセスの結果が許容可能であるか否かを判定する。以下の説明において、ステップ1606におけるキャプション調整法の各々は算出されたユーティリティ関数を返し、ユーティリティ関数は調整されたサブタイトルの審美性及び利用度の経験的評価を表す。ユーティリティ関数が所定値(異なるプロセス各々について同一であってもよいし異なっていてもよい)より大きかった場合、その調整は許容可能であり、ステップ1608において適用される。そうでなかった場合、別のサブタイトル調整プロセスがステップ1606において試行される。

一実施形態において、ステップ1606でサブタイトル調整プロセスが試行又は評価される順序は、適切な又は許容可能な結果を見出す予想される計算コストを最小にするように選択することができる。例えば、各々のサブタイトルの調整「a」が尤度又は確率「p(a)」と共に許容可能な結果をもたらすと期待され、かつ調整を試みるのに予想される演算コストが「c(a)」であった場合、c(a)/p(a)(本質的には、成功に関する単位機会当たりのコストを表現する)の増加比率の順に従って様々なプロセスを評価することは、予想される最小コストをしばしばもたらす。これらのプロセスを評価する順番は、経験的な実験又は事前の経験値による結果に基づいていてもよいし、或いは所定の場面又はシーンの結果に基づいて動的に変更されてもよい。p(a)の各々は「a」の他の値に関する成功又は失敗と独立しており、すなわち満足できる結果を生み出すことに或る方法が失敗した場合、他の方法の確率に如何なる影響も及ぼさない。

(不図示の)別の実施の形態の場合、サブタイトルを調整する方法の各々がステップ1606で試行又は評価され、返されてきた審美的ユーティリティ関数の値が互いに比較される(ステップ1607におけるように所定の「十分に良い」値との比較ではない)。最良のサブタイトル調整法が維持され、ステップ1608で適用される。これは利用可能な最良の調整法をもたらすが、最悪の場合のコストがかかってしまう。唯1つのキャプション調整法がステップ1606で使用されるように選択される場合、ステップ1607は省略される(比較対象の他の如何なる代替法も存在しないからである)。

ステップ1608においてサブタイトルの調整が済んだ後に、又はステップ1605においてサブタイトルがクリアエリアの内側にあることが確認された場合、ステップ1609において、立体像サブタイトルが立体像に組み込まれる。本方法1600がコンテンツのプレゼンテーションの最中にリアルタイムに実行される場合、サブタイトルは画像の中に組み込まれ、結果の構成されたものが提示される。本プロセスがリアルタイムでは動作しなかった場合、サブタイトルは、それらの関連する立体像に組み込まれ、変換された像を形成し、その結果物(例えば、各自の画像に組み込まれた1つ以上のデータファイルサブタイトル)が後の使用に備えて1つ以上のメモリ装置(図示せず)に保存される。

ステップ1610において、検査すべき更なるサブタイトルが存在する場合、本方法はステップ1604に戻る。そうでなかった場合、調整法はステップ1611で完了する。

図17A-Dは、画像ディスプレイの縮小されたクリアエリアに配慮してサブタイトル又はキャプションを調整し、結果のサブタイトルが例えば途切れたり中断されたりせずに全体的に表示できるように、例えばステップ1606において使用可能な様々なプロセス又は方法を示す。

＜＜モデル1＞＞
図17Aはその場所でキャプションのスケーリング調整を行うためのプロセス1700を示す。「その場所で(in-place)」という用語は、元々のフットプリントの外にキャプションを一並進も平行移動もさせないことを意味する。本プロセスは初期状態に関するステップ1701から始まり、当初の又は元々のキャプションのフットプリントがクリアエリア内に全体的に収まっていない(例えば、図16のステップ1602のようなシステム較正により判定されてもよい)。ステップ1702において、当初の又は元々のフットプリント及びクリアエリアの交わりに合うように新たなフットプリントが設定される。ステップ1703において、スケーリングされた寸法が新たなフットプリントに適合する程度に十分に縮小されるように、当初の又は元々のフットプリントの高さ及び幅に適用するスケール因子が決定される。別の実施の形態では、当初の又は元々のフットプリントのアスペクト比が、縮小したキャプションによって維持され(すなわち、高さ及び幅の双方に同じスケール因子が使用される)、或いは一定量の範囲内でアスペクト比を変化させることが許容されてもよい。

例えば、境界ボックスによりフットプリントが追跡及び比較される実施の形態の場合、元々の高さH_O及び幅W_Oを有するフットプリントを伴うキャプションは、クリアエリアと交わる場合に、高さH_N及び幅W_Nを有する新たなフットプリントを生成する。「正確なフットプリント(exact footprint)」はキャプションの文字(落ちる影又はハロー(halo)効果を含む)及びその他により変更される正確な画素となる。拡張されたフットプリントは正確なフットプリントのr(最小リリーフ値)による拡張となる。一般に、フットプリントは複雑な不連続なばらばらな領域である。フットプリントを境界枠の形式に簡略化することは、計算を簡略化しかつ(異なる可能性もあるが)一般的には同様な結果をもたらす。

図18はクリアエリアABCD、当初の又は元々のフットプリントWXYZ、新たなフットプリントWXYZ’、新たなフットプリントWXY’Z’及び各自のパラメータを示す。この場合、W_O=W_Nである。高さの比率H_N/H_O(すなわち、s_H)及び幅の比率W_N/W_O(すなわち、s_W)のうちより少ない又はより小さい方として、簡易なスケール因子(一般的には、「s」として指定される)が決定されてもよい。「s」はキャプションを縮小するのに使用されるので、1以下である。この計算はプレゼンテーション全体の間に右及び左眼キャプション画像の各々について反復される。代替的に、右及び左眼キャプション画像境界ボックスを結合したものに基づいてスケール因子が算出されてもよいが、高さの比率は同一に維持され、幅の比率は(W_N-｜D_O｜)/(W_O-｜D_O｜)になる。この方法の場合、右及び左眼画像の間の元々のディスパリティが維持されるので、D_Oはオブジェクトのディスパリティ(例えば、ルーク101の場合、ディスパリティ401である)を表す。

キャプションのアスペクト比が保存又は維持される場合、ステップ1704においてキャプションをスケーリングするために高さ及び幅の双方に同じスケール因子「s」が使用される。しかしながら、アスペクト比が分散「v」の分だけ変化することが許容される場合［一実施形態において分散は30％に予め決定されていてもよく(vの値はポリシに関する事項であるが、実際には、2(200％)という値は読み取りにくくなる)］、スケーリングされるキャプションの他方の軸が「s」から高々s(1+v)までの範囲内でスケール調整され、s(1+v)は最大で1である。例えば、全体が見えるようにキャプションの幅が50％に縮小される必要がある場合、高さは同じ量だけ縮小されることを必ずしも意味しない。分散「v」は高さがそのままにされることが許容される範囲を制限する(v＝0である場合、高さは幅と同じようにスケール調整される)。しかしながら、自身の元々の値を超えてスケール調整された高さを有することは望ましくない。なぜなら、それはフットプリントを増やし、おそらくは審美性にマイナスの影響をもたらすからである。

一例として、立体像キャプションが元々は全体で500画素の幅(右及び左眼キャプション画像を含む)及び50画素の高さを20画素のディスパリティと共に有していたとする(言い換えれば、右及び左眼キャプション画像はそれぞれ480画素の長さを有する)。この場合、W_O＝500、H_O＝50及びD_O＝20である。ある特別なプレゼンテーション環境の場合において(例えば、ステップ1601において設定される)、ステップ1602において決定されたクリアエリアがこの特定のキャプションを水平方向に100画素だけ中断させているが(途切れさせているが)、垂直方向には一切中断はなく、W_N＝400及びH_N＝50(変更無し)を有する新たなフットプリントを形成するものとする。これは、s_W＝(W_N-D_O)/(W_O-D_O)＝380/480、すなわち0.79及びs_H＝H_N/H_O＝1をもたらす。当初の元々のアスペクト比がスケール調整されたキャプションについて維持される場合、キャプションの高さ及び幅双方について選択されたスケール因子は0.79となる。しかしながら、アスペクト比が高々v＝30％まで変化してよい場合、高さに関するスケール因子は0.79×(1+v)、すなわち1.03になり、上記の制約により(すなわち、元々の値を超えて高さをスケール調整しないという制約により)1.0に制限又はクランプされる。クリアエリアが水平方向に200画素の分だけ特定のキャプションの元々のフットプリントを中断する場合、s_Wは280/480＝0.58(近似的)であり、s_Hは0.58×(1+v)、すなわち約0.76にまでなり得る。キャプションの元々のアスペクト比が維持される場合は、v＝0％に設定することと同じである点に留意を要する。

このサブタイトル調整を適用するために、ステップ1703において決定されたように元々のサブタイトルはs_W及びs_Hによりスケール調整される。スケール調整されたキャプションに平行移動が適用され、それが新たなフットプリントの中に完全に収まり、それ故に途切れることなく完全に表示されることを保証するようにする。キャプションの寸法に関してその方向に沿って如何なる縮小もない場合、この平行移動に関する良好な選択肢は不変にされる任意の軸又は方向に沿ってサブタイトルの位置をそのままにすることである(例えば、H_N/H_Oの比率が1であった場合、垂直方向の位置は不変に維持できる)。所与の方向におけるキャプションの寸法が減少又は縮小されなければならない場合、その軸に沿うキャプションの位置は、スケール調整後のキャプションの中心が新たなフットプリントの中心に一致するように設定されてもよい。このスケール調整及び平行移動の適用はステップ1704で行われてもよいし、或いは例えばステップ1608において特定の調整に関する選択が終了するまで延期されてもよい。簡明化のため、方法1700は図16のステップ1606の初回通過の際に行われ、ステップ1607の検査がステップ1705により推定された品質について実行される。

複数の調整法(例えば、図17A-Dに示されている)がステップ1606において使用できる場合、第1の方法に対するステップ1705でのプレゼンテーション品質値の推定がなされるべきである。第1の方法による結果がステップ1607で不適切であると判断された場合、元々の位置及び設定にリセットされたフットプリント及びサブタイトルと共に、別のキャプション調整法がステップ1606で評価される。例えば、その場でキャプション調整を行う方法1700の場合、ステップ1705で使用するプレゼンテーション品質値は、より小さい又はより少ないスケール因子(「s₁」により指定されている)に基づくべきであり、すなわちH_N/H_O及びW_N/W_Oという2つの比率のうち相対的に小さい方に基づくべきである。例えば、元々のサイズの50％に縮小されたキャプションは元々のサイズの70％に縮小されたキャプションよりも悪い品質をもたらす。ユーティリティ関数、すなわちこの場合は品質関数「q_S」が一般的には経験的な評価により生成され、提供されたパラメータ(例えば、より小さなスケール因子、又は特定の方法に関連する他のパラメータ)とプレゼンテーション品質値との間で適切な関係を確定にする。例えば、「q_S(s₁)」により表現されるより小さなスケール因子に基づくプレゼンテーション品質に関する例示的な関数は、元々のサイズの100％のキャプションが理想的であることを考察することで構築できる。q_Sは「スケーリグに基づく品質」であり、この実施の形態の場合、より小さな又はよりすくないスケール値s₁、すなわちs(1+v)ではないスケール因子に基づいていることに留意を要する。この場合、q_S(1)＝1である。確実に、高さ又は幅が0％に縮小されたキャプションは全く見えず、貧弱なプレゼンテーション品質を示す、すなわちq_S(0)＝0。元々のフットプリントとクリアエリアの間の交わりが空白であった場合、そのような状態が生じる。

しかしながら、読み取れないほど小さく縮小されたキャプションもまた同様に貧弱なプレゼンテーション品質を示す。従って、所与のフォント及びその他の環境に関し、ある所定のスケール因子s₀(又はスケール閾値)が存在し、そのスケール因子以下ならば品質関数が0になる。すなわちq_S(s₀)は0に等しい。s₀が0.5であった場合、これは、50％以下のスケール因子に関し、フォントが読み取れず、キャプションを無意味にしてしまうことを意味する。そのようなキャプションに関し、品質関数「q_S」は、より小さなスケール因子により表現され、このスケール因子以下である場合、キャプションは無意味になってしまう。

ここで、括弧の部分は条件に依存する数式を表す。s₁がs₀以上であった場合、(s_l-s₀)/(1-s₀)がq_Sの結果を算出するために使用される。s₁＜s₀であった場合(それ以外の場合)、q_Sは0である。

この例示的な品質関数は、閾値スケール因子s₀以上1以下のスケール因子s₁に関し、0ないし1の間の線形な品質関数となる。品質関数は異なるフォントの場合に異なってもよい。例えば、あるフォントは非常に限定的であり(例えば、サンセリフ(sans-serif)、イタリック体でないもの、太字(ボールド)フォントでないもの)、s₀＝0.3を有するように評価されてもよい。同様に、装飾的な(fancy)草書体(cursive)のフォントはスケーリングの非常に影響を受けやすいのでs₀＝0.9であってもよい。一般に、s₀は経験的に決定される値であり、或る程度は主観的である。さらに、本願で提示された数式は説明の便宜上のものであり必ずしもこれに限定されない。

ステップ1705でなされたプレゼンテーション品質の推定の後、プロセス1700はステップ1706において(必要に応じて、ステップ1607に)復帰し、キャプションに対して提案される変更の推定品質を記録する。

＜＜モデル2＞＞
図17Bは第2のサブタイトル調整法1710を示す。プロセス1710は、必要に応じて使用されるスケーリングと共に、サブタイトルを水平方向及び/又は垂直方向に平行移動し、クリアエリア(浸食又は被覆されていない領域)内に留まるようにする。更に、配置し直されたサブタイトルの新たなフットプリントが存在する画像内の任意のオブジェクトのディスパリティについて、サブタイトル自身のディスパリティを調整しなければならないか否かを判定する(サブタイトルが重なるオブジェクトの背後に見えることで、別のオブジェクトの奥行きと矛盾してサブタイトルが終了しないようにする)。

プロセス1710はステップ1711から始まり、初期状態において、元々のキャプション又はサブタイトルのフットプリントがクリアエリア内に完全には含まれていない。元々のサブタイトルのフットプリントにより逸脱したクリアエリアの端部が判定され(例えば、Redmannによる国際公開第WO2010/096030号で教示されている方法で判定されてもよい)、ステップ712において、それらの端部の逸脱を克服するのに十分な量だけサブタイトルが平行移動させられる。ステップ1713において、サブタイトルがクリアエリア内に完全には収まっていなかった場合、例えばサブタイトルの幅がクリアエリアよりも広かった場合、ステップ1714において、サブタイトルはクリアエリアに収まるようにスケールの縮小が行われる(上記と同様に、スケーリングは元々のアスペクト比を維持してもよいし、或いは所定の方針に従ってアスペクト比を変更してもよい)。

ステップ1714において、サブタイトルのディスパリティが、平行移動後のおそらくはスケーリングされているサブタイトルの新たなフットプリントの下の立体像のディスパリティと比較される。サブタイトルが下の立体像のディスパリティ以下のディスパリティを有していた場合(すなわち、サブタイトルが、サブタイトル直下のオブジェクトよりも視聴者にとって近くに見える場合)、サブタイトルの調整は成功していると判断され、処理はステップ1718に続く。

しかしながら、調整後のサブタイトルが重なっているオブジェクトよりも大きなディスパリティを有していた場合(又は所定の最小ディスパリティ差分の範囲内)、立体像サブタイトルのディスパリティは、ステップ1716において、直下のオブジェクトの最小ディスパリティ以下(又は、所定の最小ディスパリティ差分未満)になるように調整される。

一例として、審美的な観点から、配置し直されたサブタイトルが下のオブジェクト上で僅かに浮いているように常に拘束される場合、サブタイトルのディスパリティは先ず下のオブジェクトのディスパリティに至るように減らされ、その後に僅か1画素のような僅かな量(例えば、所定の最小ディスパリティ差分の量)だけ減らされる。ディスパリティに関するこの低減の結果は、調整されたサブタイトルがもはや下のオブジェクトと奥行きの矛盾を生じないようにする。所定の最小ディスパリティ差分が使用される場合、調整されたサブタイトルは、所定の最小ディスパリティ差分(典型的には小さな値)により導入される奥行きにより、下のオブジェクトをクリアする。

しかしながら、場合によっては、ディスパリティの変化は、サイズが増加した立体像サブタイトルの新たなフットプリントをもたらす結果となる。おそらくは、これは更なるエッジの逸脱となり、或いはおそらくはステップ1715で前もって考慮されていないオブジェクトの重なりを招く。ステップ1717において新たなフットプリントの増加が検出された場合、ルーチンはステップ1713に反復的に戻る。そうでなかった場合、プロセスはステップ1718に続く。

予め決まっている又は動的に計算される過剰補償(overcompensation)を賢明に使用することで、ステップ1713にループが戻る必要性を低減又は排除できることに留意を要する。そのような過剰補償は、例えば、エッジの逸脱を避けるのに最低限必要なものよりも
5画素だけ余分にサブタイトルを平行移動させること(ステップ1712)、ステップ1714で最低限必要なものよりも5％余分にサブタイトルを縮小すること、或いは、ステップ1715においてサブタイトルフットプリントの下の最小ディスパリティについて立体像を検査する場合に、水平方向に15画素だけ余分に検査領域を拡張することを含む。

ステップ1718において、修正後の又は調整後の立体像サブタイトルのプレゼンテーション品質の推定が行われる。図17Aのステップ1705と同様に、品質関数は(例えば、数式EQ.3のように)少なくとも部分的にスケール因子に基づくべきである。しかしながら、プロセス1710の場合、ディスパリティ(又は深度又は奥行き)の変化及び平行移動に関して推定される品質の影響が存在する。大幅な平行移動は、下の立体画像のうちの重要な部分又は少なくとも関心がある部分を妨害又は被覆してしまうリスクがある。ディスパリティの大幅な変更は、(例えば、現在の話者の顔のような)関心のある主要な面から(深度の観点から)隔たったサブタイトルとなるおそれがある。スケーリングに基づくq_Sに関する元々の品質方程式はインプレース(in-place)スケーリング法1700で使用されるので、q_t及びq_dに関する品質方程式、すなわち平行移動及びディスパリティ調整それぞれに基づく品質関数は、平行移動、スケール変更及びディスパリティ調整を行う方法1710で使用する品質推定の適切な候補となる。

t_H＝水平方向の平行移動(スクリーン幅の比率)
t_V＝垂直方向の平行移動(スクリーン幅の比率)
∂d＝ディスパリティの変化(画素数)
d_∞＝無限遠に見えるオブジェクトに対応するディスパリティ(画素数)(すなわち、眼間間隔(interocular separation)。

数式EQ.3と同様に、数式EQ.4及びEQ.5各々の関数は1以下の正の品質推定値をもたらす。例えば、数式EQ.4において、ヌル並進の場合、q_t(0,0)=1となる。数式EQ.4に関する別の極端な例として、画像の或るコーナー(隅)から別のところへ移る平行移動(水平方向及び垂直方向の各々において100％起こりそうにない平行移動)は、ゼロでない結果をもたらす：q_t(1,1)は約0.35に等しく、キャプションはスクリーンを完全に横切って移動するので、審美的ではないが、使用できないわけではない。キャプションは依然として可読である(その全体がクリアエリア内にあることを仮定している)。

更に、数式EQ.4は、水平方向の平行移動が垂直方向の平行移動よりも弱い影響をもたらすように形成されている。なぜなら、英語を読む場合、水平方向の眼の動きは同じ大きさの垂直方向の平行移動よりも煩わしくないからである。日本語及びその他の縦書き言語についても経験的な結果が記憶され使用されてもよい。

数式EQ.4の関数形の場合、括弧内の項各々の指数(t_Hを含む項の場合は明示的に「1/2」であり、t_Vを含む項の場合は黙示的に「1」である)は、それら各々の重要度又は寄与が互いに匹敵するようにする。括弧内の項の各々は0及び1の間の値をとる。任意の正の有限値の指数は0及び1の間の区間内にある結果をもたらす。より具体的に言えば、指数が1であった場合、平行移動と品質因子の影響との間の関係は線形である。指数が1未満であった場合、小さな平行移動による差分は、大きな平行移動における同じ大きさの差分よりも小さな影響を有する。逆に、1より大きな指数が他の品質関数に使用されてもよく(すなわち、数式EQ.4に示す具体的な関数形に限定されない)、小さな平行移動に対して大きな影響をもたらすが、平行移動が大きくなるにつれてその効果は低下する(roll off)。

また、括弧の項各々における分数の分母(数式EQ.4の例では「2」)も、t_H及びt_V各々の品質値における最大低減量に影響する。これらの制約(分母及び指数)は数式に合う経験的な品質評価に従って推定値を改善するように全て調整できる。更に、(数式EQ.4とは異なる)他の数式表現が品質の測定値q_tとしてしようされてもよい。数式に関し、0ないし1の範囲外に落ちるq_tの値を生じないようにすることは有意義であるが、これも、数式自身の本来の値でない範囲に制限することで(例えば、所与の数式が解を0ないし1の範囲内に実際には制限していない場合に、q_tは結果が0未満であった場合は0に設定され、結果が1より大きかった場合は1に設定される)、或いは別の関数形を使用することで達成できる。

例えば、ある代替的な形態は、並進又は平行移動に起因する品質劣化に備えて経験的に決定されたフロア値又は下限を採用し(水平方向及び垂直方向の平行移動についてそれぞれq_minH及びq_minVとして指定される)、平行移動の軸各々(又は特定の軸又は方向に沿った平行移動の各々、例えばサブタイトルの高さ又は幅の方向に沿った平行移動の各々)が、品質推定における所定の低減量しか寄与しないようにする。以下の数式EQ.6に示されているように、これらの値がq_minH=0及びq_minV=0に設定されていた場合、この数式は、数式EQ.4で括弧内の分母が「2」の代わりに1であった場合の数式EQ.4と同じ結果をもたらす。しかしながら、q_minH及びq_minVが1に近づくにつれて、この数式で推定される最小値、すなわちQ_t(1,1)は増加する。

平行移動に基づく品質推定に関する更に別の形態は水平方向及び垂直方向の平行移動を等しく取り扱うものであり、移動の合計の大きさが品質推定値をもたらす。数式EQ.4及びEQ.6という2つの具体例により、様々な形態の数式が品質推定値をもたらすのに相応しいことが理解される。

この形態の品質推定の組み合わせは数式EQ.7に示されているような単なる積であり、0及び1の間で結果の品質推定値を提供する機能を維持している。

この数式はプロセス1700でも使用可能であるが、t_H、t_V及び∂dは全てゼロになるので(プロセス1700は如何なる平行移動も如何なるディスパリティ調整も行わないので)、結果の推定品質は数式EQ.3による値と同じになる。

プロセス1700におけるサブタイトル調整ステップ1704と同様に、ステップ1714及びステップ1716で行う実際の調整は、プレゼンテーションの最中にリアルタイムで実行されてもよいし、或いは調整内容が記録されて後に実行されてもよい。

＜＜モデル3＞＞
図17Cは第3のサブタイトル又はキャプション調整法1720を示す。プロセス1720はキャプションを平行移動させることを許容するが、可視的な領域(すなわち、マスクされた如何なる領域でもない領域)であって下のオブジェクトがより小さなディスパリティを有していない領域(すなわち、画像内のオブジェクトがキャプションの背後に見える領域)内のみを対象とする。

プロセス1720はステップ1721から始まり、初期状態において、元々のキャプションのフットプリントがクリアエリア内に完全には含まれていない。キャプションの下の立体像ペア(stereoscopic image pair)の深度マップ(depth map)が、立体像(例えば、メタデータとして)と共に提供される、或いは立体像から直接的に導出される。ステップ1722において、クリアエリア(例えば、図16のステップ1602による)が、キャプションのディスパリティ以上のディスパリティを有する立体像ペアの複数の領域に分割され、現在のディスパリティの場所にあるキャプションを配置するのに相応しい新たなクリアエリアを規定する。

ステップ1723、1724、1725及び1726(ループプロセスと言及される)において、キャプションの配置に相応しい1つ以上の候補位置が調べられ、キャプションの平行移動及びスケール因子に基づく品質関数又は品質推定値及びスケール因子(すなわち、元々のオリジナルのキャプションを検査対象の位置に動かすのに必要な平行移動量(向き及び移動距離))が、位置又はロケーションの各々について決定される。これらの候補位置は、(例えば、クリアエリアを行毎に及び画素毎にラスタライスすることで)網羅的に探索されてもよいし、(例えば所定の手順に従って、例えば10番目の行及び列毎にスキップしてクリアエリアをラスタライスすることで)まばらに探索されてもよいし、或いは(例えば、クリアエリアの中の行及び列をランダムに抽出することを反復的に行うことで)ランダムに探索されてもよい。この場合において、「並進又は平行移動(translation)」は、ループの現在の{x,y}の値から元々のオリジナルのキャプションの{x,y}の値を減算することで得られる平行移動量(向き及び移動距離)と共に、(候補位置各々を検査する)ループで移動する(x,y)空間内のラスタと考えることができる。

ステップ1723で選択された候補位置各々について、ステップ1724において、検査される場所に置くことが可能なキャプションのアスペクト比を有する最大の四角形をもたらすスケール因子が決定される。四角形がキャプションのフットプリントと少なくとも同程度の大きさであった場合、スケール因子は1に設定される。そうでなかった場合、スケール因子は、キャプションのフットプリントに対する最大四角形サイズ(直線寸法、例えば、高さ又は幅)の比率に設定される。このスケール因子は、現在の位置においてクリアエリアに適合するようにキャプションが縮小されなければならない量を表現する。一例として、このステップは、2つの異なる軸又は方向に関して2つのスケール因子を提供するように行われてもよい。先ず、双方の軸に作用するスケール因子が決定される。次に、過剰に拘束されている方の軸について、分散「v」の制限の下で許容可能な再拡張が決定される。キャプションは、スケール因子「s」によりサイズを縮小したことで依然として劣化しているかもしれないが、キャプションのアスペクト比の変更がゼロでない「v」により指定されている場合、おそらくは他方の軸の再拡張により或る程度の読み取りやすさが回復する。そのような選択肢は適切なユーティリティ関数により行うことができる。

スケール因子(又は複数のスケール因子)がステップ1724において決定されると、ステップ1725において例えば数式EQ.7(ディスパリティが維持されるので、∂d=0である)と共に品質の推定が行われる。品質推定値がこのキャプションについての過去の推定値より良好であった場合(すなわち、高かった場合)、推定された品質がその位置及びスケール因子についてそれまでの最良値として維持される。

例えば数式EQ.4のような平行移動に基づく部分的な品質推定値が、それまでの最良の品質推定値より劣っていることが(ステップ1724に先行して)既に知られていた場合、計算が効率的になることに留意を要する(すなわち、プロセス1710で行われる平行移動による品質推定値がプロセス1720で得られるものと比較される)。そのような場所に関し、ステップ1724におけるスケーリング判定及びステップ1725における更に労力を要する品質推定は、例えば他の最適化ステップを用いることで迂回又はスキップされてもよい。

ステップ1726において、別の場所が検討されるべきか否かについての判断が行われる。ループが網羅的又はまばらに候補位置をラスタライズしている場合、及び候補位置が残っていた場合、プロセスは捨て婦ｐ1723に戻る。しかしながら、場合によっては、全ての位置が検査される必要はない。例えば、位置の検査は、キャプションの元々のオリジナルの位置付近の検査位置から始まり、更に進んで遠くの位置を検査する場合、数式EQ.4の品質推定値がステップ1725における最良の品質推定値を超える場合、ループは終了してもよい。さらに大きな平行移動を要する全ての位置は数式EQ.7によれば貧弱な品質推定値しかもたらさないからである。(数式EQ.4は純粋に平行移動を行って再配置されたサブタイトルの品質を推定し、0及び1(理想的な場合)の間の値を返すことに留意を要する。数式EQ.7は数式EQ.4を積の項として含み、他の項はディスパリティの変化及びスケーリングに基づいている。これらの他の項も同様に0及び1の間の値を返すように拘束される。従って数式EQ.7の任意の1つの項が数式EQ.4の最良値を下回った場合、数式EQ.7の全体は数式EQ.4の結果を上回ることはできなくなる)。

ステップ1727において、ステップ1725による最良の品質推定値に従って平行移動及びスケーリングする一方、キャプションの同じディスパリティを維持する。上述したように、キャプションの平行移動の候補が、クリアエリアを通じて徐々にラスタライズすることでステップ1723において行われ、必要に応じてステップ1724においてスケーリングが決定される(スケーリングが不要である場合、スケーリング因子は1である)。ステップ1728において、プロセス1720は、調整されたキャプションと共に(或いは、実施の形態がステップ1727の調整も行う場合、調整に必要なスケール因子及び平行移動量(向き及び移動距離)と共に)、見出された最良の品質推定値を例えば方法1600のステップ1616に対して返す。

＜＜モデル4＞＞
図17Dは図17Cのプロセス1720と同様にキャプションを平行移動及びスケーリングする第4のキャプション調整法1730を示す(従って図17Dにおけるステップ1731、1732、1733、1734及び1739は図17Cにおけるステップ1721、1722、1723、1724及び1726に対応する)。しかしながらプロセス1730はステップ1735において判定処理を導入し、立体像の部分と調整後のキャプションのフットプリントとの間のディスパリティの差分が実際に大きすぎないか否か、すなわち審美的な好みに基づく所定値より大きいか否かを判定する(ステップ1732によるキャプションのもの程多いことを補償する)。図13及び図15はキャプション1310と立体像の下の部分(役者603)との間のディスパリティ差が大きすぎると判定され、図15のキャプション1310が役者603のかなり前方に位置している。ステップ1735において過剰なディスパリティ差が検出された場合、ステップ1736でキャプションのディスパリティが調整され、背景画像内の要素又はオブジェクトのディスパリティに適切に近くなるようにする(例えば、役者603のディスパリティに近いディスパリティを有するキャプション1410となる)。ステップ1737において、ディスパリティが調整されたキャプションのフットプリントが増加しているか否かの判定が行われる。増加していた場合、処理はステップ1734に戻り、更なる最適化に必要な適切なスケール因子を決定し直す。

しかしながら、フットプリントは増やされていないことがステップ1735で判定された場合、又は下側のディスパリティがキャプションのディスパリティとかけ離れていないことがステップ1735で判定された場合、ステップ1738で品質推定が行われ、関連する平行移動、スケール因子及びディスパリティ調整と共に最良の品質推定値が記録される。

ステップ1739において、キャプションの候補位置について検査すべき別の位置がまだ存在する場合、プロセスはステップ1733に戻る。そうでなかった場合、キャプションはステップ1738で記録された最良のパラメータに従って調整される(或いは、調整は後で行われてもよい)。プロセス1730はステップ1741に進んで終了し、品質推定値及び調整されたキャプションを建生場方法1600のステップ1606に返す(或いは、適切な調整を行うように指示する)。

上記の方法は、立体表示の1つ以上のフレーム内のキャプション配置について適用又は採用できる。一実施形態において、キャプションの配置について下地の立体像を検査するプロセスは、1つのフレームの立体像だけより多い数を検査することを含む。キャプションは、一般に、1つより多い数のフレームについてスクリーンに表示され、それが表示されると技術者(practitioners)は同じ場所にキャプションを維持することを選択する。この場合、表示されている期間内にキャプションの下にある立体像フレーム全てを考慮することで、キャプションの配置が大なわれるべきである。この問題に対処するディスパリティ情報の取り扱いの1つは、キャプションが表示されている少なくとも期間全体にわたってエリア(例えば、画素又はより大きなエリア)各々についてディスパリティの最小値(すなわち、最も近い深度)として要約された立体像のディスパリティマップ(又は深度マップ)に関するものである。最小ディスパリティについて検査される領域は、キャプション又はそのふとプリントと重なっている領域に対応する。多くの場合、そのようなディスパリティマップのサマリ(概要)は、ディスパリティが折に触れて算出又はサンプルされたにすぎない場合でも十分に表現される。例えば、ディスパリティ情報は、例えばキャプションの表示期間のような所定の時間間隔にわたって、キャプションと共に表示される対応する数の立体像又はフレームについて、(画素毎に又はより広い単位毎に)最小ディスパリティ値を決定することで処理できる。しばしば、緩慢に変化するシーン(場面)の場合、そのような情報は頻繁に更新することを必要とせず、フレーム毎にディスパリティを計算する必要はなく、たとえそのような計算にディスパリティが連続的に供給される場合でさえそうである。しかしながら、速やかに動くシーンの場合(例えば、スポーツやアクション映画の場合)、ディスパリティ最小値が見過ごされないことを保証するために、(様々な立体像に対応して)フレーム毎に検査されるシーケンスが使用される。

最後に、本発明の実施の形態は、立体像のディスパリティ及び位置を元々設定している3Dキャプション及びサブタイトルを修正することにも適用可能であるように提示される。しかしながら、これらの実施の形態は、2Dキャプション及びサブタイトル配置にも適用可能であり、初期のディスパリティは或る所定値(例えば、ゼロ)に又はキャプションのフットプリントに重なる立体像の最小ディスパリティ(例えば、最も近い奥行き)に設定されるという簡易な仮定と共に行われる。このように、2D表現用に形成されたキャプションは同じコンテンツの3D表現用に簡易に適合できる。

図17A-Dに示すプロセスは、3D画像又はコンテンツ表現方法に使用するキャプション又はサブタイトル(例えば、文字及び/又は図形)を(手動処理とは異なり)自動的に処理するのに使用可能な異なる方法又は手順を示す。これらの方法において、例えば位置、寸法(幅及び/又は高さ)及びディスパリティ又は深度(奥行き)等のようなキャプションに関連する1つ以上のパラメータが調整され、キャプションが、邪魔されたり被覆されたりせずに、(例えば、劇場スクリーンの可視的な領域、テレビジョン、コンピュータ、セルラ電話又はその他の移動装置の表示モニタ等のような)表示装置の所定の領域の中に表示できるようにする一方、3D画像又はコンテンツ内の1つ以上のオブジェクトに関して所定のディスパリティ又は奥行きでキャプションを提供できるようにする。例えば、キャプションの近くのオブジェクトのディスパリティとの所定の関係に従ってキャプションのディスパリティを調整することで、視聴者にとっての奥行きの順序が矛盾する問題を回避し、改善された視聴体験をもたらすことができる。

従って3Dコンテンツプレゼンテーション方法は、一般に、サブタイトル表示に相応しい領域(所定の領域又はクリアエリアと言及されている)を判定するステップと、所与の初期位置、寸法及び/又はディスパリティと共にサブタイトル(又はそのフットプリント)が上記の領域の中に収まるか否かを判定するステップとを有する。収まる場合、その位置、寸法及び/又はディスパリティのうちの少なくとも1つによりサブタイトルが1つ以上の手順に従って調整される。例えば、位置は表示面内の少なくとも1つの方向に所定の量だけサブタイトルを平行移動させることで調整され、寸法は表示領域及びサブタイトルのフットプリントに基づいて少なくとも1つのスケール因子を適用することで調整できる。キャプションのディスパリティは、スケール調整された及び/又は平行移動されたサブタイトルと重なっている又は重複しているオブジェクトの少なくとも1つの像のディスパリティと比較することで調整され、かつ画像内の1つ以上のオブジェクトとの奥行きの知覚の矛盾を回避するように又はより審美的に好ましい3D表現をもたらすように調整される。スケール因子、平行移動量(向き及び移動距離)及びディスパリティの変化は、立体像プレゼンテーションで使用するサブタイトルを処理するのに使用される「調整情報」と言及される。処理された又は調整されたサブタイトルは、表示用の3D画像又はコンテンツに組み込まれる前に、1つ以上の所定の基準に従って評価され、所定の基準は、(例えば、品質関数を使用する)品質測定を含む。

本発明の一実施形態は特定のプログラム命令と共にコンピュータで読み取ることが可能な記録媒体(例えば、メモリ、ストレージ装置、取り外し可能な媒体等)をも提供し、特定のプログラム命令は、その記録媒体に保存され、本発明の実施の形態による上記の方法を1つ以上のプロセッサに実行させる。

本発明の別の実施形態は例えば1つ以上のストレージ又はメモリ装置に保存されるアルゴリズム又は命令を提供することで、上述した方法及びプロセスを実行するシステムを提供し、アルゴリズム又は命令は、本発明の実施の形態による上記の方法及び/又はプロセスをシステム内の1つ以上のプロセッサに実行させる。そのようなシステムの一例は、上記の方法/プロセスの様々なステップを実行するように特別にプログラムされたプロセッサを備えたディジタルシネマサーバであり、例えば、サブタイトル表示用のクリアエリアを判定し、ディジタルコンテンツファイルから再生し、クリアエリアと重なる1つ以上のサブタイトルを判定し、所定の規則又は基準に従って1つ以上のサブタイトル調整法を評価又は格付けし、3Dコンテンツと共に表示用に調整されたサブタイトルを提示する。

図19は本発明の一実施形態をブロック図で示す。ディジタルシネマシステム1900は、ディジタルシネマサーバ1910及びディジタルシネマプロジェクタ1920を有し、立体像を表示するのに適している。ストレージ装置1912に対するアクセスを少なくとも読み取るディジタルシネマサーバ1910は、ストレージ装置1912から構成又はコンポジションを読み取り、立体像及びオーディオの実体又は中身をデコードする。立体像サブタイトルを示すことに関する映像の実体及びタイミング情報は、一方方向又は双方向の通信経路であってもよい接続1914を介してディジタルシネマプロジェクタ1920に提供される。ディジタルシネマプロジェクタ1920は、立体像の映像の実体から立体像を生成し、結果の画像をレンズ1922を通じて劇場内のスクリーン(図示せず)に投影する。オーディオの実体はディジタルシネマサーバ1910によりオーディオ再生部(図示せず)に与えられ、立体像の実体に関連する又は付随するオーディオ成分を劇場の視聴者に提供する。

今日の多くの形態の場合、プロジェクタ1920は、ディジタルシネマサーバ1910からストレージ1912内に対応するサブタイトルの実体が存在する旨の通知を受ける。通知はネットワーク1918を通じてプロジェクタ1920に与えられ、そのネットワークには、プロジェクタ1920及びシネマサーバ1910の双方が各自の接続部1924及び1916を通じて接続されている。以後、作品を提供する間に、プロジェクタ1920はサーバ1910からネットワーク1918を通じて到来するサブタイトルを取得する。しかしながらシステムは通知及び/又はサブタイトルが接続1914を通じて送信できるように構成されていてもよい。

本発明では、そのように取得される立体像サブタイトル(例えば、サブタイトル510)はストレージ1926内にある較正データに関して検査され、例えば平行移動及び/又はスケーリング等のようなサブタイトルの変換が必要であるか否かを判定する。サブタイトルが映像の実体から形成される画像と共に構築される前に、必要な如何なる変換もなされる。

当業者に知られているように、サブタイトルはサブタイトルファイルとは異なる形式で提供されてもよい。サブタイトルが「時限テキスト(timed text)」の形式で提供される場合、サブタイトルは(合成されるか否かによらず)それが投影される前に変換されることを要する。しかしながら、サブタイトルが「サブピクチャ(subpicture)」の形式で提供される場合、それは(合成されるか否かによらず)そのまま投影される。本願においては、サブタイトルの投影画像は、サブタイトルが投影前に先ずレンダリングされるか否かによらず、上記の何れにも適用可能であることが理解されるであろう。

代替的な実施の形態では、立体像サブタイトル及び立体画像の構成要素に対する処理は、ディジタルシネマサーバ1910により実行され、プロジェクタ1920に提供され、表示の準備が行われてもよい。

更に別の実施の形態(図示せず)において、家庭での使用に適したコンピュータ装置(例えば、セットトップボックス又はDVDプレーヤ等を含む)は、3D対応モニタ(すなわち、立体像を表示できるモニタ)のディスプレイ用の立体像と共にサブタイトル及び構成要素についての処理を実行してもよい。代替的に、立体像の構成要素及びサブタイトルについての処理は、3D対応モニタ内のコンピュータによって全て実行されてもよい。

以上、本発明に関する様々な実施の形態が説明されてきたが、基本原理から逸脱することなく、本発明の他の形態も可能である。従って本発明の適切な範囲は添付の特許請求の範囲によって決定される。

＜関連出願＞
本特許出願は「Subtitles in Three - Dimensional (3D) Presentation」と題する西暦2010年4月1日付けの米国仮特許出願第61/319948号による優先的利益を享受する。この米国仮特許出願の教示内容は本願のリファレンスに明確に組み入れられている。
（付記1）
立体表現用のサブタイトルを生成する方法であって、
調整情報に従ってサブタイトルを処理するステップと、
処理された前記サブタイトルを少なくとも1つの立体画像内に組み込み、立体表現用の少なくとも1つの平行移動された立体画像を生成するステップと
を有する方法。
（付記2）
前記調整情報が、スケール因子、平行移動量及びディスパリティの変化のうちの少なくとも1つを含む、付記1記載の方法。
（付記3）
前記調整情報は、
前記サブタイトルのフットプリントと前記少なくとも1つの立体画像の所定の領域とを比較し、
前記フットプリントの或る部分が前記所定の領域の外にあった場合、調整されたフットプリントを伴う調整されたサブタイトルが前記所定の領域内に完全に収まるように前記サブタイトルに適用する前記調整情報を決定することで決定される、付記2記載の方法。
（付記4）
前記所定の領域は、前記サブタイトルに関する寸法及び位置の内の一方に関する少なくとも1つのパラメータを決定する較正手順で設定される、付記3記載の方法。
（付記5）
前記調整情報に基づいて品質パラメータを導出するステップと、
前記品質パラメータが所定値を超える場合、前記調整されたサブタイトルを形成するステップと
を更に有する付記3記載の方法。
（付記6）
前記調整されたフットプリントを、前記フットプリント及び前記所定の領域の間の交わりとして規定するステップと、
前記調整されたフットプリントを形成するために前記フットプリントに適用する前記スケール因子を決定するステップと
を更に有する付記3記載の方法。
（付記7）
前記所定の領域の外にある前記サブタイトルの部分を減らすように前記サブタイトルを平行移動させるステップと、
平行移動させた前記サブタイトルのフットプリントの或る部分が前記所定の領域の外にあった場合、前記平行移動させたサブタイトルにスケール因子を適用し、平行移動及び縮小させられたサブタイトルが前記所定の領域内に完全に入るようにするステップと、
ディスパリティが調整されたサブタイトルの調整後のフットプリントの中に見えるオブジェクトの最小ディスパリティと同程度に、平行移動及び選択的に縮小させられたサブタイトルのディスパリティを調整するステップと
を更に有する付記3記載の方法。
（付記8）
前記調整されたフットプリントが前記所定の領域外の部分を有する場合、前記ディスパリティが調整されたサブタイトルを更に縮小し、更に調整されたサブタイトルのフットプリントの中にあるオブジェクトの最小ディスパリティと同程度に、更に縮小させたサブタイトルのディスパリティを調整するステップを更に有する付記7記載の方法。
（付記9）
前記所定の領域と前記少なくとも1つの立体画像内の領域との間で交わった領域を規定するステップであって、前記領域内のオブジェクトのディスパリティは前記サブタイトルのディスパリティに少なくとも等しい、ステップと、
スケール因子及びある量の平行移動を前記サブタイトルに適用し、前記交わった領域の中に縮小され平行移動したサブタイトルを形成するステップと
を更に有し、前記スケール因子及びある量の平行移動は所定の品質基準に従って選択されている、付記3記載の方法。
（付記10）
前記交わった領域内の他のオブジェクトのディスパリティから、所定量の範囲内にある調整されたディスパリティに、前記縮小され平行移動したサブタイトルを変更するステップを有する付記9記載の方法。
（付記11）
前記サブタイトルの調整されたディスパリティが、前記交わった領域内の他のオブジェクトのディスパリティより大きくない、付記10記載の方法。
（付記12）
前記少なくとも1つの立体画像が複数の画像である、付記1記載の方法。
（付記13）
前記少なくとも1つの立体画像が、処理されたサブタイトルと共に形成された複数の立体画像であり、本方法は、
前記複数の立体画像の個々の部分のディスパリティを検査するサブステップであって、個々の立体画像の個々の部分は調整されたサブタイトルの調整されたフットプリントに重なっている、サブステップと、
個々の立体画像の個々の部分各々の最小ディスパリティにせいぜい等しくなるように、調整されたサブタイトルのディスパリティを変更するサブステップと
を実行することで前記サブタイトルのディスパリティの変更量を決定するステップを更に有する、付記3記載の方法。
（付記14）
前記複数の立体画像が或る時間期間にわたる表示用の画像のシーケンスを表す、付記13記載の方法。
（付記15）
立体表現用のサブタイトルを生成するシステムであって、
スケール因子、並進量及び差異の変化のうちの少なくとも1つを含む調整情報に従ってサブタイトルを自動的に処理し、処理された前記サブタイトルを立体像内に組み込み、立体像用に使用する並進された画像を生成する第1のプロセッサ
を有するシステム。
（付記16）
第2のプロセッサを更に含み、該第2のプロセッサは、前記サブタイトルのフットプリントと前記立体画像の所定の領域とを比較し、前記サブタイトルのフットプリントの或る部分が前記所定の領域の外にあった場合、調整されたフットプリントを伴う調整されたサブタイトルが前記所定の領域内に完全に収まるように前記サブタイトルに適用する前記調整情報を決定する、付記15記載のシステム。
（付記17）
前記第1のプロセッサが前記第2のプロセッサと同一である、付記15記載のシステム。
（付記18）
前記第2のプロセッサが、前記調整情報に基づいて品質パラメータを導出し、前記品質パラメータが所定値を超える場合、前記調整されたサブタイトルを形成する、付記16記載のシステム。
（付記19）
組み込まれたサブタイトルを含む変換後の立体画像を格納するメモリを更に有する付記15記載のシステム。
（付記20）
前記第1のプロセッサが、セットトップボックス、テレビジョンモニタ、ビデオレコーダ、ディジタルビデオプレーヤ、パーソナルコンピュータ及びモバイル装置を含む消費者装置及びディジタルシネマサーバの内の何れかに設けられている、付記15記載のシステム。

Claims (7)

1. 立体表現用のサブタイトルを準備する方法であって、
   調整情報に従ってサブタイトルを処理するステップと、
   立体表現用の少なくとも１つの変換された立体画像を生成するために、処理された前記サブタイトルを少なくとも１つの立体画像内に形成するステップと、
   前記サブタイトルのフットプリントと前記少なくとも１つの立体画像の所定の領域とを比較するステップと、
   前記フットプリントの或る部分が前記所定の領域の外にある場合、前記所定の領域内に完全に収まる調整されたフットプリントを伴う調整されたサブタイトルを生成するために、前記サブタイトルに適用する前記調整情報を決定するステップと、
   前記所定の領域の外にある前記サブタイトルの部分を減らすように前記サブタイトルを平行移動させるステップと、
   平行移動される前記サブタイトルのフットプリントの或る部分が前記所定の領域の外にある場合、縮小され平行移動されたサブタイトルが完全に前記所定の領域内にあるように、前記平行移動されるサブタイトルにスケール因子を適用するステップと、
   ディスパリティが調整されたサブタイトルの調整されたフットプリント内に見えるオブジェクトの最小ディスパリティ以下であるように平行移動及び選択的に縮小されるサブタイトルのディスパリティを調整するステップと
   を有する方法。
2. 前記調整されたフットプリントが前記所定の領域外の部分を有する場合、前記ディスパリティが調整されたサブタイトルを更に縮小し、更に調整されたサブタイトルのフットプリント内のオブジェクトの最小ディスパリティ以下であるように更に縮小されたサブタイトルのディスパリティを調整するステップを更に有する請求項１記載の方法。
3. 前記所定の領域と前記少なくとも１つの立体画像内の或るオブジェクト領域との間で交わる領域を規定するステップであって、前記或るオブジェクト領域内のオブジェクトのディスパリティは前記サブタイトルのディスパリティ以下である、ステップと、
   前記交わる領域外に縮小及び平行移動されたサブタイトルを形成するように、スケール因子及びある量の平行移動を前記サブタイトルに適用するステップと
   を更に有し、前記スケール因子及びある量の平行移動は所定の品質基準に従って選択される、請求項１記載の方法。
4. 前記交わる領域内の他のオブジェクトのディスパリティから、所定量の範囲内にある調整されたディスパリティに、前記縮小及び平行移動されたサブタイトルを変更するステップを有する請求項３記載の方法。
5. 前記サブタイトルの調整されたディスパリティが、前記交わる領域内の他のオブジェクトのディスパリティより大きくない、請求項４記載の方法。
6. 前記少なくとも１つの立体画像が複数の画像である、請求項１記載の方法。
7. 前記複数の立体画像が或る時間期間にわたる表示用の画像のシーケンスを表す、請求項６記載の方法。
   

Images