JP6068329B2 - 立体表示用のサブタイトルを生成する方法及びシステム - Google Patents
立体表示用のサブタイトルを生成する方法及びシステム Download PDFInfo
- Publication number
- JP6068329B2 JP6068329B2 JP2013502568A JP2013502568A JP6068329B2 JP 6068329 B2 JP6068329 B2 JP 6068329B2 JP 2013502568 A JP2013502568 A JP 2013502568A JP 2013502568 A JP2013502568 A JP 2013502568A JP 6068329 B2 JP6068329 B2 JP 6068329B2
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- caption
- disparity
- image
- footprint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 145
- 238000013519 translation Methods 0.000 claims description 55
- 230000002829 reductive effect Effects 0.000 claims description 33
- 230000014509 gene expression Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000014616 translation Effects 0.000 description 53
- 230000008569 process Effects 0.000 description 43
- 230000006870 function Effects 0.000 description 33
- 230000008859 change Effects 0.000 description 20
- 241001274613 Corvus frugilegus Species 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
立体表現用のサブタイトルを生成する方法であって、
調整情報に従ってサブタイトルを処理するステップと、
処理された前記サブタイトルを少なくとも1つの立体画像内に組み込み、立体表現用の少なくとも1つの平行移動された立体画像を生成するステップと
を有する方法である。
本発明の実施の形態は立体表現用のサブタイトル又はキャプションを用意する改善された方法及びシステムを提供する。サブタイトルは、打ち切られることなく又は邪魔することなく所与の画像表示領域の中で表示できるように、様々な方法で調整することが可能である。そのような調整は、スケール因子を適用することによりサブタイトルの寸法を変更すること、画像空間内のサブタイトルを並進させること、差異又はディスパリティ(disparity)又は奥行きを変更すること、又はそれらの組み合わせを含む。サブタイトルのディスパリティの調整は、配下の画像内の他のオブジェクト又は要素のディスパリティを考慮して行われるので、奥行きの矛盾(depth cue conflict)は最小化され、改善された立体映像を視聴できることになる。
本発明による教示内容は添付図面と共に以下の詳細な説明を考察することで十分に理解できるであろう。
後述の図面に関する状況を設定するため、図1は或る表現による代表的な場面又はシーン(scene)を示し、例えば以下で説明される幾つかのショットがなされた庭の場面を示す。庭の場面100は、一群の庭のサイズに合うチェスの駒102に囲まれて立っている役者103を示し、一群のチェスの駒は或る特定のチェスの駒、ルーク(rook)101を前方に含む。役者103の後方には木104がある。同じ距離だけ後方の右側にはランプ105があり、更に建物106もある。図2-15に示されている庭の場面のショットは、図1に表現されている見晴らしのよい地点(vantage point)に対して僅かに右側から撮影されている。
図7Aは、キャプション510を伴う立体像ペア500を示すスクリーンが、領域700により途切れている、マスクされている、遮蔽されている、被覆されている或いは邪魔されている状況を示す。そのように覆っている領域700を招く一例は、劇場の幕である(例えば、図10Aに関連して説明されるマスキング1020)。図7Aの例の場合、キャプション510のかなりの部分が被覆領域710により隠されており、番組に関する視聴者の受ける情報や楽しみを減殺してしまう。
サブタイトルを表示する第2の形態では、立体像のキャプション510のフットプリント及び被覆領域700の間に何らかの重なり、オーバーラップ又は交わりがあった場合、被覆領域700によるキャプションの打ち切りを避けるように、立体像のキャプションが所定の距離の分だけ並進又は移動させられる。しかしながら、立体像のキャプション510を左に単に並進又は平行移動させると、重複したキャプション510又はルーク100の立体像と重なってしまうかもしれない(すなわち、キャプション及びルーク画像がディスプレイの画面上で同じx-y座標を占める場合又は2D画像空間内で同じ領域を占める場合である)。ルークはキャプションのディスパリティ511より小さなディスパリティ401を有するので(すなわち、ルークのディスパリティは負の方向により大きく、従って視聴者510にとってルークはキャプションよりも近くに見えるので)、この方法はキャプション510がルーク101に重なって見え、従ってそれがルークの背後にあることを示すディスパリティを有する点で深度の順序に矛盾又は問題を生じる。この場合、キャプションのディスパリティは、重なっている最も近いオブジェクトのディスパリティより小さくなるように調整可能であり(例えば、視聴者に近いほど、負の方向に大きくなる)、この場合、ルーク101とディスパリティ401との関係が考慮される。
この種の修正に関する審美的ユーティリティ関数(aesthetic utility function)は、スケール因子「s」の値(スケーリングを一切必要としない場合は1に設定される)と、ディスパリティの変化の大きさ|DOーDN|又は符号を伴うディスパリティの変化(DOーDN)とを含むように設定されてもよい。説明の便宜上、審美的ユーティリティ関数は、所定のキャプションの配置又は調整に関する審美性を定量化又は有利化(rationalizing)するために使用される。この関数は任意の関数形を取ることが可能であり、通常は所定の境界条件により拘束される。本発明の場合、関数又は方程式はスケール「s」及びディスパリティの変化「d」のようなパラメータを含む。関数は経験的な測定に基づいてもよく、多くの場合、経験的な推測又は複数の情報源の組み合わせに基づいて、「測定単位(measure of utility)」を形成し、例えば当初の又は元々のキャプションの位置からの審美性の逸脱の尺度を形成する(当初の位置は、美術的な任務を担う者が作成しているので「完璧(perfect)」であると考えられる)。
サブタイトル表示の第3の例の場合、何らの工夫もなければ途切れてしまうサブタイトルに対する修正は、立体像のキャプション510のフットプリント及び被覆領域700の間に交わりも重なりも無いようにすることを含む。これは、被覆領域700を避けるだけでなく、キャプションのディスパリティよりも小さなディスパリティを有するオブジェクトを含む領域をも避けることで、達成される(そのようなオブジェクトは、視聴者の近くに見えるオブジェクト又はキャプションの前方に見えるオブジェクトである)。方法の1つはクリアエリア(clear area)(被覆領域等により被覆されていない領域)を追跡することであり、最初にクリアエリアは被覆領域700のない画像500に対応する領域であり、キャプションのディスパリティ511よりも小さなディスパリティを伴うオブジェクトを含む全ての領域をクリアエリアから除去する。これは、立体像500のディスパリティマップを作成又は取得し、ディスパリティマップ内のロケーション各々をディスパリティ511と比較し、ディスパリティマップを2値化することで達成される。
図14は、キャプション1310のディスパリティが図13におけるものから更に調整されている表現1400を示す。具体的には、キャプション1310のフットプリントの直下又はそれと重なっている表現又は画像コンテンツは、最小ディスパリティについて検査され(すなわち、視聴者に最も近いキャプションのフットプリントと重なっているオブジェクトを特定し)、最も近いオブジェクトを発見した場合、最も近いオブジェクトのディスパリティに達するまでキャプションのディスパリティを増やす(すなわち、キャプションを視聴者の側から更に動かす)。すなわち、サブタイトル又はキャプションが、もはや画像の中にないオブジェクトとの間で奥行きの順序の矛盾が生じないように事前に前方に配置されていた場合(例えば、ルーク101の前方にあるキャプション1310(これは被覆領域1200によって現在は隠れている))、サブタイトルは、サブタイトルに重なっている最も近いオブジェクトまで遠く後退してもよいが、深度又は奥行きの矛盾が生じてはならない。これは、キャプションが他のオブジェクトの前方に遠く孤立してしまうことを防止し、そのようにしなかった場合、表現1300を見ることが困難になってしまう。その結果、右及び左眼キャプション画像1410R及び1410Lによるキャプション1410は、役者103の像のディスパリティ403と同じ又はやや小さい立体像ディスパリティ1411と共に設定される。代替的に、キャプションは、上述したように、最も近くで重なっているオブジェクトに関して、所定の「最小リリーフ値」よりも決して接近しないように後退させられてもよい。
1)(何れのオブジェクトについても深度又は奥行きの順序に矛盾が生じない場合に)キャプションのディスパリティを変更することなく、その場所でキャプションのスケールを変更すること。
図17Aはその場所でキャプションのスケーリング調整を行うためのプロセス1700を示す。「その場所で(in-place)」という用語は、元々のフットプリントの外にキャプションを一並進も平行移動もさせないことを意味する。本プロセスは初期状態に関するステップ1701から始まり、当初の又は元々のキャプションのフットプリントがクリアエリア内に全体的に収まっていない(例えば、図16のステップ1602のようなシステム較正により判定されてもよい)。ステップ1702において、当初の又は元々のフットプリント及びクリアエリアの交わりに合うように新たなフットプリントが設定される。ステップ1703において、スケーリングされた寸法が新たなフットプリントに適合する程度に十分に縮小されるように、当初の又は元々のフットプリントの高さ及び幅に適用するスケール因子が決定される。別の実施の形態では、当初の又は元々のフットプリントのアスペクト比が、縮小したキャプションによって維持され(すなわち、高さ及び幅の双方に同じスケール因子が使用される)、或いは一定量の範囲内でアスペクト比を変化させることが許容されてもよい。
図17Bは第2のサブタイトル調整法1710を示す。プロセス1710は、必要に応じて使用されるスケーリングと共に、サブタイトルを水平方向及び/又は垂直方向に平行移動し、クリアエリア(浸食又は被覆されていない領域)内に留まるようにする。更に、配置し直されたサブタイトルの新たなフットプリントが存在する画像内の任意のオブジェクトのディスパリティについて、サブタイトル自身のディスパリティを調整しなければならないか否かを判定する(サブタイトルが重なるオブジェクトの背後に見えることで、別のオブジェクトの奥行きと矛盾してサブタイトルが終了しないようにする)。
5画素だけ余分にサブタイトルを平行移動させること(ステップ1712)、ステップ1714で最低限必要なものよりも5%余分にサブタイトルを縮小すること、或いは、ステップ1715においてサブタイトルフットプリントの下の最小ディスパリティについて立体像を検査する場合に、水平方向に15画素だけ余分に検査領域を拡張することを含む。
tV=垂直方向の平行移動(スクリーン幅の比率)
∂d=ディスパリティの変化(画素数)
d∞=無限遠に見えるオブジェクトに対応するディスパリティ(画素数)(すなわち、眼間間隔(interocular separation)。
図17Cは第3のサブタイトル又はキャプション調整法1720を示す。プロセス1720はキャプションを平行移動させることを許容するが、可視的な領域(すなわち、マスクされた如何なる領域でもない領域)であって下のオブジェクトがより小さなディスパリティを有していない領域(すなわち、画像内のオブジェクトがキャプションの背後に見える領域)内のみを対象とする。
図17Dは図17Cのプロセス1720と同様にキャプションを平行移動及びスケーリングする第4のキャプション調整法1730を示す(従って図17Dにおけるステップ1731、1732、1733、1734及び1739は図17Cにおけるステップ1721、1722、1723、1724及び1726に対応する)。しかしながらプロセス1730はステップ1735において判定処理を導入し、立体像の部分と調整後のキャプションのフットプリントとの間のディスパリティの差分が実際に大きすぎないか否か、すなわち審美的な好みに基づく所定値より大きいか否かを判定する(ステップ1732によるキャプションのもの程多いことを補償する)。図13及び図15はキャプション1310と立体像の下の部分(役者603)との間のディスパリティ差が大きすぎると判定され、図15のキャプション1310が役者603のかなり前方に位置している。ステップ1735において過剰なディスパリティ差が検出された場合、ステップ1736でキャプションのディスパリティが調整され、背景画像内の要素又はオブジェクトのディスパリティに適切に近くなるようにする(例えば、役者603のディスパリティに近いディスパリティを有するキャプション1410となる)。ステップ1737において、ディスパリティが調整されたキャプションのフットプリントが増加しているか否かの判定が行われる。増加していた場合、処理はステップ1734に戻り、更なる最適化に必要な適切なスケール因子を決定し直す。
本特許出願は「Subtitles in Three - Dimensional (3D) Presentation」と題する西暦2010年4月1日付けの米国仮特許出願第61/319948号による優先的利益を享受する。この米国仮特許出願の教示内容は本願のリファレンスに明確に組み入れられている。
(付記1)
立体表現用のサブタイトルを生成する方法であって、
調整情報に従ってサブタイトルを処理するステップと、
処理された前記サブタイトルを少なくとも1つの立体画像内に組み込み、立体表現用の少なくとも1つの平行移動された立体画像を生成するステップと
を有する方法。
(付記2)
前記調整情報が、スケール因子、平行移動量及びディスパリティの変化のうちの少なくとも1つを含む、付記1記載の方法。
(付記3)
前記調整情報は、
前記サブタイトルのフットプリントと前記少なくとも1つの立体画像の所定の領域とを比較し、
前記フットプリントの或る部分が前記所定の領域の外にあった場合、調整されたフットプリントを伴う調整されたサブタイトルが前記所定の領域内に完全に収まるように前記サブタイトルに適用する前記調整情報を決定することで決定される、付記2記載の方法。
(付記4)
前記所定の領域は、前記サブタイトルに関する寸法及び位置の内の一方に関する少なくとも1つのパラメータを決定する較正手順で設定される、付記3記載の方法。
(付記5)
前記調整情報に基づいて品質パラメータを導出するステップと、
前記品質パラメータが所定値を超える場合、前記調整されたサブタイトルを形成するステップと
を更に有する付記3記載の方法。
(付記6)
前記調整されたフットプリントを、前記フットプリント及び前記所定の領域の間の交わりとして規定するステップと、
前記調整されたフットプリントを形成するために前記フットプリントに適用する前記スケール因子を決定するステップと
を更に有する付記3記載の方法。
(付記7)
前記所定の領域の外にある前記サブタイトルの部分を減らすように前記サブタイトルを平行移動させるステップと、
平行移動させた前記サブタイトルのフットプリントの或る部分が前記所定の領域の外にあった場合、前記平行移動させたサブタイトルにスケール因子を適用し、平行移動及び縮小させられたサブタイトルが前記所定の領域内に完全に入るようにするステップと、
ディスパリティが調整されたサブタイトルの調整後のフットプリントの中に見えるオブジェクトの最小ディスパリティと同程度に、平行移動及び選択的に縮小させられたサブタイトルのディスパリティを調整するステップと
を更に有する付記3記載の方法。
(付記8)
前記調整されたフットプリントが前記所定の領域外の部分を有する場合、前記ディスパリティが調整されたサブタイトルを更に縮小し、更に調整されたサブタイトルのフットプリントの中にあるオブジェクトの最小ディスパリティと同程度に、更に縮小させたサブタイトルのディスパリティを調整するステップを更に有する付記7記載の方法。
(付記9)
前記所定の領域と前記少なくとも1つの立体画像内の領域との間で交わった領域を規定するステップであって、前記領域内のオブジェクトのディスパリティは前記サブタイトルのディスパリティに少なくとも等しい、ステップと、
スケール因子及びある量の平行移動を前記サブタイトルに適用し、前記交わった領域の中に縮小され平行移動したサブタイトルを形成するステップと
を更に有し、前記スケール因子及びある量の平行移動は所定の品質基準に従って選択されている、付記3記載の方法。
(付記10)
前記交わった領域内の他のオブジェクトのディスパリティから、所定量の範囲内にある調整されたディスパリティに、前記縮小され平行移動したサブタイトルを変更するステップを有する付記9記載の方法。
(付記11)
前記サブタイトルの調整されたディスパリティが、前記交わった領域内の他のオブジェクトのディスパリティより大きくない、付記10記載の方法。
(付記12)
前記少なくとも1つの立体画像が複数の画像である、付記1記載の方法。
(付記13)
前記少なくとも1つの立体画像が、処理されたサブタイトルと共に形成された複数の立体画像であり、本方法は、
前記複数の立体画像の個々の部分のディスパリティを検査するサブステップであって、個々の立体画像の個々の部分は調整されたサブタイトルの調整されたフットプリントに重なっている、サブステップと、
個々の立体画像の個々の部分各々の最小ディスパリティにせいぜい等しくなるように、調整されたサブタイトルのディスパリティを変更するサブステップと
を実行することで前記サブタイトルのディスパリティの変更量を決定するステップを更に有する、付記3記載の方法。
(付記14)
前記複数の立体画像が或る時間期間にわたる表示用の画像のシーケンスを表す、付記13記載の方法。
(付記15)
立体表現用のサブタイトルを生成するシステムであって、
スケール因子、並進量及び差異の変化のうちの少なくとも1つを含む調整情報に従ってサブタイトルを自動的に処理し、処理された前記サブタイトルを立体像内に組み込み、立体像用に使用する並進された画像を生成する第1のプロセッサ
を有するシステム。
(付記16)
第2のプロセッサを更に含み、該第2のプロセッサは、前記サブタイトルのフットプリントと前記立体画像の所定の領域とを比較し、前記サブタイトルのフットプリントの或る部分が前記所定の領域の外にあった場合、調整されたフットプリントを伴う調整されたサブタイトルが前記所定の領域内に完全に収まるように前記サブタイトルに適用する前記調整情報を決定する、付記15記載のシステム。
(付記17)
前記第1のプロセッサが前記第2のプロセッサと同一である、付記15記載のシステム。
(付記18)
前記第2のプロセッサが、前記調整情報に基づいて品質パラメータを導出し、前記品質パラメータが所定値を超える場合、前記調整されたサブタイトルを形成する、付記16記載のシステム。
(付記19)
組み込まれたサブタイトルを含む変換後の立体画像を格納するメモリを更に有する付記15記載のシステム。
(付記20)
前記第1のプロセッサが、セットトップボックス、テレビジョンモニタ、ビデオレコーダ、ディジタルビデオプレーヤ、パーソナルコンピュータ及びモバイル装置を含む消費者装置及びディジタルシネマサーバの内の何れかに設けられている、付記15記載のシステム。
Claims (7)
- 立体表現用のサブタイトルを準備する方法であって、
調整情報に従ってサブタイトルを処理するステップと、
立体表現用の少なくとも1つの変換された立体画像を生成するために、処理された前記サブタイトルを少なくとも1つの立体画像内に形成するステップと、
前記サブタイトルのフットプリントと前記少なくとも1つの立体画像の所定の領域とを比較するステップと、
前記フットプリントの或る部分が前記所定の領域の外にある場合、前記所定の領域内に完全に収まる調整されたフットプリントを伴う調整されたサブタイトルを生成するために、前記サブタイトルに適用する前記調整情報を決定するステップと、
前記所定の領域の外にある前記サブタイトルの部分を減らすように前記サブタイトルを平行移動させるステップと、
平行移動される前記サブタイトルのフットプリントの或る部分が前記所定の領域の外にある場合、縮小され平行移動されたサブタイトルが完全に前記所定の領域内にあるように、前記平行移動されるサブタイトルにスケール因子を適用するステップと、
ディスパリティが調整されたサブタイトルの調整されたフットプリント内に見えるオブジェクトの最小ディスパリティ以下であるように平行移動及び選択的に縮小されるサブタイトルのディスパリティを調整するステップと
を有する方法。 - 前記調整されたフットプリントが前記所定の領域外の部分を有する場合、前記ディスパリティが調整されたサブタイトルを更に縮小し、更に調整されたサブタイトルのフットプリント内のオブジェクトの最小ディスパリティ以下であるように更に縮小されたサブタイトルのディスパリティを調整するステップを更に有する請求項1記載の方法。
- 前記所定の領域と前記少なくとも1つの立体画像内の或るオブジェクト領域との間で交わる領域を規定するステップであって、前記或るオブジェクト領域内のオブジェクトのディスパリティは前記サブタイトルのディスパリティ以下である、ステップと、
前記交わる領域外に縮小及び平行移動されたサブタイトルを形成するように、スケール因子及びある量の平行移動を前記サブタイトルに適用するステップと
を更に有し、前記スケール因子及びある量の平行移動は所定の品質基準に従って選択される、請求項1記載の方法。 - 前記交わる領域内の他のオブジェクトのディスパリティから、所定量の範囲内にある調整されたディスパリティに、前記縮小及び平行移動されたサブタイトルを変更するステップを有する請求項3記載の方法。
- 前記サブタイトルの調整されたディスパリティが、前記交わる領域内の他のオブジェクトのディスパリティより大きくない、請求項4記載の方法。
- 前記少なくとも1つの立体画像が複数の画像である、請求項1記載の方法。
- 前記複数の立体画像が或る時間期間にわたる表示用の画像のシーケンスを表す、請求項6記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US31994810P | 2010-04-01 | 2010-04-01 | |
US61/319,948 | 2010-04-01 | ||
PCT/US2011/000590 WO2011123178A1 (en) | 2010-04-01 | 2011-04-01 | Subtitles in three-dimensional (3d) presentation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013528010A JP2013528010A (ja) | 2013-07-04 |
JP2013528010A5 JP2013528010A5 (ja) | 2014-05-22 |
JP6068329B2 true JP6068329B2 (ja) | 2017-01-25 |
Family
ID=44120887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013502568A Expired - Fee Related JP6068329B2 (ja) | 2010-04-01 | 2011-04-01 | 立体表示用のサブタイトルを生成する方法及びシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9241149B2 (ja) |
EP (1) | EP2553931A1 (ja) |
JP (1) | JP6068329B2 (ja) |
KR (1) | KR101834263B1 (ja) |
CN (1) | CN102845067B (ja) |
WO (1) | WO2011123178A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12033656B2 (en) | 2021-06-19 | 2024-07-09 | Kyndryl, Inc. | Diarisation augmented reality aide |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120320153A1 (en) * | 2010-02-25 | 2012-12-20 | Jesus Barcons-Palau | Disparity estimation for stereoscopic subtitling |
US8730301B2 (en) * | 2010-03-12 | 2014-05-20 | Sony Corporation | Service linkage to caption disparity data transport |
JP5505637B2 (ja) * | 2010-06-24 | 2014-05-28 | ソニー株式会社 | 立体表示装置および立体表示装置の表示方法 |
CN102959952B (zh) * | 2010-06-27 | 2016-07-06 | Lg电子株式会社 | 数字接收器以及在数字接收器中处理字幕数据的方法 |
KR101819736B1 (ko) * | 2010-07-12 | 2018-02-28 | 코닌클리케 필립스 엔.브이. | 3d 비디오 방송에서의 보조 데이터 |
GB2485140A (en) * | 2010-10-26 | 2012-05-09 | Sony Corp | A Method and Apparatus For Inserting Object Data into a Stereoscopic Image |
KR101727899B1 (ko) * | 2010-11-26 | 2017-04-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
EP2495979A1 (en) * | 2011-03-01 | 2012-09-05 | Thomson Licensing | Method, reproduction apparatus and system for display of stereoscopic 3D video information |
US9485494B1 (en) * | 2011-04-10 | 2016-11-01 | Nextvr Inc. | 3D video encoding and decoding methods and apparatus |
US9407902B1 (en) | 2011-04-10 | 2016-08-02 | Nextvr Inc. | 3D video encoding and decoding methods and apparatus |
CN103597822A (zh) * | 2011-06-06 | 2014-02-19 | 富士胶片株式会社 | 图像加工装置、复眼摄像装置、图像加工方法及程序 |
US20130050420A1 (en) * | 2011-08-22 | 2013-02-28 | Ding-Yun Chen | Method and apparatus for performing image processing according to disparity information |
US9407897B2 (en) * | 2011-09-30 | 2016-08-02 | Panasonic Intellectual Property Management Co., Ltd. | Video processing apparatus and video processing method |
WO2013054371A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 立体字幕処理装置および立体字幕処理方法 |
CN102510558B (zh) * | 2011-10-13 | 2018-03-27 | 中兴通讯股份有限公司 | 一种信息显示方法及系统、发送模块与接收模块 |
US9111352B2 (en) * | 2011-12-27 | 2015-08-18 | Avid Technology, Inc. | Automated detection and correction of stereoscopic edge violations |
KR101899458B1 (ko) * | 2012-01-11 | 2018-09-18 | 삼성전자주식회사 | 3d 디스플레이 장치 및 그 방법 |
CN103312863A (zh) * | 2012-03-08 | 2013-09-18 | 中兴通讯股份有限公司 | 移动终端视频的呈现方法及装置 |
JP6307213B2 (ja) * | 2012-05-14 | 2018-04-04 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置、画像処理方法およびプログラム |
US20130321572A1 (en) * | 2012-05-31 | 2013-12-05 | Cheng-Tsai Ho | Method and apparatus for referring to disparity range setting to separate at least a portion of 3d image data from auxiliary graphical data in disparity domain |
CN103475831A (zh) * | 2012-06-06 | 2013-12-25 | 晨星软件研发(深圳)有限公司 | 应用于显示装置的字幕控制方法与元件 |
JP2016511979A (ja) * | 2013-03-13 | 2016-04-21 | インテル コーポレイション | 3次元画像編集のための改善された技術 |
US9762889B2 (en) * | 2013-05-08 | 2017-09-12 | Sony Corporation | Subtitle detection for stereoscopic video contents |
TWI630821B (zh) | 2013-07-19 | 2018-07-21 | 新力股份有限公司 | File generation device, file generation method, file reproduction device, and file reproduction method |
TWI632810B (zh) * | 2013-07-19 | 2018-08-11 | 新力股份有限公司 | Data generating device, data generating method, data reproducing device, and data reproducing method |
TWI630820B (zh) | 2013-07-19 | 2018-07-21 | 新力股份有限公司 | File generation device, file generation method, file reproduction device, and file reproduction method |
KR102143472B1 (ko) * | 2013-07-26 | 2020-08-12 | 삼성전자주식회사 | 다시점 영상 처리 장치 및 그 영상 처리 방법 |
CN104811679A (zh) * | 2014-01-29 | 2015-07-29 | 宏达国际电子股份有限公司 | 立体图像的调整方法与图像处理装置 |
US9930315B2 (en) * | 2015-04-29 | 2018-03-27 | Lucid VR, Inc. | Stereoscopic 3D camera for virtual reality experience |
US9740952B2 (en) * | 2015-06-16 | 2017-08-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and systems for real time automated caption rendering testing |
US9900665B2 (en) | 2015-06-16 | 2018-02-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Caption rendering automation test framework |
WO2016206019A1 (zh) * | 2015-06-24 | 2016-12-29 | 冯旋宇 | 机顶盒语言控制方法及系统 |
CN105430512A (zh) | 2015-11-06 | 2016-03-23 | 腾讯科技(北京)有限公司 | 一种在视频图像上显示信息的方法和装置 |
US10531063B2 (en) | 2015-12-25 | 2020-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for processing stereoscopic video |
CN106993227B (zh) * | 2016-01-20 | 2020-01-21 | 腾讯科技(北京)有限公司 | 一种进行信息展示的方法和装置 |
EP3410730A4 (en) * | 2016-01-26 | 2018-12-26 | Sony Corporation | Reception device, reception method, and transmission device |
CN106060437B (zh) * | 2016-07-21 | 2022-10-21 | 厦门视诚科技有限公司 | 桌面式控台字幕显示装置及显示方法 |
CN106484397A (zh) * | 2016-09-18 | 2017-03-08 | 乐视控股(北京)有限公司 | 一种3d空间中用户界面控件的生成方法及其装置 |
AU2016433740B2 (en) * | 2016-12-28 | 2022-03-24 | Razer (Asia-Pacific) Pte. Ltd. | Methods for displaying a string of text and wearable devices |
CN108712642B (zh) * | 2018-04-20 | 2020-07-10 | 天津大学 | 一种适用于立体视频的立体字幕添加位置自动选择方法 |
CN110620946B (zh) | 2018-06-20 | 2022-03-18 | 阿里巴巴(中国)有限公司 | 字幕显示方法及装置 |
CN109951523B (zh) * | 2019-01-18 | 2021-11-26 | 广州宁基智能系统有限公司 | 基于现场工业局域网的数据通讯方法、系统及存储介质 |
US11687714B2 (en) * | 2020-08-20 | 2023-06-27 | Adobe Inc. | Systems and methods for generating text descriptive of digital images |
CN112328091B (zh) * | 2020-11-27 | 2022-03-25 | 腾讯科技(深圳)有限公司 | 弹幕显示方法、装置、终端及存储介质 |
CN113989807A (zh) * | 2021-10-13 | 2022-01-28 | 深圳Tcl新技术有限公司 | 字幕显示方法、浏览器及存储介质和终端设备 |
WO2023133600A1 (en) * | 2022-01-10 | 2023-07-13 | Apple Inc. | Methods for displaying user interface elements relative to media content |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3423189B2 (ja) * | 1997-05-27 | 2003-07-07 | 三洋電機株式会社 | ディジタル立体放送によるテロップ表示装置 |
US7206029B2 (en) | 2000-12-15 | 2007-04-17 | Koninklijke Philips Electronics N.V. | Picture-in-picture repositioning and/or resizing based on video content analysis |
US20040213542A1 (en) | 2003-04-22 | 2004-10-28 | Hiroshi Hamasaka | Apparatus and method to reproduce multimedia content for a multitude of resolution displays |
JP2005242204A (ja) * | 2004-02-27 | 2005-09-08 | Matsushita Electric Ind Co Ltd | 情報表示方法及び情報表示装置 |
RU2407224C2 (ru) | 2005-04-19 | 2010-12-20 | Конинклейке Филипс Электроникс Н.В. | Восприятие глубины |
JP2006325165A (ja) * | 2005-05-20 | 2006-11-30 | Excellead Technology:Kk | テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法 |
KR20060123033A (ko) * | 2005-05-28 | 2006-12-01 | 삼성전자주식회사 | 디스플레이 시스템 및 디스플레이장치와, 영상소스와디스플레이장치의 제어방법 |
FR2888375A1 (fr) | 2005-07-06 | 2007-01-12 | Thomson Licensing Sa | Procede d'obtention d'une carte de saillance a partir d'une pluralite de cartes de saillances etablies a partir de grandeurs visuelles differentes |
KR101377736B1 (ko) * | 2006-10-11 | 2014-03-24 | 코닌클리케 필립스 엔.브이. | 3차원 그래픽 데이터의 생성 |
JP4458094B2 (ja) * | 2007-01-05 | 2010-04-28 | 船井電機株式会社 | 放送受信装置 |
ATE472230T1 (de) | 2007-03-16 | 2010-07-15 | Thomson Licensing | System und verfahren zum kombinieren von text mit dreidimensionalem inhalt |
CN101312506B (zh) * | 2007-05-21 | 2010-12-22 | Nec卡西欧移动通信株式会社 | 附带字幕的影像重现装置 |
EP3454549B1 (en) * | 2008-07-25 | 2022-07-13 | Koninklijke Philips N.V. | 3d display handling of subtitles |
CN101360193A (zh) * | 2008-09-04 | 2009-02-04 | 北京中星微电子有限公司 | 一种视频字幕处理装置及方法 |
EP2356818B1 (en) * | 2008-12-01 | 2016-04-13 | Imax Corporation | Methods and systems for presenting three-dimensional motion pictures with content adaptive information |
WO2010093115A2 (en) * | 2009-02-12 | 2010-08-19 | Lg Electronics Inc. | Broadcast receiver and 3d subtitle data processing method thereof |
US20110285726A1 (en) | 2009-02-18 | 2011-11-24 | William Gibbens Redmann | Method and apparatus for preparing subtitles for display |
EP2401870A4 (en) * | 2009-02-27 | 2012-12-26 | Deluxe Lab Inc | SYSTEMS, DEVICES AND METHODS FOR SUBTITLEING STEREOSCOPIC CONTENT |
US20100332214A1 (en) * | 2009-06-30 | 2010-12-30 | Shpalter Shahar | System and method for network transmision of subtitles |
-
2011
- 2011-04-01 CN CN201180017612.6A patent/CN102845067B/zh not_active Expired - Fee Related
- 2011-04-01 US US13/634,981 patent/US9241149B2/en not_active Expired - Fee Related
- 2011-04-01 KR KR1020127025917A patent/KR101834263B1/ko active IP Right Grant
- 2011-04-01 EP EP11717354A patent/EP2553931A1/en not_active Withdrawn
- 2011-04-01 JP JP2013502568A patent/JP6068329B2/ja not_active Expired - Fee Related
- 2011-04-01 WO PCT/US2011/000590 patent/WO2011123178A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12033656B2 (en) | 2021-06-19 | 2024-07-09 | Kyndryl, Inc. | Diarisation augmented reality aide |
Also Published As
Publication number | Publication date |
---|---|
KR20130066572A (ko) | 2013-06-20 |
KR101834263B1 (ko) | 2018-03-06 |
US9241149B2 (en) | 2016-01-19 |
WO2011123178A1 (en) | 2011-10-06 |
US20130010062A1 (en) | 2013-01-10 |
CN102845067B (zh) | 2016-04-20 |
EP2553931A1 (en) | 2013-02-06 |
JP2013528010A (ja) | 2013-07-04 |
CN102845067A (zh) | 2012-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6068329B2 (ja) | 立体表示用のサブタイトルを生成する方法及びシステム | |
JP5820276B2 (ja) | 3d画像及びグラフィカル・データの結合 | |
US9681113B2 (en) | Method and system of using floating window in three-dimensional (3D) presentation | |
US8294754B2 (en) | Metadata generating method and apparatus and image processing method and apparatus using metadata | |
JP5321694B2 (ja) | 三次元画像にクローズドキャプショニングを提供するシステム及び方法 | |
US11350156B2 (en) | Method and apparatus for implementing video stream overlays | |
US10237539B2 (en) | 3D display apparatus and control method thereof | |
EP1875440A1 (en) | Depth perception | |
JP2010158009A (ja) | 映像処理方法及びその装置 | |
KR20110078183A (ko) | 3차원 영상 데이터 생성 방법 및 장치 | |
GB2485140A (en) | A Method and Apparatus For Inserting Object Data into a Stereoscopic Image | |
JP2011082829A (ja) | 画像生成装置、画像生成方法、および、プログラム | |
KR101797035B1 (ko) | 오버레이 영역의 3d 영상 변환 방법 및 그 장치 | |
US8842114B1 (en) | System, method, and computer program product for adjusting a depth of displayed objects within a region of a display | |
JP5428723B2 (ja) | 画像生成装置、画像生成方法、および、プログラム | |
KR101894092B1 (ko) | 입체영상 자막처리방법과 이를 이용한 자막처리부 | |
EP2658266B1 (en) | Text aware virtual view rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150616 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160517 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6068329 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |