JP5902701B2 - 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置 - Google Patents

3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置 Download PDF

Info

Publication number
JP5902701B2
JP5902701B2 JP2013535411A JP2013535411A JP5902701B2 JP 5902701 B2 JP5902701 B2 JP 5902701B2 JP 2013535411 A JP2013535411 A JP 2013535411A JP 2013535411 A JP2013535411 A JP 2013535411A JP 5902701 B2 JP5902701 B2 JP 5902701B2
Authority
JP
Japan
Prior art keywords
depth
transition region
image
edge
graphic object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013535411A
Other languages
English (en)
Other versions
JP2013545184A (ja
JP2013545184A5 (ja
Inventor
ティーボ シルバン
ティーボ シルバン
ベルディエ アライン
ベルディエ アライン
ドアイヤン ディディエ
ドアイヤン ディディエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013545184A publication Critical patent/JP2013545184A/ja
Publication of JP2013545184A5 publication Critical patent/JP2013545184A5/ja
Application granted granted Critical
Publication of JP5902701B2 publication Critical patent/JP5902701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Description

本発明は、3次元(3D)ドキュメント画像を表示できる画面(スクリーン)上に3次元ドキュメント画像を表示するための方法に関すると共に、当該方法に基づいて表示信号を生成する装置にも関する。
現在、起伏(凹凸)であるという知覚・認識を復元する(感じさせる)ためにビデオ処理に用いられるいくつかの方法があり、例えば、実体視法(立体視法、ステレオスコープ法)がある。実体視法では、同じシーンの2つのビュー(光景)を、2つの異なるビデオカメラまたは2つの異なる静止(固定)カメラで、横方向に互いからオフセットした2つの異なる視点から記録する。観察者が3次元表示で見ることができるようにするために、同じシーンの前記2つのビュー(左右のビューと呼ばれる)は、表示装置の同一画面上に表示されて、PDP(プラズマディスプレイパネル)もしくはLCD(液晶ディスプレイ)型スクリーン又はビデオプロジェクタスクリーンが使用される。観察者は、典型的にはそれぞれの目に対応するビューを透過する眼鏡(メガネ)をかける。
このような画面に表示される3D画像における起伏(凹凸)の知覚・認識は、左画像と右画像の視差に直接依存する。つまり、記録されたシーンの同じオブジェクト要素を表す2つの画素を隔てる距離(例えば画素数で測定することができる)に直接依存する。当該画素の1つは左眼で知覚さることを意図し、他方の画素は右眼で知覚さることを意図する。これら画素は表示装置のレベルで同じビデオ情報を表す。即ち、当該画素は、記録されたシーンの同じオブジェクト要素を表す。
3D画像のオブジェクト要素に関連付けられた視差値は、フィルムまたはビデオの左画像及び右画像内の当該要素の横軸上の位置ずれ(位置の違い)に対応する。視差は、特に、記録されたシーンと記録カメラとの間のオブジェクト間距離、並びに、左カメラと右カメラの間の距離に依存する。一般的に、2つのカメラは例えば6.5cm以上の距離だけ互いから隔てられる。なぜなら、この距離は人間の2つの目の間の平均距離に相当するからである。
オブジェクトが他のオブジェクトの後に配置されている場合は、当該他のオブジェクトの後に置かれたオブジェクトの部分(パーツ)は、一方の目には見えるかも知れないが他方の目には隠れて見えない。これは、当該オブジェクトの前にある当該他のオブジェクトが前記部分を隠さない場合である。前記部分が見えるかどうかは、前記部分を一方の目で見ているのか、他方の目で見ているのかによって異なる。「オクルージョン(occlusion)」と呼ばれるこの現象によれば、脳は、オブジェクトが別のオブジェクトの背後に位置しており、異なる深さにあることを推測することができる。3Dシーンの視野角度に応じて、オブジェクトは、前に置かれたオブジェクトによって隠されることもあるし隠されないこともある。従って、3Dでは、遮られたオブジェクトは、遮るオブジェクトよりも大きな深さを有する(遮るオブジェクトの後にあると知覚される)。2次元(2D)画像においては、同じ画像が2つの目によって知覚され、その際、どのような角度から画像のオブジェクトが見られたとしても、そこにあるオクルージョンが維持され、2D画像は観察者に立体的な深さを知覚させない。
3Dシーケンスは通常、様々な深さにあるオブジェクトを含み、特に、画面の後に知覚されるオブジェクトと画面の前に知覚される他のオブジェクトを含む。特に、OSD(On Screen Display:オンスクリーンディスプレイ)回路を使用して、画面に表示された画像に重ねるようにグラフィックオブジェクトを表示するためには、当該グラフィックオブジェクトが例えば、表示装置のパラメータ設定メニュー、ロゴ、スコアパネルまたは様々なテキスト情報要素を表している場合であれば、このグラフィックオブジェクトが前記画像の前に現れるように当該グラフィックオブジェクトを挿入するのが好ましい。よって、当該グラフィックオブジェクトが前景で知覚されるように、視差が当該グラフィックオブジェクトに適用されるべきである。しかし、そうなると、テキスト及びグラフィックオブジェクトの読みやすさが低下し、観察者の目が3Dシーンからの当該グラフィックオブジェクトに移るのに、ある程度の収斂時間が必要になる。その結果として、視覚的な不快感や眼の疲労が生ずる。
この問題に対する最初の解決策は、低視差でこれらグラフィックオブジェクトを適用することである。即ち、前記グラフィックオブジェクトを画面レベルで挿入することである。オクルージョンの問題が考慮されるなら、表示された画像に挿入されたグラフィックオブジェクトは、表示された3D画像のオブジェクトによって隠されて一部だけが現れるというリスクを有する。よって、当該オブジェクトの後に位置するグラフィックオブジェクトがこれらにより隠されてしまうというリスクがあるので、視覚的な表示は、知覚における高レベルの不快感を引き起こす。
フィリップス社の国際特許出願公開WO2008/038205は、3Dシーンのオブジェクトの前にグラフィックオブジェクトを配置するための方法について説明をしている。観察者から最も遠くに知覚されるシーンの部分(本出願において第1のサブ範囲と称す)はビデオ(映像)のみに使用され、観察者により近い第2の部分(第2のサブ範囲)はグラフィックスのみに使用される。その結果、ビデオによりグラフィックデータが遮られることはなく、グラフィックデータにシーンの一部を割り当てることで、グラフィックオブジェクトが常に前景に配置されるようにする。この方法は、ビデオ(映像)によるグラフィックスのオクルージョンの問題を解決するが、映像全体の深さの範囲が小さくなるという代償を払うことになる。
本発明は、視覚的な快適さの良好なレベルを維持しながら、ビデオドキュメントの深さを制限することを極力避けつつグラフィックオブジェクトを挿入するための新規な方法を提案する。
本発明の目的は、三次元画像信号にグラフィックオブジェクトを挿入するステップを含む、三次元画像信号を生成するための方法であって、当該方法はさらに下記のステップも含むことを特徴とする。
- 挿入されたグラフィックオブジェクトの周囲の輪郭によって画定される補間領域(ゾーン)を決定するステップ。当該補間領域は所定の厚さを有する。
- 前記補間領域に配置された画素を処理するステップ。前記画素の深さは、挿入されるべきグラフィック要素の輪郭の外部エッジから当該輪郭の内部エッジに向かって少しずつ増加する。前記輪郭の内部エッジ上の画素は、前記挿入されるオブジェクトよりも大きい深さ位置に配置される。
挿入されたオブジェクトの周囲にある3Dシーンのオブジェクトの深さの変化(多様性)を維持することにより、ユーザは、簡単に前記挿入されたグラフィックオブジェクトを見ると共にビジュアル的(視覚的)な不快感を最小限に抑えながら、挿入されたオブジェクトの周りの深さ(奥行き)を知覚し続ける。
第1の改良例(態様)によれば、補間領域の各画素に与えられる深さの変化(ばらつき)は、当該画素と輪郭の内部エッジとの間の距離の関数であり、当該関数は以下の複数の関数のうちの1つである。即ち、当該関数は、線形関数、三角関数、放物線関数の1つである。このようにして、挿入されたオブジェクトのエッジにおける深さの変化を効率的に(効果的に)抑制し、深さが大きく変化することによる視覚的インパクトを低減することができる。他の改良例によると、この方法は、グラフィックオブジェクトに関連付けられたデータを受信するステップを含み、当該受信されたデータは、挿入されたグラフィックオブジェクトの周囲の補間領域の幅とその他の情報とを含む。このように、レシーバ(受信装置)は、当該グラフィックオブジェクトにカスタマイズされたパラメータを有し、これにより、当該グラフィックオブジェクトをビデオ画像により良い形で挿入することを可能にする。変形例によれば、受信されたデータは、挿入されるオブジェクトから画面までの距離と、観察者から画面までの距離との比を含む。このように、レシーバは、画面上でカスタマイズされた表示ができるように、当該グラフィックオブジェクトに関連付けられたパラメータを有する。
他の改良例によれば、本発明の方法は、挿入されたグラフィックオブジェクトの深さ(奥行き)を調整するコマンドを導入するステップを含む。このようにして、挿入されたオブジェクトの深さは、より大きな視覚的な快適さをユーザに与えるように当該ユーザによって調整することができる。この改良例をさらに改良した例によれば、補間領域の幅は、ユーザによって導入されたグラフィックオブジェクトの深さを調整するための調整(調整量、調整法)に依存する。
他の改良例によれば、挿入されたグラフィックオブジェクトの周囲の補間領域の幅は可変である。このように、補間領域は、挿入されたオブジェクトの形状に適応することができ、且つ、もし挿入されたオブジェクトが3次元であるなら、その立体的形態に適応することもできる。
また、本発明の目的は、三次元画像信号を生成する装置であり且つグラフィックオブジェクトを当該三次元画像信号に挿入する手段を含む装置を提供することであって、当該装置は、
- 前記挿入されたグラフィックオブジェクトの周囲の輪郭により画定される補間領域を決定する手段を含み、当該輪郭は所定の厚さを有し、
- 前記挿入手段は、前記グラフィックオブジェクトの輪郭上に置かれた画素の深さを変更(調整)し、前記画素の深さは挿入されるべき前記グラフィックオブジェクトの輪郭の内部エッジまで少しずつ前記輪郭の外部エッジから増大し、前記輪郭の内側エッジにある画素は前記挿入されたオブジェクトの画素より深い位置に位置される。
本発明は、その特徴及び利点と共に、添付図面を参照しながら特定の非限定的な実施形態の説明を読むことにより明確にされるであろう。
図1は、本発明の実施形態に基づいて3D画像の表示を可能にするレシーバ(受信装置)のブロック図である。 図2aは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図2bは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図2cは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図2dは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図3は、本発明に基づいて挿入されたグラフィックオブジェクトと3D画像を表示するレシーバの画面を示す図である。 図4は、3D画像におけるグラフィックオブジェクトの補間領域の例と、当該領域の要素の深さを表すグラフを示す図である。
図1は、表示スクリーン(画面)を有する表示装置2に接続されたレシーバ(受信装置)1を示している。この表示装置は、例えば、ビデオプロジェクタ、テレビ画面または3Dコンテンツ用の任意の画面である。レシーバ1は、例えば3Dテレビ受像機または3D視聴覚端末である。通信手段は、ブロードバンドネットワークを介してデータストリームを送信する。レシーバ1は、メモリ4及びその他の要素に接続された中央処理ユニット(CPU)3を含むと共に、例えばリモートコントローラ10により送信されたコマンドを受信するインターフェース9を含む。さらに、レシーバは、放送ネットワークを介して送信された3Dコンテンツデータを受信するために、ディマルチプレクサ7とチューナに関連付けられたアンテナ等の受信手段を含む。1つの変形例では、レシーバにインターフェース5を設けて、3Dデータコンテンツを受信するためにブロードバンドデジタルネットワーク6との通信ができるようにする。
また、レシーバ1は、3Dコンテンツを記憶するため記憶ユニット11を含む。使用される記憶サポート部品は、例えば、ランダムアクセスメモリ(RAM)、ハードディスクまたは光ディスクである。レシーバ1は、例えば、DVD若しくはブルーレイプレーヤ等のデータリーダ14に接続することができ、または、一体化されたDVD若しくはブルーレイプレーヤを有することができる。さらにレシーバは、データを画面に表示するためのOSD(オンスクリーンディスプレイ)回路13を備える。OSDは、メモリ4に記録(記憶)された実行可能プログラムに基づいて中央処理ユニット3によって制御される。インターフェース12は、ビデオデータとOSD回路からのデータとのインターフェースを取る。レシーバ1は表示装置2と一体化することができる。
レシーバ1は、3D映像コンテンツに対応するデータを受信し、表示装置2に適合したビジュアルコンテンツに対応するデータを送信する。OSD回路13は、表示画面上の少なくとも1つの挿入ウィンドウ(窓)内に配置された少なくとも1つのグラフィックオブジェクトを3D映像コンテンツに(挿入)するために中央処理ユニット3からの指令を受信する。これらグラフィックオブジェクトは十分な判読性(明瞭性、可読性)を必要とする。
「グラフィックオブジェクト」は、グラフィカルに再生される文字または記号の任意のセット(組み合わせ)を意味する。
3D画像内の挿入ウィンドウに対応する輪郭が、例えば前記文字及び記号のセットの範囲を限定する(定める)。本発明に基づく1つの例では、当該輪郭により範囲限定されて、文字若しくは記号のセットと背景要素と含む内部領域は、挿入されるグラフィックオブジェクトの一部である。本発明の他の例では、挿入されるグラフィックオブジェクトは、文字若しくは記号の前記セットに限定される。
前記グラフィックオブジェクトは、例えば2D表示(表現)である。本発明の別の例では、グラフィックオブジェクトのみが、または当該グラフィックオブジェクトとその輪郭内に含まれる要素とが、3D表示である。
本発明の1つの目的は、挿入されたグラフィックオブジェクトが、当該画像の要素によって遮られないようにすることである。
表示される画像の視差マップは、中央処理ユニットによってそれ自体公知の方法で決定されるか、データストリームを介して送信され、この場合、視差値が右側ビューまたは左側ビューの各要素に関連付けられる。表示される送信されたコンテンツの3次元画像の全ての要素の対応する深さは、このように決定される。正の視差は画面の後に位置する画像要素に対応し、負の視差は画面の前に位置する画像要素に対応する。
本発明の1つの例に基づいて、挿入されるグラフィックオブジェクトが文字または記号のセットに限定されるならば、本発明では最初に、挿入されるグラフィックオブジェクトの挿入ウィンドウ内(つまり、当該グラフィックオブジェクトの周囲の輪郭内)の3D画像要素の深さ値(奥行き値)を変更・修正する。当該画像部分の対応する要素の視差は補間により変更されて、当該画像部分が、画面の深さを有することなく、当該画面の平面に対応する深さに近い深さに位置されるようにする。従って、これら要素の視差は僅かに正となり、挿入されたグラフィック要素が、これら画像要素によって遮られない。
また、本発明は、3D画像上への複数のグラフィックオブジェクトの挿入に関する。
挿入されるグラフィック要素の輪郭によって限定される画像部分と当該画像の残りの部分との間の急激な深さ変化を避けるために、本発明では当該グラフィック要素の輪郭の周りに移行領域が作成される。この領域は、グラフィックオブジェクトの輪郭に対応する第1の内部エッジと、異なるパラメータ(例えば、望まれる表示若しくは画像の2つの部分の間の深さの違い)に応じて決定される幅だけ離れた第2の外部エッジとを含む。
当該領域が広いほど、深さの移行(変化)が緩やかになる。輪郭に対応する内部エッジは、四角形(正方形)、円形または楕円形である。外部エッジは、内部エッジと同じ形状であることが好ましい。他の例では、外部エッジは内部エッジとは異なる形状である。例えば、楕円形の外部エッジは長方形の内部エッジと共に使用され得る。
図2a及び図2bは、横軸の要素の位置に基づいてビデオドキュメントから抽出された3D画像のオブジェクト要素の深さを示すグラフと、2Dグラフィックオブジェクトの処理及び挿入後の、同じ画像のオブジェクト要素の深さを示すグラフである。
図2aに示されているように、図示されたオブジェクト要素は可変深さ(知覚されるZ)を有し、当該可変深さにより、当該オブジェクト要素を画面の前または後に位置することができる。画面深さは破線の縦座標線Zscreenに対応している。
図2bに示されているように、グラフィックオブジェクトは画面の深さ(奥行き)レベルで挿入され、画面の深さZにおける破線の複数の点によって表されている。従って、このグラフィックオブジェクトの要素の視差はゼロとなる。これは、領域1として定義された領域に挿入される。
また、移行領域は、図3にも示されているように、挿入されるグラフィック要素の周りに、所定幅の矩形の枠として示されている。挿入ウィンドウの中心部の軸xに基づく水平ラインに対応する図2のグラフのレベルでは、当該移行領域は、右側領域(2D領域)と左側領域(2G領域)により示されている。
最初に、もし必要ならば、挿入されるグラフィックオブジェクトが補間されて当該画像部の要素の視差値がゼロに近い正の値を有するようになるなら、3D画像部は輪郭内に位置される。この補間は、当該画像部の要素の視差値がゼロに近い正の値を有するようになる補間である。よって、挿入されたグラフィックオブジェクトは、当該3D画像部の要素の前方に配置される。従って、有利なことに、競合及び視覚的な不快感はない。
図2bは、挿入されるグラフィックオブジェクトの周囲に位置する枠の要素の深さも示している。挿入されるオブジェクトの右側において、当該枠の幅の範囲内に2D移行領域があり、当該領域において3D画像が変更(修正)される。
実際に、この領域の画像要素は、挿入されるグラフィックオブジェクトの画像要素と再送信された3D画像の画像要素との間に位置している。視覚的な不快感を回避するため、当該領域に位置するシーンの要素の深さの変更は、好ましくは、挿入されるオブジェクトの全周において漸進的である。
挿入されるグラフィックオブジェクトの深さと、3D画像の深さとの間の移行がこのようにして生成される。当該領域の要素の深さは、内部エッジに位置している要素の深さ値から外部エッジに位置している要素の深さ値に向けて徐々に大きくなるように変更される。この漸進的な変更は、例えば、線形的な変化または緩やかな変化である。
図2bの方式によると、グラフィックオブジェクトの右エッジに位置して2D移行領域においては、要素の深さは、移行領域の外部エッジの要素の初期深さに対応する深さ値Z1から値Zscreenへ変化する。グラフィックオブジェクトの左エッジに位置する2G移行領域内では、要素の深さは深さZscreen(正の視差)より大きい。従って、グラフィックオブジェクトのこのサイドにおいて、オクルージョンの危険性は無く、移行領域2Gの要素の深さ値を変更(調節)する必要はない。
深さ値の変化の漸進性は当該移行領域の幅に依存する。深さ値と深さ値の間の差が大きいほど、当該領域の幅を大きくすることが望ましい。この幅は特に画素数で決定される。
図2cのグラフで表される本発明の変形例によれば、オブジェクトが画面の深さとは異なる深さZiで挿入される。移行領域では、要素の深さは、移行領域の外部エッジの要素の深さに対応する深さ値Z1またはZ2から挿入値Ziへ漸進的に変化する。
他の例においては、挿入されるグラフィックオブジェクトは、ZG2−ZG1で定義される深さの3D表示であり、ZG2−ZG1は当該グラフィックオブジェクトの最も深い要素の深さと当該グラフィックオブジェクトの最も浅い要素の深さとの差に対応している。説明を簡単にするために、当該グラフィックオブジェクトの挿入は、深さの差の平均値1/2(ZG2−ZG1)に相当する深さの要素が画面レベルまたは所定レベルに位置するように、当該挿入を調節することによって行われる。この場合が図2dに示されている。図2dに示されているように、移行領域の限界値は前記値に対応する。この領域の画像要素の深さは、当該領域の外部エッジ上の画像の深さ値から、挿入されたグラフィックオブジェクトの最も浅い要素の深さ値zG1に徐々に変化させる。
図3は、3D画像を表示する画面の一例を示している。この画像の下部において、テキスト情報の項目が、挿入ウィンドウ内で当該画像に挿入される。挿入されたオブジェクトを囲む枠は所定の厚さ(典型的な場合、50画素)を有する。この枠は移行領域を画定し、中央処理ユニット3は前記移行領域内に位置している3D画像の画素の視差を変更(調節)する。挿入されるテキスト情報を表す要素のすべてが画面の平面(スクリーン面)のレベルに位置する深さに配置されている。当該枠の内部エッジに位置して3D画像のオブジェクトに属する要素は、画面の深さに近い深さに配置される。これら要素を表す画素の視差値はゼロに近いが正である第1の値に対応する。前記枠の外部エッジに位置して3D画像のオブジェクトに属する画像の要素は、当初の視差値を維持する。前記枠内に位置している中間の画素の深さで補間によって割り当てられた値は、前記第1の値と当該要素の当初の値との間で漸進的に変化する。
図4は、垂直ビデオ軸Yと水平ビデオ軸Xに基づいて、3D画像にグラフィックオブジェクトを挿入する補間の例を示している。Z軸は深さ(奥行き)を示し、観察者は値Z=0に位置している。挿入されるグラフィックオブジェクトの領域では、3D画像が深さ「Zimage」に位置し、グラフィックオブジェクトは深さ「Zscreen」に挿入されている。
図4の左下の部分は観察者から見た画面を示し、OSD回路によって挿入されたオブジェクトが中心に位置している。図4の右側部分は縦軸Yで見たビューを示し、図4の左側部分は横軸Xで見たビューを示している。オブジェクトを囲む枠の幅は、Y軸で見ると、(Ya−Yb)=(Y’b−Y’a)となる。オブジェクトを囲む枠の幅は、X軸で見ると(Xa−Xb)=(X’b−X’a)となる。枠の幅は移行領域Z2の幅を画定する。改良例では、X軸における枠の幅はY軸における枠の幅と異なる。この相違は、挿入されるオブジェクトが一つの方向において長く他の方向において短い場合に、有用である。また、移行領域の幅を調整することができるという事実は、挿入されたオブジェクト自体が3Dであるときに、深さの変化を滑らか(緩やか)にすることを可能にする。Yaでは、3D画像の要素は変更(調整)されない。Ybでは、画像が補間されることにより、要素はZscreenに等しい最小の深さを有するようになる。YaとYb(それぞれY’aとY’b)の間において、要素の深さの変化は線形である。同じ理論がX軸に適用できる。
枠上に位置する画素の異なる深さに関連する視覚的妨害を減ずるために、前記変化は徐々に変化する放物線状であってもよい。
改良例によれば、ユーザは、画面の深さ値に対して、グラフィックオブジェクトを挿入するための深さ値の導入手段を有する。この導入手段はカーソルに設けることができ、ユーザによって選択されたカーソルの位置が挿入されるオブジェクトの位置を規定する。観察者が画面の前に挿入されるオブジェクトを多く配置すれば、3Dシーンの奥行きはより深くなる。ユーザが画面の背面にカーソルを移動できるようにする必要はない。なぜなら、そうすると深さの効果(印象)がさらに限定されるからである。改良例によれば、補間領域の幅は、ユーザによって導入される調整に依存する。例えば、ユーザが画面の前に明らかに自分のグラフィックオブジェクトを移動する場合、視覚的不快感を減らすための非常に広い補間領域は必要ない。
例えば、挿入されるオブジェクトがロゴである場合、枠の厚さは30画素に制限することができる。
本発明の改良例によれば、挿入されるオブジェクトに関連するデータのセットは、レシーバ1により受信され、特に以下のもの(情報)を含む。
- オブジェクトの視覚的データ(圧縮されている可能性有り)
- 表示された画像内に挿入されるオブジェクトの位置
- 挿入されるオブジェクトから画面までの距離と、観察者から画面までの距離との比
- 枠の厚さ。
本発明に係るアプリケーションは、画面上に視覚的コンテンツを表示し、追加情報項目の表示の許否を瞬間に行うものを全て含む。ビデオゲームの場合、挿入されるグラフィックオブジェクトはプレイヤーの得点(スコア)であってもよい。従って、スポーツイベントのライブ伝送(生放送)時には、特定のプレイヤーの詳細またはスコアを表示することができる。表示装置2は、典型的には、アクティブ眼鏡またはパッシブ眼鏡を使用する3Dテレビ画面であるか、ビデオプロジェクタであるか、3D画像を表示するその他の装置である。
また、本発明は、視聴覚放送を受信するための装置において実装(実施)できるだけではなく、送信装置においても実装することができる。例えば、放送される3Dコンテンツに恒久的にロゴを挿入したいと望むテレビ会社のレベルで実装することができる。
本実施形態は、例示として解釈されなければならなく、特許請求の範囲によって定義された範囲内で変更することができる。特に、本発明は、デジタル視聴覚放送を受信する任意の装置に適用することができる。本発明は、特に、任意の表示手段に三次元画像を表示する全ての技術で実装(実施)することができる。
本発明の好ましい実施形態を、以下に示す。
付記1.
少なくとも1つの三次元画像を生成する方法であって、
グラフィックオブジェクトを所定の挿入深さで前記少なくとも1つの三次元画像に挿入するステップと、
前記挿入されたグラフィックオブジェクトを囲む移行領域を決定するステップであって、前記領域が前記グラフィックオブジェクトを画定する第1の内部エッジと当該第1のエッジから離れた第2のエッジとにより画定される、ステップと、前記方法はさらに、
前記移行領域に位置する前記少なくとも1つの画像の要素の深さを、前記移行領域の前記第1のエッジから前記第2のエッジへ、前記挿入されたグラフィックオブジェクトの深さから前記第2のエッジの画像要素の深さへ、順次適合させるステップ、を含む、前記方法。
付記2.
前記適合は、前記移行領域にある各要素に適用される深さが、前記移行領域の前記第1のエッジから前記第2のエッジへ少しずつ増大するようになされる、付記1記載の方法。
付記3.
前記決定された領域の各要素に適用された深さの前記順次適合は、前記領域の前記第1のエッジと第2のエッジの間の距離の関数であり、当該関数は線形関数、三角関数または放物線関数のいずれかである、付記2記載の方法。
付記4.
前記方法は、前記グラフィックオブジェクトに関連付けられたデータを受信するステップを含み、当該受信されたデータは前記挿入されたグラフィックオブジェクトの周りの前記移行領域の幅のデータを少なくとも含む、付記1記載の方法。
付記5.
三次元画像を生成する装置であって、
少なくとも1つの3次元画像にグラフィックオブジェクトを挿入する手段を備え、前記装置はさらに、
前記挿入されたグラフィックオブジェクトを囲む移行領域を決定する手段であって、前記領域は、前記グラフィックオブジェクトの輪郭に対応する第1の内部エッジと前記第1の内部エッジから離れた第2のエッジとによって画定される、手段と、
前記移行領域に位置する前記少なくとも1つの画像の要素の深さを、前記第2のエッジに位置する前記画像の要素の深さから、前記挿入されたグラフィックオブジェクトの深さに順次適合させる手段と、を備える、前記装置。

Claims (5)

  1. 少なくとも1つの三次元画像を生成する方法であって、
    グラフィックオブジェクトを所定の挿入深さで前記少なくとも1つの三次元画像に挿入することと、
    前記挿入されグラフィックオブジェクトを囲む移行領域を決定することであって、前記移行領域が前記グラフィックオブジェクトを画定する内部エッジと当該内部エッジから離れた外部エッジとにより画定され、前記決定することは、前記内部エッジに位置する前記挿入されるグラフィックオブジェクトの第1の画素の深さ値と、前記外部エッジに位置する前記少なくとも1つの三次元画像の第2の画素の深さ値との間の差に基づいて、前記移行領域の幅を適応させることを含む、前記移行領域を決定することと、
    前記外部エッジに位置する前記第2の画素の深さから前記内部エッジの前記挿入されグラフィックオブジェクトの前記第1の画素の深さへと深さが徐々に変化するように、前記移行領域に位置する前記少なくとも1つの三次元画像の画素の深さを処理することと、
    を含む、前記方法。
  2. 前記処理することは、前記移行領域に位置する各画素の前記深さを前記移行領域の前記外部エッジから前記内部エッジへ漸進的に増加させることを含む、請求項1記載の少なくとも1つの三次元画像を生成する方法。
  3. 前記移行領域の各画素に適用される前記深さを増加させることは、前記移行領域の前記内部エッジと前記外部エッジとの間の距離の関数に基づいており、当該関数は線形関数、三角関数または放物線関数のうちの1つである、請求項2記載の少なくとも1つの三次元画像を生成する方法。
  4. 前記方法は、前記グラフィックオブジェクトに関連付けられたデータを受信することを含み、当該受信されたデータは、他のデータ項目に加えて、前記挿入されグラフィックオブジェクトの周りの前記移行領域の前記幅を含む、請求項1記載の少なくとも1つの三次元画像を生成する方法。
  5. 三次元画像を生成する装置であって、
    少なくとも1つの次元画像にグラフィックオブジェクトを挿入する手段
    前記挿入されグラフィックオブジェクトを囲む移行領域を決定する手段であって、前記移行領域は、前記グラフィックオブジェクトの輪郭に対応する内部エッジと前記内部エッジから離れた外部エッジとによって画定され、前記決定する手段は、前記内部エッジに位置する第1の画素の深さ値と、前記外部エッジに位置する第2の画素の深さ値との間の差に基づいて、前記移行領域の幅を適応させる手段をさらに含む、前記決定する手段と、
    記外部エッジに位置する前記第2の画素の深さから前記内部エッジの前記挿入されグラフィックオブジェクトの前記第1の画素の深さへと深さが徐々に変化するように、前記移行領域に位置する前記少なくとも1つの三次元画像の画素の深さを処理する手段と、
    を備える、前記装置。
JP2013535411A 2010-10-29 2011-10-26 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置 Active JP5902701B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1058966 2010-10-29
FR1058966 2010-10-29
PCT/EP2011/068698 WO2012055892A1 (en) 2010-10-29 2011-10-26 Method for generation of three-dimensional images encrusting a graphic object in the image and an associated display device

Publications (3)

Publication Number Publication Date
JP2013545184A JP2013545184A (ja) 2013-12-19
JP2013545184A5 JP2013545184A5 (ja) 2014-12-18
JP5902701B2 true JP5902701B2 (ja) 2016-04-13

Family

ID=44024058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535411A Active JP5902701B2 (ja) 2010-10-29 2011-10-26 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置

Country Status (7)

Country Link
US (1) US20130207971A1 (ja)
EP (1) EP2633688B1 (ja)
JP (1) JP5902701B2 (ja)
KR (1) KR101873076B1 (ja)
CN (1) CN103202024B (ja)
WO (1) WO2012055892A1 (ja)
ZA (1) ZA201302757B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102131745B1 (ko) 2012-01-04 2020-07-08 인터디지탈 매디슨 페이튼트 홀딩스 3d 이미지 시퀀스의 처리
JP6040838B2 (ja) * 2012-08-29 2016-12-07 株式会社Jvcケンウッド デプス推定装置、デプス推定方法、デプス推定プログラム、画像処理装置、画像処理方法及び画像処理プログラム
WO2014100959A1 (en) 2012-12-24 2014-07-03 Thomson Licensing Apparatus and method for displaying stereoscopic images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208348B1 (en) * 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
JP4121888B2 (ja) * 2003-04-28 2008-07-23 シャープ株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
JP4735234B2 (ja) * 2005-12-19 2011-07-27 ブラザー工業株式会社 画像表示システム
JP2010505174A (ja) 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
KR101362647B1 (ko) * 2007-09-07 2014-02-12 삼성전자주식회사 2d 영상을 포함하는 3d 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
EP2235685B1 (en) * 2007-12-26 2014-06-18 Koninklijke Philips N.V. Image processor for overlaying a graphics object
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
WO2009152769A1 (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
PL2362671T3 (pl) * 2008-07-25 2014-05-30 Koninklijke Philips Nv Obsługa napisów przez wyświetlacz 3D
EP2399398B1 (en) * 2009-02-17 2016-04-20 Koninklijke Philips N.V. Combining 3d image and graphical data
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
CN101742349B (zh) * 2010-01-05 2011-07-20 浙江大学 一种对三维场景的表达方法及其电视系统

Also Published As

Publication number Publication date
EP2633688A1 (en) 2013-09-04
WO2012055892A1 (en) 2012-05-03
KR101873076B1 (ko) 2018-06-29
JP2013545184A (ja) 2013-12-19
CN103202024A (zh) 2013-07-10
US20130207971A1 (en) 2013-08-15
KR20130139271A (ko) 2013-12-20
EP2633688B1 (en) 2018-05-02
CN103202024B (zh) 2016-05-04
ZA201302757B (en) 2014-06-25

Similar Documents

Publication Publication Date Title
TWI598846B (zh) 影像資料處理方法以及使用該方法的立體影像顯示裝置
EP2332340B1 (en) A method of processing parallax information comprised in a signal
US9124870B2 (en) Three-dimensional video apparatus and method providing on screen display applied thereto
US20100045779A1 (en) Three-dimensional video apparatus and method of providing on screen display applied thereto
US20110193945A1 (en) Image display device, image display viewing system and image display method
JP2011071898A (ja) 立体映像表示装置および立体映像表示方法
US10694173B2 (en) Multiview image display apparatus and control method thereof
JP5902701B2 (ja) 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置
CN106559662B (zh) 多视图图像显示设备及其控制方法
JP6377155B2 (ja) 多視点映像処理装置及びその映像処理方法
EP2421271B1 (en) Display apparatus and method for applying on screen display (OSD) thereto
EP2752815A1 (en) Display method and display apparatus
JP2011223126A (ja) 立体映像表示装置および立体映像表示方法
WO2014199127A1 (en) Stereoscopic image generation with asymmetric level of sharpness
US9547933B2 (en) Display apparatus and display method thereof
JP2014225736A (ja) 画像処理装置
JP2012205285A (ja) 映像信号処理装置及び映像信号処理方法
US20140254917A1 (en) Auto-convergence system with active learning and related method and machine-readable medium thereof
KR102143944B1 (ko) 입체감 조절 방법과 이를 이용한 입체 영상 표시장치
JP5501150B2 (ja) 表示装置及びその制御方法
US20150054915A1 (en) Multiple-view image displaying apparatus for improving picture quality and a method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160310

R150 Certificate of patent or registration of utility model

Ref document number: 5902701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250