JP4698831B2 - 画像変換および符号化技術 - Google Patents
画像変換および符号化技術 Download PDFInfo
- Publication number
- JP4698831B2 JP4698831B2 JP2000524763A JP2000524763A JP4698831B2 JP 4698831 B2 JP4698831 B2 JP 4698831B2 JP 2000524763 A JP2000524763 A JP 2000524763A JP 2000524763 A JP2000524763 A JP 2000524763A JP 4698831 B2 JP4698831 B2 JP 4698831B2
- Authority
- JP
- Japan
- Prior art keywords
- depth map
- depth
- image
- contour
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title description 12
- 238000005516 engineering process Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 125
- 230000008569 process Effects 0.000 claims description 36
- 238000006073 displacement reaction Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
(技術分野)
本発明は、広くは、立体画像合成に関し、より詳しくは、2次元画像(2D)を更に符号化して伝送し、立体画像表示の目的で復号化すべく2次元画像を変換する改善された方法に関する。
【0002】
(背景技術)
本件出願人は、これまでに、PCT/AU96/00820において、原2D画像から立体ディスプレイのための左目および右目画像を作成する方法であって、
a.原画像内の少なくとも1つの物体を識別する段階と、
b.各物体を輪郭付けする段階と、
c.各物体の深度特性(depth characteristic)を定義する段階と、
d.各物体の選択された領域を、それぞれ、各物体の深度特性の関数として決定された量だけ横方向に変位させて、観察者の左右の目で見ることができる2つの引伸ばし画像を形成する段階とからなる方法を開示している。
【0003】
これらの段階は、個別的におよび集合的に、動的深度キューイング(Dynamic Depth Cueing; DDC)と呼ぶことができる。
【0004】
(発明の開示)
本発明は、本件出願人に係る上記システムを更に改良するものである。
【0005】
本発明は、その一態様として、2D画像の立体画像への変換に使用する深度マップの作成方法であって、
2D画像内の少なくとも1つの物体を識別する段階と、
前記各物体に識別タグを割り当てる段階と、
前記各物体に深度タグを割り当てる段階と、
前記各物体の輪郭を決定し、定義する段階とを有することを特徴とする深度マップ作成方法を提供する。
【0006】
本発明は、その他の態様として、2D画像の立体画像への変換に使用する深度マップの符号化方法において、
物体に物体識別子を割り当てる段階と、
前記物体に深度タグを割り当てる段階と、
前記物体の輪郭を定義する段階とを有することを特徴とする深度マップの符号化方法を提供する。
【0007】
物体の輪郭は、一連の座標、曲線および/または幾何学的形状により定義される。識別タグは、一意的な数値を用いると便利である.
本発明の他の態様では、ベジエ曲線(bezier curves)を使用して2Dから3Dへの変換プロセスで物体の輪郭を創成させる方法を提供する。
【0008】
本発明の更に別の態様では、曲線を使用して2Dから3Dへの変換プロセスで物体を定義する方法を提供する。
【0009】
本発明の他の態様では、幾何学的形状を使用して2Dから3Dへの変換プロセスで物体の輪郭を定義する方法を提供する。
【0010】
本発明の他の態様では、深度マップ情報(該情報はバーチカルブランキングインターバル(Vertical Blanking Interval)またはMPEGデータストリーム内に含まれている)の伝送方法を提供する。
【0011】
本発明の更に別の態様では、汎用(generic)ライブラリを使用して2Dから3Dへの変換プロセスの補助を行う方法を提供する。
【0012】
(発明を実施するための最良の形態)
本発明のより良き理解を与えるため、本発明の好ましい実施形態を示す添付図面を参照して本発明を説明する。
【0013】
物体識別
変換すべき2D画像での物体は、視覚による点検(inspection)を通じて、人であるオペレータにより識別されることができる。オペレータは、一般に、コンピュータマウス、光ペン、スタイラスまたは他のデバイスを用いて、画像中の各物体または物体群にタグを付し、そして、それらの物体に一意的な数値を割り当てる。この数値は、オペレータが手動操作で創出するか、コンピュータにより特定シーケンスで自動的に創出することができる。
【0014】
また、物体は、コンピュータを用いて完全に自動的に識別されるか、またはコンピュータが物体(単一または複数)の位置を確定することをオペレータが補助することにより半自動的に識別されることができる。
【0015】
物体を自動的に識別するため、コンピュータは、物体のサイズ、色、移動速度、陰影、質感、輝度、ぼやけ、焦点、過去、現在および未来の画像間の差異等の特徴を使用する。物体の識別を補助するのに、ニューラルネットワークまたはエキスパートシステムを使用することもできる。
【0016】
半自動物体識別では、オペレータは、当該物体が見出される画像の性質に関するアドバイスをコンピュータに与えることにより、コンピュータを補助することができる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Reader」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配置しようと試みる。オペレータは、想定される汎用シーンのメニューから選択できる。オペレータは、コンピュータによりなされた任意の物体の選択を手動操作により無効にし、および/または、訂正、調節することができる。コンピュータプログラムは、例えばニューラルネットワークまたはエキスパートシステムを用いてこれらの訂正から学習し、物体識別および番号付けの精度を連続的に改善できる。
【0017】
ひとたび物体が識別され、番号付けされたならば、物体は、連続フレームにわたって画像内で移動するときに、手動操作により、自動的にまたは半自動的にトラッキングされる。
【0018】
また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の変換からの作業で、他のオペレータにより作成された物体識別情報を使用することもできる。
【0019】
物体の輪郭付け
単一または複数の物体の輪郭付けは、手動により、あるいは、自動的にまたは半自動的に決定される。
【0020】
手動操作による輪郭付けでは、オペレータは、コンピュータマウス、光ペン、スタイラスまたは他のデバイスを用いて単一または複数の物体の輪郭をトレースする。オペレータは、1つずつの画素ベースで物体の輪郭を選択し、直線近似または曲線近似、ベジエ曲線を使用し、あるいは、曲線形状または汎用形状のライブラリからぴったり適合させることができる。また、オペレータは、既にほぼ正確な形状になっている汎用形状のライブラリから選択し、形状を拡大縮小または調節して、動的に適合させることができる。例えば、オペレータが人の輪郭の選択を望む場合には、人の汎用輪郭をライブラリから検索して、手動操作により、半自動的にまたは自動的に適宜調節することができる。また、オペレータは、円形、楕円形、三角形、正方形等の幾何学的形状のライブラリから選択することもできる。
【0021】
自動的輪郭付けの場合に、コンピュータは、サイズ、色、移動速度、陰影、輝度、ぼやけ、焦点、過去、現在および未来の画像間の差異等の特徴を使用できる。物体の輪郭を決定するのに、ニューラルネットワークまたはエキスパートシステムを使用することもできる。
【0022】
半自動輪郭付けでは、オペレータは、当該物体が見出される画像の性質に関するアドバイスをコンピュータに与えることにより、コンピュータを補助することができる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Reader」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配置しようと試みる。オペレータは、想定される汎用物体のメニューから選択できる。オペレータは、コンピュータによりなされたあらゆる物体の選択を手動操作により無効にし、および/または、訂正および調節することができる。コンピュータプログラムは、例えばニューラルネットワークまたはエキスパートシステムを用いてこれらの訂正から学習し、輪郭付けの精度を連続的に改善できる。
【0023】
ひとたび物体が輪郭付けされたならば、物体は、連続フレームにわたって画像内で移動するときに、手動操作により、あるいは、自動的にまたは半自動的にトラッキングされる。
【0024】
また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の変換からの作業で、他のオペレータにより作成された物体輪郭付け情報を使用することもできる。また、オペレータは、予め定義された輪郭のライブラリ(該ライブラリには、円形、楕円形、三角形、正方形等の幾何学的形状が含まれる)から選択し、ライブラリの輪郭を手動操作、半自動的または自動的に調節して、選択された物体に適合させることもできる。ライブラリは、個々の輪郭(例えば、News Reader)により、または物体(例えば、Horse Race, Evening News等)の特定ファミリに基いて、索引付けすることができる。
【0025】
深度の定義
単一または複数の物体の深度は、手動操作、あるいは、自動的または半自動的に決定できる。物体の深度は、任意の英数字、視覚、聴覚または触覚情報を用いて割り当てられる。好ましい実施形態では、物体の深度は、物体を特定の色で陰影付けすることにより表示される。一般に、ひとたび変換されると、観察者に最も近い3D位置に現れる物体については白色、および観察者から最も離れた3D距離にある物体については黒色に陰影付けされる。この規則は変えることができることは明白であり、例えば、反転させたり、相対深度または絶対深度を表示する彩色とすることができる。
【0026】
他の実施形態では、物体の深度には数値が割り当てられる。この値は、線形または非線形に連続した正または負の数値にすることができ、単一または複数の数字を含むことができる。好ましい実施形態では、この値は、この値を単一バイトで符号化できるようにするため、0〜255の範囲内にある。ここで、255は、ひとたび変換されると、観察者に最も近い3D位置に現れる物体を表し、一方0は、観察者から最も離れた3D距離にある物体を表す。この規則は変えることができることは明白であり、例えば、逆転させたり、他の範囲の数字を使用することができる。
【0027】
手動操作による深度定義では、オペレータは、コンピュータマウス、光ペン、スタイラスまたは他のデバイスを使用して、物体または物体群の深度を割り当てることができる。オペレータは、ポインティングデバイスを物体の輪郭内に置き、深度値を入力することにより物体の深度を割り当てることができる。深度は、数字、英数字、または記号としてオペレータにより入力される。そして、所定範囲の許容値からオペレータにより割り当てられるか、コンピュータにより自動的に割り当てられる。また、オペレータは、許容深度のライブラリまたはメニューから物体の深度を選択できる。
【0028】
また、オペレータは、物体内に一定範囲内の深度、または時間、物体位置または移動速度またはこれらのファクタの任意の組合せにより変化する深度範囲を割り当てることができる。例えば、物体は、観察者に最も近い縁部と、観察者から最も離れた縁部とを備えたテーブルであるとする。3Dに変換するとき、テーブルの見かけ深度はその縦方向に沿って変化しなければならない。これを達成するため、オペレータはテーブルを多数のセグメントに分割し、各セグメントに個々の深度を割り当てる。あるいは、オペレータは、陰影の量がテーブルの特定位置での深度を表すように物体に陰影付けすることにより、連続的に変化する深度を物体内に割り当てることができる。このテーブルの例では、明るい影が近い側の物体を表し、暗い影が遠い側の物体を表す。テーブルの例では、最も近い縁部に明るい影が付され、最も遠い縁部に到達するまで、影は徐々に暗くなっていく。
【0029】
物体内の深度の変化は、線形でも非線形でも良く、時間、物体の位置、移動またはこれらのファクタの任意の組合せに従って変化してもよい。
【0030】
物体内の深度の変化は、ランプ(ramp)型することができる。リニアランプは、始点(A)および終点(B)を有することとなる。点A、Bにおける色が定義される。点Aから点Bへの階調度が垂線上に適用される。
【0031】
ラジアルランプ(Radial Ramp)は、中心点(A)からの半径(B)までの距離を使用するが、リニアランプと同様な傾斜を定義する。
【0032】
ラジアルランプに対する簡単な拡張は、外側の縁を先細にさせるか、中心点を可変サイズにすることができる。
【0033】
線形拡張は、垂線からの距離ではなく、線分からの距離である。この例では、色は、線分についてのものおよび「外側(outside)」についての色が定義される。線分に沿う色が定義され、この色は「外側」の色に向かってテーパしている。
【0034】
種々のランプは容易に符号化される。また、ランプは、より複雑な曲線、方程式、および可変透明度等に基いて定められる。
【0035】
他の例では、フレームの一期間にわたって、物体は画像の前方から後方へと移動する。オペレータは、第1フレームの物体についての深度、および最終または次のシーンにおける物体の深度を割り当てることができる。次に、コンピュータは、物体の深度を、連続フレームにわたって、線形法または他の所定方法で補間する。このプロセスも完全に自動化でき、これにより、コンピュータは、物体がある時間にわたって移動するときに、物体のサイズ変化に基いて物体の深度の変化を割り当てる。
【0036】
自動深度定義において、コンピュータは、サイズ、色、移動速度、陰影、輝度、ぼやけ、焦点、および過去、現在、未来間における画像の差異等の特性を使用できる。ニューラルネットワークまたはエキスパートシステムを用いて、物体の深度を決定することもできる。
【0037】
半自動深度定義において、オペレータは、深度が割り当てられる画像の性質に関するアドバイスをコンピュータに与えることにより、コンピュータを補助できる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Reader」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配置し、これらを論理的深度シーケンスとして配置することを試みる。オペレータは、想定される汎用物体および深度のメニューから選択できる。オペレータは、コンピュータによりなされた任意の物体の深度を手動操作により無効にし、および/または、訂正および調節することができる。コンピュータプログラムは、例えばニューラルネットワークまたはエキスパートシステムを用いてこれらの訂正から学習し、深度割当ての精度を連続的に改善できる。
【0038】
ひとたび物体に特定深度が割り当てられたならば、物体は、連続フレームにわたって画像内で移動するときに、手動操作により、あるいは、自動的にまたは半自動的にトラッキングされる。
【0039】
また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の変換からの作業で、他のオペレータにより作成された深度定義を使用することもできる。
【0040】
多数のオペレータ
ビデオシーケンスをタイムリーな方法で変換するためには、多数のオペレータが2Dソースマテリアルで作業する必要がある。これらのオペレータは、同じ前提で配置されるとしても、例えばインターネットのようなオンラインコンピュータサービスを用いることで、世界中のどこにでも置くことができる。このような状況で、ソースマテリアルのセキュリティを確保するには、音声情報を除去し、そして画像の色を変更する必要がある。これにより、物体の輪郭を決定するオペレータの能力に何らの影響をも与えずに、原ソースマテリアルへの著作権侵害を防止できる。物体の輪郭の実際の選択は比較的簡単なプロセスであるので、これは、労働コストが低い国で行うのが最もコスト有効性に優れている。この構成を用いる場合、変換手順は次のようにするのが便利であろう。
【0041】
1.監督オペレータが、3Dに変換すべきビデオシーケンスを識別し、シーケンスの各フレームに番号を付す。
【0042】
2.監督オペレータが、必要に応じて、必要なセキュリティ処置を適用する。
【0043】
3.監督オペレータが、前述のようにして輪郭付けする必要のあるシーン中の物体あるいは物体群を識別し、それぞれに一意的なタグを付す。
【0044】
4.ビデオシーケンスは、次に、適当なデジタルフォーマットに変換され、オンラインサービスを介して遠隔宛先または宛先群に伝送される。長いビデオシーケンスだと、これは不経済であるかもしれないので、この場合には、CD−ROMまたは他のバックアップ媒体による配送が好ましい。
【0045】
5.このシーケンスは、オペレータまたはオペレータ達が物体の操作を行う遠隔の場所で受け取られる。
【0046】
6.操作の結果として、識別された物体輪郭(このデータは後で圧縮される)が得られるので、ファイルサイズは、一般に、原画像よりかなり小さくなるであろう。この場合には、物体情報は、オンラインe−メールサービスを用いて監督オペレータに便利に戻される。
【0047】
7.監督オペレータは、受け取った物体の輪郭の品質制御を行い、フレーム番号を原ビデオソースマテリアルに一致させる。
【0048】
8.次に、監督オペレータは、物体輪郭と原ソースマテリアルを、各物体について必要な深度情報を適用する次のオペレータに渡す。
【0049】
深度情報の適用は芸術的で創作的なプロセスであるので、これは、小さいオペレータのグループにより、中央の位置で行うことが、本質的ではないにせよ望ましいことである。これはまた、長いシーケンスにわたって物体の深度の一貫性を保証する。
【0050】
複雑な深度定義
よりリアリスティックに見える3Dを作成するには、簡単なランプまたは線形変化よりも複雑な深度定義を用いることが必要となることがある。これは、例えば樹木のような多くの深度変化をもつ複雑な内部構造を有する物体にとって特に望まれることである。このような物体の深度マップは、物体に質感バンプマップを付加することにより作成できる。例えば、樹木を考慮する場合、第1段階は樹木の輪郭の周囲をトレースし、次に樹木に深度を割り当てることである。次に、質感バンプマップを付加して、樹木の各葉にそれ自体の深度を付与する。このような質感マップは、比較的簡単な物体に細部を付与する上で、本発明にとって有効であると考えられる。
【0051】
しかしながら、樹木の葉または他の複雑な物体のような微細な部分についてはこの方法は好ましくはない。なぜならば、この方法は、樹木等が風で動いたりカメラアングルがフレーム毎に変化するような場合に非常に複雑化してしまうからである。より好ましい他の方法は、原物体の輝度(あるいは、黒色または白色成分)を用いて必要なバンプマップを創成することである。一般に、観察者に近い物体は明るく、観察者から遠い物体は暗くなる。従って、近い要素に明るい光輝度値を割り当て、遠い要素に暗い光輝度値を割り当てることにより、バンプマップが自動的に創成される。この技術の利点は、物体自身がバンプマップの創成に利用され、フレーム間で物体がどんな動きをしても、自動的にトラッキングされることができることである。物体の他の特性を使用してバンプマップを創成することもでき、これらの特性として、色差、彩度、色のグループ分け、反射、陰影、焦点、鮮鋭度等があるが、これらに限定されるものではない。
【0052】
物体の特性から得られるバンプマップ値は、物体内の深度変化範囲が、画像全体の一般的な深度範囲と一貫性を保つように調整するのが好ましい。
【0053】
深度マップ
物体を検出し、物体の輪郭を決定し、深度を割り当てるプロセスを、本発明者は、深度マップの創成と呼ぶことにする。好ましい実施形態では、深度マップは、関連2D画像内の物体を256個の個々の深度の1つに定義できるようにする80×60×8ビットの解像度の濃度階調画像からなるものとする。
【0054】
あるいは、曲線の形状は、連続的なxy座標と、ある線A上にあって、曲線により結合されたこれらの点x1y1およびx2y2との間の直線からの曲線の変位との間の距離の比として定義できる。これらの点の間の曲線は、線Aから曲線の中間点まで測定した最大変位Bを有している。従って、曲線は次のように定義される。
【0055】
曲線=B/A
この曲線は、−128から+128の値をもつことが好ましく、0は、2つの点の間の直線を表す。曲線に割り当てられた値は2つの測定値の比であるので、同じ曲線値が、同じB/A比をもつ他の曲線にも割り当てられることに留意されたい。
【0056】
深度マップの符号化
深度マップは多くの方法で符号化できる。好ましい実施形態では、物体番号、深度および物体輪郭が、次のように符号化される。Fig3に示す人の輪郭を考えるものとする。人には、深度20をもつ物体番号1が割り当てられる。物体の輪郭は、前述のようにして特定のx、y位置に決定されている。一般に、物体輪郭の方向が変化する箇所には、特定のマークが付される。このマークとして、英数字、形状、色または他の視覚表示形態がある。これらの各マークは、特定のx、y位置を有している。好ましい実施形態では、これは、0から255の範囲内にある。各x、yの対の間に、曲線が存在する。各曲線は、全ての可能な曲線形状のライブラリからの選択により決定される。好ましい実施形態では、各曲線は、1バイトを用いて曲線を定義できるようにするため、一般に−127から+127の範囲内の値が付与される。x、y位置から次のx、y位置まで時計回り方向に進行する曲線には正の値が割り当てられ、反対に反時計回り方向に進行する曲線には負の値が割り当てられる。他の割当てを適用することもできる。
【0057】
深度の閾値処理
変換アルゴリズムに深度閾値を付加するこにより、閾値より前の物体が歪まないようにすることができる。これは、前景物体が後景物体と交差するときに、前景物体の縁部に、いくつかの小さい歪みが生じることを防止する。
【0058】
好ましい変換アルゴリズムでは、深度マップを使用して、最終シーンの3Dプロファイルを形成する連続深度マップを創成する。このプロセスに閾値が適用されると、深度マップが処理されて閾値遷移点が検出され、該遷移点より上および下の深度が独立的に処理される。
【0059】
従って、この物体の深度マップは次のように定義される。
【0060】
<物体番号><物体深度><x1、y1、曲線1、x2、y2、曲線2…x1、y1>
物体深度情報は、現在の物体の深度を発生させるのに必要なデータを保有している。前述のように、この深度データは、単一データ、ランプ(リニア、ラジアル、その他)、または単一物体の深度を記述する他の方法で構成できる。次の方法は、単一物体の深度データを符号化できる手段を示すものである。
【0061】
深度データは、単一深度値について次のように符号化される。
【0062】
<深度フラグ1><深度値>
深度データは、その深度値としてリニアランプをもつ物体について次のように符号化される。
【0063】
<深度フラグ2><x1、y1、深度値1、x2、y2、深度値2>
ここで、物体の深度は、x1、y1での深度値1からx2、y2での深度値2まで線形に変化する。
【0064】
深度データは、その深度値として非リニアランプをもつ物体について次のように符号化される。
【0065】
<深度フラグ3><x1、y1、深度値1、x2、y2、深度値2、ガンマ>ここで、ガンマはx1、y1とx2、y2との間の範囲にわたる深度の非リニア変化を記述する値である。
【0066】
深度データは、その深度値としてラジアルランプをもつ物体について次のように符号化される。
【0067】
<深度フラグ4><x1、y1、深度値1、半径、深度値2>
ここで、物体はx1、y1で深度値1を有し、深度は線形に変化するか、x1、y1からラジアル画素離れた全ての点の深度値2の値まで変化する。
【0068】
物体の深度マップがひとたび伝送されたならば、物体が移動するか形状を変えるまでは深度マップを再度伝送する必要はないことが理解されよう。物体が位置変化をする場合にのみ、次のようにして、物体の位置にオフセットを割り当てることにより、物体の新しい位置が伝送される。
【0069】
<物体番号><xオフセット、yオフセット>
同様に、物体の深度が変化し、物体の位置またはサイズは変化しない場合には、下記のものが伝送される。
【0070】
<物体番号><深度>
また、隣接接触物体がx、y座標を共有すること、従って、シーンの全ての物体の深度マップを一意的に定義すべく伝送されることを要する重複部分がx、y座標に存在することも理解されよう。
【0071】
伝送または記憶する必要がある付加データの量を最小にするためには、深度マップを有するデータを圧縮することが望まれる。圧縮は、任意の形態のデータ圧縮アルゴリズムを使用でき、その多くは当業者に知られている。圧縮の例として、ランレングス符号化およびハフマン符号化があるが、これらに限定されるものではない。物体はフレームからフレームへとは移動しないかもしれないので、フレーム間の深度マップの差異を伝送することだけが必要である。フレーム間の差異を測定および処理できるようにする技術も当業者には知られている。
【0072】
深度マップ情報は、アナログテレビジョン信号のバーチカルブランキングインターバル(VBI)、または歪みメッシュ伝送について前述したようなMPEGまたはデジタルテレビジョン信号の他のデジタル伝送ストリームに含められることが好ましい。同様に、深度マップデータは、DVDのVOBファイルに付加できる。
【0073】
VBIおよびMPEGデータストリームにデータを入れる方法は知られており、好ましい実施形態は、標準テレビジョン画像内にClosed Captioning and Teletextを含めるのに現在使用されている技術である。他の好ましい実施形態では、データは、MPEGデータストリームのユーザデータ領域内に含めることができる。
【0074】
このデータをVBIまたはMPEG2ストリームに入れる点に関し、次の計算は同様なサイズのデータ条件を表示する。
【0075】
仮定:
VBI仕様は、32バイト/ビデオラインを考慮に入れる
画像当たりの物体の最大数=20
物体当たりの最大X、Y座標=20
物体#、物体深度、X、Yおよび形状データの各々は1バイトを要する。
【0076】
この場合には、バイト/物体=1+1+3(20)=62バイトとなる。従って、20個の物体のVBIデータ=20×62=1240バイト/フレームとなる。
【0077】
これは最悪の場合であり、実際には一般的なシーンは200バイト/フレームを必要とすることに留意されたい。この値は、適当なデータ圧縮を行い、重複部分等を考慮に入れることにより、大幅に小さくなる。
【0078】
この情報をMPEGデータストリーム内に含めることにより、MPEGスタンダードは、データストリームを受信位置に配給することを可能にする。MPEGストリーム内にデータを配給する技術は、深度マップを受信デコーダに配給するのにも使用できる。また、この情報を、MPEG信号のサウンドチャンネルの1つに含めることもできる。MPEG信号がCD−ROMまたはDVD等の媒体に記録される場合には、この情報を別々のデジタルファイルまたはアナログファイルとしてデジタルオーディオファイル内に含めることができる。MPEG信号は他の手段のディスクに記録することもできる。当業者には、他の技術は明白であろう。
【0079】
MPEGデータストリームの一部として、原深度マップを伝送することもできる。好ましい実施形態では、深度マップの解像度は、得られる3D画像の物体の深度の気付き得る誤差が明らかになる前に、一般に、640×480×8画素から80×60×8画素に低下される。この解像度は、MPEG符号化ビデオ信号のDTCブロックサイズと同じである。従って、深度マップ情報は、3Dに変換されるときに各ブロックの深度を定義するDTCブロックに付加情報を付加することにより、MPEG信号に入れることができる。また深度マップは、例えばオーディオチャンネルのような前述のMPEGデータストリームまたは当業者に知られた他の方法に含めることができる。解像度が低下された深度マップは、JPEG、MJPEG、MPEG等を含む(但し、これらに限定されるものではない)標準画像圧縮技術を用いてMPEGデータストリームに入れる前に圧縮することができる。
【0080】
他の好ましい実施形態では、物体の輪郭はベジエ曲線を用いて定義される。Fig4に示す人の輪郭を考えるものとする。ベジエ曲線は、図示のx、y座標で得られる輪郭に適用される。従って、物体の深度マップは次のように定義される。
【0081】
<物体番号><物体深度><x1、y1、x1a、y1a、x2b、y2b、…x1b、y1b>
また、ベジエ曲線はFig5に示すように、3つのx、y座標のみを必要とする方法でも得ることができ、次のように定義できる。
【0082】
<物体番号><物体深度><x1、y1、x1a、y1a、x2、y2、…x8a、y8a>
この方法は、曲線を定義するのにより少数の要素で済むため好ましいものである。
【0083】
他の好ましい実施形態では、物体の輪郭は幾何学的形状を用いて定義される。Fig5に示す人の輪郭を考えるものとする。図示の構成になる輪郭に、幾何学的形状が適用される。頭部を形成する円形は、x1、y1および半径r1により定義される。三角形は、x2a、y2a、x2b、y2b、x2c、y2cとして記述され、他の多角形も同様である。各幾何学的形状は、一般的な形式、
<形状><パラメータ>
をもたせることができる。従って、物体の深度マップは次のように定義される。
【0084】
<物体番号><物体深度><形状1><パラメータ>…<形状n><パラメータ>
これらのいずれかの方法(圧縮または非圧縮)を用いて創成される輪郭および/または深度マップは、これらの関連2D画像を用いて(または用いないで)任意の適当なアナログまたはデジタルフォーマットおよび媒体に記憶することができる。記憶媒体として、フロッピディスク、ハードディスク、CD−ROM、レーザディスク、DVD、RAM、ROM、磁気記録テープ、ビデオテープ、ビデオカセット等があるが、これらに限定されるものではない。記憶された輪郭および/または深度マップは、後で呼び出され、および/または3D画像の創成のための歪みメッシュの創成のためまたは更に調節および微調節すべく、深度マップを再構成することを可能にする。
【0085】
デコーダ
これまでに、歪みメッシュを2D画像から3D画像への変換に使用できることが開示されている。
【0086】
今では、深度マップから必要な歪みグリッドを創成することができる。この深度マップ自体は、2Dビデオ内で伝送される付加情報から創成される。深度マップからの歪みグリッドの創成は、リアルタイム、セミリアルタイム、またはオフラインで行うことができ、局部的にまたは遠隔場所で適当な伝送媒体を介して行うことができる。創成は、ソフトウェアまたはハードウェアで実施することができる。
【0087】
かくして、2D画像の一部として歪みメッシュのサブ画素点(sub pixel points)を伝送するのではなく、深度マップの再創成に必要な情報を伝送することができる。この場合、深度マップはデコーダで再構成され、歪みグリッドへの変換が行われる。これらの変換は、リアルタイム、セミリアルタイム、または遠隔の場所からオフラインで行うことができ、ソフトウェアまたはハードウェアで実施できる。深度マップデータから深度マップに変換し、次に歪みグリッドに変換する好ましい方法が、Fig1にソフトウェアフローチャートで、そして、Fig2にハードウェアで示されている。ソフトウェア変換プロセスの個々の要素は、次のように機能する。
【0088】
画像シーケンスソース−2Dフィルムまたはビデオまたはいくつかの他の画像シーケンスソース
領域および深度ソース−これは、画像シーケンスとともに送られる情報であり、好ましい実施形態では、VBIまたはMPEGデータストリームに入れられる。このソースは、各物体の位置、形状および深度に関する情報を含んでいる。
【0089】
深度付領域の深度マップへの適用−物体を描写するため、物体内の「領域」が、深度情報に従って充填/陰影付けされる。陰影付けされた領域の外側の全領域は、手を付けずに残される。このプロセスにより、原深度マップの再構成がなされる。
【0090】
深度マップのぼかし−次に、任意のハードエッジを除去するため、ハードな深度マップがぼかされる(ガウス画像、ファスト等)。ぼかしにより物体間に滑らかな移行部が形成され、画像のオーバーラップがなくなる。ぼかしは、水平方向に僅かに重点が置かれる。垂直ぼかしは、画像に上下にブリーディング(bleeding)することにより、停止画像が裂けないようにし、これにより近い物体と遠い物体との間により滑らかな移行部が得られる。
【0091】
深度マップを用いた画像処理−ぼかされた深度マップは、次に、歪みグリッドの変位のためのソースとして使用される(白色は最大変位、黒色は無変位)。水平軸線に沿う歪み量は、任意の所与の位置での深度マップの深度に従って調整される。好ましい実施形態では、左側画像の変位は右方であり、右側画像の変位は左方である。画像には全体的な強制視差が適用され、これにより、白い(前景)変位物体がスクリーンレベルに収斂される。これにより、黒い(後景)領域は、変位されない画像に等しい強制視差を有する。変位方向および強制視差は、変換画像が表示される3Dディスプレイシステムの特別条件に適合するように変化される。
【0092】
ひとたび歪みグリッドが創成されると、2D画像の3D画像への変換は、すでに開示されている方法によって行われる。
【0093】
Fig2には、歪みグリッドから左右別々の画像を創成するためのハードウェア変換器の好ましい実施形態が示されており、これは完全デジタル化できる。Fig2(a)には、このプロセスを実施する方法が示されており、次のように作動する。
【0094】
このシステムは、同時アクセスを可能にする多ポート型の2つのラインストア(line stores)を使用している。ビデオのラインは1つのラインに書き込まれ、一方、他のラインストアは、読み出されて出力ビデオ信号を発生する。カレントラインの終時に、ラインストアがスワップされる。
【0095】
深度情報はビデオ信号から抽出されて、現在画像の深度マップを再創成する。各出力画素について、深度マップは(歪みグリッドの)画素オフセットに翻訳される。画素オフセットは、ビデオラインがラインストアから読み出されるときに画素カウンタに付加される。画素オフセットは小数値であるため、所望の画素の各側から画素値を読み出して、中間値を補間する必要がある。ビデオデコーダからの奇数/偶数フィールド信号は、フィールドシーケンスビデオ出力を制御して、観察者のシャッターガラスを出力ビデオ信号に同期させるのに使用される。基本回路は、このビデオフォーマットを必要とする3Dディスプレイ用の別々の左右ビデオ信号を発生させるべく二重にすることができる。
【0096】
Fig2(b)には、DDCデコーダの機能ブロック図が示されている。第1プロセスは、VBIまたはMPEGデータストリームに挿入される入力ビデオから物体データを抽出することである。抽出されたデータは、圧縮形式であり、後にマイクロプロセッサにより、解凍される。マイクロプロセッサからの出力は、原物体輪郭情報であり、各物体の深度情報を作成するため再び処理される。このデータは3つの回転フィールドバッファ(バッファはマイクロプロセッサにより制御される)の組に導かれる。第1バッファは原深度マップを再び創成する。次に、深度マップは次のバッファに導かれ、ここで水平および垂直ぼかしが適用される。ひとたびぼかしが適用されたならば、得られたデータは最終バッファに適用され、ここで、データはFig2(a)に示す深度/画素オフセット変換器に導かれる。ひとたばデータがオフセット変換器に転送されたならば、最終バッファがクリアされて、次の深度マップを受け入れる用意が整えられる。
【0097】
Fig2(c)には、DDCデコーダプロセスが示されている。Fig2(c)は、プロセスをタイミング図として示し、現在のマイクロプロセッサは全ての復号プロセスを同時に行うことができるほど充分に高速ではないとの仮定に立っている。従って、復号プロセスはパイプラインプロセスで連続的に行われる。マイクロプロセッサ性能が改善されると、これらのうちの多くのプロセス(全部のプロセスではないとしても)を同時に行うことが期待される。Fig2(c)(1)には、4つのビデオフレームが示されており、各フレームは奇数フィールドおよび偶数フィールドからなる。Fig2(c)(2)では、フレーム4の物体リストが創成され、一方、Fig2(c)(3)ではフレーム4の深度マップが創成される。Fig2(c)(4)では水平ぼかしおよび垂直ぼかしが適用され、Fig2(c)(5)では、フレーム4の深度マップが出力され、バッファがクリヤされて、次の物体リストの用意が整えられる。従って、Fig2(c)(5)で、フレーム4の深度マップおよび2D画像を同時に利用して、3Dに変換することができる。Fig2(c)は個々のフレームのプロセスを示し、実際に、任意の一時点で4つの異なるフレームの深度マップがハードウェアの異なるセクションにより創成されることに注意されたい。
【0098】
別のデコーダ
前述のように、現在利用できるマイクロプロセッサは、全部の復号化プロセスを同時に行うことができるほど充分に高速ではない。従って、高速マイクロプロセッサの使用を必要としないデコーダの別の好ましい実施形態について説明する。この別のデコーダは、2Dおよび3Dコンピュータグラフィックの処理のために開発された集積回路を使用する。このような専用グラフィックプロセッサは、一秒間当たり500,000個以上の多角形を描写できる。これらの集積回路は大量に製造されているので安価であり、低コストのDDCデコーダの製造を実現できる。デコーダは、グラフィックプロセッサの最も簡単な多角形描写能力を使用して、陰影が付されていない質感がマッピングされた多角形を得る。
【0099】
復号化プロセスは、あたかも手動操作で行うかのようにしてプロセスを説明することにより一層容易に理解されよう。これは、Fig9のフローチャートおよびFig10以降の図面に示されている。プロセスは、歪んでいないメッシュを作成し、比較的滑らかな変形を達成するのに必要な、xy平面内の多数の多角形を使用することにより開始する。好ましい実施形態では、単位フィールド当たり10,000個の多角形が一般的に使用される。Fig10には、歪んでいないメッシュのセクションの一例が示されている。3D(この例では、Fig11に示すように、頂部が観察者の方向を向いている円錐体)に変換すべき物体の深度マップが、メッシュの多角形のz軸が深度マップの対応画素の値に基いて定められるように修正されたメッシュに適用される。これは、Fig12に示されている。このプロセスの次の段階は、各多角形のz軸方向高さを等価のx軸変位に翻訳することである。これは、Fig13からFig16に示されている。Fig13には、z軸方向の高さメッシュを通るx軸セクションが示されている。Fig14では、尖点の列がx軸に沿って選択され、尖点(y=0)の回りで90°回転される。Fig15は尖点(45°)での回転の効果を示し、Fig16は90°回転後の効果を示すものである。このプロセスは、深度マップのz軸高さをx変位に有効に翻訳する全てのx列について反復される。
【0100】
プロセスの次の段階は、Fig17に示すような歪んでいないメッシュ上に原ビデオフレームをマッピングすることである。歪んでいないメッシュは、次に、Fig18に示すように、以前に創成されたx軸方向変位マップに形態付け(morphed)される。次に、得られたビデオ画像が、メッシュの変位《Fig19》に従って膨張する。これは、本件出願人の以前の出願PCT/AU96/00820に開示されている画像の引伸ばしと同じ効果を有する。引き伸ばされた画像は、1対の立体画像を形成するのに使用でき、他はFig13の尖点を90°だけ回転することにより形成され、これにより、Fig20に示すようなメッシュおよび対応画像が作成される。
【0101】
2D/3Dグラフィックスプロセッサを用いたハードウェアでこのプロセスを実施するとき、z軸方向高さを等価のx軸方向変位に翻訳する段階を省略できる。観察者に近い多角形は、観察者から離れた多角形よりも更に横方向に変位させるべきであることは知られているので、Fig18の変位メッシュは、Fig11の深度マップから直接作成できる。これは、深度マップの濃度階調値と対応する各多角形の変位との間に直接的関係があるので、達成できる。この簡単化されたプロセスがFig21のフローチャートに示されている。
【0102】
別のハードウェアデコーダ
Fig8には、2D/3Dグラフィックスプロセッサに基くハードウェアDDCデコーダのブロック図が示されている。DDCデータからの深度マップの抽出および創成は、Fig2(b)に示し、前述したように行われる。デコーダの作動は、次の通りである。入力ビデオ信号は、ビデオストリームからDDC情報を抽出し各ビデオフィールドの深度マップを再生するDDCデータデコーダに導かれる。またビデオ信号は、RGB、YUVまたは他の標準ビデオフォーマットにも変換され、二重フィールドストア内に入れられる。これは、新しいフィールドがローディングされるのと同時に、ビデオフィールドが2D/3Dグラフィックスプロセッサに読み出されることを可能にする。DDCデータデコーダからの深度マップ出力は、2D/3Dグラフィックスプロセッサにより処理すべき多角形の形状を定義する深度マップ/多角形メッシュ変換器に導かれる。グラフィックプロセッサへの他の入力は、当該多角形が適用される質感マップとして使用される原2Dビデオ画像である。グラフィックスプロセッサからの出力は、ビデオがインターレースフォーマットで読み出されるようにするフィールドストアに導かれる。これは、後にPAL/NTSCエンコーダに導かれ、PAL/NTSCエンコーダの出力は標準フィールドシーケンス3Dビデオ信号となる。
【0103】
深度マップの再使用
同一シーンまたは類似シーンが再び表示される場合には同じ深度マップが再使用される、全深度マップを受信機に伝送する必要がないことも好ましいであろう。このため、デコーダが、以前に送られた深度マップをメモリに記憶しておけば再使用でき、以前に送られた深度マップを再処理する必要がないため望ましい。深度マップまたは得られる歪みメッシュはデコーダのメモリに記憶させることができる。このメモリは、RAM、EEPROM、フラッシュメモリ、磁気または光学記憶手段からなる揮発性または不揮発性メモリで構成できるが、これらに限定されるものではない。また、汎用深度マップおよび/または歪みグリッドをデコーダに記憶させることを考えることもできる。これにより、深度マップを伝送または変換する必要なくして、頻繁に生じるシーンを変換することが可能になる。深度マップの適用をデフォルトとするデコーダを一意的に識別するデータを、ビデオ信号に含めることにより、正しい深度マップが選択される。また、デコーダに、新しい深度マップまたは別の深度マップを受け入れる能力をもたせて、深度マップおよび/または歪みグリッドのライブラリがデコーダ内に維持されるようにすることを考えることもできる。このライブラリは、RAM、EEPROM、フラッシュメモリ、磁気または光学的記憶手段等(但し、これらに限定されるものではない)の媒体内に保持できる。ビデオ信号に含まれる特定の深度マップまたは歪みグリッドを伝送することによりライブラリを更新することも考えられる。このような深度マップまたは歪みグリッドを含む外部または内部プラグインモジュールにより、およびビデオ信号、モデムまたはインターネットを介してデコーダにダウンロードすることにより、ライブラリを維持することを考えることもできる。当業者には、ライブラリを維持する他の手段は明らかであろう。
【0104】
ビデオ信号に含まれるDDCデータの一般的フォーマットには、好ましい実施形態では、デコーダに下記データの性質を表示するヘッダフラグを含めることができる。このフォーマットには多数の既存の規格を使用でき、次のようなフォーマットがある。
【0105】
<フラグ#><デコーダにより活用されるデータ>
フラグの例として下記のものがあるが、これらに限定されるものではない。
【0106】
フラグ1−次のデータは深度マップである。
【0107】
フラグ2−次のデータは、存在する物体の再配置である。
【0108】
フラグ3−次のデータは、物体の深度の変化に関するものである。
【0109】
フラグ4−次のデータは、以前に伝送された深度マップの再使用に関するものである。
【0110】
フラグ5−次のデータは、ライブラリ内での深度マップの使用に関するものである。
【0111】
フラグ6−次のデータは、ライブラリ内での深度マップの修正に関するものである。
【0112】
フラグ7−次のデータは、ライブラリ内での新しい深度マップの付加に関するものである。
【0113】
フラグ8−次のデータは、既存のライブラリの深度マップの削除に関するものである。
【0114】
フラグ9−次のデータは、移動視差遅延(motion parallax delays)の使用に関するものである。
【0115】
フラグ10−次のデータは、強制視差(forced parallax)の使用に関するものである。
【0116】
フラグ11−次のデータは、数学的アルゴリズムの使用に関するものである。
【0117】
フラグ12−次のデータは、数学的アルゴリズムライブラリの使用に関するものである。
【0118】
別の構成として、各データパケットを異なる長さとすることができ、これにより、各パケットを一意的に定義し、フラグの必要性を緩和させることができる。
【0119】
前述の記載において、歪みグリッドに同じプロセスを適用できる。
【0120】
また、ライブラリ内の指定された範囲から自動的に選択することにより、デコーダが、関連する3D画像への適用に最も適した深度マップを決定できるようにすることを考えることもできる。例えば、DDCデータは、デコーダに指示して、特定の索引位置間の深度マップのライブラリまたは汎用カテゴリ、例えば、Evening News、Horse Raceを検索させることもできる。これにより、デコーダは、物体のサイズ、形状、速度、方向、色、陰影、ぼやけ等に基いて、適当なマップを選択することができる。
【0121】
復号化プロセスの副次的成果として、復号化プロセス中に創成される原深度マップは、2D画像および物体深度情報を必要とする3Dディスプレイシステムに使用するのに適したフォーマットに利用できるようにすることができる。これらの表示は、事実上、自動ステレオスコープおよび/または立体的なものとすることができる。
【0122】
別のアプローチ
あるいは、メッシュ歪みプロセスは、数学的アルゴリズムにより定義することもできる。このアルゴリズムはデコーダに記憶され、この場合には、DDCデータはアルゴリズムが適用されるパラメータからなる。例えば、次の一般的な公式を考える。
【0123】
f(x,y)=[1−exp(−|(|x|−rx). dx|)]. sin( ((PI.x) /rx) +PI/2).
[1−exp(−|(|y|−ry). dy|)]. sin( ((PI.y)/ry)+PI/2)
ここで、
PIは、定数3.14159…
|x|は、xの絶対値
rxは、xの範囲であり、−rx≦x≦rx
ryは、yの範囲であり、−ry≦y≦ry
dxは、xについての減衰率
dyは、yについての減衰率である。
【0124】
次の値が、DDCデータを介して方程式に代入されるならば、、Fig7の歪みグリッドが作成される。
【0125】
rx=ry=50
dx=dy=0.1
DDCデータに関しては、下記が伝送される。
【0126】
<フラグ11><50、50、0.1、0.1>
また、これらのパラメータは、ライブラリの形態でデコーダのメモリに記憶され、DDCデータ内のライブラリ索引を送ることにより呼び出される。
【0127】
DDCデータに関しては、下記が伝送される。
【0128】
<フラグ12><ライブラリ索引>
フラグ9の移動視差を用いた別の例を考察する。従来技術は、水平方向に移動する2D画像が、移動視差の使用により3Dに変換されることを示している。画像の移動は、カメラパンのようなカメラの水平移動によるものであることが望ましい。この技術では、観察者の一方の目が現在のビデオフィールドを受け、他方の目が以前のフィールドを受ける。すなわち、各目に提供される画像間に遅延が存在する。どちらの目が遅延画像を受けるかの選択、および遅延の大きさの選択は、2D画像の水平移動の方向および速度に基いて定まる。遅延は、一般に、1から4フィールドの範囲内にある。方向および遅延の選択は、2D画像内の全移動ベクトルを考察することにより、およびベクトルの大きさ、方向および安定性に基いてこれらのパラメータを選択することによりなされる。従来技術では、これらの計算を観察箇所でリアルタイムに行う必要があり、このため大きな処理能力を必要とする。好ましい方法は、伝送箇所で移動ベクトル、従ってフィールド遅延の方向および大きさを計算し、次に、これらの値をビデオ信号の一部として伝送することであることが判明している。従って、好ましい実施形態では、伝送されるデータは次のようになる。
【0129】
<フラグ9><方向および遅延>
ここで、<方向および遅延>は、一般に、−4から+4の範囲内にある。
【0130】
次に、DDCデコーダはこのデータを再生し、フィールド遅延の正しい大きさおよび方向を処理された画像に挿入するのにこのデータを使用する。
【0131】
歪みメッシュはまた、可変焦点レンズおよび鮮鋭度検出アルゴリズムを用いて、カメラにより観察される画像内の物体の深度を決定するカメラを、既存の2Dビデオカメラまたはフィルムカメラに付加することによってもリアルタイムで得られる。物体の深度は、各画像の画素間の相関関係が物体の深度を表示する1対の立体カメラから得ることもできる。歪みメッシュデータを得るべく処理する前の、これらの形状からの出力は、深度マップを創成するのに使用できる。これは、原2D画像を処理することにより、および本願で説明した物体深度を表示すべく陰影を付すか他の表示を付与することにより達成される。各物体の輪郭は、物体のサイズ、色、移動速度、陰影、質感、輝度、ぼやけ、並びに過去、現在および将来の画像間の差異等の物体の特徴から得ることができる。物体の識別を補助するのに、ニューラルネットワークまたはエキスパートシステムを使用することもできる。また、カメラ内の画像を変位させ、カメラの画像センサで連続画像の物理的オフセットを得ることも提案されている。この変位は、光学的に、電子−光学的に、機械的に、電子−機械的に、電子的に、または当業者に知られた他の方法で行うことができる。この変位は、単一方向すなわちx方向に、あるいは多方向に、連続的にまたはランダムに行うことができる。カメラセンサ上での物体の変位は、カメラに近い物体については大きい。連続画像中の画素を相関付けることにより、各物体の深度が決定される。あるいは、複数のカメラを使用することもできる。
【0132】
シーン内の物体の深度を決定するのに、他の技術を用いることもできる。これらの技術として、光学、レーザ、超音波またはマイクロウェーブの原理で作動するレンジファインダの使用、またはシーン内の物体の投影、およびグリッドの歪みからの物体の深度の決定等があるが、これらに限定されるものではない。
【0133】
多数のコンピュータ援用製図(CAD)ソフトウェアパッケージは、製図すべき画像のワイヤフレームモデルを作成可能にする。物体の小面の投影であるこれらのワイヤフレームモデルは、シーン内での物体の位置の決定に使用できる。
【0134】
同様に、3Dスタジオのようなパッケージからの3D非立体画像の描写プロセスの一部は、カメラから各画素までの距離を出力することを可能にする。この描写は、白色で示されるカメラへの最近接物体および黒色で示されるカメラからの最遠方物体を有する濃度階調画像を作成できる。この濃度階調マップは、立体3Dへの変換を行うための互換性のある深度マップとして使用できる。
【図面の簡単な説明】
【Fig1】 深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Fig2(a)】 深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Fig2(b)】 深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Fig2(c)】 深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。
【Fig3】 本発明による物体の輪郭を決定する種々の技術のうちの1つを示す図面である。
【Fig4】 本発明による物体の輪郭を決定する種々の技術のうちの1つを示す図面である。
【Fig5】 本発明による物体の輪郭を決定する種々の技術のうちの1つを示す図面である。
【Fig6】 本発明による物体の輪郭を決定する種々の技術のうちの1つを示す図面である。
【Fig7】 サンプル歪みグリッドを示す図面である。
【Fig8】 別のデコーダのためのハードウェアデコーダを示すブロック図である。
【Fig9】 別のデコーダの復号化プロセスを示すサンプルフロー図である。
【Fig10】 歪んでいないメッシュの一例を示す図面である。
【Fig11】 円錐体のサンプル深度マップを示す図面である。
【Fig12】 深度マップにより修正されたサンプルメッシュを示す図面である。
【Fig13】 深度マップの高さZをX変位に翻訳する1つの方法を示す図面である。
【Fig14】 深度マップの高さZをX変位に翻訳する1つの方法を示す図面である。
【Fig15】 深度マップの高さZをX変位に翻訳する1つの方法を示す図面である。
【Fig16】 深度マップの高さZをX変位に翻訳する1つの方法を示す図面である。
【Fig17】 歪んでいないメッシュ上の原フレームを示す図面である。
【Fig18】 X変位マップにより修正されたサンプルメッシュを示す図面である。
【Fig19】 原フレームメッシュと変位メッシュとのサンプル結合を示す図面である。
【Fig20】 別の目についての引き伸ばされたサンプル合成画像を示す図面である。
【Fig21】 簡単化された変位フローチャートを示す図面である。
Claims (42)
- 2D画像の立体画像への変換に使用する深度マップの作成方法であって、2D画像内の少なくとも1つの物体を識別する段階と、
前記物体に識別タグを割り当てる段階と、
前記物体に深度タグを割り当てる段階と、
前記物体の輪郭を決定し、定義する段階とを有することを特徴とする深度マップ作成方法。 - 前記物体の輪郭は、一連の座標、曲線および/または幾何学的形状により定義されることを特徴とする請求項1記載の深度マップ作成方法。
- 前記識別タグは一意的な数値であることを特徴とする請求項1または2記載の深度マップ作成方法。
- 前記少なくとも1つの物体を識別する段階は、2D画像と汎用シーンのライブラリとを比較する段階を有することを特徴とする請求項1〜3のいずれか1項記載の深度マップ作成方法。
- 前記輪郭を決定する段階は、物体を画素ごとにトレースすることを更に有することを特徴とする請求項1〜4のいずれか1項記載の深度マップ作成方法。
- 前記輪郭を決定する段階は、物体の輪郭を近似する直線を使用することを更に有することを特徴とする請求項1〜4のいずれか1項記載の深度マップ作成方法。
- 前記輪郭を決定する段階は、物体の輪郭を近似する曲線近似を使用することを更に有することを特徴とする請求項1〜4のいずれか1項記載の深度マップ作成方法。
- 前記輪郭を決定する段階は、物体の輪郭を近似するベジエ曲線を使用することを更に有することを特徴とする請求項1〜4のいずれか1項記載の深度マップ作成方法。
- 前記輪郭を決定する段階は、物体と、物体の輪郭を近似する曲線および/または汎用形状または幾何学的形状のライブラリとを比較することを更に有することを特徴とする請求項1〜4のいずれか1項記載の深度マップ作成方法。
- 前記曲線および/または汎用形状または幾何学的形状を、物体に最も良く適合するように調整することを更に有することを特徴とする請求項9記載の深度マップ作成方法。
- 前記深度タグは色コードを有することを特徴とする請求項1〜10のいずれか1項記載の深度マップ作成方法。
- 白色は観察者に比較的近い物体を表し、黒色は観察者から比較的遠い物体を表すことを特徴とする請求項11記載の深度マップ作成方法。
- 前記深度タグは数値であることを特徴とする請求項1〜10のいずれか1項記載の深度マップ作成方法。
- 前記数値は0から255の範囲にあることを特徴とする請求項13記載の深度マップ作成方法。
- 前記少なくとも1つの物体は複数のセグメントに更に分割され、各セグメントには深度タグが割り当てられることを特徴とする請求項1〜14のいずれか1項記載の深度マップ作成方法。
- 前記深度の変化がランプ関数により定義されることを特徴とする請求項15記載の深度マップ作成方法。
- 前記ランプ関数はリニアまたはラジアルランプであることを特徴とする請求項16記載の深度マップ作成方法。
- 前記物体を画像の連続フレーム上にトラッキングし、それぞれの各フレームの物体に深度タグを決定し、割り当てることを更に有することを特徴とする請求項1〜17のいずれか1項記載の深度マップ作成方法。
- 前記物体に質感バンプマップを付加することを更に有することを特徴とする請求項1〜18のいずれか1項記載の深度マップ作成方法。
- 前記質感バンプマップは、物体を複数の構成部分に破断し、各構成部分に別々の深度タグを割り当てることにより定義されることを特徴とする請求項19記載の深度マップ作成方法。
- 前記質感バンプマップは、物体の個々の構成部分の輝度値により定義されることを特徴とする請求項19記載の深度マップ作成方法。
- 前記質感バンプマップは、物体の個々の構成部分の色差、彩度、色のグループ分け、反射、陰影、焦点および/または鮮鋭度により定義されることを特徴とする請求項19記載の深度マップ作成方法。
- 各2D画像の80×60×8ビット解像度の濃度階調画像を作成することを更に有することを特徴とする請求項1〜22のいずれか1項記載の深度マップ作成方法。
- ビデオシーケンスの2D画像の立体画像への変換に使用する深度マップの作成方法であって、
ビデオシーケンスの各フレームを識別し、番号付けする段階と、
ビデオシーケンス内の少なくとも1つの物体を識別する段階と、
各物体に識別タグを割り当てる段階と、
ビデオシーケンスを複数の部分シーケンスに分割する段階と、
部分シーケンスを複数のオペレータに伝送し、各オペレータが、前記識別タグが前もって割り当てられた部分シーケンスの各物体について輪郭を決定し、定義する段階と、
前記複数のオペレータから前記部分シーケンスを受ける段階と、
該部分シーケンスを照合して、ビデオシーケンスを再構成する段階と、
各物体に深度タグを割り当てる段階とを有することを特徴とする深度マップ作成方法。 - 前記ビデオシーケンスが複数の部分シーケンスに分割される前に、セキュリティ処置をビデオシーケンスに付加する段階を更に有することを特徴とする請求項24記載の深度マップ作成方法。
- 前記セキュリティ処置は、ビデオシーケンスからオーディオを除去し、および/または、ビデオシーケンスの色を変更することを有することを特徴とする請求項25記載の深度マップ作成方法。
- 2D画像の立体画像への変換に使用する深度マップの符号化方法であって、
物体に物体識別子を割り当てる段階と、
前記物体に深度タグを割り当てる段階と、
物体の輪郭を定義する段階とを有することを特徴とする深度マップの符号化方法。 - 前記物体の輪郭は一連のx、y座標により定義され、各x、y座標は曲線により分離されることを特徴とする請求項27記載の深度マップの符号化方法。
- 前記曲線はライブラリに記憶され、一意的な番号が割り当てられることを特徴とする請求項28記載の深度マップの符号化方法。
- 前記物体の輪郭はまた、各曲線の方向に関するデータを有していることを特徴とする請求項28または29記載の深度マップの符号化方法。
- 前記各曲線はベジエ曲線であることを特徴とする請求項28〜30のいずれか1項記載の深度マップの符号化方法。
- 前記物体の輪郭は少なくとも1つの幾何学的形状により定義されることを特徴とする請求項27記載の深度マップの符号化方法。
- 前記少なくとも1つの幾何学的形状は、形状の形態および形状のパラメータにより定義されることを特徴とする請求項32記載の深度マップの符号化方法。
- 前記物体の深度タグを符号化は、 一種類の深度を割り当て、 物体に深度を割り当てることを有することを特徴とする請求項27〜33のいずれか1項記載の深度マップの符号化方法。
- 前記深度の種類には、単一値、リニアランプまたはラジアルランプが含まれることを特徴とする請求項34記載の深度マップの符号化方法。
- アナログテレビジョン信号のバーチカルブランキングインターバルに深度マップを埋め込む段階をさらに有することを特徴とする請求項1記載の深度マップ作成方法。
- デジタルテレビジョン信号のMPEGに深度マップを埋め込む段階をさらに有することを特徴とする請求項1記載の深度マップ作成方法。
- DVDのVOBファイルに深度マップを埋め込む段階をさらに有することを特徴とする請求項1記載の深度マップ作成方法。
- 2D画像および該2D画像に対応する深度マップデータを受ける段階と、
深度マップデータ内で識別された物体を決定する段階と、
前記物体の対応する深度を決定する段階と、
深度に基いて物体に陰影を付す段階と、
画像を処理して、歪み量は深度に基いて定められる歪みグリッドを形成する段階と
を有することを特徴とする深度マップデータの復号化方法。 - 前記歪みグリッドを形成する前、物体間の移行を滑らかにするように、深度マップをぼかすことを更に有することを特徴とする請求項39記載の深度マップデータの復号化方法。
- 複数の多角形から歪んでいないメッシュを作成する段階と、
前記メッシュに深度マップを適用する段階とを有し、メッシュ内の多角形の高さは深度マップに記録された深度に基いて定まり、
多角形の高さを翻訳変位に変換して、歪みメッシュを創成する段階と、
歪みメッシュを、深度マップデータに対応する2D画像に適用する段階とを更に有することを特徴とする深度マップデータの復号化方法。 - 深度マップのライブラリを含む深度マップデータを符号化するデコーダであって、
入力データが前記ライブラリと比較され、前記データが深度マップの前記ライブラリ中の深度マップに一致しない場合に、デコーダが請求項41に記載の方法を用いて入力データを処理することを特徴とするデコーダ。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AUPP0778A AUPP077897A0 (en) | 1997-12-05 | 1997-12-05 | Improved image conversion and encoding techniques |
AUPP0778 | 1997-12-05 | ||
AUPP2865A AUPP286598A0 (en) | 1998-04-08 | 1998-04-08 | Improved image conversion and encoding techniques |
AUPP2865 | 1998-04-08 | ||
AU0778 | 1998-04-08 | ||
AU2865 | 1998-04-08 | ||
PCT/AU1998/001005 WO1999030280A1 (en) | 1997-12-05 | 1998-12-03 | Improved image conversion and encoding techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001526477A JP2001526477A (ja) | 2001-12-18 |
JP4698831B2 true JP4698831B2 (ja) | 2011-06-08 |
Family
ID=25645669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000524763A Expired - Fee Related JP4698831B2 (ja) | 1997-12-05 | 1998-12-03 | 画像変換および符号化技術 |
Country Status (9)
Country | Link |
---|---|
US (3) | US7894633B1 (ja) |
EP (2) | EP1044432A4 (ja) |
JP (1) | JP4698831B2 (ja) |
KR (1) | KR100560507B1 (ja) |
CN (1) | CN1173296C (ja) |
CA (1) | CA2305735C (ja) |
ID (1) | ID27878A (ja) |
MY (1) | MY124160A (ja) |
WO (1) | WO1999030280A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014050827A1 (ja) * | 2012-09-25 | 2014-04-03 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 |
Families Citing this family (213)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8253729B1 (en) * | 1983-05-09 | 2012-08-28 | Geshwind David M | Trimming depth buffer during 2D to 3D conversion |
US7116323B2 (en) | 1998-05-27 | 2006-10-03 | In-Three, Inc. | Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images |
US7116324B2 (en) | 1998-05-27 | 2006-10-03 | In-Three, Inc. | Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures |
AUPQ119799A0 (en) * | 1999-06-25 | 1999-07-22 | Dynamic Digital Depth Research Pty Ltd | Ddc/3 image conversion and encoding techniques |
AUPQ416699A0 (en) | 1999-11-19 | 1999-12-16 | Dynamic Digital Depth Research Pty Ltd | Depth map compression technique |
US7035451B2 (en) | 2000-08-09 | 2006-04-25 | Dynamic Digital Depth Research Pty Ltd. | Image conversion and encoding techniques |
US6664962B1 (en) * | 2000-08-23 | 2003-12-16 | Nintendo Co., Ltd. | Shadow mapping in a low cost graphics system |
US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
US8897596B1 (en) | 2001-05-04 | 2014-11-25 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with translucent elements |
US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
JP4708619B2 (ja) * | 2001-07-31 | 2011-06-22 | キヤノン株式会社 | 立体画像形成システムおよび立体画像形成方法 |
US8369607B2 (en) | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
EP2357838B1 (en) * | 2002-03-27 | 2016-03-16 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US20030198290A1 (en) * | 2002-04-19 | 2003-10-23 | Dynamic Digital Depth Pty.Ltd. | Image encoding system |
US7489812B2 (en) * | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
CN1739119A (zh) * | 2003-01-17 | 2006-02-22 | 皇家飞利浦电子股份有限公司 | 全深度图采集 |
AU2003234904A1 (en) * | 2003-05-07 | 2004-11-26 | Seijiro Tomita | Method and system for displaying stereoscopic image |
CN100414566C (zh) * | 2003-06-19 | 2008-08-27 | 邓兴峰 | 平面图像全景重建立体图像的方法 |
US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
WO2005013623A1 (en) * | 2003-08-05 | 2005-02-10 | Koninklijke Philips Electronics N.V. | Multi-view image generation |
US7650036B2 (en) * | 2003-10-16 | 2010-01-19 | Sharp Laboratories Of America, Inc. | System and method for three-dimensional video coding |
JP2007529070A (ja) * | 2004-03-12 | 2007-10-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行きマップの生成方法及び装置 |
US20050207486A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Three dimensional acquisition and visualization system for personal electronic devices |
KR100585966B1 (ko) * | 2004-05-21 | 2006-06-01 | 한국전자통신연구원 | 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법 |
US7643672B2 (en) | 2004-10-21 | 2010-01-05 | Kazunari Era | Image processing apparatus, image pickup device and program therefor |
DE602005027379D1 (de) * | 2004-10-26 | 2011-05-19 | Koninkl Philips Electronics Nv | Disparitätskarte |
US8774560B2 (en) * | 2005-01-11 | 2014-07-08 | University Of Central Florida Research Foundation, Inc. | System for manipulation, modification and editing of images via remote device |
KR101199498B1 (ko) * | 2005-03-31 | 2012-11-09 | 삼성전자주식회사 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체 |
WO2006106465A2 (en) * | 2005-04-07 | 2006-10-12 | Nxp B.V. | Method and device for three-dimentional reconstruction and rendering |
US20060233461A1 (en) * | 2005-04-19 | 2006-10-19 | Honeywell International Inc. | Systems and methods for transforming 2d image domain data into a 3d dense range map |
KR100932977B1 (ko) | 2005-07-05 | 2009-12-21 | 삼성모바일디스플레이주식회사 | 입체 영상 표시 장치 |
KR100913173B1 (ko) * | 2005-07-05 | 2009-08-19 | 삼성모바일디스플레이주식회사 | 3d 그래픽 처리장치 및 이를 이용한 입체영상 표시장치 |
US8384763B2 (en) * | 2005-07-26 | 2013-02-26 | Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
US8279221B2 (en) * | 2005-08-05 | 2012-10-02 | Samsung Display Co., Ltd. | 3D graphics processor and autostereoscopic display device using the same |
US8274553B2 (en) * | 2005-10-18 | 2012-09-25 | Texas Instruments Incorporated | System and method for displaying stereoscopic digital motion picture images |
US7523405B2 (en) * | 2005-11-16 | 2009-04-21 | Microsoft Corporation | Displaying 2D graphic content using depth wells |
US7692696B2 (en) * | 2005-12-27 | 2010-04-06 | Fotonation Vision Limited | Digital image acquisition system with portrait mode |
EP1968006B1 (en) * | 2005-12-27 | 2020-03-25 | Panasonic Intellectual Property Corporation of America | Image processing apparatus |
JP5041458B2 (ja) * | 2006-02-09 | 2012-10-03 | 本田技研工業株式会社 | 三次元物体を検出する装置 |
US7469071B2 (en) * | 2006-02-14 | 2008-12-23 | Fotonation Vision Limited | Image blurring |
IES20060558A2 (en) * | 2006-02-14 | 2006-11-01 | Fotonation Vision Ltd | Image blurring |
US20070189750A1 (en) * | 2006-02-16 | 2007-08-16 | Sony Corporation | Method of and apparatus for simultaneously capturing and generating multiple blurred images |
IES20060564A2 (en) * | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
KR100699050B1 (ko) | 2006-06-30 | 2007-03-28 | 삼성전자주식회사 | 문자정보를 음성정보로 출력하는 이동통신 단말기 및 그방법 |
US8970680B2 (en) * | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
TWI421541B (zh) * | 2006-10-26 | 2014-01-01 | Seereal Technologies Sa | Full image display device and method (2) |
WO2008049907A1 (en) * | 2006-10-26 | 2008-05-02 | Seereal Technologies S.A. | 3d content generation system |
RU2454025C2 (ru) * | 2006-12-19 | 2012-06-20 | Конинклейке Филипс Электроникс Н.В. | Способ и система для преобразования двухмерного видео в трехмерное видео |
KR100894874B1 (ko) * | 2007-01-10 | 2009-04-24 | 주식회사 리얼이미지 | 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법 |
US8077964B2 (en) * | 2007-03-19 | 2011-12-13 | Sony Corporation | Two dimensional/three dimensional digital information acquisition and display device |
EP2130178A1 (en) * | 2007-03-23 | 2009-12-09 | Thomson Licensing | System and method for region classification of 2d images for 2d-to-3d conversion |
US8488868B2 (en) * | 2007-04-03 | 2013-07-16 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
US8213711B2 (en) * | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
US10605610B2 (en) * | 2007-04-09 | 2020-03-31 | Ian Cummings | Apparatus and methods for reducing data transmission in wireless client-server navigation systems |
WO2009004527A2 (en) * | 2007-07-03 | 2009-01-08 | Koninklijke Philips Electronics N.V. | Computing a depth map |
EP2225725A2 (en) * | 2007-12-20 | 2010-09-08 | Koninklijke Philips Electronics N.V. | Segmentation of image data |
CN101483765B (zh) * | 2008-01-11 | 2011-09-21 | 华为技术有限公司 | 一种图像处理方法、编解码方法及装置 |
US9094675B2 (en) * | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
KR101488199B1 (ko) * | 2008-03-12 | 2015-01-30 | 삼성전자주식회사 | 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체 |
FR2929421B1 (fr) * | 2008-03-25 | 2012-04-27 | Thales Sa | Procede de reconstruction synthetique tridimensionnelle d'objets exposes a une onde electromagnetique et/ou elastique |
WO2009123066A1 (ja) * | 2008-04-03 | 2009-10-08 | 日本電気株式会社 | 画像処理方法、画像処理装置及び記録媒体 |
KR100950046B1 (ko) * | 2008-04-10 | 2010-03-29 | 포항공과대학교 산학협력단 | 무안경식 3차원 입체 tv를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법 |
KR20100002032A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 영상 생성 방법, 영상 처리 방법, 및 그 장치 |
TW201005673A (en) * | 2008-07-18 | 2010-02-01 | Ind Tech Res Inst | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system |
US8184196B2 (en) * | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
KR101497503B1 (ko) | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 |
WO2010050691A2 (en) | 2008-10-27 | 2010-05-06 | Samsung Electronics Co,. Ltd. | Methods and apparatuses for processing and displaying image |
US8345956B2 (en) * | 2008-11-03 | 2013-01-01 | Microsoft Corporation | Converting 2D video into stereo video |
EP2368370A1 (en) * | 2008-11-24 | 2011-09-28 | Koninklijke Philips Electronics N.V. | 3d video reproduction matching the output format to the 3d processing ability of a display |
EP2197217A1 (en) * | 2008-12-15 | 2010-06-16 | Koninklijke Philips Electronics N.V. | Image based 3D video format |
KR101659576B1 (ko) | 2009-02-17 | 2016-09-30 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
MY152817A (en) | 2009-02-17 | 2014-11-28 | Samsung Electronics Co Ltd | Graphic image processing method and apparatus |
WO2010108024A1 (en) * | 2009-03-20 | 2010-09-23 | Digimarc Coporation | Improvements to 3d data representation, conveyance, and use |
US8620147B2 (en) * | 2009-03-31 | 2013-12-31 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting compressed data using digital data interface, and method and apparatus for receiving compressed data using digital data interface |
CN101562755B (zh) * | 2009-05-19 | 2010-09-01 | 无锡景象数字技术有限公司 | 一种由平面视频制作3d视频的方法 |
US9124874B2 (en) | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
JP2011101229A (ja) * | 2009-11-06 | 2011-05-19 | Sony Corp | 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置 |
US8368696B2 (en) * | 2009-06-19 | 2013-02-05 | Sharp Laboratories Of America, Inc. | Temporal parallax induced display |
TW201119353A (en) | 2009-06-24 | 2011-06-01 | Dolby Lab Licensing Corp | Perceptual depth placement for 3D objects |
WO2010151555A1 (en) | 2009-06-24 | 2010-12-29 | Dolby Laboratories Licensing Corporation | Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data |
EP2268045A1 (en) * | 2009-06-26 | 2010-12-29 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
US8872976B2 (en) | 2009-07-15 | 2014-10-28 | Home Box Office, Inc. | Identification of 3D format and graphics rendering on 3D displays |
CN102474638B (zh) * | 2009-07-27 | 2015-07-01 | 皇家飞利浦电子股份有限公司 | 组合3d视频与辅助数据 |
CN101968895A (zh) * | 2009-07-27 | 2011-02-09 | 鸿富锦精密工业(深圳)有限公司 | 二维图像转换系统及方法 |
US8436893B2 (en) | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US8508580B2 (en) | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US9294751B2 (en) | 2009-09-09 | 2016-03-22 | Mattel, Inc. | Method and system for disparity adjustment during stereoscopic zoom |
US8624959B1 (en) * | 2009-09-11 | 2014-01-07 | The Boeing Company | Stereo video movies |
JP5415217B2 (ja) * | 2009-10-02 | 2014-02-12 | パナソニック株式会社 | 三次元映像処理装置 |
US8538135B2 (en) | 2009-12-09 | 2013-09-17 | Deluxe 3D Llc | Pulling keys from color segmented images |
WO2011071978A1 (en) * | 2009-12-09 | 2011-06-16 | StereoD, LLC | Three dimensional image rendering |
US8638329B2 (en) * | 2009-12-09 | 2014-01-28 | Deluxe 3D Llc | Auto-stereoscopic interpolation |
KR101281961B1 (ko) * | 2009-12-21 | 2013-07-03 | 한국전자통신연구원 | 깊이 영상 편집 방법 및 장치 |
US9042636B2 (en) * | 2009-12-31 | 2015-05-26 | Disney Enterprises, Inc. | Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers |
US8743178B2 (en) * | 2010-01-05 | 2014-06-03 | Dolby Laboratories Licensing Corporation | Multi-view video format control |
US20100164952A1 (en) * | 2010-01-25 | 2010-07-01 | Michael Roderick | Stereoscopic image production method and system |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
WO2011097306A1 (en) * | 2010-02-04 | 2011-08-11 | Sony Corporation | 2d to 3d image conversion based on image content |
US8442297B2 (en) * | 2010-02-23 | 2013-05-14 | Arinc Incorporated | Methods of evaluating the quality of two-dimensional matrix dot-peened marks on objects and mark verification systems |
US9426441B2 (en) | 2010-03-08 | 2016-08-23 | Dolby Laboratories Licensing Corporation | Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning |
US9697751B2 (en) | 2010-03-09 | 2017-07-04 | Microsoft Technology Licensing, Llc | Interactive representation of clusters of geographical entities |
US20110222757A1 (en) | 2010-03-10 | 2011-09-15 | Gbo 3D Technology Pte. Ltd. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
US8760498B2 (en) | 2011-03-14 | 2014-06-24 | Sony Corporation | Disparity data transport in standard caption service |
KR101385514B1 (ko) * | 2010-06-08 | 2014-04-16 | 주식회사 에스칩스 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
TWI462567B (zh) | 2010-06-18 | 2014-11-21 | Realtek Semiconductor Corp | 三維處理電路及處理方法 |
CN102300106B (zh) * | 2010-06-28 | 2014-03-12 | 瑞昱半导体股份有限公司 | 三维处理电路及处理方法 |
US8848038B2 (en) * | 2010-07-09 | 2014-09-30 | Lg Electronics Inc. | Method and device for converting 3D images |
US20130113795A1 (en) * | 2010-07-26 | 2013-05-09 | City University Of Hong Kong | Method for generating multi-view images from a single image |
CN102985958B (zh) * | 2010-08-31 | 2015-04-01 | 本田技研工业株式会社 | 车辆周围监测装置 |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
US9485497B2 (en) | 2010-09-10 | 2016-11-01 | Reald Inc. | Systems and methods for converting two-dimensional images into three-dimensional images |
WO2012032825A1 (ja) | 2010-09-10 | 2012-03-15 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
WO2012032826A1 (ja) * | 2010-09-10 | 2012-03-15 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
US8831273B2 (en) | 2010-09-10 | 2014-09-09 | Reald Inc. | Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files |
EP2432232A1 (en) * | 2010-09-19 | 2012-03-21 | LG Electronics, Inc. | Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service |
US20120068996A1 (en) * | 2010-09-21 | 2012-03-22 | Sony Corporation | Safe mode transition in 3d content rendering |
JP5281624B2 (ja) * | 2010-09-29 | 2013-09-04 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム |
JP5281623B2 (ja) * | 2010-09-29 | 2013-09-04 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム |
US9305398B2 (en) | 2010-10-08 | 2016-04-05 | City University Of Hong Kong | Methods for creating and displaying two and three dimensional images on a digital canvas |
US8619124B2 (en) * | 2010-10-14 | 2013-12-31 | Industrial Technology Research Institute | Video data processing systems and methods |
JP5250604B2 (ja) * | 2010-10-26 | 2013-07-31 | 富士フイルム株式会社 | 立体画像表示装置、立体画像表示方法およびプログラム |
US9185388B2 (en) | 2010-11-03 | 2015-11-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
JP5559012B2 (ja) | 2010-11-12 | 2014-07-23 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
US20120120190A1 (en) * | 2010-11-16 | 2012-05-17 | Hung-Chia Lee | Display device for use in a frame sequential 3d display system and related 3d display system |
US20120120191A1 (en) * | 2010-11-17 | 2012-05-17 | Hung-Chia Lee | Image processor for use in a frame sequential 3d display system and related 3d display system |
WO2012078636A1 (en) | 2010-12-07 | 2012-06-14 | University Of Iowa Research Foundation | Optimal, user-friendly, object background separation |
WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US9386294B2 (en) | 2011-01-05 | 2016-07-05 | Google Technology Holdings LLC | Method and apparatus for 3DTV image adjustment |
US8624891B2 (en) * | 2011-01-17 | 2014-01-07 | Disney Enterprises, Inc. | Iterative reprojection of images |
WO2012100225A1 (en) * | 2011-01-20 | 2012-07-26 | University Of Iowa Research Foundation | Systems and methods for generating a three-dimensional shape from stereo color images |
WO2012100221A1 (en) | 2011-01-20 | 2012-07-26 | University Of Iowa Research Foundation | Automated determination of arteriovenous ratio in images of blood vessels |
WO2012101582A1 (en) * | 2011-01-24 | 2012-08-02 | Invision Biometrics Ltd. | Method and system for acquisition, representation, compression, and transmission of three-dimensional data |
US8730232B2 (en) | 2011-02-01 | 2014-05-20 | Legend3D, Inc. | Director-style based 2D to 3D movie conversion system and method |
US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
JP5357199B2 (ja) * | 2011-03-14 | 2013-12-04 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラムおよび画像復号プログラム |
EP2697975A1 (en) | 2011-04-15 | 2014-02-19 | Dolby Laboratories Licensing Corporation | Systems and methods for rendering 3d images independent of display size and viewing distance |
US8681182B2 (en) | 2011-04-19 | 2014-03-25 | Deluxe 3D Llc | Alternate viewpoint rendering |
KR20120127992A (ko) * | 2011-05-16 | 2012-11-26 | 삼성전자주식회사 | 컨텐츠변환장치, 컨텐츠변환방법 및 그 저장 매체 |
KR20120133571A (ko) * | 2011-05-31 | 2012-12-11 | 삼성전자주식회사 | 3d 영상변환장치, 3d 영상변환장치에 의해 구현되는 방법 및 그 저장매체 |
EP2717572B1 (en) | 2011-06-24 | 2018-08-08 | LG Electronics Inc. | Encoding/decoding method and apparatus using a skip mode |
US20130004059A1 (en) * | 2011-07-01 | 2013-01-03 | Amir Said | Aligning stereoscopic images |
US9351028B2 (en) * | 2011-07-14 | 2016-05-24 | Qualcomm Incorporated | Wireless 3D streaming server |
US20130016098A1 (en) * | 2011-07-17 | 2013-01-17 | Raster Labs, Inc. | Method for creating a 3-dimensional model from a 2-dimensional source image |
JP2014528190A (ja) * | 2011-08-12 | 2014-10-23 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | カメラおよび/または深度パラメータのシグナリング |
US8928729B2 (en) * | 2011-09-09 | 2015-01-06 | Disney Enterprises, Inc. | Systems and methods for converting video |
US8995755B2 (en) | 2011-09-30 | 2015-03-31 | Cyberlink Corp. | Two-dimensional to stereoscopic conversion systems and methods |
US9495791B2 (en) | 2011-10-05 | 2016-11-15 | Bitanimate, Inc. | Resolution enhanced 3D rendering systems and methods |
CN103096026A (zh) * | 2011-10-31 | 2013-05-08 | 鸿富锦精密工业(深圳)有限公司 | 安全监控系统及安全监控方法 |
KR101390961B1 (ko) | 2011-11-29 | 2014-05-07 | (주)리얼디스퀘어 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 시스템과 방법 및 그에 대한 기록매체 |
WO2013081304A1 (ko) * | 2011-11-28 | 2013-06-06 | 에스케이플래닛 주식회사 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치, 방법 및 그에 대한 기록매체 |
KR101330523B1 (ko) | 2011-11-29 | 2013-11-18 | (주)리얼디스퀘어 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체 |
KR101388668B1 (ko) * | 2011-11-29 | 2014-04-25 | (주)리얼디스퀘어 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체 |
US20130141433A1 (en) * | 2011-12-02 | 2013-06-06 | Per Astrand | Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images |
US9530060B2 (en) * | 2012-01-17 | 2016-12-27 | Avigilon Fortress Corporation | System and method for building automation using video content analysis with depth sensing |
TWI478102B (zh) * | 2012-01-20 | 2015-03-21 | Realtek Semiconductor Corp | 影像深度產生裝置與其方法 |
US11282287B2 (en) | 2012-02-24 | 2022-03-22 | Matterport, Inc. | Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications |
US10848731B2 (en) | 2012-02-24 | 2020-11-24 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
US9324190B2 (en) | 2012-02-24 | 2016-04-26 | Matterport, Inc. | Capturing and aligning three-dimensional scenes |
US9959634B2 (en) * | 2012-03-13 | 2018-05-01 | Google Llc | Method and system for identifying depth data associated with an object |
US9552129B2 (en) | 2012-03-23 | 2017-01-24 | Microsoft Technology Licensing, Llc | Interactive visual representation of points of interest data |
KR101356544B1 (ko) * | 2012-03-29 | 2014-02-19 | 한국과학기술원 | 3차원 입체영상 생성 방법 및 장치 |
WO2013165614A1 (en) | 2012-05-04 | 2013-11-07 | University Of Iowa Research Foundation | Automated assessment of glaucoma loss from optical coherence tomography |
US9838669B2 (en) * | 2012-08-23 | 2017-12-05 | Stmicroelectronics (Canada), Inc. | Apparatus and method for depth-based image scaling of 3D visual content |
US20140062999A1 (en) * | 2012-09-05 | 2014-03-06 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | Display system and display control method thereof |
US9250653B2 (en) | 2012-09-28 | 2016-02-02 | City University Of Hong Kong | Capturing, processing, and reconstructing audio and video content of mobile devices |
US9007365B2 (en) | 2012-11-27 | 2015-04-14 | Legend3D, Inc. | Line depth augmentation system and method for conversion of 2D images to 3D images |
US9547937B2 (en) | 2012-11-30 | 2017-01-17 | Legend3D, Inc. | Three-dimensional annotation system and method |
US9135742B2 (en) | 2012-12-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | View direction determination |
US20140184596A1 (en) * | 2012-12-28 | 2014-07-03 | Microsoft Corporation | Image based rendering |
US9214138B2 (en) | 2012-12-28 | 2015-12-15 | Microsoft Technology Licensing, Llc | Redundant pixel mitigation |
US8983176B2 (en) * | 2013-01-02 | 2015-03-17 | International Business Machines Corporation | Image selection and masking using imported depth information |
US9083960B2 (en) * | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
WO2014143891A1 (en) | 2013-03-15 | 2014-09-18 | University Of Iowa Research Foundation | Automated separation of binary overlapping trees |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
US9563955B1 (en) | 2013-05-15 | 2017-02-07 | Amazon Technologies, Inc. | Object tracking techniques |
WO2014185920A1 (en) * | 2013-05-16 | 2014-11-20 | Empire Technology Development, Llc | Three dimensional user interface in augmented reality |
JP5862635B2 (ja) | 2013-10-11 | 2016-02-16 | カシオ計算機株式会社 | 画像処理装置、立体データ生成方法、及びプログラム |
JP2015104016A (ja) * | 2013-11-26 | 2015-06-04 | キヤノン株式会社 | 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体 |
CN103646426A (zh) * | 2013-12-13 | 2014-03-19 | 武汉恩倍思科技有限公司 | 一种将2d平面照片转换为3d立体照片的方法 |
CA2915916C (en) * | 2014-03-03 | 2016-08-09 | Consortium P, Inc. | Real-time location detection using exclusion zones |
US10410355B2 (en) | 2014-03-21 | 2019-09-10 | U.S. Department Of Veterans Affairs | Methods and systems for image analysis using non-euclidean deformed graphs |
US9407896B2 (en) * | 2014-03-24 | 2016-08-02 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions |
US9449234B2 (en) | 2014-03-31 | 2016-09-20 | International Business Machines Corporation | Displaying relative motion of objects in an image |
US9196027B2 (en) | 2014-03-31 | 2015-11-24 | International Business Machines Corporation | Automatic focus stacking of captured images |
US9300857B2 (en) | 2014-04-09 | 2016-03-29 | International Business Machines Corporation | Real-time sharpening of raw digital images |
US10122992B2 (en) | 2014-05-22 | 2018-11-06 | Disney Enterprises, Inc. | Parallax based monoscopic rendering |
US9721385B2 (en) | 2015-02-10 | 2017-08-01 | Dreamworks Animation Llc | Generation of three-dimensional imagery from a two-dimensional image using a depth map |
US9897806B2 (en) | 2015-02-10 | 2018-02-20 | Dreamworks Animation L.L.C. | Generation of three-dimensional imagery to supplement existing content |
US10368104B1 (en) * | 2015-04-01 | 2019-07-30 | Rockwell Collins, Inc. | Systems and methods for transmission of synchronized physical and visible images for three dimensional display |
US10115194B2 (en) | 2015-04-06 | 2018-10-30 | IDx, LLC | Systems and methods for feature detection in retinal images |
DE102015210453B3 (de) * | 2015-06-08 | 2016-10-13 | Bitmanagement Software GmbH | Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts |
US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
US10237531B2 (en) | 2016-06-22 | 2019-03-19 | Microsoft Technology Licensing, Llc | Discontinuity-aware reprojection |
US10129523B2 (en) | 2016-06-22 | 2018-11-13 | Microsoft Technology Licensing, Llc | Depth-aware reprojection |
US10558855B2 (en) * | 2016-08-17 | 2020-02-11 | Technologies Holdings Corp. | Vision system with teat detection |
HK1224513A (zh) | 2016-10-14 | 2017-08-18 | 萬維數碼有限公司 | 通過機器學習技術改進 的自動轉換質量的方法 |
CN110352596B (zh) * | 2017-03-24 | 2023-04-25 | 株式会社半导体能源研究所 | 半导体装置、显示系统及电子设备 |
US10229537B2 (en) * | 2017-08-02 | 2019-03-12 | Omnivor, Inc. | System and method for compressing and decompressing time-varying surface data of a 3-dimensional object using a video codec |
US10692247B2 (en) * | 2017-08-02 | 2020-06-23 | Omnivor, Inc. | System and method for compressing and decompressing surface data of a 3-dimensional object using an image codec |
US10740431B2 (en) | 2017-11-13 | 2020-08-11 | Samsung Electronics Co., Ltd | Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion |
CN112771539B (zh) * | 2018-09-25 | 2023-08-25 | 马特波特公司 | 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用 |
US10769848B1 (en) * | 2019-05-24 | 2020-09-08 | Adobe, Inc. | 3D object reconstruction using photometric mesh representation |
US11501470B2 (en) | 2020-05-27 | 2022-11-15 | Microsoft Technology Licensing, Llc | Geometric encoding of data |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3772465A (en) * | 1971-06-09 | 1973-11-13 | Ass Of Motion Picture Televisi | Image modification of motion pictures |
SE365325B (ja) * | 1971-11-04 | 1974-03-18 | Rothfjell R | |
JPS55500301A (ja) * | 1978-05-31 | 1980-05-22 | ||
US4773098A (en) * | 1980-05-27 | 1988-09-20 | Texas Instruments Incorporated | Method of optical character recognition |
US4783829A (en) * | 1983-02-23 | 1988-11-08 | Hitachi, Ltd. | Pattern recognition apparatus |
US4925294A (en) * | 1986-12-17 | 1990-05-15 | Geshwind David M | Method to convert two dimensional motion pictures for three-dimensional systems |
US5644654A (en) * | 1987-04-06 | 1997-07-01 | Canon Kabushiki Kaisha | Image processing apparatus capable of efficient coding of complex shape information |
JPH0766445B2 (ja) * | 1988-09-09 | 1995-07-19 | 工業技術院長 | 画像処理方法 |
US5109425A (en) * | 1988-09-30 | 1992-04-28 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Method and apparatus for predicting the direction of movement in machine vision |
JPH03218581A (ja) * | 1989-11-01 | 1991-09-26 | Hitachi Ltd | 画像セグメンテーション方法 |
US5130815A (en) | 1990-07-20 | 1992-07-14 | Mti Associates | Method and apparatus for encoding a video signal having multi-language capabilities |
JPH0568268A (ja) * | 1991-03-04 | 1993-03-19 | Sharp Corp | 立体視画像作成装置および立体視画像作成方法 |
US5537638A (en) * | 1991-10-25 | 1996-07-16 | Hitachi, Ltd. | Method and system for image mapping |
FR2683648B1 (fr) | 1991-11-12 | 1996-12-13 | Apple Computer | Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante. |
US5333209A (en) * | 1992-03-24 | 1994-07-26 | At&T Bell Laboratories | Method of recognizing handwritten symbols |
US5469535A (en) * | 1992-05-04 | 1995-11-21 | Midway Manufacturing Company | Three-dimensional, texture mapping display system |
JPH0644755A (ja) * | 1992-07-24 | 1994-02-18 | Sony Corp | ビデオ信号の伝送方法及び記録装置 |
KR0184313B1 (ko) | 1993-04-09 | 1999-05-01 | 모리시타 요이찌 | 디지털영상신호를 스크램블 및 디스크램블해서 전송하는 스크램블전송장치 |
JPH0778267A (ja) * | 1993-07-09 | 1995-03-20 | Silicon Graphics Inc | 陰影を表示する方法及びコンピュータ制御表示システム |
CA2106222C (en) | 1993-09-15 | 2000-10-31 | Russell D. N. Mackinnon | Object oriented communication network |
GB9322260D0 (en) | 1993-10-28 | 1993-12-15 | Pandora Int Ltd | Digital video processor |
US5511153A (en) * | 1994-01-18 | 1996-04-23 | Massachusetts Institute Of Technology | Method and apparatus for three-dimensional, textured models from plural video images |
US5640468A (en) * | 1994-04-28 | 1997-06-17 | Hsu; Shin-Yi | Method for identifying objects and features in an image |
US5673377A (en) * | 1994-09-02 | 1997-09-30 | Ray Dream, Inc. | Method and system for displaying a representation of a three-dimensional object with surface features that conform to the surface of the three-dimensional object |
JPH0877356A (ja) * | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
US5790086A (en) * | 1995-01-04 | 1998-08-04 | Visualabs Inc. | 3-D imaging system |
US6384859B1 (en) * | 1995-03-29 | 2002-05-07 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information |
US5798762A (en) * | 1995-05-10 | 1998-08-25 | Cagent Technologies, Inc. | Controlling a real-time rendering engine using a list-based control mechanism |
US5617334A (en) * | 1995-07-21 | 1997-04-01 | The Trustees Of Columbia University In The City Of New York | Multi-viewpoint digital video coder/decoder and method |
US5864342A (en) * | 1995-08-04 | 1999-01-26 | Microsoft Corporation | Method and system for rendering graphical objects to image chunks |
AUPN732395A0 (en) * | 1995-12-22 | 1996-01-25 | Xenotech Research Pty Ltd | Image conversion and encoding techniques |
US5793900A (en) * | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
US5806005A (en) * | 1996-05-10 | 1998-09-08 | Ricoh Company, Ltd. | Wireless image transfer from a digital still video camera to a networked computer |
GB9613039D0 (en) * | 1996-06-21 | 1996-08-28 | Philips Electronics Nv | Image data compression for interactive applications |
JP3679512B2 (ja) * | 1996-07-05 | 2005-08-03 | キヤノン株式会社 | 画像抽出装置および方法 |
US5809139A (en) * | 1996-09-13 | 1998-09-15 | Vivo Software, Inc. | Watermarking method and apparatus for compressed digital video |
US6055330A (en) * | 1996-10-09 | 2000-04-25 | The Trustees Of Columbia University In The City Of New York | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information |
JPH10191020A (ja) * | 1996-12-20 | 1998-07-21 | Canon Inc | 被写体画像切出し方法及び装置 |
US5974175A (en) | 1997-01-22 | 1999-10-26 | Fujitsu Limited | Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom |
JP3008875B2 (ja) * | 1997-02-25 | 2000-02-14 | 日本電気株式会社 | 被写体抽出装置 |
US6031564A (en) * | 1997-07-07 | 2000-02-29 | Reveo, Inc. | Method and apparatus for monoscopic to stereoscopic image conversion |
US6630931B1 (en) * | 1997-09-22 | 2003-10-07 | Intel Corporation | Generation of stereoscopic displays using image approximation |
US6029173A (en) * | 1997-11-26 | 2000-02-22 | Navigation Technologies Corporation | Method and system for representation and use of shape information in geographic databases |
US6504569B1 (en) * | 1998-04-22 | 2003-01-07 | Grass Valley (U.S.), Inc. | 2-D extended image generation from 3-D data extracted from a video sequence |
AUPQ416699A0 (en) * | 1999-11-19 | 1999-12-16 | Dynamic Digital Depth Research Pty Ltd | Depth map compression technique |
-
1998
- 1998-12-03 JP JP2000524763A patent/JP4698831B2/ja not_active Expired - Fee Related
- 1998-12-03 EP EP98960865A patent/EP1044432A4/en not_active Withdrawn
- 1998-12-03 CN CNB988118491A patent/CN1173296C/zh not_active Expired - Fee Related
- 1998-12-03 CA CA002305735A patent/CA2305735C/en not_active Expired - Fee Related
- 1998-12-03 WO PCT/AU1998/001005 patent/WO1999030280A1/en active IP Right Grant
- 1998-12-03 EP EP10173075.2A patent/EP2252071A3/en not_active Withdrawn
- 1998-12-03 KR KR1020007005574A patent/KR100560507B1/ko not_active IP Right Cessation
- 1998-12-03 ID IDW20001305A patent/ID27878A/id unknown
- 1998-12-03 MY MYPI98005481A patent/MY124160A/en unknown
-
2000
- 2000-06-05 US US09/586,869 patent/US7894633B1/en not_active Expired - Fee Related
-
2003
- 2003-08-18 US US10/642,490 patent/US7054478B2/en not_active Expired - Fee Related
- 2003-08-18 US US10/642,300 patent/US7551770B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014050827A1 (ja) * | 2012-09-25 | 2014-04-03 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 |
JP5883153B2 (ja) * | 2012-09-25 | 2016-03-09 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US7054478B2 (en) | 2006-05-30 |
CN1281569A (zh) | 2001-01-24 |
US20040032980A1 (en) | 2004-02-19 |
EP2252071A3 (en) | 2017-04-12 |
CA2305735A1 (en) | 1999-06-17 |
WO1999030280A1 (en) | 1999-06-17 |
CN1173296C (zh) | 2004-10-27 |
MY124160A (en) | 2006-06-30 |
ID27878A (id) | 2001-05-03 |
US7894633B1 (en) | 2011-02-22 |
EP1044432A4 (en) | 2007-02-21 |
EP2252071A2 (en) | 2010-11-17 |
EP1044432A1 (en) | 2000-10-18 |
KR100560507B1 (ko) | 2006-03-15 |
US7551770B2 (en) | 2009-06-23 |
CA2305735C (en) | 2008-01-08 |
US20040032488A1 (en) | 2004-02-19 |
JP2001526477A (ja) | 2001-12-18 |
KR20010032346A (ko) | 2001-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4698831B2 (ja) | 画像変換および符号化技術 | |
US6466205B2 (en) | System and method for creating 3D models from 2D sequential image data | |
US20070296721A1 (en) | Apparatus and Method for Producting Multi-View Contents | |
US20120242790A1 (en) | Rapid workflow system and method for image sequence depth enhancement | |
US20090219383A1 (en) | Image depth augmentation system and method | |
EP0476993A2 (en) | Video effects system | |
US20020191841A1 (en) | Image processing method and apparatus | |
JP2000503177A (ja) | 2次元映像(motion picture)を3次元映像に変換する方法及び装置 | |
US11227428B2 (en) | Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region | |
CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
KR102061152B1 (ko) | 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법 | |
EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
AU2015213286B2 (en) | System and method for minimal iteration workflow for image sequence depth enhancement | |
KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
AU738692B2 (en) | Improved image conversion and encoding techniques | |
US10078905B2 (en) | Processing of digital motion images | |
JPWO2020066008A1 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
MXPA00005355A (en) | Improved image conversion and encoding techniques | |
US20220165020A1 (en) | Apparatus and method of generating an image signal | |
CN116993642A (zh) | 一种建筑工程临建工程全景视频融合方法、系统及介质 | |
CN117616760A (zh) | 图像生成 | |
JPH07191661A (ja) | 画像欠落部分の補完方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080624 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110302 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |