JP3819434B2 - イメージ変換及び符号化技術 - Google Patents
イメージ変換及び符号化技術 Download PDFInfo
- Publication number
- JP3819434B2 JP3819434B2 JP52315197A JP52315197A JP3819434B2 JP 3819434 B2 JP3819434 B2 JP 3819434B2 JP 52315197 A JP52315197 A JP 52315197A JP 52315197 A JP52315197 A JP 52315197A JP 3819434 B2 JP3819434 B2 JP 3819434B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- data
- mesh
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/354—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Processing Or Creating Images (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Description
コンパクトで高性能なビデオプロジェクションシステム、画像処理、デジタルビデオ及び液晶パネルの領域における最近の技術革新は、能動偏光ガラス及び受動偏光ガラスの両方及び単一視聴者用自動立体ディスプレイ及び多視聴者用自動立体ディスプレイの両方を使用した多くの実用的3Dディスプレイシステムを可能にした。
3次元ディスプレイシステムは、好奇心の域を脱し、今や、娯楽、商業及び科学の分野での実用的ディスプレイシステムになりつつある。今や、これらの装置上に3D媒体をディスプレイすることが要求されている。伝統的に、この3D媒体(すなわち、異なる透視方向から見た同一景色の少なくとも2つの別々の視界についてのイメージ情報を含む、作られた媒体)を作るのに2つの方法がある。すなわち、
1)コンピュータによる2つの別々の視界(通常は、リアルタイムでの視界)の創出、及び
2)横方向にずらして配置した2つのカメラを用いたビデオ撮影又はフィルム撮影である。
コンピュータ援用設計(CAD)システム、シミュレータ又はビデオゲーム機器に使用するコンピュータ創成イメージの場合には、異なる透視方向から見た2つの別イメージを作ることは複雑なプロセスではない。
横方向にずらして配置した2つのカメラを用いた映画のフィルム撮影は、多年に亘って良く理解されている。しかしながら、このアプローチには多くの問題がある。フィルム撮影又はビデオ撮影する場合、2Dよりも3Dの方がかなり困難である。なぜならば、景色内の最近目標と最遠目標との許容距離(実用3D目標深度)に制限があり、かつフレーミング問題(例えば、近い目標が一方のカメラにのみ写ってしまい、従って、再生したときに3Dイメージ創成の不正確さが強調されてしまう問題)があるからである。他の問題は、2つのカメラからのイメージ間の待ち時間による偽3D人為結果(false 3D artefacts)を引き起こすことなく、滑らかなパン(pan)を維持することである。
複雑さ、制作及び実施の高コスト、及び家庭用及び商業用マーケットのために製造されているものは依然として非常に少数の3Dディスプレイシステムに過ぎないという事実から、主要な映画又はビデオ制作者が3D媒体を作ることに対する大きな動機が存在しない。しかしながら、慣用的な2Dフィルムを3D態様に再処理できる技術が考えられるならば、最初から直接3Dでフィルム撮影するよりも遥に低いコストで、新フィルムを3Dフォーマットに変換できるだけでなく、2Dフィルム及びビデオの大量の記録集を再処理して、映画及びビデオの両マーケットに再リリースすることもできる。
しかしながら、既存の2Dイメージを3Dイメージとして見ることができるように、既存の2Dイメージを変換できれば好都合である。これを達成する1つの方法は、単一の2Dイメージを、「切り貼り(cut and paste)」技術により左右2つの別々のイメージに変換することである。この技術では、イメージから1つの目標を「切り出し」かつ左方又は右方にずらし、次に元のイメージ上に「貼り付け」て、必要な別々のイメージを作る。しかしながら、この方法では、イメージ内の目標が正式に占拠していた領域にブランク領域が生じてしまう。
従って本発明の目的は、これらの問題の少なくとも1つを解消し又は軽減することにある。
この点に留意し、本発明は、その一態様として、元の2Dイメージから、立体ディスプレイのための左目イメージ及び右目イメージを作る方法において、前記元のイメージの選択領域を、決定された量及び方向だけずらすことにより引き伸ばされたイメージを創成し、この引き伸ばされたイメージが前記左目イメージ及び右目イメージを形成することを特徴とする方法を提供する。
変換された2つのイメージは、観者(viewer)がその左目及び右目で見たとき、「切り貼り」技術で作られるイメージの場合に生じるブランク領域が全くない3Dイメージを形成する。
本願は、2D媒体の3Dフォーマットへの変換に包含される幾つかの重要なアルゴリズムプロセス、及びこの新しい3D媒体の通信及び記憶に適した新しい複号データフォーマットをカバーする。また、本願では、この新しい3Dフォーマットのリアルタイム符号化、伝送及び復号を行なう幾つかのハードウェア機器についても論じる。
本発明の技術の主要な長所は、コストを大幅に節約できること、及び媒体供給の点で優れていることである。フィルム撮影するのに1つのカメラのみを使用すればよい。2Dから3Dへの変換プロセスの性質のため、いかなる場合でも最終の2Dディスプレイプロセスを妨げない3Dの小さなパケットの付加を除き、イメージ媒体を事実上変化させることなくパッケージしかつ伝送することができる。このため、実際に、イメージ品位を低下させることなく、標準2Dテレビジョン上にイメージを2D又は3Dでディスプレイでき(必要ならばシャッタ眼鏡等を使用する)、また3Dテレビジョン又は他のディスプレイに3Dでディスプレイできる。
2Dから3Dへの変換プロセスの最終段階は、受信機でリアルタイムに完了され、従って、3Dイメージをディスプレイするために増大するバンド幅条件はテレビジョンデコーダに限定され、テレビジョン放送業者のチャンネル取扱い能力に悪影響を与えない。
本発明の他の態様によれば、元の2Dイメージを立体ディスプレイのための引き伸ばされたイメージに変換すべく、元の2Dイメージに施すべき変更を記述する方法が提供される。
本発明の他の態様によれば、2Dビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換できるように、2Dイメージのビデオ信号を符号化する方法が提供される。
本発明の更に別の態様によれば、2Dビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換できるように、符号化データを含む2Dイメージのビデオ信号を受けかつ該ビデオ信号から符号化データを抽出する方法が提供される。
本発明の更に別の態様によれば、2Dビデオイメージを符号化データで操作して、立体ディスプレイのための引き伸ばされたイメージを形成する方法が提供される。
本発明の更に別の態様によれば、元の2Dイメージから、立体ディスプレイ用の左目イメージ及び右目イメージを作る方法において、
a)前記元のイメージ内の少なくとも1つの目標を特定し、
b)前記目標又は各目標のアウトラインを定め、
c)前記目標又は各目標の深度特性(depth characteristic)を定め、
d)前記目標又は各目標の選択領域を、これらの目標の深度特性の関数として決定された量だけそれぞれ横方向にずらし、観者の左目及び右目で見るための2つの引き伸ばされたイメージを形成する方法が提供される。
これらのイメージペアは、立体3D効果を無くすため、互いに鏡像関係又は同様な関係に配置することができる。
イメージは複数の目標を有し、各目標には前記それぞれの深度特性を付与できるものでもよい。イメージは個々のベースで変換されるものでもよい。或いは、ビデオ又はフィルムにおけるような一連の関連イメージを変換するものでもよい。
イメージはデジタル化され、かつイメージ上に一時的にメッシュを置くことにより電子的に引き伸ばされ又は変換されるものでもよい。メッシュは、最初は、複数の平行な横方向メッシュラインと、該横方向メッシュラインに対して直角に配置された複数の長手方向メッシュラインとを有している。メッシュのメッシュラインの各交点は、メッシュサブポイントを形成する。イメージは、メッシュを歪ませると下に横たわるイメージが引き伸ばされるように、メッシュと一緒に移動される。イメージを滑らかに引き伸ばすように、メッシュラインは連続状態に維持される。各メッシュサブポイントの元の位置からのずれ(変位)量は、元のイメージについての変換データを与える。サブポイントは横方向にずらすことができる。
メッシュサブポイントのずれは数学的アルゴリズムにより定め、これによりイメージの自動変換を行なうこともできる。この方法は、陰影、かすみ及び運動内挿データを、力パラレックス情報(force paralex information)及び運動パラレックス遅延についての視界遅延(field delay)及び方向を含む変換データに付加して更に高めることができる。
3Dイメージとして見ることができるイメージを伝送するのに、既存のイメージ伝送システムを使用できるようにすることは有効である。本発明は、2Dイメージを形成するビデオ信号を送信するイメージ伝送システムに使用できる。
本発明の他の態様によれば、イメージ内のどの目標を処理すべく選択するか、これらを如何に処理するか、これらの優先度又は他の目標及びこれらの深度特性について記述する変換/引き伸ばしプロセスから、1組の「目標スクリプティング」データを作る方法が提供される。このスクリプティングデータは、元の2Dイメージを再処理すべく後で使用するためコンピュータのメモリに記憶されるか、3Dイメージを再生すべく他の場所(この場所は、同じ2Dイメージを有すると仮定する)に伝送されるものでもよい。
従って本発明の他の態様によれば、2Dビデオイメージを形成するビデオ信号を符号化するためのエンコーダが提供され、該エンコーダは、変換データをビデオ信号に付加して符号化された信号を形成し、変換データは、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換すべく、ビデオイメージの選択されたそれぞれの点のずれを定める。
変換データをビデオ信号に付加することにより、符号化された信号を伝送するのに既存の伝送システムを使用できる。変換データをビデオ信号に付加するのに種々の構成を使用できる。例えば、データは、伝送されるビデオイメージの頂部及び底部においてビデオイメージのブランクライン内、又は各ラインの水平同期時間又は水平オーバースキャン領域内に含めることができる。
本発明は、既存の2Dビデオイメージの変換に限定されるものではない。それどころか、本発明のプロセスは、2Dビデオイメージの創成と同時に変換データを作るのに容易に使用できる。
従って、本発明の他の態様によれば、3D変換データで符号化された2Dビデオイメージを作る方法において、
複数のビデオカメラからビデオイメージを捕捉し、
それぞれの各ビデオカメラからのビデオイメージを比較して前記変換データを作り、該変換データは、立体ディスプレイのための引き伸ばされたイメージへのビデオイメージの変換を行なうためのビデオイメージのそれぞれの点のずれを定め、
前記ビデオカメラの1つからのビデオ信号と変換データとを結合して符号化されたビデオ信号を作る方法が提供される。
本発明の更に別の態様では、3D変換データで符号化された2Dビデオイメージを作る方法において、
ビデオカメラから左目ビデオイメージ及び右目ビデオイメージを捕捉し、
立体ビデオカメラからの左目ビデオイメージ及び右目ビデオイメージを比較して前記変換データを作り、該変換データは、立体ディスプレイのための引き伸ばされたイメージへのビデオイメージの変換を行なうためのビデオイメージのそれぞれの点のずれを定め、
前記ビデオカメラからのビデオ信号と変換データとを結合して符号化されたビデオ信号を作る方法が提供される。
本発明の他の態様によれば、3D変換データで符号化された2Dビデオ信号を作るシステムにおいて、
互いに横方向にずらして配置された少なくとも第1および第2のビデオカメラと、
変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラからデータを受けかつ比較して変換データを作り、該変換データは、一方のビデオカメラからのビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換し、
前記一方のビデオカメラからのビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有するシステムが提供される。
3D変換データで符号化された2Dビデオイメージが単一の観者のためにのみ必要である場合には、各カメラは、観者の左右の目によって見られる景色を表す。
本発明の他の態様では、3D変換データで符号化された2Dビデオイメージを作るシステムにおいて、
立体ビデオカメラと、
変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラからデータを受けかつ比較して変換データを作り、該変換データは、ビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換し、
ビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有するシステムが提供される。
本発明の他の態様によれば、立体ディスプレイを形成するためのビデオ信号を復号するためのデコーダであって、前記信号が2Dビデオイメージを形成し、ビデオイメージを変換するための変換データを更に有し、該変換データが、ビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換する構成のデコーダにおいて、
a)ビデオ信号を受ける手段と、
b)変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号を作るための復号手段とを有するデコーダが提供される。
このデコーダは、
a)ビデオ信号を別々のビデオ信号成分に変換するためのRGBすなわち成分ビデオ変換器と、
b)各ビデオ成分をそれぞれのデジタル信号に変換するためのA/D変換手段と、
c)前記デジタル信号を記憶するためのデジタル記憶手段とを設けることができる。
復号(デコーダ)手段は、デジタル記憶手段の読み出し速度を制御する可変周波数クロック手段を制御し、これにより記憶手段が可変速度で読み出される。これにより、ビデオイメージが、変換データに従って引き伸ばされかつ圧縮される。
或いは、RGBすなわちビデオ成分が可変速度で記憶手段に読み込まれかつ固定速度で記憶手段から読み出されるように構成できる。
デコーダは、単一ビデオラインを処理するか、全視界又はフレームにおけるように多数のラインを処理することができる。この場合、変換データからの全メッシュが、全視界又はフレームについて計算された画素歪み(横方向のずれ)をもって復元される。
記憶手段は、デュアルポートRAMラインストアの形態に構成できる。
視覚手段上で見ることができるように、読み出されたデジタル信号を変換されたビデオ信号に変換するためのD/A変換手段を設けることができる。視覚手段として、テレビジョン又は変換されたビデオイメージを見るための他のスクリーンがある。視覚手段として、更に、変換されたビデオイメージを立体イメージとして見られるようにするため、デコーダにより制御されるシャッタ眼鏡がある。
別の構成として、デコーダには、変換された左側ビデオイメージ及び右側ビデオイメージのデジタル信号をそれぞれ記憶するための並列記憶手段を設けることができる。この場合、視覚手段として、左右のビデオイメージを同時に投影するためのディスプレイユニットがある。
デコーダ手段には、変換データをビデオ信号から分離させるための分離手段を設けることができる。
本発明の他の態様によれば、
a)ビデオイメージを形成するビデオ信号を変換データで符号化するためのエンコーダを有し、変換データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定め、
b)変換データをビデオ信号から分離させかつ変換データの関数としてビデオ信号を変換するためのデコーダとを有する立体イメージディスプレイシステムが提供される。
本発明の更に別の態様によれば、a)2Dビデオイメージを形成するビデオ信号を復号させて立体ディスプレイを形成するためのデコーダと、ビデオイメージを変換するための変換データとを更に有し、変換データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定め、前記デコーダは、ビデオ信号を受ける手段と、変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号を形成する手段とを有している多観者用立体ディスプレイシステムが提供される。
本発明の可能性のある実施形態を示す添付図面を参照して、以下に本発明を説明する。
本発明の他の実施形態も可能であり、従って、添付図面に示す特定実施形態は前述の説明の全部に取って代わるものではないと理解すべきである。
図面において、
第1図は、元のイメージと、3Dイメージすなわち立体イメージを得るための慣用的な左右のイメージとを示す図面である。
第2図は、元のイメージと、切り貼り技術を用いて作られる3Dイメージを得るための左右のイメージとを示す図面である。
第3図は、元のイメージと、本発明による力学的深度合図法により創成されたイメージとを示す図面である。
第4図は、本発明による左右のイメージ及び合成3Dイメージを示す図面である。
第5図は、歪みメッシュにより不連続的に歪まされたイメージを示す図面である。
第6図は、歪みメッシュにより連続的に歪まされたイメージを示す図面である。
第7図は、左側メッシュ及び右側メッシュについてのメッシュ空間ずれデータ(MSD)の例を示す図面である。
第8図は、本発明によるビデオイメージにMSDデータを付加する方法を示すフローチャートである。
第9図は、本発明によるビデオチェインにDDCデコーダを組み込む方法を示すブロック図である。
第10図は、視界連続複合ビデオ出力を与える本発明のDDCデコーダユニットの可能性ある実施形態を示すブロック図である。
第11図は、視界並列複合ビデオ出力を与える本発明のDDCデコーダユニットの可能性ある実施形態を示すブロック図である。
第12図は、本発明によるMSDデコーダの一態様を示すブロック図である。
第13図は、MSDデータを複合ビデオ信号に符号化する方法を示すものである。
第14図は、リアルタイムに創成されるDDC符号化されたビデオイメージを形成する構成を示すブロック図である。
第15図は、リアルタイムに創成されるDDC符号化されたビデオイメージを形成する他の構成を示すブロック図である。
第16図は、多観者用3Dシステムの作動原理を示す図面である。
第17図は、レンズ形レンズを使用する3Dシステムの作動原理を示すブロック図である。
第18図及び第19図は、それぞれ、レンズ形レンズ組立体を使用した多プロジェクタシステムを示す図面である。
第20図は、本発明によるDDCデコーダを組み込んだ多プロジェクタシステムを示す図面である。
2Dすなわち「平面(monoscopic)」ビデオ信号を3Dすなわち「立体(stereoscopic)」ビデオ信号に変換することを可能にする本発明の方法は、以下の説明において力学的深度合図(Dynamic Depth Cueing; DDC)法と呼び、下記の技術を含むがこれらの技術に限定されるものではない。
a)3D創成−2Dイメージを3D立体イメージペアに変換しかつ3D変換データを作る技術及び手順
b)3Dスクリプティング−2Dイメージを3D立体イメージペアに変換するのに2Dイメージに施す必要がある変更を記述する技術。どのオブジェクトが選択されたか、それがどのように処理され、そして3Dデータ記憶手段に供給されるか、を記述する。
c)3Dデータ符号化−情報を規定フォーマットで2Dビデオイメージに付加する技術。この結果得られる修正ビデオは、既存のビデオ記録、ビデオ編集、ビデオ送受信システムと互換性がある。
d)3D規格プロコトル−3D変換データは、規定データフォーマット又は規格プロコトルを用いて2Dビデオに付加される。このプロコトルは、3D変換データを2D伝送に付加する世界的な標準になるであろう。
e)3Dデータ復号化−2Dビデオイメージプラス変換データを受けかつ2Dビデオイメージに付加された情報を抽出して、3D立体イメージペアを合成する技術。
f)3D合成−変換データを用いて2Dビデオイメージを操作し、3D立体イメージペアを合成する技術。
2Dイメージを模擬3Dイメージに変換するには、元のイメージを修正して僅かに異なる2つのイメージを作り、これらの別々のイメージを独立的に左右の目に供与する必要がある。元のイメージへの修正は、像平面(投影スクリーン又はビュースクリーンに位置している)内で目標を横方向にずらし、深度(奥行き)の印象を与えることからなる。
イメージ内の目標が、像平面に関して、観者から一層離れて見えるようにするには、左目へのイメージ内の目標を僅かに左横方向にずらしかつ右目へのイメージ内の目標を僅かに右横方向にずらす必要がある。これは、第1図に示されている。目標が観者に近づいて見えるようにするには、左目へのイメージ内の目標を右横方向にずらしかつ右目へのイメージ内の目標を左横方向にずらす必要がある。像平面に位置させるべき目標は、両目と同じ位置でイメージ内に置かれる。
現実の目標を見る場合には、観者は焦点情報をも使用する。しかしながら、模擬3Dイメージではこの情報は存在せず、横方向のずれが大き過ぎると、特に目標を観者に近づけるためには、目標は2つの別々のイメージに破断されて見え、3D効果は喪失する。
左側イメージ及び右側イメージはコンピュータを用いて作ることができる。イメージは、最初にビデオデジタイザを用いてデジタル化され、得られたデータはメモリに記憶される。次に、新しい2つのイメージが創成される。
必要な横方向ずれをもつ新しい左右のイメージを創成する最も簡単な方法は、イメージから目標を「切り出し」、これを、必要な横方向ずれを与えて「貼り付ける」方法であり、これは切り貼り技術と呼ばれる。これは、最初に、「移動」すべき目標を識別して、この位置を定め、次に、イメージから目標を「切り出し」て、これを横方向に移動させることにより行なわれる。
この簡単な技術の問題は、選択された目標がひとたび移動されると、背景も除去され、背景にブランク領域が生じる(第2図参照)。
本発明によれば、イメージ内の目標は、必要な横方向のずれを与えるべく「引き伸ばされ」、かつ元の背景細部を保有する。この結果生じるイメージの横方向歪みは数学的に平滑化されるため、この効果は、視覚的人為結果(visual artefacts)を殆ど又は全くもたない「実」3Dイメージとして認識される。
イメージのこの引き伸ばし効果をより良く視覚化するため、変換すべきイメージが薄いゴムシート上に印刷されていることを想像されたい。目標に隣接するイメージの表面上の一点を選択し、これを、例えばその元の位置の右方の新しい位置へと引き伸ばす。従って、目標の右方のイメージセクションは圧縮され、かつ目標の左方のイメージセクションは引き伸ばされる(第3図参照)。観者がこれを両目で見ると、観者には目標が歪んで見える。
しかしながら、これと同様であるが反対側に引き伸ばされたイメージが他方の目に供された場合には、観者は歪んだイメージを見るどころか、3D特性をもつ目標を見ることができる。これが第4図に示されている。
イメージ内の目標の「引き伸ばし」は、電子工学的に行なわれる。各ビデオフレームにおける関心目標は、最初に、これらの概略を定めることにより特定される。各目標について、深度又はメッシュ歪み特性(mesh distortion character-istc)も定める。引き伸ばしは、オペレータがイメージを引っ張ることができるようにしかつこの結果生じる3Dイメージの効果をリアルタイムで見ることができるようにすることにより行なわれる。オペレータの熟練及び芸術的手法の介入を用いて、得られるイメージの3Dインパクト及び連続するビデオシーケンスを決定できる。個々のビデオフレームは手作業(すなわち、非リアルタイム)により変換することもできるが、本発明者は、ビデオ「クリップ」を形成する一連の関連フレームを自動的(すなわち、リアルタイム)に変換させることも考えている。オペレータは、変換すべきビデオクリップの開始フレーム及び終了フレームを定める。また、開始フレーム及び終了フレームでの、像平面に対する各目標の相対深度も決定する。ビデオクリップは、クリップの各目標の開始位置及び終了位置を用いて処理され、中間フレームの必要な引き伸ばし又は操作を内挿する。
異なる深度をもつ多数のオーバーラップする目標の場合には、最前方の目標が優先される。これは、元の2Dイメージが単一カメラで撮られたものであり、従って、画素情報が自動的に最前方に優先されているため、本来的なことである。
イメージの「引き伸ばし」は、デジタル化されたイメージを操作することにより電子工学的に行なうことができる。メッシュ(格子)は、歪みの前に、メッシュの各行及び列の座標が(0、0)となるように、歪ませるべきイメージ上に一時的に置かれる。メッシュのx座標は変化され、これにより、歪められる、下に位置するイメージが得られる。メッシュラインの直ぐ下のイメージ領域だけが移動される(これでは、第5図のように不連続になってしまう)のではなく、隣接するメッシュラインも移動され、第6図のような滑らかな歪みを形成される。
歪みメッシュ(distortion mesh)の粗さが、3D効果のインパクトを決定する。メッシュが粗いほど、引き伸ばされる目標に近い方のより多くスプラインされた他の目標がインパクトを受ける。これにより、得られるイメージには低い3Dインパクトが生じる。メッシュが細かいほど、目標のエッジが鋭くなりかつ高い3D効果が得られるが、エッジの不連続性は大きくなる。歪みメッシュのオーダは、説明の目的上、16×16であると想定する。メッシュ上の各サブポイントの情報(すなわち、歪み後の座標位置)が符号化され、背景及び最前方目標のサブポイントが作られる。例えば、16の異なるレベル、4つの背景及び12の最前方目標が得られるサブポイント符号化には、4ビットが使用される。サブポイント符号化のフォーマットは、実験的に決定し、用途に適合するように調節することもできる。
別の構成として、このメッシュ歪みプロセスは、イメージの自動処理を可能にする数字的アルゴリズムにより規定することもできる。
左目のメッシュ歪みがひとたび決定されると、右目の歪みの座標は、行列のスカラー演算に−1を掛けることにより簡単に求められ(すなわち、同量だけ反対側の横方向にずらした場合)、自動的に計算できることに留意されたい。これが第7図に示されている。
歪みメッシュの各交点の相対水平オフセットから形成される行列は、メッシュ空間ずれ(Mesh Spatial Displacement;MSD)データを規定する。
合成3Dイメージを完全に規定しかつ再現する上で必要な全てのことは、元の変更されていない2Dイメージ及びMSDデータを得ることである。かくして、3Dイメージは、2Dイメージ及び関連するMSDデータファイルを考慮することにより、記憶され、伝送され、創成され、編集されかつ操作される。
従って、各ビデオフレーム内のMSDデータを符号化することにより、慣用的な2Dビデオシステムに関して3Dイメージを記憶しかつ伝送することができる。元の2Dビデオイメージが変更なく記憶されかつ伝送されるので、得られるビデオは、既存のビデオ及びテレビジョンシステムとの完全な互換性を有している。既存の2DTV受像機は、通常の画像をディスプレイするであろう。
観者によって感知されずかつ既存のビデオ規格との互換性を有するように、多くの既存の技術を使用してMSDデータを2Dイメージに付加することができる。これらの技術として次のものがあるが、これらに限定されるものではない。
a)「文字多重(Teletext)」データの付加と同様にして、ブラックレベルに設定された画像の頂部及び底部のスペアラインにMSD情報を挿入すること。
b)各イメージの左右の見ることができないオーバースキャン領域における技術。
c)英国放送協会(BBC)の「同期音(sound in sync)」システムのラインに沿う水平同調期間における技術。
将来、デジタルHDTV(高品位TV)の導入により、スペアデジタルデータフレームを、MSDデータの挿入に利用できるであろう。
第8図には、MSDデータを2Dビデオイメージに付加してDDC符号化されたビデオフレームを形成するプロセスが示されている。
MSDデータの量は小さく、1フレーム当たり約100バイトであると見積もられる。これは、必要ならば、ランレングス符号化又は微分符号化等の標準データ圧縮技術を用いることにより更に圧縮して記憶及び伝送することもできる。
データの量(amount of data)が小さいため、必要なデータ速度(data rate)も低い。MSDデータは多数のフレームに亘って迅速には変化しないので、空間及び時間圧縮を用いて必要データを更に減少させることができる。MSDデータとその関連フレームとの間の正確な時間関係は重要でないので、1フレームのずれ誤差は多分許容できるであろう。
この場合も、データが少量であること、データレートが低いこと、及び整合性は厳格でないことから、各フレームにおいて1/4の情報量で、MSDデータを多数(すなわち4つ)のフレームについて送ることができるであろう。
第9図には、DDCデコーダをビデオチェーンに組み込む方法を示すブロック図が示されている。DDCデコーダの入力には、DDC符号化されたビデオ(該ビデオは、地上波、衛星波等の既存のあらゆるビデオソースを介して得ることができる)が供給される。デコーダの1つの出力は、標準TVディスプレイを駆動しかつDDCデコーダにより同期化されたシャッタ眼鏡を着用した観者が3Dイメージを見られるようにする標準ビデオ波形(すなわち、ビデオ変調無線周波数信号)である。
DDCデコーダからは、オーストラリア国特許出願第66718/94に開示されているバーチャルリアリティ(VR)ヘッドセット又は自動立体ディスプレイのような他の3Dディスプレイ装置を駆動するための付加出力を利用できる。
第10図には、DDCデコーダの可能性ある1つの組込み例が示されている。入力ビデオ信号(該信号は、複合フォーマット又はSビデオフォーマットのPAL又はNTSC信号を使用できる)が、複合RGB又はコンポーネントビデオ変換器に供給される。RGB出力すなわちコンポーネントビデオ出力はA/D変換器に供給され、そのデジタル出力はデュアルポートRAMラインストアの入力ポートに供給される。デジタルビデオデータの各ラインは、一定速度でRAMに入る。データは、MSDデコーダの出力により制御される可変周波数クロックにより決定される速度で、ラインストアから読み出される。
ラインデータを可変速度でRAMから読み出す効果により、得られるビデオはMSDデータに従って引き伸ばされ又は圧縮される。
次に、変換されたデータが、D/A変換器及びPAL/NTSCエンコーダに供給される。得られる3D視界連続複合ビデオ信号(3D field sequential composite video signal)は、ディスプレイに供給される(注:このプロセスは、可変速度でラインストアに読み込まれかつ固定速度で読み出されるビデオ信号でも作動できる。入力される複合ビデオ信号は、RGB又はコンポーネントビデオ信号に変換する必要がある。なぜならば、ラインストアからの出力が可変速度で読み出されると、クロミナンス周波数が変化してディスプレイエラーを引き起こす虞れがあるからである)。
DDC復号は、視界又はフレームストアを用いても実施できる。この場合には、MSDデータからの全メッシュは、全視界又はフレームについて計算された画素歪み(横方向のずれ)で復元する。
次に、得られるRGB又はコンポーネントビデオ出力から、3D立体イメージペアがディスプレイされる。
シャッタ眼鏡コントローラは、シャッタ眼鏡にタイミングパルスを供給する赤外光源を形成する。このコントローラは、PAL/NTSCエンコーダと同期される。また、コントローラは、3D符号化されていない景色の場合又は3D符号化に適していない景色の場合にはシャッタ眼鏡が開放状態を維持する指令を与え、これにより、これらのビデオシーケンス部分の場合に優れたイメージ品位が得られるようにする。
第11図は、3D視界複合ビデオ出力を作るDDCデコーダのブロック図を示す。MSDデコーダは、2つの可変速クロック(一方は左側のRAMラインストア用、他方は右側のRAMラインストア用である)を作る。この形式のデコーダは、本件出願人の既存の自動立体3Dディスプレイの視界ストアに置換するのに適している。この技術は、元の2Dビデオソースと同じ視界割合(field rate)の左右のビデオソースを形成する(すなわち、視界連続ビデオ出力(field sequential video output)が作られる。
別の構成として、非視界ビデオ出力(non-field video output)を、2Dイメージより高い解像度の走査速度で出力に作ることができる。
第12図は、MSDデコーダの一態様を示すブロック図である。この場合、MSDデータは、ビデオ信号の最初の16ライン(第13図)の複合ビデオ信号に符号化される。入ってくる複合ビデオ信号は、マイクロプロセッサに垂直タイミング信号及び水平タイミング信号を与える同期分離器に供給される。また、ビデオ(信号)は、黒レベルクランプ回路、比較器及びレベルシフタに供給される。レベルシフタからの出力は、ビデオ信号のライン1〜16の一連の符号化されたMSDデータを保有するTTLレベル信号である。マイクロプロセッサは、水平同期パルスを待機してループしており、ライン1の水平同期パルスを決定した後、次の16バイトを読み取る。MSDデータが完全に読み取られるまで、同様なプロセスが次の15ラインに反復される。受けたMSDデータに基づいて、マイクロプロセッサは、連続する各ビデオラインのデジタルビデオラインストアに可変速クロックを与える。マイクロプロセッサは、ラインの同期パルスをカウントすることによりビデオラインが処理されるインデックスを維持する。
3Dイメージの深度知覚は、観者によって異なる。また、シャッタ眼鏡を着用して3Dイメージを見る場合には、3Dイメージの「強度」は、観察距離で調節する必要がある。3Dイメージの強度は、マイクロプロセッサにより供給されるアルゴリズムを介して3Dイメージの強度を観者が変えることができるリモートコントロール装置で変えることができる。アルゴリズムはMSD行列の各要素の大きさを変えることによって、3D効果の強度を変化させる。特定の観者の好みがひとたび入力されたならば、デコーダユニットによりこの設定を維持させることも考えられる。
DDC符号化されたビデオイメージのリアルタイム創成には多くの技術がある。このような技術のうちの1つの技術では、カメラレンズと、付加された測距用電荷結合素子(CCD)配列との間の距離が変えられる(第14図)。CCDは、各目標の焦点段階が変化されたイメージをもつ一連のフレームを作る。次に、鮮鋭度検出アルゴリズムを一連のフレームに適用し、イメージの各目標についての鮮鋭度インデックスを決定する。次に、どのフレームで各目標が最も鮮鋭であるかを決定する(これは、当該目標が位置する焦点面を示す)。次に、この情報を使用してMSDデータを形成する。
第15図は、2つのビデオカメラを使用して別々の左目イメージ及び右目イメージを創成する他の技術を示す。各カメラからの輝度情報はデジタル化されて、ラインストアに供給される。自動相関器又は同様な作動機器が、2つのラインストア内のビットパターン(左右で16要素)を比較して、ふさわしいペアを探す。イメージ内の目標を表すビデオパターン間の差(距離)を用いてMSDデータを作る。1つのカメラ出力とMSDデータとを結合して、DDC符号化されたビデオをリアルタイムに作る。
別の構成として、2つのビデオカメラの代わりに、立体ビデオカメラを使用することもできる。
DDCを使用して、既存の非アイトラッキング自動立体3D多観者用システムの重大な欠点を解消することができる。これらのシステムは、第16図に示すように、左右のイメージの反復シーケンスを作ることにより3Dイメージを形成する。各連続イメージ間の距離は65mmであり、これは観者の眼間距離に等しい。従って、位置Aに居る観者は正しいシーケンスの3Dイメージを見るであろう。
しかしながら、観者が横方向に32mm移動して位置Bに居るとすると、この場合には、右目で左側イメージを見て、左目で右側イメージを見ることになる(すなわち、観者は「反転3D」イメージを見ることになる)。この反転3Dイメージは、観者に非常な不快感を与え、短時間でも観者に疲労感すなわち頭痛を引き起こす。
殆どの多観者用自動立体イメージシステムはこの欠点を有している。より詳しくは、殆どのシステムは、レンズ形レンズ(lenticular lenses)及び格子形イメージセパレータを用いている。第17図には、レンズ形レンズを使用した多観者用自動立体イメージシステムが示されている。左側プロジェクタからのイメージは第1レンズ形レンズを通って、マットスクリーンの表面上に合焦される。第2レンズ形レンズがこのイメージを再合焦させ、観察距離の位置に光の垂直ストライプを形成する。右側イメージを含む第2プロジェクタも第1レンズ形レンズを照射するが、両プロジェクタ間の横方向のずれのため、観者の平面において得られる右目イメージは左目イメージから65mmずれている。65mm間隔を隔てた左右イメージのこの交互シーケンスが反復される。
正しい位置に居る観者は正しい3Dイメージを見られるが、前述のように観者が不正確な位置に移動すると、反転3Dイメージを見ることになる。
実際に、レンズ形レンズを使用する3Dイメージシステムを見るべく最初に座るとき、観者が正しい3Dイメージを見るか反転3Dイメージを見るかを決定することは困難である。観者は、不快感を覚えるまで、正しくない位置に居ることに気付かない。
また、観者が長時間に亘って正しい観察位置を維持することは困難である。また、観者は、第2レンズ形レンズから正しい距離に居ることも必要である。正しくない距離で見ると、フリンジ効果及びクロストーク効果が生じ易くなるからである。
レンズ形レンズを使用するシステムに付随する他の問題は解像度である。解像度は、全レンズ形レンズの各「レンズ素子」のピッチ(約1mm)により制限される。
左右だけのイメージを投影する代わりに、第18図に示すように、多数(例えば4つ)のプロジェクタを用いたレンズ形レンズを使用するイメージシステムにより、一連のイメージ1、2、3、4(各イメージは65mmの間隔を隔てている)を作ることを考える。元の景色は、同じシーケンス及び間隔を隔てた4つのカメラを用いて記録されている。位置A、B又はDに居る観者は正しい3Dイメージを見るが、位置Cに居る観者は反転3Dイメージを見る。
これは、許容できる3Dイメージを、横方向に3倍の距離で見ることができるため、従前の左右システムに比べ大きな改善である。観者は、従前の左右システムと同様に、不快感を覚えるまで、位置Dが反転3Dイメージを与えることに気付かない。
ここで、プロジェクタ4を「無」イメージ(黒)に置換すると(第19図)、位置A、Bは前と同様であるが、位置Cでは、右目に平面イメージを作りかつ左目に黒色イメージを作り、不快感を覚えることなく見続けることができる。同様に、位置Dも平面イメージを作るが、この場合も反転3D効果は生じない。かくして、本発明者は、50%の観者位置で正しい3Dイメージが作られ、かつ50%の観者位置で僅かに劣っているが不快でないイメージが作られ、反転3D効果を無くすことができるシステムを得た。
プロジェクタの個数を増大させかつ無イメージを設けることにより、正しい3Dイメージが見られる横方向距離を増大できかつ反転3D効果を無くすことができる。
しかしながら、このような多プロジェクタシステムを実施することは実用的でないと考えられる。なぜならば、先ず、プロジェクタの個数が増大すると、各プロジェクタにビデオイメージを与えるのに必要な伝送/記録バンド幅が実用的なものでなくなるからである。
このアプローチの制限は、DDC符号化された2Dイメージを伝送しかつDDCを用いて必要数の投影イメージを合成することにより解決できる。DDCデコーダ内には広いバンド幅が要求されるが、送信機及び/又は記録機器には元の2Dバンド幅が維持される。
第20図には、DDCデコーダ及びレンズ形レンズを使用する多観者用イメージシステムが示されている。
DDC符号化/復号化は、次のように、元のイメージの極左から極右に至る可能イメージ範囲を表すビデオイメージのシーケンスを作ることを可能にする。
〔L、L1、L2・・・R、R1、R〕
要するに、幾つかの用途は次のように説明される。
DDCすなわち力学的深度合図(Dynamic Depth Cueing)は、変換の中間段階にある2Dから3Dへの変換プロセスから得られるデータ形式についての用語である。この段階では、データは、元のビデオ信号と、デジタル又はアナログ形式に符号化されたデータパケットとからなり、変換仕事を完了すべく特定電子ハードウェア及び/又はソフトウェアに命令する必要がある全ては、この付加データである。合成3D情報は、視界連続(すなわち左/右)形ビデオフォーマット、2つの別々のビデオストリーム、ライン・ビー・ラインシステム(a line be line system)(すなわち、左側視界から1ライン、右側視界から1ライン)又は有効な他の何らかのフォーマットの形態にすることができる。
変換データパケットのフォーマットの入念な設計により、標準TV上にディスプレイされたときに付加データに気付かないように、この付加データを含めることができる。かくして、既存のテレビジョン設備を変更することなく3Dテレビジョン送信を行なうことができる。デコーダは、視覚装置(すなわちTV)の近くに配置できかつ本質的に、伝送信号を遮断し、復号しかつTVに出力してこれを見るための「ブラックボックス」である。従って、各TVに「ブラックボックス」を付加することにより、既存の2DペイTV又はTV網構造の改良が簡単化される。
多イメージ形自動立体3Dディスプレイシステム用媒体の供給について説明する。これらのシステムは、僅かに異なる斜視図による多イメージを供給することに基づいている。これらのシステムは、異なる斜視図の個数が大きい(例えば、8〜16)と、非常に多くの観者が見ることができるようになる点で非常に有効である。これらの主な欠点は、同時に利用するための非常に多くの異なる景図を必要とするので、高度なビデオ圧縮技術を用いたとしても、媒体の供給が非常に困難なことである。しかしながら、DDCデコーダを用いて3D媒体を創成するならば、要求された数と同数の個々の斜視図を創成できる。また、通常の2Dイメージと同様、TVやビデオデコーダのような機器を作ることができる。観者は、伝送されたイメージについてのいかなる変化も気付かない。
DDC符号化された標準2Dビデオイメージは、次のような特徴を有する。
・DDC符号化された2Dイメージは、TV及びビデオレコーダのような標準ビデオ機器に、通常の2Dイメージとして受信できる。観者は、伝送されたイメージについてのいかなる変化も気付かない。
・DDC符号化されたイメージは、既存の全てのビデオ、編集、記録、受信及び送信システム及び技術との完全な互換性を有している。従って、DDC符号化された2Dイメージは、既存の全てのビデオ技術及びテレビジョン技術に対して使用できる。
・DDC符号化された2Dビデオは、カラーTV及びステレオサウンドの導入と同様にして市場に投入できる。DDCデコーダを備えたTVセット(観者が適当な視覚眼鏡を用いるもの)又は3DTVセットでは3Dイメージがディスプレイされる。
・DDC符号化は景色間のシームレス遷移が可能であり、これは3D符号化の場合にも有効でありかつ2Dでディスプレイする場合にも有効である。この遷移部は、観者が気付くことはない。
・DDC符号化されたビデオは、既存の全ての3Dディスプレイ機器にディスプレイできかつ多観者用システムとして適している。
・DDC符号化は、元のビデオソースのライン及び視界規格を保有する。
・DDC符号化は、左/右視界連続フォーマットでの3Dビデオイメージを符号化する場合のように、イメージ更新周波数(image update frequency)を低下させることはない。
Claims (6)
- デジタル化された2Dイメージから、立体ディスプレイのための左目イメージ及び右目イメージを作る方法において、
前記デジタル化されたイメージ上にメッシュを形成するステップを有し、
前記メッシュは、最初は、複数の平行な横方向メッシュラインと、複数の平行な長手方向メッシュラインとを備え、前記横方向メッシュラインが前記長手方向メッシュラインに対して直角に配置されかつ複数のサブポイントを形成すべく交差し、そして、
前記サブポイントを移動させることによりメッシュを歪ませ、下に横たわるイメージを引き伸ばすステップを有すること
を特徴とする方法。 - 請求項1に記載の方法であって、
互いに隣接するサブポイント間の前記メッシュラインは、全ての歪みの終時に連続した状態を維持していること
を特徴とする方法。 - 請求項1に記載の方法であって、
前記サブポイントは、横方向にずれてメッシュを歪ませること
を特徴とする方法。 - 請求項1に記載の方法であって、
各サブポイントの歪み量を使用して、元の2Dイメージを立体ディスプレイのための左目イメージ及び右目イメージに変換できるようにするデータを作り、該データは、イメージ内のどの目標を処理すべきであるか、前記目標を如何に処理すべきであるか、他の目標に対する前記目標の優先度、及び前記目標の深度特性を規定すること
を特徴とする方法。 - 請求項4に記載の方法であって、
前記各サブポイントに要求される歪みを定める数学的アルゴリズムを生成すること
を特徴とする方法。 - 請求項4に記載の方法であって、
前記元の2Dイメージ及び変換データは、標準2D技術に沿って伝送できることを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AUPN7323A AUPN732395A0 (en) | 1995-12-22 | 1995-12-22 | Image conversion and encoding techniques |
PCT/AU1996/000820 WO1997024000A1 (en) | 1995-12-22 | 1996-12-20 | Image conversion and encoding techniques |
AU7323 | 1997-06-13 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004326250A Division JP4295711B2 (ja) | 1995-12-22 | 2004-11-10 | イメージ変換及び符号化技術 |
JP2006045128A Division JP4427032B2 (ja) | 1995-12-22 | 2006-02-22 | イメージ変換及び符号化技術 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000502234A JP2000502234A (ja) | 2000-02-22 |
JP2000502234A5 JP2000502234A5 (ja) | 2005-08-11 |
JP3819434B2 true JP3819434B2 (ja) | 2006-09-06 |
Family
ID=3791642
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP52315197A Expired - Lifetime JP3819434B2 (ja) | 1995-12-22 | 1996-12-20 | イメージ変換及び符号化技術 |
JP2004326250A Expired - Lifetime JP4295711B2 (ja) | 1995-12-22 | 2004-11-10 | イメージ変換及び符号化技術 |
JP2006045128A Expired - Lifetime JP4427032B2 (ja) | 1995-12-22 | 2006-02-22 | イメージ変換及び符号化技術 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004326250A Expired - Lifetime JP4295711B2 (ja) | 1995-12-22 | 2004-11-10 | イメージ変換及び符号化技術 |
JP2006045128A Expired - Lifetime JP4427032B2 (ja) | 1995-12-22 | 2006-02-22 | イメージ変換及び符号化技術 |
Country Status (14)
Country | Link |
---|---|
US (2) | US6477267B1 (ja) |
EP (2) | EP1187494B1 (ja) |
JP (3) | JP3819434B2 (ja) |
CN (1) | CN1136737C (ja) |
AT (2) | ATE242950T1 (ja) |
AU (2) | AUPN732395A0 (ja) |
CA (2) | CA2241078C (ja) |
DE (2) | DE69632212T2 (ja) |
DK (1) | DK1187494T3 (ja) |
ES (1) | ES2219473T3 (ja) |
HK (2) | HK1010624A1 (ja) |
MY (1) | MY114040A (ja) |
PT (1) | PT1187494E (ja) |
WO (1) | WO1997024000A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114733A (ja) * | 2010-11-25 | 2012-06-14 | Toshiba Corp | 画像処理装置及び画像処理方法 |
Families Citing this family (136)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8396328B2 (en) | 2001-05-04 | 2013-03-12 | Legend3D, Inc. | Minimal artifact image sequence depth enhancement system and method |
US7907793B1 (en) | 2001-05-04 | 2011-03-15 | Legend Films Inc. | Image sequence depth enhancement system and method |
US6108005A (en) * | 1996-08-30 | 2000-08-22 | Space Corporation | Method for producing a synthesized stereoscopic image |
AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
WO1999030280A1 (en) | 1997-12-05 | 1999-06-17 | Dynamic Digital Depth Research Pty. Ltd. | Improved image conversion and encoding techniques |
US7116324B2 (en) | 1998-05-27 | 2006-10-03 | In-Three, Inc. | Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures |
US6515659B1 (en) | 1998-05-27 | 2003-02-04 | In-Three, Inc. | Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images |
US6208348B1 (en) | 1998-05-27 | 2001-03-27 | In-Three, Inc. | System and method for dimensionalization processing of images in consideration of a pedetermined image projection format |
US7116323B2 (en) | 1998-05-27 | 2006-10-03 | In-Three, Inc. | Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images |
WO2000019265A1 (de) * | 1998-09-30 | 2000-04-06 | Siemens Aktiengesellschaft | Anordnung und verfahren zur stereoskopischen darstellung eines objekts |
US20020051491A1 (en) * | 1998-11-20 | 2002-05-02 | Kiran Challapali | Extraction of foreground information for video conference |
US6363362B1 (en) | 1999-04-07 | 2002-03-26 | Checkfree Services Corporation | Technique for integrating electronic accounting systems with an electronic payment system |
US6807295B1 (en) * | 1999-06-29 | 2004-10-19 | Fuji Photo Film Co., Ltd. | Stereoscopic imaging apparatus and method |
US20030061188A1 (en) * | 1999-12-23 | 2003-03-27 | Linus Wiebe | General information management system |
US7184002B2 (en) * | 2001-03-29 | 2007-02-27 | Stereographics Corporation | Above-and-below stereoscopic format with signifier |
KR20020081661A (ko) * | 2001-04-19 | 2002-10-30 | 주식회사 오픈비주얼 | 네트워크 환경에서 3차원 물체의 시각화와 조작을 위한방법 및 장치 |
US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
CN1650622B (zh) | 2002-03-13 | 2012-09-05 | 图象公司 | 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法 |
CA2380105A1 (en) * | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
JP4954473B2 (ja) * | 2002-07-31 | 2012-06-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | デジタルビデオ信号を符号化する方法及び装置 |
US20040032489A1 (en) * | 2002-08-13 | 2004-02-19 | Tyra Donald Wayne | Method for displaying a visual element of a scene |
US7660356B2 (en) * | 2002-10-02 | 2010-02-09 | Lsi Corporation | Compressed video format with partial picture representation |
JP3970192B2 (ja) * | 2003-02-14 | 2007-09-05 | シャープ株式会社 | 投映画像補正装置及びプロジェクタ装置 |
EP1654884A1 (en) * | 2003-08-05 | 2006-05-10 | Koninklijke Philips Electronics N.V. | Multi-view image generation |
WO2005067319A1 (ja) | 2003-12-25 | 2005-07-21 | Brother Kogyo Kabushiki Kaisha | 画像表示装置および信号処理装置 |
US7660472B2 (en) * | 2004-02-10 | 2010-02-09 | Headplay (Barbados) Inc. | System and method for managing stereoscopic viewing |
US20050207486A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Three dimensional acquisition and visualization system for personal electronic devices |
FR2873214B1 (fr) * | 2004-07-13 | 2008-10-10 | Canon Res Ct France S A S Soc | Procede et dispositif d'obtention d'un signal stereoscopique |
US7542034B2 (en) * | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
US20080259073A1 (en) * | 2004-09-23 | 2008-10-23 | Conversion Works, Inc. | System and method for processing video images |
US20080246836A1 (en) * | 2004-09-23 | 2008-10-09 | Conversion Works, Inc. | System and method for processing video images for camera recreation |
IL166305A0 (en) * | 2005-01-14 | 2006-01-15 | Rafael Armament Dev Authority | Automatic conversion from monoscopic video to stereoscopic video |
KR100813961B1 (ko) * | 2005-06-14 | 2008-03-14 | 삼성전자주식회사 | 영상 수신장치 |
KR100913173B1 (ko) * | 2005-07-05 | 2009-08-19 | 삼성모바일디스플레이주식회사 | 3d 그래픽 처리장치 및 이를 이용한 입체영상 표시장치 |
KR100932977B1 (ko) * | 2005-07-05 | 2009-12-21 | 삼성모바일디스플레이주식회사 | 입체 영상 표시 장치 |
JP4630149B2 (ja) * | 2005-07-26 | 2011-02-09 | シャープ株式会社 | 画像処理装置 |
EP1750460A1 (en) * | 2005-08-05 | 2007-02-07 | Samsung SDI Co., Ltd. | 3D graphics processor and autostereoscopic display device using the same |
CN101322155B (zh) * | 2005-12-02 | 2013-03-27 | 皇家飞利浦电子股份有限公司 | 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备 |
CA2636858C (en) | 2006-01-27 | 2015-11-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
US7760429B2 (en) * | 2006-01-27 | 2010-07-20 | Reald Inc. | Multiple mode display device |
EP1991963B1 (en) * | 2006-02-27 | 2019-07-03 | Koninklijke Philips N.V. | Rendering an output image |
WO2007129259A2 (en) * | 2006-05-05 | 2007-11-15 | Nxp B.V. | Electronic circuit and method therefor |
US7573475B2 (en) * | 2006-06-01 | 2009-08-11 | Industrial Light & Magic | 2D to 3D image conversion |
US7573489B2 (en) * | 2006-06-01 | 2009-08-11 | Industrial Light & Magic | Infilling for 2D to 3D image conversion |
EP2160037A3 (en) | 2006-06-23 | 2010-11-17 | Imax Corporation | Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition |
US8970680B2 (en) * | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
US8655052B2 (en) | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
US20080225045A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion |
US20080226128A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images |
US20080226194A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for treating occlusions in 2-d to 3-d image conversion |
US20080226160A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for filling light in frames during 2-d to 3-d image conversion |
US20080226181A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images |
US20080228449A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for 2-d to 3-d conversion using depth access segments to define an object |
US20080225042A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters |
US20080225040A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | System and method of treating semi-transparent features in the conversion of two-dimensional images to three-dimensional images |
US20080225059A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | System and method for using off-screen mask space to provide enhanced viewing |
US8274530B2 (en) | 2007-03-12 | 2012-09-25 | Conversion Works, Inc. | Systems and methods for filling occluded information for 2-D to 3-D conversion |
US8077964B2 (en) * | 2007-03-19 | 2011-12-13 | Sony Corporation | Two dimensional/three dimensional digital information acquisition and display device |
FR2914437A1 (fr) * | 2007-04-02 | 2008-10-03 | Artistic Images Soc Par Action | Procede de traitement d'image pour la synthese d'image autostereoscopique |
JP2010530702A (ja) * | 2007-06-19 | 2010-09-09 | 韓國電子通信研究院 | ステレオスコピックデータの保存および再生のためのメタデータ構造、およびこれを用いるステレオスコピックコンテンツファイルの保存方法 |
DE102007029787B3 (de) * | 2007-06-27 | 2008-09-11 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Verfahren zum Ermitteln eines Berührungspunkts eines Laserstrahls an einer Kante eines Körpers und Laserbearbeitungsmaschine |
KR101086437B1 (ko) * | 2007-11-23 | 2011-11-25 | 삼성전자주식회사 | 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조 |
CN101453662B (zh) * | 2007-12-03 | 2012-04-04 | 华为技术有限公司 | 立体视频通信终端、系统及方法 |
US7746098B2 (en) * | 2008-03-10 | 2010-06-29 | Qimonda North America Corp. | Termination switching based on data rate |
KR101488199B1 (ko) * | 2008-03-12 | 2015-01-30 | 삼성전자주식회사 | 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체 |
JP4591548B2 (ja) * | 2008-06-04 | 2010-12-01 | ソニー株式会社 | 画像符号化装置及び画像符号化方法 |
JP5083052B2 (ja) * | 2008-06-06 | 2012-11-28 | ソニー株式会社 | 立体視画像生成装置、立体視画像生成方法およびプログラム |
US8490205B2 (en) * | 2008-08-26 | 2013-07-16 | Pitney Bowes Inc. | Method for protecting signatures stored in a database |
US9172940B2 (en) | 2009-02-05 | 2015-10-27 | Bitanimate, Inc. | Two-dimensional video to three-dimensional video conversion based on movement between video frames |
US8395709B2 (en) * | 2009-03-04 | 2013-03-12 | ATI Technology ULC | 3D video processing |
CA2758104C (en) | 2009-04-07 | 2015-04-07 | Lg Electronics Inc. | Broadcast transmitter, broadcast receiver and 3d video data processing method thereof |
KR101719980B1 (ko) * | 2010-06-22 | 2017-03-27 | 엘지전자 주식회사 | 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기 |
KR101044952B1 (ko) * | 2009-07-13 | 2011-06-28 | 삼성전자주식회사 | 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조 |
TW201130289A (en) * | 2009-07-14 | 2011-09-01 | Panasonic Corp | Image reproducing apparatus |
EP2474167A4 (en) * | 2009-09-01 | 2014-12-10 | Prime Focus Vfx Services Ii Inc | SYSTEM AND PROCESS FOR TRANSFORMING TWO-DIMENSIONAL IMAGES TO THREE-DIMENSIONAL IMAGES |
US8659592B2 (en) * | 2009-09-24 | 2014-02-25 | Shenzhen Tcl New Technology Ltd | 2D to 3D video conversion |
US8970669B2 (en) * | 2009-09-30 | 2015-03-03 | Rovi Guides, Inc. | Systems and methods for generating a three-dimensional media guidance application |
US8502862B2 (en) * | 2009-09-30 | 2013-08-06 | Disney Enterprises, Inc. | Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image |
US8947422B2 (en) * | 2009-09-30 | 2015-02-03 | Disney Enterprises, Inc. | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images |
US8884948B2 (en) * | 2009-09-30 | 2014-11-11 | Disney Enterprises, Inc. | Method and system for creating depth and volume in a 2-D planar image |
EP2337327B1 (de) | 2009-12-15 | 2013-11-27 | Deutsche Telekom AG | Verfahren und Einrichtung zur Identifizierung von Sprechern in Bild- und Videonachrichten |
US8884982B2 (en) | 2009-12-15 | 2014-11-11 | Deutsche Telekom Ag | Method and apparatus for identifying speakers and emphasizing selected objects in picture and video messages |
EP2337326B1 (de) | 2009-12-15 | 2014-02-19 | Deutsche Telekom AG | Verfahren und Vorrichtung zur Hervorhebung ausgewählter Objekte in Bild- und Videonachrichten |
US9042636B2 (en) | 2009-12-31 | 2015-05-26 | Disney Enterprises, Inc. | Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers |
US20110157155A1 (en) * | 2009-12-31 | 2011-06-30 | Disney Enterprises, Inc. | Layer management system for choreographing stereoscopic depth |
GB2477793A (en) | 2010-02-15 | 2011-08-17 | Sony Corp | A method of creating a stereoscopic image in a client device |
TW201031179A (en) * | 2010-04-15 | 2010-08-16 | Xiu-Ping Zhou | Image transform method, imaging methods and system for stereo vision |
US9699438B2 (en) | 2010-07-02 | 2017-07-04 | Disney Enterprises, Inc. | 3D graphic insertion for live action stereoscopic video |
US8848038B2 (en) * | 2010-07-09 | 2014-09-30 | Lg Electronics Inc. | Method and device for converting 3D images |
KR101731343B1 (ko) * | 2010-07-14 | 2017-04-28 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US8571314B2 (en) | 2010-09-02 | 2013-10-29 | Samsung Electronics Co., Ltd. | Three-dimensional display system with depth map mechanism and method of operation thereof |
US8933927B2 (en) | 2010-09-02 | 2015-01-13 | Samsung Electronics Co., Ltd. | Display system with image conversion mechanism and method of operation thereof |
US9485497B2 (en) | 2010-09-10 | 2016-11-01 | Reald Inc. | Systems and methods for converting two-dimensional images into three-dimensional images |
US8831273B2 (en) | 2010-09-10 | 2014-09-09 | Reald Inc. | Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files |
WO2012046270A1 (en) * | 2010-10-05 | 2012-04-12 | Empire Technology Development Llc | Generation of depth data based on spatial light pattern |
US8849011B2 (en) * | 2010-10-07 | 2014-09-30 | Himax Media Solutions, Inc. | Video processing system and method thereof for compensating boundary of image |
US9386294B2 (en) | 2011-01-05 | 2016-07-05 | Google Technology Holdings LLC | Method and apparatus for 3DTV image adjustment |
US8730232B2 (en) | 2011-02-01 | 2014-05-20 | Legend3D, Inc. | Director-style based 2D to 3D movie conversion system and method |
JP2012160039A (ja) * | 2011-02-01 | 2012-08-23 | Fujifilm Corp | 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム |
US9113130B2 (en) | 2012-02-06 | 2015-08-18 | Legend3D, Inc. | Multi-stage production pipeline system |
US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
TW201248552A (en) * | 2011-04-13 | 2012-12-01 | Stereo Screen Systems Pty Ltd | Method, system and apparatus for producing three dimensional (3D) imagery |
US8681182B2 (en) | 2011-04-19 | 2014-03-25 | Deluxe 3D Llc | Alternate viewpoint rendering |
TWI482484B (zh) * | 2011-06-17 | 2015-04-21 | Wistron Corp | 立體顯示系統及其方法 |
US8885882B1 (en) | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
KR101859412B1 (ko) * | 2011-09-05 | 2018-05-18 | 삼성전자 주식회사 | 컨텐츠변환장치 및 컨텐츠변환방법 |
KR101675041B1 (ko) | 2011-10-05 | 2016-11-10 | 비트애니메이트 인코포레이티드 | 해상도가 향상된 3d 비디오 렌더링 시스템 및 방법 |
US9414048B2 (en) | 2011-12-09 | 2016-08-09 | Microsoft Technology Licensing, Llc | Automatic 2D-to-stereoscopic video conversion |
KR101953306B1 (ko) | 2012-02-08 | 2019-03-04 | 삼성전자주식회사 | 사용자 인터랙션에 기초하여 3d 영상을 생성하기 위한 방법 및 장치 |
US20140062999A1 (en) * | 2012-09-05 | 2014-03-06 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | Display system and display control method thereof |
KR101917224B1 (ko) * | 2012-09-18 | 2018-11-13 | 엘지이노텍 주식회사 | 영상데이터 전송장치 |
US9007365B2 (en) | 2012-11-27 | 2015-04-14 | Legend3D, Inc. | Line depth augmentation system and method for conversion of 2D images to 3D images |
US9547937B2 (en) | 2012-11-30 | 2017-01-17 | Legend3D, Inc. | Three-dimensional annotation system and method |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
US9123172B2 (en) * | 2013-05-20 | 2015-09-01 | Steven Sebring | Systems and methods for producing visual representations of objects |
US10122992B2 (en) | 2014-05-22 | 2018-11-06 | Disney Enterprises, Inc. | Parallax based monoscopic rendering |
US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
USD812671S1 (en) | 2015-12-03 | 2018-03-13 | Durst Sebring Revolution, Llc | 3D imaging system |
USD782559S1 (en) | 2015-12-03 | 2017-03-28 | Durst Sebring Revolution, Llc | Photo booth |
USD798936S1 (en) | 2015-12-03 | 2017-10-03 | Durst Sebring Revolution, Llc | Photo booth |
USD781948S1 (en) | 2015-12-03 | 2017-03-21 | Durst Sebring Revolution, Llc | Photographic imaging system |
CN105608666A (zh) * | 2015-12-25 | 2016-05-25 | 普瑞福克斯(北京)数字媒体科技有限公司 | 一种二维图形生成三维图像的方法及系统 |
USD822746S1 (en) | 2016-02-05 | 2018-07-10 | Durst Sebring Revolution, Llc | Photo booth |
KR101764531B1 (ko) * | 2016-02-29 | 2017-08-04 | 한경대학교 산학협력단 | 네트워크 기반 다중 카메라 영상 처리 및 데이터 전송 방법 및 그 시스템 |
CN106027541A (zh) * | 2016-06-17 | 2016-10-12 | 北京世纪东方通讯设备有限公司 | 一种用于gsm-r通信系统的语音编解码装置及方法 |
CN108681189B (zh) * | 2018-03-26 | 2024-03-29 | 国网浙江省电力有限公司杭州供电公司 | 一种胶片数字化处理设备及其方法 |
US20190313077A1 (en) * | 2018-04-08 | 2019-10-10 | Vefxi Corporation | Virtual reality environment |
TW202316239A (zh) * | 2021-10-11 | 2023-04-16 | 美商元平台技術有限公司 | 具有應用程式產生的移動向量和深度之圖框外插 |
US11783533B2 (en) | 2021-10-11 | 2023-10-10 | Meta Platforms Technologies, Llc | Frame extrapolation with application generated motion vector and depth |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE233475C (ja) | ||||
NL7410780A (nl) * | 1973-09-07 | 1975-03-11 | Kraftwerk Union Ag | Inrichting voor het bepalen van oppervlaktevari- |
US4414565A (en) | 1979-10-16 | 1983-11-08 | The Secretary Of State For Defence In Her Britannic Majesty's Government Of The United Kingdom Of Great Britain And Northern Ireland | Method and apparatus for producing three dimensional displays |
US4413289A (en) * | 1981-03-13 | 1983-11-01 | Sri International | Digital recording and playback method and apparatus |
US4925294A (en) * | 1986-12-17 | 1990-05-15 | Geshwind David M | Method to convert two dimensional motion pictures for three-dimensional systems |
US4704627A (en) * | 1984-12-17 | 1987-11-03 | Nippon Hoso Kyokai | Stereoscopic television picture transmission system |
DD233475A1 (de) * | 1984-12-28 | 1986-02-26 | Univ Berlin Humboldt | Verfahren und vorrichtung zur 3-d-farbumsetzung |
GB8721565D0 (en) * | 1987-09-14 | 1987-10-21 | Rca Corp | Video signal processing system |
US5760927A (en) * | 1987-10-16 | 1998-06-02 | Canon Kabushiki Kaisha | Color image reproduction apparatus for reproducing retained stored images after elimination of printer trouble |
JPH0568268A (ja) * | 1991-03-04 | 1993-03-19 | Sharp Corp | 立体視画像作成装置および立体視画像作成方法 |
US5173948A (en) * | 1991-03-29 | 1992-12-22 | The Grass Valley Group, Inc. | Video image mapping system |
US5149387A (en) * | 1991-05-06 | 1992-09-22 | Administrator Of The National Aeronautics And Space Administration | Flush mounting of thin film sensors |
JPH0591545A (ja) | 1991-09-30 | 1993-04-09 | Toshiba Corp | 立体画像記録再生システム |
GB2260421A (en) * | 1991-10-09 | 1993-04-14 | Nader Esfahani Rahim | Two dimensional picture giving 3- or 4-D impression |
US5289722A (en) * | 1992-04-27 | 1994-03-01 | Kansas State University Research Foundation | Preassembled, easily mountable strain gage |
JPH0686270A (ja) | 1992-08-31 | 1994-03-25 | Olympus Optical Co Ltd | 3次元画像信号処理装置 |
US5390964A (en) * | 1992-10-01 | 1995-02-21 | Gray, Jr.; Lawrence C. | Labeled pipe fitting and method |
US5327238A (en) * | 1992-11-10 | 1994-07-05 | Chou Wayne W | Method and apparatus for modulating a separated television horizontal sync pulse as a subcarrier of audio information |
AU5899094A (en) * | 1992-12-10 | 1994-07-04 | John M. Dasso | Method and apparatus for generating a three-dimensional effect for two-dimensional images |
US5583656A (en) * | 1992-12-31 | 1996-12-10 | Eastman Kodak Company | Methods and apparatus for attaching compressed look-up table (LUT) representations of N to M-dimensional transforms to image data and for processing image data utilizing the attached compressed LUTs |
DE69329332T2 (de) * | 1993-05-26 | 2001-02-22 | St Microelectronics Srl | Fernsehbilderdekodierarchitektur zur Ausführung eines 40 ms-Prozessalgorithmus in HDTV |
DE69417824D1 (de) | 1993-08-26 | 1999-05-20 | Matsushita Electric Ind Co Ltd | Stereoskopischer Abtastapparat |
WO1995007590A1 (fr) * | 1993-09-06 | 1995-03-16 | Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho | Processeur d'images variant dans le temps et dispositif d'affichage |
JPH09505887A (ja) * | 1993-11-23 | 1997-06-10 | グラマン・エアロスペース・コーポレーション | 疲労損傷または傷つき易い構造の修理用の機材装備付きパツチ |
US5720342A (en) * | 1994-09-12 | 1998-02-24 | Pes, Inc. | Integrated converter for extending the life span of electronic components |
US6414709B1 (en) * | 1994-11-03 | 2002-07-02 | Synthonics Incorporated | Methods and apparatus for zooming during capture and reproduction of 3-dimensional images |
US5505093A (en) * | 1994-11-21 | 1996-04-09 | Brewer Science, Inc. | Homogeneously conductive polymer films as strain gauges |
FR2729266A1 (fr) * | 1995-01-10 | 1996-07-12 | France Telecom | Procede d'interpolation d'images |
WO1996037799A1 (en) * | 1995-05-24 | 1996-11-28 | Malcolm Henry Fletcher | Stereoscopic viewing device |
US5619256A (en) * | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
US5819017A (en) | 1995-08-22 | 1998-10-06 | Silicon Graphics, Inc. | Apparatus and method for selectively storing depth information of a 3-D image |
US6068394A (en) * | 1995-10-12 | 2000-05-30 | Industrial Sensors & Instrument | Method and apparatus for providing dynamic data during drilling |
JP3231618B2 (ja) * | 1996-04-23 | 2001-11-26 | 日本電気株式会社 | 3次元画像符号化復号方式 |
US6108005A (en) * | 1996-08-30 | 2000-08-22 | Space Corporation | Method for producing a synthesized stereoscopic image |
US6031564A (en) | 1997-07-07 | 2000-02-29 | Reveo, Inc. | Method and apparatus for monoscopic to stereoscopic image conversion |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
GB2340520B (en) * | 1998-08-15 | 2000-11-01 | Schlumberger Ltd | Data acquisition apparatus |
CA2252063C (en) | 1998-10-27 | 2009-01-06 | Imax Corporation | System and method for generating stereoscopic image data |
US6679332B2 (en) * | 2000-01-24 | 2004-01-20 | Shell Oil Company | Petroleum well having downhole sensors, communication and power |
US20010029989A1 (en) * | 2000-02-17 | 2001-10-18 | Paz German N. | Pipeline identification and positioning system |
-
1995
- 1995-12-22 AU AUPN7323A patent/AUPN732395A0/en not_active Abandoned
-
1996
- 1996-12-20 MY MYPI96005378A patent/MY114040A/en unknown
- 1996-12-20 EP EP01127686A patent/EP1187494B1/en not_active Expired - Lifetime
- 1996-12-20 JP JP52315197A patent/JP3819434B2/ja not_active Expired - Lifetime
- 1996-12-20 DK DK01127686T patent/DK1187494T3/da active
- 1996-12-20 AU AU10884/97A patent/AU714759B2/en not_active Expired
- 1996-12-20 DE DE69632212T patent/DE69632212T2/de not_active Expired - Lifetime
- 1996-12-20 AT AT96941530T patent/ATE242950T1/de not_active IP Right Cessation
- 1996-12-20 EP EP96941530A patent/EP0868818B1/en not_active Expired - Lifetime
- 1996-12-20 AT AT01127686T patent/ATE264527T1/de active
- 1996-12-20 CN CNB961800941A patent/CN1136737C/zh not_active Expired - Lifetime
- 1996-12-20 DE DE69628662T patent/DE69628662T2/de not_active Expired - Lifetime
- 1996-12-20 CA CA002241078A patent/CA2241078C/en not_active Expired - Lifetime
- 1996-12-20 WO PCT/AU1996/000820 patent/WO1997024000A1/en active Search and Examination
- 1996-12-20 CA CA002435044A patent/CA2435044C/en not_active Expired - Lifetime
- 1996-12-20 ES ES01127686T patent/ES2219473T3/es not_active Expired - Lifetime
- 1996-12-20 PT PT01127686T patent/PT1187494E/pt unknown
-
1998
- 1998-06-22 US US09/102,247 patent/US6477267B1/en not_active Expired - Lifetime
- 1998-10-30 HK HK98111644A patent/HK1010624A1/xx not_active IP Right Cessation
- 1998-10-30 HK HK02102097.6A patent/HK1040864B/zh not_active IP Right Cessation
-
2002
- 2002-09-12 US US10/241,475 patent/US7999844B2/en not_active Expired - Fee Related
-
2004
- 2004-11-10 JP JP2004326250A patent/JP4295711B2/ja not_active Expired - Lifetime
-
2006
- 2006-02-22 JP JP2006045128A patent/JP4427032B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114733A (ja) * | 2010-11-25 | 2012-06-14 | Toshiba Corp | 画像処理装置及び画像処理方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3819434B2 (ja) | イメージ変換及び符号化技術 | |
US6108005A (en) | Method for producing a synthesized stereoscopic image | |
US6496598B1 (en) | Image processing method and apparatus | |
JP3978392B2 (ja) | 立体映像信号生成回路及び立体映像表示装置 | |
JP5663617B2 (ja) | 立体画像シーケンス符号化方法および復号化方法 | |
JP4174001B2 (ja) | 立体画像表示装置、記録方法、及び伝送方法 | |
US20120050502A1 (en) | Image-processing method for a display device which outputs three-dimensional content, and display device adopting the method | |
WO2004049734A1 (ja) | 立体映像信号生成回路及び立体映像表示装置 | |
JPH11164328A (ja) | 立体映像表示装置 | |
US4994898A (en) | Color television system for processing signals from a television camera to produce a stereoscopic effect | |
KR100496513B1 (ko) | 영상변환방법및영상변환시스템과,부호화방법및부호화시스템 | |
KR101114572B1 (ko) | 스테레오스코픽 영상 신호의 2차원 영상 신호로의 변환방법 및 변환 장치 | |
KR101433082B1 (ko) | 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법 | |
WO1995013564A1 (en) | Method and apparatus for visualizing two-dimensional motion picture images in three dimensions | |
JPH07298311A (ja) | 立体映像表示装置 | |
JP2951195B2 (ja) | 2次元映像から3次元映像を生成する方法 | |
JPH0211093A (ja) | 立体映像表示方法 | |
AU8964598A (en) | Image processing method and apparatus | |
JP2007235398A (ja) | 立体映像の映像データ構成方法、映像データ構成装置及び立体視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041110 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20050107 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050208 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20050308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050621 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050808 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060615 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140623 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |