JPH11512580A - 立体イメージの符号化 - Google Patents

Abstract

(57)【要約】 ３Ｄイメージ情報を記憶および／または送信する方法が記載され、その方法は、強い相関付けがされた隣接サブイメージ列を含む、記憶および／または送信されるべきイメージを作成する工程と、サブイメージを電子データとして捕捉する画素スクリーン上にサブイメージを投影する工程と、サブイメージに関連する冗長度を除去することにより電子データを圧縮する工程と、圧縮データを記憶および／または送信する工程と、を備え、その圧縮は、マイクロレンズまたはレンチキュラーアレイを有する光学的観察システムを通じて３Ｄイメージとして観察するため、データを伸張してサブイメージを再度作成するために可逆的である。

Description

【発明の詳細な説明】 立体イメージの符号化 本発明は、３Ｄイメージの記憶および／または送信に関する。 ３Ｄイメージは、様々の手法で作成することができる。それらがどのように作 成されたとしても、３Ｄイメージ中には、対応する２Ｄイメージより実質的に多 くの情報内容が存在する−深さの情報が追加されている。したがって、３Ｄイメ ージの記憶および／または送信には、２Ｄイメージに比べ、記憶スペースまたは 帯域幅がより多く必要となり、カラーイメージは白黒イメージより多くの記憶ス ペースまたは帯域幅を要求する。カラー３Ｄイメージは明らかに非常に要求の厳 しいものであるが、その問題は、データ圧縮技術により、３Ｄテレビに即座の見 込みを与える程度まで驚くべきほどに軽減することができる。 ３Ｄイメージを作成する（および観る）方法−自動立体イメージ、すなわち観 るための眼鏡のような補助具を必要としない−が既知であり、小型の球形または レンチキュラー（すなわちシリンドリカル）レンズのマイクロレンズアレイを備 える光学式イメージングシステムの使用を伴う。そのようなイメージング技術は 、結局のところ、圧縮に特に良好に適合した画像を作成し、本発明はそのような イメージング技術に特に関連を有する。 本発明は、３Ｄイメージ情報を記憶および／または送信する方法を含み、その 方法は、強い相関付けがされた隣接サブイメージ列を含む、記憶および／または 送信されるイメージを作成する工程と、サブイメージを電子データとして捕捉す る画素スクリーン上にサブイメージを投影する工程と、サブイメージに関連する 冗長度を除去することにより電子データを圧縮する工程と、圧縮データを記憶お よび／または送信する工程と、を備え、前記圧縮は、マイクロレンズまたはレン チキュラーのアレイを有する光学的観察システムを通じて３Ｄイメージとして観 察するため、データを伸張してサブイメージを再度作成するために可逆的である 。 そのイメージは、場面とすることができ、小型球形またはシリンドリカルレン ズのマイクロレンズまたはレンチキュラーのアレイを有する光学的イメージング システムを使用して作成することができ、各レンズは該場面を僅かに異なる視点 から撮像する。 しかし、イメージは電子的に作成しまたは一部電子的に作成することができる 。写真イメージは電子的に走査し、電子データとして捕捉することができる。 光学的システムにより作成された小さいサブイメージデータセクタは符号化器 へ連続的に送られ、この符号化器において、差動パルス符号変調（ＤＰＣＭ）符 号化手法により、先に供給されたサブイメージを直前に供給されたサブイメージ から減じ、サブイメージ間の冗長度を除去する。 たとえば離散的コサイン変換（ＤＣＴ）符号化スキームなどの、たとえば２次 元イメージデータの圧縮で通常使用される手法により、サブイメージ自体内で冗 長度を除去することができる。 ３Ｄ−ＤＣＴ符号化スキームをサブイメージグループに直接的に適用すること ができ、第３の変換次元の使用はサブグループ間冗長度を除去し、最初の２つの 変換次元はサブイメージ内冗長度を除去するために使用される。 小さな値を零に設定し、他の全ての零でない値を一組の好ましい値の中の最も 近い値に設定する符号化データに量子化機能を適用することができる。 符号化データを、さらにエントロピー符号化することができる。 上述の符号化スキームは静止画データの圧縮に適している。動く３Ｄイメージ 情報を記憶および／または送信するため、ＤＰＣＭ／３Ｄ−ＤＣＴ符号化スキー ムを使用することができ、ＤＰＣＭはイメージデータを時間領域で相関付けし、 ３Ｄ−ＤＣＴは空間的冗長度を除去する。 動く３Ｄイメージ情報の圧縮のためにハイブリッドＤＰＣＭ／２Ｄ−ＤＣＴス キームを使用することができ、そこでは２Ｄ−ＤＣＴスキームが各サブイメージ 内で相関付けし、それにより冗長度を除去し、また、２つのＤＰＣＭループを使 用し、その一つは空間的センスにおいてサブイメージ間の冗長度を除去し、もう 一つは時間的（フレーム間）冗長度を除去するために使用される。 これら動く３Ｄイメージ圧縮スキームは、動き補償を利用してより大きな全体 的イメージ減少を達成することができる。 本発明による、３Ｄイメージ情報の記憶および／または送信方法を以下に添付 図面を参照して説明する。添付図面において、 図１は、電子的イメージング装置上にイメージを投影する光学的システム、お よびそこからのイメージの表示構成の概略図であり、 図２は、図１の光学的システムにおけるイメージングプロセスの概略図であり 、 図３はレンチキュラー−積分イメージの断面であり、 図４は完全−積分イメージの断面であり、 図５は静止３Ｄイメージデータ圧縮のための第１の符号化スキームの概略図で あり、 図６は静止３Ｄイメージデータ圧縮のための第２の符号化スキームの概略図で あり、 図７は動く３Ｄイメージデータ圧縮のための符号化スキームの概略図であり、 図８は図５ないし７の符号化スキームのための入力構造スキームの概略図であ り、 図９は図５ないし７の符号化スキームで使用される走査戦略の概略図である。 図面は、３Ｄイメージ情報を記憶および／または送信（および、当然に表示ま たは再生）する方法を示す。 図１および２は、記憶および／または送信されるべき場面S の光学的イメージ ングシステム１１を使用したイメージングを示し、そのイメージングシステム１ １は、小型球形またはレンチキュラー（すなわちシリンドリカル）レンズのマイ クロレンズまたはレンチキュラーアレイ１２を備え、それら各レンズは場面Ｓを 僅かに異なる地点からイメージングして強い相関を有するサブイメージ列を作成 する。 光学的イメージングシステム１１は前端光学的構成１３を備え、それは区分さ れた大口径入力レンズ１４と、ミクロテレスコピックアレイ１５（２重積分、自 動視準マイクロレンズアレイ、図２参照）と、区分された出力マクロレンズアレ イ１６と、を有する。 図２に見られるように、入力レンズアレイ１４の各区分は、個々にそのイメー ジをアレイ１５の集束スクリーン１７上に転位する（図２参照）。スクリーン１ ７は２重のマイクロレンズスクリーンを有する。出力レンズアレイ１６の各区分 は、転位イメージを特定面に重畳されるように投影する。また、最初の転位およ び投影は、個々の重畳イメージフィールド間の視差の反転を作り出す。最初の転 位イメージが２重積分マイクロレンズスクリーンに形成されると、それは空間的 に反転された３Ｄ光学モデルとして出力レンズに与えられる。結果として生じる 重畳３Ｄイメージは、各レンズ区分により投影された全ての空間的に反転された 光学モデルの積分から構成され、結果的に視角を通じて視差の連続性が達成され る。 記録されたイメージは平面の２Ｄイメージであり、それは場面Ｓに関する全て の３Ｄ情報を含む。マイクロレンズ符号化スクリーン１２上に投影されるこのイ メージは、コピーレンズ構成１９により大きさが減少し、高解像度ＣＣＤアレイ ２１の如き電子イメージ捕捉装置上に小さくなったイメージを形成する。同一の ことは、マイクロレンズ符号化システムが重ねられた高解像度ＣＣＤアレイ上に 直接的にイメージングすることにより達成できる。 また、図１はイメージ観察構成、すなわち、装置２１により３Ｄイメージとし て捕捉されたイメージを観察するためのフラットパネルディスプレイ２２および プロジェクションディスプレイ２３を示す。フラットパネルディスプレイ２２は 、近接レンズアレイ２５を有する高密度画素スクリーン２４（それは、液晶ディ スプレイパネル、または陰極線管、またはガスプラズマスクリーンとすることが できる）を備え、そのスクリーンは符号化スクリーン１２により生成された符号 化情報を復号化する復号化スクリーンとして動作する。 投影構成２３は、高解像度ビデオスクリーン２６と、スクリーン２６上の符号 化イメージを積分背面復号化スクリーン２８へ投影する投影レンズ構成２７とを 備え、それにより観察者は３Ｄイメージを見る。ビデオスクリーンの代わりに、 光バルブ／ＬＣＤ構成を使用することができる。 図３および４は、図１および２に示すような構成により作成される符号化イメ ージの（拡大された）断面を示す。球形マイクロレンズを使用する積分符号化構 成の代わりに、シリンドリカルレンズを使用するレンチキュラー構成を使用する ことができ、そのレンズは、双眼鏡の視覚における目の水平間隔に対応するよう にそれらの軸が垂直になるように配置される。図３は６４×６４ピクセルのレン チキュラー−積分イメージを示し、図４は各８×８ピクセルの完全−積分イメー ジの６個のサブイメージを示す。 本発明が関連するのは、図３および４に示す、そのような符号化イメージの記 録、送信、記憶、受け取り、検索および表示である。 動く積分３Ｄイメージの送信に必要であると最初に考えられていた最小帯域幅 は４２ＧＨｚであった。実際は、ＨＤＴＶに必要とされるより狭い帯域幅を有す る受信機を使用してフルカラー３Ｄ表示が可能である。積分３Ｄテレビジョン画 像の送信には、約４：１の圧縮比が必要である。４：１より高い圧縮比も使用可 能であり、より高品質の表示（サブイメージ当りの画素が多い）、および送信帯 域幅または記憶スペースのより効率的使用を可能とし、すなわち、いくつかのテ レビ画像チャンネルに同一の放送チャンネルを持たせることを可能とする。 変換およびサブバンド符号化手法の如き、ＨＤＴＶのための従来の圧縮アルゴ リズムは、空間および／または時間相関領域内で相関付け（decorrelate ）する ことにより圧縮を達成する。もちろん、完全に白いスクリーンは完全に相関付け され、より多くまたはより少ない無地のカラーの領域を有する画像は、より少な く、しかしそれでも空間的にかなり十分に相関付けされる。テレビジョン送信の 連続的フレームは通常、アクションの多いシナリオでさえも時間的に非常によく 相関付けられており、普通の２Ｄカラー画像情報の圧縮のための実質的な視野は それら全ての考慮にある。 第３の空間的次元の追加は相当な問題を生じさせるように思われるが、本発明 は、強い相関を有する−図３および４からわかるように−サブイメージ、すなわ ち、図１およびにを参照して説明した光学的システムによって生成されたフルイ メージの部分を処理することにより、その認識済みの問題点を解決する。 本発明は、圧縮データの記憶または送信前にこれらの強い相関を有するサブイ メージ間の冗長度を除去することにより、ＣＣＤアレイ２１（または、他の電子 イメージング装置）により生成される電子データを圧縮することを含む。 さらに本発明に従う圧縮は、図１のシステムＡ、Ｂのいずれかの如き光学的観 察システムを通じて３Ｄイメージとして観察するため、そのデータを伸張してサ ブイメージを再度作成するために可逆的である。 図５および６は、以下に示す２つの異なる相関付け手法を使用する２つの３Ｄ イメージ符号化スキームを示す。すなわち、 ・光学的システムにより作成された小さなサブイメージデータセクタ（図４の ６個のセクタの如き）を符号化器へ連続的に供給し、その符号化器において、先 に符号化されたサブイメージを、最も最近供給されたサブイメージから差動パル ス符号変調（ＤＰＣＭ）手法により減算する。 ・離散的コサイン変換（ＤＣＴ）手法を使用してサブイメージ内冗長度を除去 する。 符号化器および復号化器の両方を示す図５（図６および７もそうである）は、 ハイブリッドＤＰＣＭ／ＤＣＴ符号化スキームを示し、そこではサブイメージが （カラー／輝度値を示す電子データとして）ループ５１へ入力され、そのループ ５１内では先のサブイメージが記憶装置５２に保持されて減算ユニット５３へ送 られる−ＤＰＣＭステップ。その結果として得られる、部分的に相関付けされた サブイメージがＤＣＴ段５４へ送られ、そこでサブイメージ内冗長度が除去され る。 こうしてさらに相関付けされたサブイメージは、それから量子化器５５へ送ら れ、そこで全ての低い値の画素値を零に設定し、他の全てを離散値の小セット中 の最も近い値まで減少させる。それから、量子化データはエントロピー符号化器 ５６へ送られ、そのエントロピー符号化器５６は非零の定数値の発生の統計値を 評価することにより圧縮における更なるゲインを達成し、量子化データをそれら の統計的重みに関して示すことは出力データ量を最小化する方法である。 量子化データは、ループ５１内で、先に量子化された値を復元するための逆量 子化器５７へ送られ、それから、記憶装置５２へ渡されるサブイメージを効率的 に復元するための逆ＤＣＴユニット５８へ送られる。 最終的な符号化サブイメージデータはエントロピー符号化器５６から出力され る。 サブイメージ内相関のためのＤＣＴ符号化器５４は、以下の式を適用し、 ここで、ｆ（ｌ，ｍ）は８×８サブイメージ差から形成される入力データ列であ り、 Ｆ（ｕ，ｖ）は結果として生じる変換定数列であり、 である。 図５に示される復号化器はエントロピー復号化器６１を備え、それは入力符号 化サブイメージを受け取り、それらを逆量子化器６２へ送り、そこから逆ＤＣＴ 段６３へ、および最終的には逆ＤＰＣＭ段のためのサブイメージ記憶装置６５を 有するループ６４へ送り、復元されたサブイメージがループ６４から出力される 。 もちろん、符号化器と復号化器との間には、圧縮データのＵＨＦ送信および／ または記憶、たとえば磁気またはビデオディスク記憶媒体が存在する。 図６は単純にＤＣＴ符号化スキームを示し、それは３Ｄ−ＤＣＴ段６６、量子 化器６７、および圧縮データを出力するエントロピー符号化器６８を有する。復 号化器は、逆の要素、すなわちエントロピー復号化器７１、逆量子化器７２およ び３Ｄ逆ＤＣＴ段７３を有する。 ４個の８×８画素サブイメージについての３Ｄ−ＤＣＴ段は、 である。 第３の変換次元は、サブイメージ間冗長度を考慮し、サブイメージの小グルー プが単一の変換計算において完全に相関付けされるようにする。 図５および６を参照して議論した構成は静止画のデータ圧縮に適している。動 く積分３Ｄ−ＴＶ画像の圧縮のための構成は、２Ｄ ＤＣＴ段５４が３Ｄ ＤＣ Ｔ段に置き換わり、２Ｄ ＩＤＣＴ段５８および６３が３Ｄ ＩＤＣＴ段に置き 換わることを除いて、本質的に図５の構成と同一である。 図７は、動く積分３Ｄイメージのための更なる符号化スキームを示す。 前と同様に、ＤＰＣＭ段７４は減算器７５およびサブイメージ記憶装置７６を 有する。これはＤＰＣＭ相関付けサブイメージをハイブリッドＤＰＣＭ／ＤＣＴ 符号化構成７７へ送り、それはＤＣＴ符号化器７８、量子化器７９およびエント ロピー符号化器８１とともに、逆量子化器８３およびＩＤＣＴ段８４を有するＤ ＰＣＭループ８２、サブイメージ記憶装置８５および、さらに動き補償段８６を 備える。このスキームではＤＰＣＭは時間的およびサブイメージ間領域での相関 付けに使用され、ＤＣＴはサブイメージ内冗長度の相関付けに使用される。 復号化器は、エントロピー復号化器８７、逆量子化器８８およびＩＤＣＴ段８ ９、２個の逆ＤＰＣＭループ９１、９２を有する。 図８は、３Ｄ−ＤＣＴに基づくスキームについて、積分イメージからのサブイ メージのグループの抽出のための戦略を示し、サブイメージＩ、ＩＩ、ＩＩＩ、 ＩＶが次々に抽出され、その順序で（概念的にフレームデータとして）組み立て られて符号化構成へ送られる。隣接サブイメージグループの選択はサブイメージ 間相関を最大化し、相関付けを可能として送信が必要な情報を最小に減少させる 。 図９は、４個の８×８画素の変換され、量子化されたサブイメージについての エントロピー符号化器走査戦略を示す。処理されたサブイメージグループの各面 は、この図の右側に示す走査スキームに従ってｕおよびｖ軸方向に渡って順に走 査される。このジグザグ状の斜め方向の走査は統計的にゼロランレングスを増加 させ、エントロピー符号化による圧縮の促進に繋がる。 記述および図示された手法を使用して、３Ｄカラー動画を通常のＵＨＦ地上Ｔ Ｖ帯域幅内で送信することができ、そのイメージはホログラフィーとは異なり本 当の色であり、３Ｄイメージングは積分であり、広い視野角に渡るフリッピング （flipping）を有しない。 記述されたシステムは、光学的復号化構成無しで、画像が同等の２Ｄ画像と同 一であるが多少焦点が外れているという限りにおいて２Ｄテレビジョン受信機と 互換性を有する。これは、焦点をシャープにするイメージエンハンスメント手法 により補償することができる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，Ｉ Ｌ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ， ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，Ｒ Ｕ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ (72)発明者 アガウン アマー イギリス国 ノッティンガムシャー エヌ ジー９ ２キューキュー ビーストン セ ントラル アヴェニュー 87 (72)発明者 フォーマン マシュー チャールズ イギリス国 グラウセスターシャー ジー エル50 １エックスエー チェルテンハム モントペリアー テラス 71

Claims (1)

1. 【特許請求の範囲】 １．３Ｄイメージ情報を記憶および／または送信する方法において、 強い相関を有する隣接サブイメージ列を含む、記憶および／または送信される べきイメージを作成する工程と、 サブイメージを電子データとして捕捉する画素スクリーン上にサブイメージを 投影する工程と、 サブイメージに関連する冗長度を除去することにより電子データを圧縮する工 程と、 圧縮データを記憶および／または送信する工程と、を備え、 前記圧縮は、マイクロレンズまたはレンチキュラーのアレイを有する光学的観 察システムを通じて３Ｄイメージとして観察するため、前記データを伸張してサ ブイメージを再度作成するために可逆的である方法。 ２．前記イメージは、小型球形またはシリンドリカルレンズのマイクロレンズま たはレンチキュラーのアレイを有する光学的イメージングシステムを使用して作 成された場面であり、各レンズは該場面を僅かに異なる視点から撮像する請求項 １に記載の方法。 ３．前記イメージは、電子的に作成され、または部分的に電子的に作成される請 求項１または２に記載の方法。 ４．写真イメージが電子的に走査され、電子データとして捕捉される請求項１な いし３のいずれかに記載の方法。 ５．サブイメージ間の冗長度が除去される請求項１ないし４のいずれかに記載の 方法。 ６．サブイメージ内の冗長度が除去される請求項１ないし５のいずれかに記載の 方法。 ７．前記光学的システムにより作成された小さいサブイメージデータセクタを符 号化器へ連続的に送り、前記符号化器において、差動パルス符号変調（ＤＰＣＭ ）符号化手法により、先に符号化されたサブイメージを最も最近供給されたサブ イメージから減算する請求項１ないし５のいずれかに記載の方法。 ８．サブイメージ自体内で冗長度が除去される請求項７に記載の方法。 ９．離散的コサイン変換（ＤＣＴ）符号化スキームを使用してサブイメージ内冗 長度を除去する請求項８に記載の方法。 １０．３Ｄ−ＤＣＴ符号化スキームをサブイメージグループに直接適用し、第３ 次元はサブイメージ間冗長度を除去する請求項１ないし９のいずれかに記載の方 法。 １１．符号化データに量子化機能を適用し、小さな値を零に設定し、他の全ての 非零の値を好ましい値のセット中の最も近い値に設定する請求項１ないし１０の いずれかに記載の方法。 １２．符号化データをさらにエントロピー符号化する請求項１ないし１１のいず れかに記載の方法。 １３．動く３Ｄイメージ情報を記憶および／または送信するため、イメージデー タを時間領域で相関付けするＤＰＣＭならびに空間的冗長度を除去する３Ｄ−Ｄ ＣＴを使用する請求項１ないし１２のいずれかに記載の方法。 １４．２Ｄ−ＤＣＴスキームがサブイメージ内空間的冗長度を相関付けし、ＤＰ ＣＭ手法が空間的および時間的領域の両方でサブイメージ間冗長度を相関付けす る請求項１ないし１３のいずれかに記載の方法。