JPH11513162A - コンピュータグラフィック画像用フォーカス／デフォーカス効果の後処理発生 - Google Patents

Abstract

(57)【要約】 ３次元物体のコンピュータ発生画像(10)を後処理して画素画像として表示する方法及び装置を開示している。各画像フレームに対し焦点深度がユーザにより、又はシステム内から指定される。画素を隣接画素の互いに重複しないブロック(12)にグループ化し、各ブロックに対し単一のデプス値を予め指定するか実行時に計算する。次に各ブロックを画像から抽出し、ブロック内の画素を共通のフィルタ係数セットを用いてコンボリュウションフィルタ処理する。フルフィルタカーネルを形成し得ない区域(18)をパディング処理により埋めることができる。この技術はＭＰＥＧ符号化画像ストリームに対し特に好適であり、この場合には既存のＭＰＥＧマクロブロック仕様を有利に利用することができる。

Description

【発明の詳細な説明】 コンピュータグラフィック画像用フォーカス／デフォーカス効果 の後処理発生 本発明は、コンピュータ発生画像を変更する方法及び装置、特にフォーカシン グ／デフォーカシング（即ちぼけ）効果を選択的に付与して２次元表示に３次元 画像の見かけの深さを与える方法及び装置に関するものである。 合成式に発生されるコンピュータグラフィック画像は一様に鮮明である、即ち 画像のすべての部分が合焦であるという欠陥をこうむるが、フォーカス／デフォ ーカス効果のシミュレーションは計算能力の点及びメモリ容量の点で費用がかか る場合が多い。デフォーカス効果を与える技術の一例は、M.Potmesil,I.Chakrav arty著、"Synthtic Image Generation with a Lenz and aperture Model"，ACM Transaction on Graphics，Vol.1，No.2，April 1982，pp.85-108 に記載されて いる。しかしPotmesilの技術は計算に費用がかかり、リアルタイムシステムに実 現し得ない。 僅かに簡単な他の技術がJ-F Colonna 著、"Two 2D Postprocessing Tools and their Applications to Improvement of 3D Pictures"，The Visual Computer( 1994)，pp.239-242 に記載されている。Colonna は、汎用乗算テーブルに基づく 可変長コンボリューションフィルタを用いて、焦点深度からのｚ軸に沿う（前景 方向又は背景方向への）距離の増大につれてフィルタ長の変化を増大させること により画像に深さ又は奥行きの印象を与える後処理ツールを記載している。Colo nna のフィルタ配置における特徴の共有性により生ずる相対的な簡単化にもかか わらず、この技術は各画素ごとにそのデプス値（深さ又は奥行き）に対し適切な フィルタを選択する所要の処理ステップにより依然として低速である。 Colnnaのようなシステムでは、鋭く後退する表面及び深さの不連続部において 他の問題が生じ、これらの問題は本出願人の国際特許出願ＷＯ９６／１４６２１ に記載されており、この特許出願には、３次元物体のコンピュータ発生画像を後 処理して各画素に対する各別のデプス値及び各画像フレームに対し指定された焦 点深度を有する画素の列として表示する方法及び装置が提案されている。各画素 は該画素の回りの他の画素からの寄与及び画素デプス値及び焦点深度により決ま るフィルタ係数を用いてフィルタ処理する。これらのフィルタ寄与は、各寄与画 素ごとに、寄与画素デプス値、画素デプス値及び焦点深度を適切に関連させる禁 止関数により決まる量だけ選択的に禁止される。 この技術は、Potmesil及びColonna のようなシステムにより必要とされるプロ セッサ電力より低い電力で、良好な品質のフォーカス／デフォーカス効果を得る ことができるが、もっと高速度（リアルタイム）実施が可能なもっと簡単な技術 が必要とされている。 従って、本発明の目的は、リアルタイム実施が可能な計算に費用がかからない 技術を提供することにある。 本発明の他の目的は、ブロック単位符号化画像(例えばＪＰＥＧ及びＭＰＥＧ) に適用するのが好適なこのような技術を提供することにある。 本発明は、３次元物体のコンピュータ発生画像を後処理して、各画像フレーム に対し指定された焦点深度を有する画素列として表示するにあたり、各画素を該 画素の回りの他の画素からの寄与及び焦点深度により部分的に決定されるフィル タ係数を用いてフィルタ処理する方法において、画素を隣接する画素のブロック にグループ化し、各ブロックごとに単一のデプス値を指定し、ブロックのすべて の画素をブロックデプス値により付加的に決定した同一のフィルタ係数でフィル タ処理することを特徴とする。 ブロック単位処理により、フィルタ決定及びデプス比較の双方がブロックの大 きさの分だけ減少するため、この技術はリアルタイムに実施することができる。 尚、関心のある深さの区域以外の区域に対するデフォーカスフィルタリングは完 全に正確ではないが、観察者の注意は通常このような区域に向けられず焦点のあ った特徴部に向けられるのでこれは問題にならない。この技術は画素単位計算（ 例えばＷＯ９６／１４６２１）前の予備ステップとして適用することもできる。 実際上、この技術は初期の”粗”ぼけ高速付与に使用することができる。 本発明方法はその全体を後処理に適用することができ、画像がＭＰＥＧストリ ームとして符号化され、隣接画素のブロックがＭＰＥＧマクロブロックである場 合に特に有利である。これは、各マクロブロックに対するデプス値を予め計算し 、ＭＰＥＧストリームに符号化すると更に有利である。 各別のデプス値がブロックの各画素ごとに指定される場合には、ブロックに対 するデプス値を個々の画素の深度値の加重平均値として導出することができ、ま た個々の画素のデプス値の多数決選択により又は後述する他の技術により導出す ることができる。 ブロックのほぼすべての画素を、ブロックの他の画素からの寄与を有するフィ ルタカーネルを用いてコンボリュションフィルタ処理するのが好ましい。フィル タ処理がブロックの総合サイズを減少するように作用する場合には、後述する種 々の技術によりパディングを発生させて、ブロックのエッジからカーネルの幅の 半分より小さいブロックの画素に対しフィルタカーネル寄与を発生させることが できる。このようにすると、フィルタ処理されたブロックをフィルタ処理されな いものと同一のサイズに維持することができる。 本発明は、更に、上述した後処理方法を実行する画像処理装置を提供する。こ の装置は、関連するデプス値を有する複数の画素値を受信し格納するバッファメ モリと、バッファ画像からブロック画素値及びデプス値を識別し抽出し、ブロッ クデプス値及び予め決められた焦点深度値に基づいてフィルタ処理を行うように 構成されたフィルタとを具える。 この装置は、更に、バッファからブロックの各画素に対し個々に指定された画 素デプス値を抽出し、個々の画素値から単一のブロックデプス値を導出する計算 手段を具えることができる。前記フィルタはコンボリューションフィルタとする ことができ、前記バッファメモリにフィルタカーネルをカバーするに十分な画素 値を格納することができる。焦点深度は制御可能に可変にすることができ、装置 は、焦点深度値をコンボリューションフィルタに供給するユーザ操作入力手段を 更に具えることができる。 以下に図面を参照して本発明の好適実施例を一例として説明する。図面におい て、 図１は本発明の実施における画像ブロックの抽出、処理及びパッチングを図式 的に示し、 図２は焦点深度に対し付与されるぼけの程度の変化を示す第１のグラフであり 、 図３は被写体深度に対し付与されるぼけの程度の変化を示す第２のグラフであ り、 図４は本発明を実施する計算及びコンボリューションフィルタリング段に対す るバッファメモリの配置を示す。 図１から説明する。以下の記載は、画像１０が伝統的なＺバッファ技術（例え ば”Computer Graphics: Principles and Practice”、Foley，van Dam，Feiner 及びHughes著、第２版(1990)、Addison-Wesley発行、ISBN 0-201-12110-7、pp.6 68-672、に記載されている）で示されたものであるものとする。このような技術 は当業者が精通しており、本発明の説明のためには、画像１０の個々の画素の色 を表す一組のＲＧＢ値が与えられ、且つ各画素ごとにこの画素のデプス値（深さ 又は奥行き）を表す値Ｚ_pが与えられているものとみなして十分である。 図１に図式的に示すように、プロセスは画像１０を図１Ａに示すように一連の ブロック１２に分割することにより始まる。後述するように、小サイズのブロッ クに対する精度の向上と小ブロックに対し必要とされる処理の増大との兼ね合い をとる必要があるが、１０×１０画素平方程度のブロックサイズが許容しうる結 果をもたらすことが確かめられた。特に画像データソースが１６画素平方のブロ ック（マクロブロックと称されている）に規定されたＭＰＥＧ１の画像ストリー ムであるとき、又は１６×８画素マクロブロックを有するＭＰＥＧ２ストリーム であるときに有利である。既に規定されたこれらのマクロブロックの場合には、 ぼけを実現する後処理システムにより実行すべき仕事量が減少する。この仕事は 、ＭＰＥＧストリームが更にブロック単位デプス値を含む場合に更に減少し、処 理速度を増大させることができる。ブロック単位デプス値は以下に記載するいく つかの可能な技術の一つにより導出することができる。 次に、図１Ｂに示すように、画像の各ブロック１２を処理のために画像から抽 出する。抽出した画素ブロックを明瞭のためにのみ拡大して示す。抽出したブロ ックの画素をフィルタカーネル（核）１４としてサブグループ化してフィルタ処 理する。各カーネルはその中心に原点を有する。上述の１０×１０画素ブロック に対しては、９画素（３×３）のカーネルが品質及び速度に関し許容しうる結果 を発生することが確かめられた。フィルタ処理の特定の例は付与すべきぼけの程 度及びタイプに依存する。 フォーカス／デフォーカスの見かけを与える適切な技術はブロック内の各画素 にコンボリューションフィルタを適用するものであるが、後述するようにブロッ クのエッジに近い画素に対し特別な技術が必要とされる。コンボリューションフ ィルタリングの一般的技術の説明は上述したFoley のテキストブックの628-634 頁に記載されている。このフィルタは、各ブロックごとに、画像に対する所定の 焦点深度Ｚ_Fに近いデプスを有する画像のブロック内の画素の位置ではフィルタ が殆ど又は全く作用しないように選択する。ブロックのデプスが焦点深度からは ずれるにつれて、フィルタは図２に示すように画像を一層強くぼけさせる必要が ある。これは、各画素のＲＧＢ値に可変長（ｘ及びｙ方向）のぼけフィルタを適 用することに相当する。フィルタの長さは各ブロックごとに関心のある物体のデ プスの近似値と焦点深度値との比較に基づいて適応させる。 ブロックごとのデプス値Ｚ_Bの選択はブロック内の画素のそれぞれのデプス値 Ｚ_pに基づいて幾つかの方法で行うことができる。速度が重要である場合には、 ブロックデプス値として最大値又は最小値、又は両者の中央値を取る簡単な技術 を用いる。もっと長い時間及び／又は大きな処理能力を使用できる場合、特に（ 上述したように）ＭＰＥＧストリーム挿入用にデプス値を予め計算する場合には 、多数決選択（ブロック内の最大の数の画素が共通に有するデプス値）により、 又はブロック内の種々のデプス値の平均化により一層正確な値を得ることができ る。後者の技術は、その値の発生回数で平均化した値又はそれから導出した指数 の重み付けを含むのが好ましい。縮小画像（ブロックサイズのファクタで縮小さ れた）を発生する場合には他の技術を使用し、縮小画像の画素単位デプス値を取 り、それらの値をフルサイズ画像の対応するブロックに与えることができる。 図１に戻り説明すると、ステップＢにおけるフィルタリングの性質のために、 フィルタリングはブロックのエッジからカーネルサイズの半分以上の距離に位置 するブロック内の画素（図１Ｃにハッチングしてない区域１６で示す）に直接適 用しうるのみである。これはブロックのエッジの画素に対し周囲の画素がフルカ ーネルを形成するには不十分であるためである。 フィルタ処理したブロックを画像内に戻したとき、収縮又は隙間の発生を避け るために、フィルタリング中にパッディング処理を適用して画素区域１８（図１ のハッチングした区域）を充填してブロックをもとのサイズに戻すことができる 。ページ（スクリーン）エッジの慣例のフィルタカーネルに対し使用され、フル フィルタカーネルが得られないときに使用する画素値を発生するいくつかのパッ ディング技術が既知であり、これらの技術は区域１８を充填するのに使用するこ とができる。これらの技術には、画素エッジ値を反復させるもの、又はブロック の反対エッジから値を”巻き付ける”こにより正しい一般順序の十分な値を与え て境界区域内の画素に中心が位置するフィルタカーネルを構成するものがある。 また、抽出ステップでオーバラップブロックを抽出することができる（例えば１ ２×１２のオーバラップブロックを抽出して１０×１０フィルタ処理ブロックを 与えることができる）が、パッディングが依然として画像エッジのブロックに対 し必要とされる。どの技術を選択しても、その主目的は画質よりも実行速度の高 速化／容易化にあるので、高速実行が可能になる。これは特に最大のぼけが指定 された区域に対してそうであり、ぼけを付与する主目的が、観察者の注意をぼけ 付与区域からそらし、画像の合焦区域にむけることにあるためである。 プロセスの最終ステップにおいて、図１Ｄに示すように、フィルタ処理した（ 及びパッディング処理した）ブロックをもとの画像に戻し、又は必要に応じ、他 のメモリの適切な位置に戻し、次にフィルタ処理のために次のブロックを抽出す る。 焦点Ｆ（観察者が注視する画像内の場所のデプス値Ｚ_Fに実効的に相当する） が指定された場合、フォーカス／デフォーカスの見かけを与えるために、焦点深 度に近いデプスを有する画像内の画素ブロックに対し画像を鮮明にする必要があ るが、画素のデプスが焦点深度からはずれるにつれて（観察者の位置に接近して もしなくてもよい）、画像は図２に示すように一層ぼけたものにする必要がある 。図２において直線トレース２０及び２０’は次の方程式： Ｂ＝（Ｚ_F−Ｚ_B／Ｚ_F）Ｂ_MAX に従う。 トレース２２により示されるような非線形ぼけ生成プロファイルをコンボリュ ーションフィルタリングステージにより導出して、例えば一層広い”インフォー カス”デプス範囲を与えるとともに距離の増大につれて一層鋭く増大するぼけレ ベルを与えることもできること明らかである。 焦点Ｆからの所定の偏差に対するぼけの程度は、更に、図３に示すように、他 の値、被写体深度Ｄにより決定することもできる。被写体深度Ｄは許容最大Ｚ値 及び最小Ｚ値間の差であり、ぼけの程度の増大は小さいＤに対し大きくするのが 好ましい。図に示すように、指定された最大程度のぼけＢ_MAXに対し、ぼけは被 写体深度Ｄが大きいとき（Ｄ₂＝Ｚ_MAX2−Ｚ_MIN2）より小さいとき（Ｄ₁＝Ｚ_MAX1 −Ｚ_MIN1）の方がデプスの変化に対し急速に増大する。 ぼけ生成アルゴリズムを実現するのに必要な処理は後処理技術として適用され 、即ち発生された完全な画像に適用される。この処理は、例えば画像が表示バッ ファからスクリーンに読み出され、これと同期して画像のデプス値もＺバッファ メモリから読み出されるとき、実行することができる。用途に応じて、Ｚバッフ ァメモリは、このようなシステムの表示バッファがそうであるように、ダブルバ ッファにして、次のフレームの発生中に、Ｚ値を表示フレームに対し使用可能な ままにする必要がある。 或いは又、”スクリーン−スペース”型メカニズムを使用し、最終画像を一時 に１ライン（又はブロックライン）づつの画像にする。この場合には初期画像バ ッファ要件（及び従ってＺバッファ要件）が３×３カーネルを有する１０×１０ ブロックベーススクリーンに対し１２画素ライン以下に減少する。 図４は、ダブルフレームバッファ３０、ダブルＺバッファ３２及び計算及びコ ンボリューションフィルタリング段３４の配置を示し、これらのバッファがイメ ージソース３６からのそれぞれの出力を受信し、変更された出力画素値ＲＧＢ’ のストリームがフレームバッファ３０からディスプレイ（図示せず）に読み出さ れる。フレームバッファ及びＺバッファはほぼ等しい容量を有し、例えば３８４ ×２５６画素スクリーンに対しては、１画素（ＲＧＢ）につき３バイトとして、 ２つのフルフレームを格納するのに約６０ｋバイトが必要とされる。各Ｚ値に割 り当てられる対応する３バイト（２４ビット）はかなり細かいデプス分解能に対 し十分である。計算及びコンボリューションフィルタリング段３４に、焦点Ｆ（ 又は焦点深度Ｚ_F）用の他の入力端子３８を設けるとともに、上述した被写体深 度Ｄ用の他のオプショナル入力端子４０を設けることができる。Ｚ_F及び／又は Ｄの値はシステムにより決定することができ、又はこれらの入力の一方又は両方 はユーザが入力することもでき、この場合には入力端子３８及び４０をキーボー ドのようなユーザ入力装置からの信号を受信するように接続する。 以上の説明から明らかなように、本発明はコンピュータ発生グラフィック画像 にフォーカス／デフォーカス効果を与える比較的簡単で計算に費用がかからない （安価にハードウエア実現しうる）技術を提供するものである。後処理技術であ るから、グラフィック発生器を変更する必要がなく、本発明はこのような発生器 に、出力段として組み込むことができる。 本発明の以上の説明を読めば、多くの変更が当業者により考えられる。これら の変更は、グラフィック操作及び処理装置及びその構成部品の分野において既知 の特徴であって本発明の上述した特徴の代わりに、又はこれらの特徴に加えて使 用しうる他の特徴を含むことができる。また、請求の範囲は形式的に特定の特徴 の組合せとして記載しているが、本発明の範囲はここに明示した又は明示してな い新規な特徴又は新規な組み合わせも、本発明が解決すべき技術的問題のどれか 又はすべてを緩和するかしないかと関係なく、含むものと理解されたい。出願人 は本願の手続き中にこのような特徴又はこのような特徴の組合せをクレームする かもしれず、またこれから他の出願をするかもしれない点に注意されたい。

Claims (1)

1. 【特許請求の範囲】 １．３次元物体のコンピュータ発生画像を後処理して、各画像フレームに対し指 定された焦点深度を有する画素列として表示するにあたり、各画素を該画素の回 りの他の画素からの寄与及び焦点深度により部分的に決定されるフィルタ係数を 用いてフィルタ処理する方法において、画素を隣接する画素のブロックにグルー プ化し、各ブロックごとに単一のデプス値を指定し、ブロックのすべての画素を 該ブロックデプス値により付加的に決定した同一のフィルタ係数でフィルタ処理 することを特徴とするコンピュータ発生画像の後処理方法。 ２．画像がＭＰＥＧストリームとして符号化され、隣接画素のブロックがＭＰＥ Ｇマクロブロックであることを特徴とする請求項１記載の方法。 ３．各マクロブロックに対するデプス値を予め計算し、ＭＰＥＧストリームに符 号化することを特徴とする請求項２記載の方法。 ４．ブロックの各画素に対し各別のデプス値が指定され、ブロックに対するデプ ス値を個々の画素のデプス値の加重平均値として導出することを特徴とする請求 項１〜３の何れかに記載の方法。 ５．ブロックの各画素に対し各別のデプス値が指定され、ブロックに対するデプ ス値を個々の画素のデプス値の多数決により導出することを特徴とする請求項１ 〜３の何れかに記載の方法。 ６．ブロックのほぼすべての画素を、ブロックの他の画素からの寄与を有するフ ィルタカーネルを用いてコンボリュションフィルタ処理することを特徴とする請 求項１記載の方法。 ７．ブロックのエッジからカーネル幅の半分より小さいブロックの画素に対しフ ィルタカーネル寄与を発生させるパディングステップを更に具えることを特徴と する請求項６記載の方法。 ８．請求項１記載の方法を実施する画像処理装置であって、関連するデプス値を 有する複数の画素値を受信し格納するバッファメモリと、バッファから画像ブロ ック画素値及びデプス値を識別し抽出し、ブロックデプス値及び予め決められた 焦点深度値に基づいてフィルタ処理を行うように構成されたフィルタとを 具えることを特徴とする画像処理装置。 ９．バッファからブロックの各画素に対し個々に指定された画素デプス値を抽出 し、個々の画素値から単一のブロックデプス値を導出する計算手段を更に具えて いることを特徴とする請求項８記載の装置。 10．前記フィルタはコンボリューションフィルタであり、前記バッファメモリが フィルタカーネルをカバーするのに十分な画素値を格納することを特徴とする請 求項８記載の装置。 11．焦点深度が制御可能で可変であり、焦点深度値をコンボリューションフィル タに供給するユーザ操作入力手段を更に具えていることを特徴とする請求項８記 載の装置。