JP4645142B2 - インテグラル・フォトグラフィ画像生成方法 - Google Patents

Description

本発明は複数の物体からなる立体像を得るためのインテグラル・フォトグラフィ画像生成方法に関する。

立体感を与える画像は、例えば非特許文献１や非特許文献２などに記述されているように、立体感を得る視覚効果によりいくつかの種類に分類される。その中で実際に物体３１を見るときと同じ視覚効果を再現することで立体像を観察できるフォログラフィ等が一般的に知られている。

これらの方式の一つとして、インテグラル・フォトグラフィ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ、以下「ＩＰ」と略す）が知られている。このＩＰ方式は１９０８年にリップマン（Ｌｉｐｐｍａｎｎ）によって発明され、その歴史は古い。これは密に並べられたフライアイ・レンズアレイを通して立体像の撮影・表示を行うものであり、特殊なメガネなどを装着せずに自然な３次元画像が観察できることから最近注目されている。

ＩＰの基本原理を図１１に示す。撮影には小さい凸レンズを規則的に配列したフライアイ・レンズ（ハエの目レンズ）と呼ばれるフライアイ・レンズアレイ（複眼状のレンズ）３１を用いる。フライアイ・レンズアレイ３１の各凸レンズ毎にフィルム３２上に物体３３の要素画像３４が結像され、記録される。再生時にはフィルム３２を現像し、そのまま元の位置に置き、背面から照明してフライアイ・レンズアレイ３１越しに観察すると観測者３５は立体像３６を見ることができる。フィルム３２上に記録された要素画像３４の各点は、表示に際してはフライアイ・レンズアレイ３１の各凸レンズを介して元の物体３３の対応する点に集束するため、観察者３５から見ると実際にその点から光が発しているように見える。つまり、観察者３５には物体３３があった空間に実像が形成され、あたかもそこに実物があるように見え、視線の動きに応じてこの立体像３６の見える部分が変化するように見える。

ただし、このままでは立体像３６の奥行きが逆転する現象が生じる。すなわち凹凸が逆の像が得られる。これは再現された光線が立体像３６の方に逆行し、図１１において物体３３の右から撮影したのに関わらず、左側から観察することになるからである。このため、図１２に示された要素画像３４を変換する手順を追加する。つまり、単なる凸レンズでは倒立像になるので、正立像に変換する処理を光軸に対称に行う。

ＩＰ方式では立体像３６の解像度の上限は観察者から見たフライアイ・レンズアレイ３１のレンズ密度で決まるため、画質の確保にはフライアイ・レンズアレイ３１を構成する多数のレンズ（つまり多数の要素画像３４）が必要である。また、各要素画像３４にも一定の画素数が必要になるため、全体として多くの画素が必要となる。

このようなＩＰ方式による立体像３６を得るための処理画像（以下「ＩＰ画像」という）を、実際の物体３３から光学的な手法により得るのではなく、ＣＧ（コンピュータ・グラフィクス＝Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓの略）などの仮想的に描かれた画像を元にして作成することが今後広く行われると予想される。この場合、仮想的に描かれた画像の３次元座標の各座標成分や各物体の色情報等の固有情報からなる多次元データ、すなわちボクセルデータを作成したのち、そのボクセルデータにレンダリングと呼ばれる画像処理を施すことによりＩＰ画像が得られる。このＩＰ画像のレンダリングは、前述のフィルム３２と実際の物体３３を用いて行う光学的なアナログ処理に相当する部分を、数学的な計算を用いたデジタル処理によってＣＧ画像に対し擬似的に行うもので、例えばコンピュータ上で動作するプログラムや専用のハードウェア回路等により実現される。このようにして得られたＩＰ画像は解像度が非常に高く高精細であり、従来のものよりさらに自然な立体像３６が観察でき、高い臨場感や没入感が体験できる。
「３次元画像工学」大越 考敬：著、朝倉書店 「立体視の不思議を探る」井上 弘：著、オプトロニクス社

前述のボクセルデータは、例えばＸ，Ｙ，Ｚの３次元座標やＲ，Ｇ，Ｂの色情報等で構成される。このボクセルデータを生成する一つの方法として平行投影画像を元に行うことが知られている。平行投影画像とは、従来の光学的な処理で言えば平行光を物体に当てることによって得られる画像に相当するものである。

しかしながら、平行投影画像からでは視線方向に平行に近い向きをもった凹面のボクセルデータを得ることができない。例えば、視線方向に配置した筒状の物体のボクセルデータを作成する場合、平行投影画像では筒の側面が視線と平行になり見ることができないので、筒の側面のボクセルデータを生成することができない。

そこで、ボクセルデータを生成する他の方法として透視投影画像を元に行う。透視投影画像とは、従来の光学的な処理で言えばある一点から出された放射光を３次元の物体に当てることによって得られる画像に相当するものである。

ここで複数の物体が前後に重なりあった状態を表現する透視投影画像を元にＩＰ画像を作成する場合について考えてみる。この場合、見る角度の変化に伴ってある物体の後ろにある物体や背景が見えたり隠れたりするようなＩＰ画像を作成しなければならない。

しかしながら、透視投影画像においては手前に配置された物体によって隠された後方の物体に関する情報が存在しないので、これらの部分についてはボクセルデータが生成できない。その中には視点の角度や位置が透視投影画像の作成時からずれたときに観察されなければならない部分も含まれているが、これらの部分に関してはボクセルデータがないため完全なＩＰ画像が作成できない。

したがって、これらの部分は視点の角度や位置を透視投影画像の作成時からずらしたときに白抜けの状態となり、フライアイ・レンズを通して観察される立体像は不自然なものとなってしまう。

なお、この問題は平行投影画像を用いた場合でも同様である。そして以上に述べた２つの問題は、ＣＧ画像だけでなく、従来のアナログ写真技術により得られる画像についても起こる。

ＣＧ画像の場合、仮想的な３次元空間座標（以下「グローバル座標」という）の全ての座標点について各物体や構成物の位置や色情報等のデータを保有していれば、それらがそのままボクセルデータとなる。しかしながら、これではボクセルデータを保持するのに必要な記憶容量やＩＰ画像を作成するための作業用メモリの容量が多く必要とされ、ＩＰ画像を得るまでの処理時間も多く必要とされる。これらの容量や処理時間は画像のサイズが大きくなり解像度が上がるにしたがって３次級数的に増大する。

特に、このような立体像を遠隔地に提供する場合、表示できるＩＰ画像のサイズやフライアイ・レンズの仕様が受信側の端末により異なることが予想される。この場合は受信側で必要な領域のボクセルデータを選択し、その選択されたボクセルデータを元に受信側でＩＰ画像が生成されなければならない。そのために必要とされるハードウェア資源やソフトウェア資源はなるべく小さく、受信開始から表示までの時間も短時間であることが望まれる。つまり、受信側の端末においては、一時的にバッファリングするボクセルデータやＩＰ画像への変換処理に必要なワーク・メモリ、ハードウェア処理回路のゲート規模などがなるべく小さく、順次処理でＩＰ画像が生成される方がよい。

本発明はこれらのような従来の課題を解決するためになされたもので、複数の構成物からなる立体像を得るためのＩＰ画像を作成する際にデータ容量やメモリ容量および処理時間が少なくてすみ、不自然さのない立体像が観察できるようにすることを目的とする。

本発明のＩＰ画像生成方法は上記目的を達成するために、複数の物体の一部または全部が３次元空間座標および物体の固有情報を用いて表現された投影画像データからボクセルデータを作成し、画像をレンダリングするインテグラル・フォトグラフィ画像生成方法であって、前記投影画像データのＸ座標軸成分とＹ座標軸成分とを含む第１のデータと、Ｚ座標軸成分と前記投影画像データのＲ、Ｇ、Ｂの３つの色情報成分とを含み前記Ｚ座標軸成分をデータの先頭にした第２のデータとに分離する分離部と、前記投影画像データ、前記ボクセルデータを処理する処理部と、前記ボクセルデータを記憶する記憶部とを備え、前記分離部が前記投影画像データから前記第１のデータと前記第２のデータとに分割するステップと、前記処理部が前記第１のデータと前記第２のデータとのＸＹＺ座標をレンダリングを行う際に使用するグローバル座標であるｘｙｚ座標に変換し、前記第２のデータ、前記第１のデータの順に配置したボクセルデータをｚ座標軸成分の大きい順に記憶部の先頭から記憶し、前記記憶部の先頭のボクセルデータから順に用いて画像のレンダリングを行うステップとを有し、前記投影画像データは、投影領域のうち最遠面から最近面までの距離と前記最近面から透視視点までの距離とが等しくＷとなり、前記最近面における物体の幅がＷのとき前記最遠面における物体の幅を２Ｗと見えるような投影条件で前記ＸＹＺ座標軸成分が決められ、さらに前記Ｚ座標軸成分は前記最近面の値を０とし前記最遠面の値が２５５となるように正規化され、前記ＸＹＺ座標軸成分から前記ｘｙｚ座標軸成分への変換は所定の関係式により行うものである。この構成によりＩＰ画像のレンダリング中に余計な判定処理が加わったり書き換えミスを起こしたりすることなく、後方にある物体から順にレンダリングが行われる。

本発明のＩＰ画像生成方法によれば、ＩＰ画像のレンダリング中に余計な判定処理が加わったり書き換えミスを起こしたりすることなく、後方にある物体から順にレンダリングが行われるので、複数の構成物からなる立体像を得るためのＩＰ画像を作成する際にデータ容量やメモリ容量および処理時間が少なくてすみ、不自然さのない立体像が観察できるようになる。

本発明のＩＰ画像生成方法は、複数の物体の一部または全部が３次元空間座標および物体の固有情報を用いて表現された投影画像データからボクセルデータを作成し、画像をレンダリングするインテグラル・フォトグラフィ画像生成方法であって、前記投影画像データのＸ座標軸成分とＹ座標軸成分とを含む第１のデータと、Ｚ座標軸成分と前記投影画像データのＲ、Ｇ、Ｂの３つの色情報成分とを含み前記Ｚ座標軸成分をデータの先頭にした第２のデータとに分離する分離部と、前記投影画像データ、前記ボクセルデータを処理する処理部と、前記ボクセルデータを記憶する記憶部とを備え、前記分離部が前記投影画像データから前記第１のデータと前記第２のデータとに分割するステップと、前記処理部が前記第１のデータと前記第２のデータとのＸＹＺ座標をレンダリングを行う際に使用するグローバル座標であるｘｙｚ座標に変換し、前記第２のデータ、前記第１のデータの順に配置したボクセルデータをｚ座標軸成分の大きい順に記憶部の先頭から記憶し、前記記憶部の先頭のボクセルデータから順に用いて画像のレンダリングを行うステップとを有し、前記投影画像データは、投影領域のうち最遠面から最近面までの距離と前記最近面から透視視点までの距離とが等しくＷとなり、前記最近面における物体の幅がＷのとき前記最遠面における物体の幅を２Ｗと見えるような投影条件で前記ＸＹＺ座標軸成分が決められ、さらに前記Ｚ座標軸成分は前記最近面の値を０とし前記最遠面の値が２５５となるように正規化され、前記ＸＹＺ座標軸成分から前記ｘｙｚ座標軸成分への変換は所定の関係式により行うものである。

これにより、ＩＰ画像のレンダリング中に余計な判定処理が加わったり書き換えミスを起こしたりすることなく、後方にある物体から順にレンダリングが行われるので、複数の構成物からなる立体像を得るためのＩＰ画像を作成する際にデータ容量やメモリ容量および処理時間が少なくてすみ、不自然さのない立体像が観察できるようになる。

以下、本発明の具体的な内容について実施例を用いて説明する。
（実施例１）
図１は本発明の実施の一形態における最終ボクセルデータを生成するための処理を示すフローチャートである。このフローチャートは、例えば図２に示す構成を有するＩＰ画像生成回路またはその回路を搭載した装置におけるプログラムソフトウェアとして実現される。

図２のＩＰ画像生成回路は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、透視投影画像データ入力Ｉ／Ｆ（「Ｉ／Ｆ」は「インタフェース」の略。以下同じ。）１４、データ分離部１５、ＲＡＭアドレス生成部１６、４次元ベクトルレジスタ部１７、ボクセルデータ生成部１８、最終ボクセルデータ出力Ｉ／Ｆ１９で構成され接続されている。このうち、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＲＡＭアドレス生成部１６、４次元ベクトルレジスタ部１７、ボクセルデータ生成部１８、最終ボクセルデータ出力Ｉ／Ｆ１９については、ＣＰＵ１１のアドレス線およびデータ線２２によって接続されている。ＲＯＭ１２にはＣＰＵ１１を用いて各部を動作させるためのプログラムが格納されており、その中には図１のフローチャートがソフトウェアとして実現されたプログラムも含まれている。これにより複数の透視投影画像データ２０から最終ボクセルデータ２１が生成される。ＲＡＭ１３には最終ボクセルデータ２１を出力するまでに必要な作業メモリ領域などが含まれる。

なお、本実施例１の図２のＩＰ画像処理回路は３２ビット処理を想定しているが、本発明のＩＰ画像処理方法はこのビット数の処理に限らない。また、この他の実現方法としては、例えばパーソナル・コンピュータ（以下「ＰＣ」と略する。）上で動作するソフトウェアや、図１のフローチャートをハードウェア化したＰＣ用拡張ボード、ＩＰ画像表示装置や受信端末等でゲートアレイ等の専用回路として実現されることが考えられる。

図３は図１のフローチャートによって示された最終ボクセルデータ２１の生成処理を実行するための透視投影画像で、その中心を視点とする透視投影座標で表現された画像ＣＧである。四角い箱１の中に５個の球２〜６が配置され、このうちの１個の球２が他の球３〜６の手前に配置された状態が表現されている。図３からわかるように、透視投影画像は視線が平行でなく放射状のため、四角い箱１の内部の側面を表現することができる。このような状態を表す図３に示す透視投影画像のボクセルデータを、図１のフローチャートに示す処理を用いて生成する。

本発明の特徴の一つとして、図３に示すものを含め複数の透視投影画像を作成する。図３の透視投影画像は、ＣＧ画像の場合、グローバル座標（ｘ，ｙ，ｚ）とそれぞれの色情報（Ｒ，Ｇ，Ｂ）によって表現された仮想的な３次元画像を元に、例えばＰＣ上で動作する汎用のＣＧ画像作成ソフトウェアによって作成される（その詳細な手順についてはここでは省略する）。したがって、後ろ側に配置された４個の球３〜６がその手前に配置された１個の球２の影に隠れた部分および四角い箱１の内部が５個の球２〜６の影に隠れた部分については各透視投影画像には表示されていないものの、それらのグローバル座標データや色情報データなどは、ＰＣの内部にあるメモリやハードディスク（いずれも図示せず）等に保持されている。

従って、図３の中に示された各物体を視線方向で分割し、一部の物体のみを表現する透視投影画像を新たに作成することは可能である。本実施例１では図３に示された全ての物体がそろった状態の透視投影画像のほかに、図４および図５に示された透視投影画像を用意する。図４は図３を構成する複数の物体のうち手前に配置された１個の球２のみが無い状態の透視投影画像である。図５は図３を構成する複数の物体のうち四角い箱１の内部のみが表現された透視投影画像である。ただし、本発明において図１のフローチャートによる処理にかけられる複数の透視投影画像はこの限りではない。例えば図３に示される全ての物体がそろった状態の透視投影画像の代わりに、手前の球２と四角い箱１の内部のみが表現された透視投影画像を用いてもよい。

このように本実施例１によれば、複数の透視投影画像を用いることによりこの後のＩＰ画像のレンダリング時において必要最低限のボクセルデータのみが選択されるようになる。つまり、最終的に作成されたＩＰ画像を用いて立体像を観察するときにいくら視線を変えても全く見えない部分（例えばそれぞれの球２〜６の背面）のボクセルデータはＩＰ画像のレンダリング時に選択されないので、レンダリングの処理に用いられるボクセルデータの全体量が少なくなり、その処理時間を短くすることができる。

なお、各物体（すなわち本実施例１における球２〜６）は少なくともいずれかの透視投影画像の中に表現されるようにする。同じ物体が複数の透視投影画像の中に表現されるのは特に構わない。これにより、最終的に作成されたＩＰ画像を用いて立体像を観察する際に、視点の変化に対応して後方の物体の一部が前方の物体に隠れたり見えたりするようになり、不自然さのない立体像が観察できるようになる。

また、これらの透視投影画像を作成する際には、物体に対する透視視点の角度（以下「画角」という）や投影面と視点との距離等について決められた投影条件に基づいて投影を行うことが必要である。これにより、後に示す最終ボクセルデータ２１の作成時において、これらの透視投影画像のデータからそれぞれの物体の各部位におけるグローバル座標（ｘ，ｙ，ｚ）の値が一意にかつ即座に得られるので、透視投影画像のデータ量を少なくすることができ、これらのデータを一時的に記憶するためのメモリ量が少なくてすむ。この時点でも先ほどの投影条件が必要とされるため、投影条件は透視投影画像の作成後も保存しておくことが望ましい。

本実施例１においては、図６に示された投影条件に基づいて投影を行っている。すなわち、透視投影画像の投影領域のうち最遠面Ａから最近面Ｂまでの距離ａと最近面Ｂから視点Ｐまでの距離ｂとが等しくＷとなるようにし、画角は最近面Ｂにおいて幅Ｗを有するものが最遠面においては幅２Ｗに見えるように設定する。透視投影座標（Ｘ，Ｙ，Ｚ）のＸＹ面のアスペクト比は簡単のために１：１にしてある。なお、透視投影座標（Ｘ，Ｙ，Ｚ）のＺ座標の値は最近面Ｂのそれを０とし、最遠面Ａと最近面Ｂとの間で０〜２５５までの２５６値に正規化されている。透視投影座標（Ｘ，Ｙ，Ｚ）のＸ座標およびＹ座標については、例えば各透視投影画像のデータが保存されるメモリのアドレス番地および画像サイズとの関係を計算式によって表すことにより、それらの値の保存が不要となる。各透視投影画像の投影面は最近面Ｂである。なお、本発明のＩＰ画像形成方法に用いられる透視投影画像の投影条件は図６で示されたものには限らない。

これら図３〜図５に示された複数の透視投影画像と図１の最終ボクセルデータ２１を生成するための処理を示すフローチャートおよびこのフローチャートがプログラムソフトウェアとして動作するＩＰ画像生成回路を示す図２のブロック図を用いて、最終ボクセルデータ２１を生成する処理過程について説明する。

まず、図２のＲＯＭ１２に格納されたプログラムにより、図３〜図５に示された複数の透視投影画像の画像データ２０ａ〜２０ｃ（本実施例１においては透視投影画像データは３つである。）が図２の透視投影画像データ入力Ｉ／Ｆ１１に対して順次入力される。本実施例１においては、各透視投影画像データ２０ａ〜２０ｃは透視投影座標（Ｘ，Ｙ）の各点におけるＺ座標の値および色成分の値（Ｒ，Ｇ，Ｂ）によって構成されているものとする。すなわち、透視投影座標のそれぞれの点は（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）の６成分で表現されている。

また、これらのデータはそれぞれ２５６値＝８ビットのデジタル・データとして表現されているものとする。各透視投影画像データ２０ａ〜２０ｃが透視投影画像データ入力Ｉ／Ｆ１４へ読み込まれる（以下「ロードされる」という。）順番は、例えば図７に示すように、通常の２次元画像をレーザプリンタで形成する際の露光順とする。すなわち、図７においてｔ１→・・・→ｔ２→ｔ３→・・・→ｔ４→・・・→ｔ（ｈ−１）→ｔｈの順である。

なお、本実施例１において透視投影画像データ２０ａ〜２０ｃの各画素数はそれぞれｎ個ずつあるものとする。本実施例１においては図３〜図５に示される３つの透視投影画像が用いられるので、全ての透視投影画像データ２０ａ〜２０ｃの合計画素数は３ｎ個となる。

このようにして透視投影画像データ入力Ｉ／Ｆ１４へロードされた各透視投影画像データ２０ａ〜２０ｃは、データ分離部１５において透視投影座標のＸ成分およびＹ成分からなるデータ（Ｘ，Ｙ）とそれ以外の成分からなる４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）とに分離される。そして、透視投影座標のＸ成分およびＹ成分からなるデータ（Ｘ，Ｙ）についてはＲＡＭアドレス生成部１６へ渡され、４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）については４次元ベクトルレジスタ部１７へ渡され一時的に保持される。

ＲＡＭアドレス生成部１６には、例えばあらかじめ透視投影座標のＸ成分およびＹ成分からなるデータ（Ｘ，Ｙ）からＲＡＭ１３での保管先アドレスを計算するための変換式がハードウェアロジックとして実装されている。（あるいは、この変換式はあらかじめＲＯＭ１２や外部のＰＣより与えられるようにしてもよい。）透視投影画像データ入力Ｉ／Ｆ１４へロードされた各透視投影画像データ２０ａ〜２０ｃは、このＲＡＭアドレス生成部１６においてＲＡＭ１３での保存先アドレスが計算された後、４次元ベクトルレジスタ部１７に一時的に保持された４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）がＲＡＭ１３に保存される。なお、４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）は８ビット×４＝３２ビットなので、１つの４次元ベクトルデータについて１ワードのメモリで格納できる。本実施例１においては、図８に示される４次元ベクトルデータの格納メモリ空間のｍ番地を先頭に順次保存されるものとする。

一つの画素の透視投影画像データについて４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）の生成およびＲＡＭ１３への保存が終わったら、次の画素の透視投影画像データをロードし、以上に述べた処理とＲＡＭ１３への保存が同様に行われる。一つの透視投影画像を構成する全ての透視投影画像データ２０ａについて４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）の生成およびＲＡＭ１３への保存が終了したら、残りの透視投影画像データ２０ｂおよび２０ｃについても同じように繰り返し、全ての透視投影画像データ２０ａ〜２０ｃについて４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）の生成およびＲＡＭ１３への保存を終了する。

次に、これらの４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）からの最終ボクセルデータ２１の作成を開始する。

まず、最終ボクセルデータ作成プログラムの変数ｉを０にセットし、変数ｒを変数ｉと同じ値とする（図１のＳ００１およびＳ００２。この場合ｒも０である）。次に、ＲＡＭ１３のｍ＋ｉ番地（最初はｍ番地）に保存されたｉ番目（最初は０番目から数える）の４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）がボクセルデータ生成部１８にロードされ（図１のＳ００３）、この４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）のＺの値がグローバル座標（ｘ，ｙ，ｚ）におけるｚの値へと座標変換される（図１のＳ００４）。そして、この４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）が保存されていたメモリのアドレス番地ｍ＋ｉとその４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）の元になる透視投影画像の画像サイズの情報（あらかじめＰＣ等よりロードされている）等を元に透視投影座標（Ｘ，Ｙ，Ｚ）におけるＸ座標およびＹ座標の値が計算された後、グローバル座標（ｘ，ｙ，ｚ）におけるｘおよびｙの値へとそれぞれ座標変換され、ボクセルデータ生成部１８の内部にあるレジスタ（図示せず。このレジスタは以降「比較基準用レジスタ」と呼ぶ。）に一時的に保持される（図１のＳ００５）。

投影座標（Ｘ，Ｙ，Ｚ）からグローバル座標（ｘ，ｙ，ｚ）への座標変換は以下のように行われる。前述の図６に示された投影条件により、正規化される前のＺの値（以下「Ｄ」とする）が以下のように計算される。

Ｄ＝Ｚ×Ｗ／２５６
最近面ＢにおけるＤの値は０のままである。透視投影座標（Ｘ，Ｙ，Ｚ）の各座標点において、Ｚの値から変換されたＤの値を元に、グローバル座標（ｘ，ｙ，ｚ）の各座標の値が以下のように計算される。

ｘ＝Ｄ×Ｘ／Ｗ
ｙ＝Ｄ×Ｙ／Ｗ
ｚ＝Ｄ
本実施例１においては透視投影画像の作成時の投影条件を図６のように単純にしたので、投影条件から導き出される各透視投影画像から部分ボクセルデータへの座標変換式も単純なものとなっている。これにより座標変換の処理時間が少なくてすみ、ＩＰ画像の生成時間を短くすることができる。

これらの座標変換後に変数ｒが０かどうか判定（図１のＳ００６）され、もしｒ＝０であれば（最初の４次元ベクトルデータについては常にｒ＝０である。）、図８のメモリ空間のｍ＋ｉ番地に保存されていた４次元ベクトルデータはグローバル座標（ｘ，ｙ，ｚ）におけるｉ番目（先頭は０番目から始まる。）の最終ボクセルデータ２１（ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ）となって再びＲＡＭ１３へ書き込まれ（以下「ライトされる」と表す。）保存される（図１のＳ００７およびＳ００８）。このときにライトされるメモリ空間は図９に示す通りであり、先頭のボクセルデータはｐ番地から保存される。

なお、ボクセルデータ（ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ）は８ビット×６＝４８ビットなので、１つのボクセルデータについて２ワードのメモリが必要である。本実施例１においては、（ｚ，Ｒ，Ｇ，Ｂ）についてはＲＡＭ１３のｐ＋２ｒ番地へライトされ、（ｘ，ｙ）についてはｐ＋２ｒ＋１番地にライトされる（先頭のボクセルデータはｐ番地およびｐ+１番地である）。

こうして１つのボクセルデータのＲＡＭ１３への保存が終了したら、変数ｉをインクリメントしｉ＝ｉ＋１とする（図１のＳ００９）。次に未処理の４次元ベクトルが残っていないかどうかを知るためにｉ＝３ｎであるかどうかを判定する（図１のＳ０１０）。ｉ＝３ｎであれば未処理のデータが無いことになるので最終ボクセルデータ２１の生成を終了するが、最初（すなわちｉ＝０＋１＝１）の場合は当然ｉ≠３ｎであるので、次の番地に格納された４次元ベクトル（ｚ，Ｒ，Ｇ，Ｂ）について図１のＳ００２からのフローが繰り返される。

１番目以降の４次元ベクトル（ｚ，Ｒ，Ｇ，Ｂ）に関しては、図１のＳ００６での判定処理においてｒ≠０の場合が存在する。ｒ＝０の場合は上述の図１におけるＳ００７〜Ｓ０１０までの処理が繰り返されるが、ｒ≠０の場合はＲＡＭ１３のｐ＋２ｒ−２番地およびｐ＋２ｒ−１番地よりそれぞれ格納されているボクセルデータ（ｚ，Ｒ，Ｇ，Ｂ）と（ｘ，ｙ）の値をボクセルデータ生成部１８にロードし、その内部にある先ほどの比較基準用レジスタとは別レジスタ（図示せず。以降「比較対象用レジスタ」と呼ぶ。）に保持し（図１のＳ０１１およびＳ０１２）、このレジスタに保持したｒ−１番目のボクセルデータの中に含まれているｚ成分の値と先の比較基準用レジスタに保持したｉ番目のボクセルデータの中に含まれているｚ成分の値とを取り出して比較する（図１のＳ０１３）。

ここでもし、ｉ番目の４次元ベクトルから生成され比較基準用レジスタに保持されているボクセルデータのｚ成分値が比較対象用レジスタに保持されているｒ−１番目のボクセルデータのｚ成分値と同等かもしくはそれよりも小さければ上述の図１におけるＳ００７〜Ｓ０１０までの処理が繰り返される。つまりその時点で図９のメモリ空間の最後列となるアドレス番地（つまりｐ＋２ｒ番地およびｐ＋２ｒ＋１番地）に対して比較基準用レジスタに保持されているボクセルデータがライトされる。

これに対し、比較基準用レジスタに保持されているボクセルデータのｚ成分値が比較対象用レジスタに保持されているボクセルデータのｚ成分値よりも大きければ、比較基準用レジスタに保持されたｒ−１番目のボクセルデータがｐ＋２ｒ番地およびｐ＋２ｒ＋１番地にライトされる（図１のＳ０１４およびＳ０１５）。すなわち、ｒ−１番目にあったボクセルデータを一つ後ろにずらしｒ番目のボクセルデータとすることになる。

その後、変数ｒはｒ＝ｒ−１によりデクリメントされ（図１のＳ０１６）、図１のＳ００６からの処理が繰り返される。

以上のような処理を行うことにより、各ボクセルデータはそのｚ成分の値の大きい順に配列されながらＲＡＭ１３にライトされ、最終ボクセルデータ２１が生成される。すなわち、各透視投影画像についての４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）における透視投影座標からグローバル座標（すなわち仮想的な３次元空間座標）への座標変換、各透視投影画像についての４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）から部分ボクセルデータ（ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ）の生成、それらの部分ボクセルデータの結合およびその結合されたボクセルデータのグローバル座標（ｘ，ｙ，ｚ）におけるｚ成分の値（すなわち視線方向に沿った座標軸成分の値）についての並べ替えが同時に１回の処理で行われる。これにより、それらの工程途中での一時記憶領域の記憶容量が少なくて済むので、少ない記憶容量しか持たない装置においても最終ボクセルデータ２１を形成することが可能となる。

なお、図６に示された透視投影画像の投影条件を用いて各透視投影画像から部分ボクセルデータ（ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ）を生成するようにした効果は、各透視投影画像を表現する４次元ベクトルデータ（Ｚ，Ｒ，Ｇ，Ｂ）の次元数の少なさに現れている。もし、このような投影条件を用いなければ、各透視投影画像を表現するデータは、ボクセルデータと同じ６次元でなければならない。各座標成分を２５６値＝８ビットで示した場合、ボクセルデータと同じ６次元であれば１座標あたり４８ビット必要であるが、４次元ベクトルデータであれば３２ビットとなり、１６ビット少ない。

これにより透視投影画像のデータ量を少なくすることができ、これらのデータを一時的に記憶するためのメモリ量が少なくてすむ。また、近年のパーソナル・コンピュータは３２ビット処理や６４ビット処理のため、４次元ベクトルデータであれば区切りがよく、ＲＡＭ１３の記憶領域を無駄なく使用することができ、効率よく処理を行うことができる。

また、前述の比較基準用レジスタおよび比較対象用レジスタをボクセルデータ生成部１８に設ける代わりに、ＲＡＭ１３の中に設けられたＣＰＵ１１の作業用メモリ領域の中にそれぞれの一時記憶アドレスを確保するようにしてもよい。

さらにＲＡＭ１３においては、図８に示される４次元ベクトルデータの記憶領域と図９に示される最終ボクセルデータ２１の記憶領域とを共用化することも可能である。この場合、必要な記憶容量は最終ボクセルデータ２１の記憶に必要な量である。これは、最終ボクセルデータ２１のそれぞれが２ワード構成であるのに対し、４次元ベクトルデータのそれぞれが１ワード構成であることから明らかである。４次元ベクトルデータの記憶時にこの記憶領域の後半部分のみを使うようにすれば共用化は可能である。これにより４次元ベクトルデータの専用の記憶領域が不要となるので、ＲＡＭ１３の記憶容量はさらに削減される。

または、透視投影画像データ入力Ｉ／Ｆ１４を介して入力するデータを始めから４次元ベクトルデータとし、透視投影画像データ入力Ｉ／Ｆ１４から直接ボクセルデータ生成部１８に入力する構成としても、ＲＡＭ１３の記憶容量を最終ボクセルデータ２１の記憶に必要な量とすることが可能である。これによりＲＡＭ１３の記憶容量も削減され、さらにＲＡＭアドレス生成部１６および４次元ベクトルレジスタ部１７も不要となる。

以上のように生成され、ＲＡＭ１３に保存された最終ボクセルデータ２１は、ＩＰ画像の作成時にＲＡＭ１３の最終ボクセルデータ２１が保存されている記憶領域の先頭ｐ番地から各ボクセルデータが最終ボクセルデータ出力Ｉ／Ｆ１８を介して順次取り出されてＩＰ画像のレンダリングが行われる。ＩＰ画像を形成するのは、例えばＰＣ上で動作するプログラムであってもよいし、電話回線やＬＡＮなどの通信線を介して互いに接続された専用のＩＰ立体表示装置であってもよい。このとき、最終ボクセルデータ２１をｚ座標の値の大きい順にソートして並べ替えたことによる効果が発揮される。

最終ボクセルデータ２１がｚ座標の値の大きい順に並んでいるということは、後方にある物体よりＩＰ画像が形成されるということである。本実施例１のように、複数の物体がある視点から見て前後に重なりあうような立体像が観察できるＩＰ画像を作成する場合、以上に述べたような処理を行っていれば、手前の物体に隠された後方の物体のボクセルデータが作成および保存されていることになる。

よって、ある視点からみたＩＰ画像のレンダリングを行っているときにその視線方向に沿って複数の物体が重なった場合、本実施例１のように最終ボクセルデータ２１がｚ座標の値の大きい順に並んでいれば、後方にある物体のＩＰ画像データがレンダリング用の作業メモリ空間にライトされた後、その手前にある物体のＩＰ画像データが先ほどライトされた後方の物体のＩＰ画像データを書き換える。つまり、最終的には一番手前にある物体のＩＰ画像データのみが残るようになる。このようにすることで、ＩＰ画像のレンダリング中に余計な判定処理が加わったり書き換えミスを起こしたりすることなく、自然な立体像が観察できるＩＰ画像が作成される。

なお、図２におけるデータ分離部１５、ＲＡＭアドレス生成部１６、４次元ベクトルレジスタ部１７、ボクセルデータ生成部１８は、ＲＯＭ１２に格納されＣＰＵ１１上で動作するプログラムソフトウェアとして実現することも可能である。または最終ボクセルデータ２１生成までのすべての処理をＰＣ上で動作するプログラムソフトウェアとして実現してもよい。その処理の概要を示すフローチャートを図１０に示す。この場合は、各透視投影画像についての４次元ベクトルデータにおける透視投影座標から仮想的な３次元空間座標への座標変換、各透視投影画像についての４次元ベクトルデータから部分ボクセルデータの生成とそれらの部分ボクセルデータの結合およびその結合されたボクセルデータの仮想的な３次元空間座標における視線方向に沿った座標軸成分の値についての並べ替えがそれぞれ個別に処理される。それ以外の部分については図１のフローチャートを用いて上述に説明したものと基本的に同じである。

さらに、最終ボクセルデータ２１を保持する記憶領域は、電源が供給されなくても保持できる記憶媒体のほうが好ましい。たとえばＲＡＭ１３が不揮発メモリであってもよいし、ＲＡＭ１３とは別に不揮発メモリやハードディスク、フロッピー（登録商標）ディスク、光ディスク等を設けた構成としてもよい。

このように、これらのインテグラル・フォトグラフィ画像生成方法がハードウェアまたはソフトウェアまたはそれらの混在形態によって最終ボクセルデータ生成装置または最終ボクセルデータ生成プログラムまたはそれらのいずれかが実装されたインテグラル・フォトグラフィ画像形成装置またはインテグラル・フォトグラフィ画像形成プログラムに実装されれば、最終ボクセルデータ２１の生成が短時間で済み、インテグラル・フォトグラフィ画像を短時間で得ることができる。

以上のように本実施例によれば、ＩＰ画像のレンダリング中に余計な判定処理が加わったり書き換えミスを起こしたりすることなく、後方にある物体から順にレンダリングが行われるので、複数の構成物からなる立体像を得るためのＩＰ画像を作成する際にデータ容量やメモリ容量および処理時間が少なくてすみ、不自然さのない立体像が観察できるようになる。

以上のように本発明にかかるＩＰ画像形成方法は、複数の物体からなる立体像を得るためのＩＰ画像を作成する際にデータ容量やメモリ容量および処理時間が少なくてすみ、不自然さのない立体像が観察できるところから、例えばＩＰディスプレイ装置やＩＰ画像を提供するサービスおよびそのサービスに用いられるＩＰ画像受信端末、フォログラム表示装置、建築・デザイン・機構向けフォログラムＣＡＤ、コンピュータ上で動作するＩＰ画像生成ソフトウェアなどへの利用が可能である。

本発明の実施の一形態における最終ボクセルデータを生成するための処理を示すフローチャート 図１のフローチャートがプログラムソフトウェアとして動作するＩＰ画像生成回路の一例を示すブロック図 図１のフローチャートによって示された最終ボクセルデータの生成処理を実行するための透視投影画像を示す図 図３を構成する複数の物体のうち手前に配置された１個の球のみが無い状態の透視投影画像を示す図 図３を構成する複数の物体のうち四角い箱の内部のみが表現された透視投影画像を示す図 実施例１における透視投影画像を作成するための投影条件を示す説明図 実施例１における透視投影画像データのロードする順番を示す説明図 ＲＡＭ１３における４次元ベクトルデータの格納メモリ空間を示す説明図 ＲＡＭ１３における最終ボクセルデータの格納メモリ空間を示す説明図 最終ボクセルデータ生成までのすべての処理をＰＣ上で動作するプログラムソフトウェアとして実現した場合の処理の概要を示すフローチャート ＩＰの基本原理を示す図 図１１のＩＰの要素画像を変換する手順を示す説明図

符号の説明

１ 四角い箱
２〜６ 球
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 透視投影画像データ入力Ｉ／Ｆ
１５ データ分離部
１６ ＲＡＭアドレス生成部
１７ ４次元ベクトルレジスタ部
１８ ボクセルデータ生成部
１９ 最終ボクセルデータ出力Ｉ／Ｆ
２０ａ〜２０ｃ 透視投影画像データ
２１ 最終ボクセルデータ
２２ アドレス線およびデータ線
３１ フライアイ・レンズアレイ
３２ フィルム
３３ 物体
３４ 要素画像
３５ 観測者
３６ 立体像

Claims (1)

1. 複数の物体の一部または全部が３次元空間座標および物体の固有情報を用いて表現された投影画像データからボクセルデータを作成し、画像をレンダリングするインテグラル・フォトグラフィ画像生成方法であって、
   前記投影画像データのＸ座標軸成分とＹ座標軸成分とを含む第１のデータと、Ｚ座標軸成分と前記投影画像データのＲ、Ｇ、Ｂの３つの色情報成分とを含み前記Ｚ座標軸成分をデータの先頭にした第２のデータとに分離する分離部と、
   前記投影画像データ、前記ボクセルデータを処理する処理部と、
   前記ボクセルデータを記憶する記憶部とを備え、
   前記分離部が前記投影画像データから前記第１のデータと前記第２のデータとに分割するステップと、前記処理部が前記第１のデータと前記第２のデータとのＸＹＺ座標をレンダリングを行う際に使用するグローバル座標であるｘｙｚ座標に変換し、前記第２のデータ、前記第１のデータの順に配置したボクセルデータをｚ座標軸成分の大きい順に記憶部の先頭から記憶し、前記記憶部の先頭のボクセルデータから順に用いて画像のレンダリングを行うステップとを有し、前記投影画像データは、投影領域のうち最遠面から最近面までの距離と前記最近面から透視視点までの距離とが等しくＷとなり、前記最近面における物体の幅がＷのとき前記最遠面における物体の幅を２Ｗと見えるような投影条件で前記ＸＹＺ座標軸成分が決められ、さらに前記Ｚ座標軸成分は前記最近面の値を０とし前記最遠面の値が２５５となるように正規化され、前記ＸＹＺ座標軸成分から前記ｘｙｚ座標軸成分への変換は以下の関係式により行うインテグラル・フォトグラフィ画像生成方法。
   ｘ＝ｚ×Ｘ／Ｗ
   ｙ＝ｚ×Ｙ／Ｗ
   ｚ＝Ｚ×Ｗ／２５６

Images