JP4184690B2 - 画像形成方法、画像形成プログラム及び画像形成装置 - Google Patents
画像形成方法、画像形成プログラム及び画像形成装置 Download PDFInfo
- Publication number
- JP4184690B2 JP4184690B2 JP2002092455A JP2002092455A JP4184690B2 JP 4184690 B2 JP4184690 B2 JP 4184690B2 JP 2002092455 A JP2002092455 A JP 2002092455A JP 2002092455 A JP2002092455 A JP 2002092455A JP 4184690 B2 JP4184690 B2 JP 4184690B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- coordinate
- projection
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像形成方法、画像形成プログラム及び画像形成装置に関し、特に、インテグラルフォトグラフィー（ＩＰ）法あるいは光線再生法により立体的な画像を表示させるためのパターン画像データを形成する画像形成方法、画像形成プログラム及びこれらにより形成されたパターン画像を用いて立体画像を表示する画像形成装置に関する。
【０００２】
【従来の技術】
近年のコンピュータ及びその関連技術の急速な発展に伴い、画像表示技術も急速に進歩している。そして、例えば、アミューズメント、インターネットショッピング、携帯端末、医療、バーチャルリアリティ、広告看板などの各種の用途において、立体画像を表示する技術の開発が望まれつつある。
【０００３】
立体画像を表示する方法としては、これまでに、いくつかの方法が提案されている。例えばその１つに、「体積表示方法」と呼ばれるものがある。この体積表示方法は、三次元空間内に複数の断層情報を文字通り体積表示するもので、自然な立体視が可能である。ただし、この方法では、断層情報が表示された表示面を機械的に高速で動かす必要があり、その物理的な機構の実現が容易でないという問題がある。
【０００４】
他の方法として、複数の視差画像を表示し、それらを再構成することにより立体感を得る方法もある。この方法のうちで最も簡単な例である「２眼式」の場合、右目用の情報と左眼用の情報とを観察者に提示することにより立体感を与えることができる。しかし、この２眼式では、焦点位置はディスプレイ面にあり、この焦点位置と注視物体のある輻輳位置との間には空間的な「ずれ」が生ずる。このため、いわゆる焦点調節と輻輳距離の不一致が生じ、観察者にとって再現される空間に違和感があり、観察者に疲労を与えやすいという問題がある。
【０００５】
これらの問題を解決する立体表示方法として、非常に多くの視差画像を用いる「インテグラルフォトグラフィー（ＩＰ）法」あるいは「光線再生法」が知られている。ここで、「インテグラルフォトグラフィー（ＩＰ）法」及び「光線再生法」は、立体表示方法として、その用語の意味が正確には確立されていないが、ほぼ同一の原理に基づくものである点を明記しておく。そして、以下の説明においては、光線再生法を含む概念として「インテグラルフォトグラフィー（ＩＰ）法」と称し、このインテグラルフォトグラフィー（ＩＰ）法について説明する。
【０００６】
インテグラルフォトグラフィー（ＩＰ）法では、図７に例示したように画像ディスプレイ３０１とピンホールアレイ板３０２とからなる簡単な光学系により、自然な三次元像を再生できる。ここで、画像ディスプレイ３０１は、例えば、液晶ディスプレイやプラズマディスプレイなどの各種の２次元表示装置を用いることができる。
【０００７】
画像ディスプレイ３０１には、視差画像群に相当する多数のパターンが表示される。本願においては、これを「パターン画像」と称する。そして、ピンホールが二次元配列されたピンホールアレイ板３０２を介してこれらのパターンを観察すると、画像ディスプレイ３０１の背後に三次元虚像が形成され、ピンホールアレイ板３０２の前面に、三次元実像３０３が形成される。
【０００８】
すなわち、観察者からピンホールアレイ板３０２のピンホールを介して画像ディスプレイ３０１上のパターンに向かう視差画像光線群によって三次元虚像が形成され、画像ディスプレイ３０１上に表示されるパターン画像からピンホールアレイ板３０２のピンホールを介して観察者に向かう視差画像光線群の交点４０４によって三次元実像３０３が形成される。ここで、観察者に対しては、三次元虚像を背景としてその前面に実像が形成されるように表示することができ、あるいは、実像または虚像のいずれかのみが観察されるように表示することもできる。
【０００９】
インテグラルフォトグラフィー（ＩＰ）法は、このように比較的簡単な構成で自然な立体像を形成することができる。このインテグラルフォトグラフィー（ＩＰ）法において、画像ディスプレイ３０１上に表示すべきパターン画像を作成するには、表示すべき対象物を実写することにより実写ベースで行うこともできる。しかし、この場合には再生立体像の遠近が逆になる「裏返しの像」の問題があった。
【００１０】
これに対して、画像データを処理するコンピュータグラフィックス（ＣＧ）ベースによれば、このような問題を解決でき、さらに実写画像を取り込むこともできる。コンピュータグラフィックス（ＣＧ）を用いてパターン画像を作成する場合には、「光線追跡法」と呼ばれる方法が用いられている。光線追跡法は、「レイ・トレーシング（ray tracing）法」とも呼ばれ、観察者の眼に入ってくる光の進路を逆向きに追跡（トレース）する方法である。その概要は、以下に説明するように、表示画面を構成する各ピクセルに注目し、それに与えるべき色を１つずつ調べていくというものである。
【００１１】
図８は、レイ・トレーシング法を説明するための概念図である。
【００１２】
すなわち、レイ・トレーシング法においては、以下の手順が採られる。
【００１３】
（１）画像ディスプレイ３０１上の各ピクセルについて、視点３１１から始まってそのピクセルを通る視線５０１を作る。そして、この視線５０１が、物体３０３の存在するシーン内において、その物体３０３とぶつかるか否かを交差判定しながら追跡する。
【００１４】
（２）視線５０１が物体３０３にぶつかったら、その物体の観察者３１１の側の表面の点５０２の幾何的性質と視線の方向、およびそのシーンに置かれた光源の位置を基にして、そのピクセルに与える色を決定する。
【００１５】
しかし、以上の方法による場合、物体３０３の全体についてレイ・トレーシングを行うためには、例えば次のような量の計算手続が必要とされる。
（交差判定処理×図形数＋ピクセルの色を求める処理）×視差数×ピンホール数この方法の場合、そもそも交差判定処理が煩雑であり、処理時間がかかりやすい。特に、シーン内に複数の物体３０３を配置し、その表現色も多様なものとすると、交差判定処理が複雑であるとともに全体の計算量が多く、処理時間が非常に長くなるという問題があった。
【００１６】
【発明が解決しようとする課題】
すなわち、インテグラルフォトグラフィー（ＩＰ）法は、簡単な構成で自然な立体像を形成できる点で優れるが、画像ディスプレイ３０１上に表示すべきパターン画像を作成するために、従来は光線追跡法が用いられていた。しかし、この方法では、必要とされる計算処理量が膨大であり、従って処理時間が非常に長いという問題があった。その結果として、リアルタイムで処理をしながら画像表示を行うことは現状でも困難である。
【００１７】
また、このような画像データ処理のための専用のＬＳＩを作成することも考えられるが、これは非常に高価となるために実用に供することが容易でなく、立体画像表示の普及には寄与しにくい。
【００１８】
以上説明したように、インテグラルフォトグラフィー（ＩＰ）法のような理想に近い立体像表示方法が提案されているにもかかわらず、インテグラルフォトグラフィー（ＩＰ）用の画像データをリアルタイムで作成することは困難であった。
【００１９】
本発明はかかる課題の認識に基づいてなされたものであり、その目的は、インテグラルフォトグラフィー（ＩＰ）法あるいは光線再生法において用いるパターン画像のための画像形成方法、画像形成プログラム及び画像形成装置を堤供することにある。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の画像形成方法は、画像ディスプレイと前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイとを用いて立体的な画像を表示する画像形成装置の前記画像ディスプレイに表示させるパターン画像データを形成するインテグラルフォトグラフィ用のディスプレイの画像形成方法であって、前記画像ディスプレイのいずれかのピクセルと、前記ピンホール板のいずれかのピンホールまたは前記レンズアレイのいずれかのレンズ中心とを結ぶ視線の延長上に視点を決定する第１のプロセスと、表示すべき対象を前記視線の方向に沿って平行投影して、前記視点を含む平面上に前記対象の投影図を形成する第２のプロセスと、前記平面上に形成した前記投影図において、前記視点及びそこから縦横に一定の周期で画素データをサンプリングして格納する第３のプロセスと、を備え、前記視点を含む前記平面を共通な１つの平面としつつ前記第１乃至第３のプロセスを繰り返し、前記投影図の形成は、Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、前記対象を構成する画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行し、前記画素データを取得することを特徴とする。
【００２１】
上記構成によれば、従来よりも大幅に処理時間を短縮してパターン画像データを形成できる。その結果として、汎用の演算処理装置に用いても、リアルタイムで動画レベルの立体画像を表示することも可能となる。
【００２２】
また、本発明の第２の画像形成方法は、画像ディスプレイと前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイとを用いて立体的な画像を表示する画像形成装置の前記画像ディスプレイに表示させるパターン画像データを形成するインテグラルフォトグラフィ用のディスプレイの画像形成方法であって、表示すべき対象と観察者との間に投影平面を設定する第１のプロセスと、前記画像ディスプレイのピクセルと、前記ピンホール板のいずれかのピンホールまたは前記レンズアレイのいずれかのレンズ中心とを結ぶ視線を決定する第２のプロセスと、表示すべき対象を前記視線の方向に沿って平行投影して、前記投影平面上に前記対象の投影図を形成する第３のプロセスと、前記投影平面上に形成した前記投影図において、前記投影平面と前記視線との交点である視点及び当該視点から縦横に一定の周期で画素データをサンプリングして格納する第４のプロセスと、を備え、前記投影平面を共通な１つの平面としつつ前記第２乃至第４のプロセスを繰り返し、前記投影図の形成は、Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、前記対象を構成する画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行し、前記画素データを取得することを特徴とする。
【００２３】
上記構成によっても、従来よりも大幅に処理時間を短縮してパターン画像データを形成できる。その結果として、汎用の演算処理装置に用いても、リアルタイムで動画レベルの立体画像を表示することも可能となる。
【００２４】
ここで、前記一定の周期は、前記ピンホール板のピンホールあるいは前記レンズアレイにおけるレンズ中心の配列の周期に対応するものとすることができる。
【００２５】
また、前記投影図の形成は、
Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、
前記対象を構成する全ての画素について、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行するプロセスを含むものとすることができる。
【００２６】
この方法によれば、さらに高速な処理が可能となる。
【００２７】
また、前記Ｚ座標の座標軸は、前記平行投影する前記視線の方向に対して平行であるものとすれば、正確な投影図の形成が可能である。
【００２８】
一方、本発明の画像形成プログラムは、上記のいずれかの画像形成方法をコンピュータに実行可能とさせたことを特徴とする。
【００２９】
一方、本発明の画像形成装置は、上記のいずれかの画像形成方法を実行するパターン画像データ形成部と、
画像ディスプレイと、
前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイと、
を備え、
前記パターン画像形成部により形成された前記パターン画像データを前記画像ディスプレイに表示させることにより、前記対象の立体画像を表示可能としたことを特徴とする。
【００３０】
上記構成によれば、従来よりも大幅に処理時間を短縮してパターン画像データを形成できる。その結果として、汎用の演算処理装置に用いても、リアルタイムで動画レベルの立体画像を表示することも可能となる。
【００３１】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について詳細に説明する。
【００３２】
図１は、本発明の画像形成方法を説明するための概念図である。
【００３３】
本発明は、インテグラルフォトグラフィ法により立体画像を表示するためのパターン画像データを形成する。従って、図１に例示した如く、液晶ディスプレイなどの２次元画像ディスプレイ３０１と、その全面に配置されたピンホール板３０２と、を想定する。但し、ピンホール板３０２は、ピンホールの代わりにレンズが２次元的に配置されたレンズアレイ板でもよい。
【００３４】
図２は、本発明の画像形成方法のアルゴリズムを例示するフローチャートである。
【００３５】
本発明においては、まず、ステップＳ１０２において、シーン内に物体３０３を配置する。ここで、「物体」とは、表示すべき対象（オブジェクト）のことであり、必ずしも実在する物体である必要はない。例えば、コンピュータグラフィクスにより立体的に表示させる仮想のオブジェクトであってもよい。また、「シーン」とは、対象となる立体画像を表示する空間に対応する。
【００３６】
次に、ステップＳ１０４において、表示画面上のピクセルとピンホールあるいはレンズ中心を結ぶ線（視線）の延長上に視点を決める。例えば、図１において、画像ディスプレイ３０１のピクセル４０１Ａと、ピンホール板３０２のピンホール３０２Ａとを結ぶ視線５０１Ａを形成し、その延長上に視点６０１Ａを決める。
【００３７】
次に、ステップＳ１０６において、視点を含む平面上に視線の方向に物体を平行投影して、その投影図を書く。例えば、図１において、視点６０１Ａを含む平面３０４を想定し、視線５０１Ａの方向に沿って、この平面３０４の上に物体３０３を平行投影する。ここで行う平行投影は、観察者３１１が視線５０１Ａの方向に沿って物体３０３を眺めた場合の像を平面３０４の上に形成することに対応する。
【００３８】
このようにして平面３０４の上に投影図を描いたら、次に、ステップＳ１０８において、最初に着目したピクセルから縦横に一定の周期でサンプリングして別の画面に画素データを転送する。例えば、図１において、平面３０４の上に描かれた物体３０３の投影図のうちで、視点６０１Ａ、６０１Ｂ、６０１Ｃ、６０１Ｄ・・・における画素データをサンプリングして、コンピュータの画像メモリに転送する。これら視点６０１Ａ、６０１Ｂ、６０１Ｃ、６０１Ｄ・・・は、それぞれピクセル４０１Ａ、４０１Ｂ、４０１Ｃ、４０１Ｄ・・・と、ピンホール３０２Ａ、３０２Ｂ、３０２Ｃ、３０２Ｄ・・と、を結ぶ視線５０１Ａ、５０１Ｂ、５０１Ｃ、５０１Ｄ・・が平面３０４の上に形成する画素データに対応する。つまり、これらの画素データは、観察者３１１が視線５０１Ａ〜Ｄの方向から物体３０３を見た画像を表示させるために、ピクセル４０１Ａ〜Ｄに表示すべき画素データに対応する。
【００３９】
従って、このステップにおけるサンプリングの周期は、ピンホール板３０２のピンホールの配列ピッチに対応するものである。
【００４０】
このようにしてサンプリングされた画素データは、具体的には、例えば、各ピクセルに表示すべき色データと輝度データとを有する。そして、これらの画素データは、例えば、コンピュータにより画像データを格納すべき画像メモリ空間が確保された半導体メモリやハードディスクなどに転送され格納される。
【００４１】
このようにして、ある方向の視線に沿った画素データを取得したら、次に、ステップＳ１０４に戻り、再び、表示画面上のピクセルとピンホールあるいはレンズ中心を結ぶ線（視線）の延長上に視点を決める。例えば、図１において、画像ディスプレイ３０１のピクセル４０２Ａと、ピンホール板３０２のピンホール３０２Ａとを結ぶ視線５０２Ａを形成し、その延長上に視点６０２Ａを決める。
【００４２】
次に、ステップＳ１０６において、視点６０２Ａを含む平面３０４を想定し、視線５０２Ａの方向に沿って、この平面３０４の上に物体３０３を平行投影する。
【００４３】
そして、ステップＳ１０８において、平面３０４の上に描かれた物体３０３の投影図のうちで、視点６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ・・・における画素データをサンプリングして、コンピュータの画像メモリなどに転送する。
【００４４】
このようにして、観察者３１１が視線５０２Ａ〜Ｄの方向から物体３０３を見た画像を表示させるために、ピクセル４０２Ａ〜Ｄに表示すべき画素データを生成し、画像メモリなどに格納する。
【００４５】
これ以降、順次、ステップＳ１０４〜Ｓ１０８を繰り返す。そして、要素画像を構成する全てのピクセルに関してこれらの処理を繰り返したら、ステップＳ１１０において終了する。このようにして駆られた画素データを合成すれば、物体３０３をシーンに立体表示するために画像ディスプレイ３０１に表示すべきパターン画像を得られる。
【００４６】
ここで、本発明においては、ピクセルとピンホールとの対応関係を予め決めておいてもよい。すなわち、ピンホール毎にピクセルを割り当てておくことができる。
【００４７】
図３は、ピクセルの割り当てを説明する概念図である。すなわち、同図に表した具体例の場合、画像ディスプレイ３０１に設けられているピクセルＰＸは、ピクセル群ＰＧ１、ＰＧ２、ＰＧ３・・・のようなグループに分けられている。そして、例えば、ピクセル群ＰＧ１に属するピクセルは、ピンホールＰ１に割り当てられ、ピクセル群ＰＧ２に属するピクセルは、ピンホールＰ２に割り当てられ、ピクセル群ＰＧ３に属するピクセルは、ピンホールＰ３に割り当てられている。
【００４８】
例えば、ステップＳ１０４において、ピクセル群ＰＧ１のピクセルＡを選択すると、このピクセルが割り当てられたピンホールＰ１を通る視線５００の延長上に視点が決定される。そして、ステップＳ１０８において、これと平行な視線５００を有するピクセル群ＰＧ２とＰＧ３のピクセルＡについての画素データが生成される。つまり、各ピクセル群において、平行な視線を有するピクセルについての画素データが生成される。
【００４９】
従って、図３のようにピクセルをピンホール毎に割り当てた場合には、ステップＳ１０４において選択するピクセルは、未だ画素データが生成されていないピクセルとすればよい。
【００５０】
次に、ステップＳ１０８における物体３０３の投影図の形成処理に用いて好適なアルゴリズムについて、図４を参照しつつ説明する。
【００５１】
図４は、ステップＳ１０８における物体３０３の投影図の形成処理に用いて好適なアルゴリズムを例示するフローチャートである。
【００５２】
このアルゴリズムは、物体３０３を視線の方向に沿って観察者３１１の側から眺めた投影図を形成するための方法を表す。つまり、物体３０３のうちで、観察者３１１の側の表面が投影された投影図を形成するものである。またここで、物体３０３は、Ｘ，Ｙ，Ｚ座標のような３次元的な位置データと関連づけられた画素（点）毎のカラー値データ群として与えられるものとする。
【００５３】
図４に表した具体例の場合、まず、ステップＳ１０８Ａとして、画素のＺ（深さ）座標値を、画素のカラー値を記憶するメモリ上のカラーバッファと１対１に対応した専用のメモリ上のデプスバッファに記憶させる。
【００５４】
すなわち、Ｘ座標とＹ座標との２次元的な画像データを格納するカラーバッファと、そのカラーバッファに格納されるそれぞれの画素のカラー値のデータに対応させてそのＺ座標値を２次元的に格納したデプスバッファを用意する。
【００５５】
そして、物体３０３を構成する画素（点）のいずれかについて、その画素（点）のカラー値のデータをそのＸ座標とＹ座標とに基づいたカラーバッファのアドレスに格納し、このデータと対応づけて、その画素（点）のＺ座標値のデータをデプスバッファに格納する。ここで、Ｚ座標値は、ステップＳ１０８における投影方向、すなわち視線の方向に沿って設定する。
【００５６】
次に、ステップＳ１０８Ｂとして、メモリ上のデプスバッファに記憶されているＺ値がこれから描画しようとするＺ値よりも観察者に近い場合には画素をメモリ上のカラーバッファに描画してメモリ上のデプスバッファの値も更新する。メモリ上のデプスバッファに記憶されているＺ値がこれから描画しようとするＺ値よりも近傍である場合には何もしない。
【００５７】
すなわち、物体３０３の任意の画素（点）を順次選択し、この画素のＸ座標とＹ座標とに基づいて、デプスバッファに格納されているＺ座標値データと、新たに選択したこの画素のＺ座標値とを比較する。そして、新たに選択した画素（点）の方が観察者３１１に近い場合には、そのカラー値をカラーバッファのそのＸＹ座標値に対応するアドレスに格納する。つまり、新たに選択した画素（点）がバッファに格納されている同一のＸＹ座標の画素（点）よりも観察者に近い場合には、カラー値とＺ座標値のデータをそれぞれ書き換える。
【００５８】
逆に、この新たに選択した画素（点）が、同一のＸＹ座標値に対応するデプスバッファに格納されているＺ座標値と比較して、観察者３１１から遠い場合には、カラーバッファには格納しない。つまり、新たに選択した画素（点）がバッファに格納されている同一のＸＹ座標の画素（点）よりも観察者から遠い場合には、カラー値とＺ座標値のデータを書き換えない。
【００５９】
そして、ステップＳ１０８Ｃに表したように、物体３０３の全ての画素（点）について、ステップＳ１０８Ｂを繰り返す。
【００６０】
以上説明したアルゴリズムは、半導体メモリ上にデータを展開することにより簡単に実現できる。
【００６１】
すなわち、図５に概念的に例示したように、カラーバッファ２０１とデプスバッファ２０２および、仮想画面用のバッファ２０３を準備する。カラーバッファ２０１上の、あるアドレスのカラー値を決めるのにデプスバッファ２０２の情報を使うわけである。カラーバッファ２０１のすべてのアドレス上の値が確定したのち、特定のアドレスのカラー値を仮想画面用のバッファ２０３にデータ転送する。これを繰り返すことで、仮想画面用バッファ２０３のすべてのアドレス上のカラー値が決まるわけである。最後に、仮想画面バッファ２０３のデータを用いて投影画面を表示することができる。
【００６２】
図４に表したアルゴルズムを用いて本発明を実施したところ、ほぼリアルタイムで、画像ディスプレイ３０１に表示させるべきパターン画像を計算することが可能であり、三次元虚像および三次元実像からなるシーンの動画が再生可能であった。
【００６３】
図６は、本発明の画像形成方法を実行可能な画像形成装置を例示する模式図である。
【００６４】
すなわち、本発明の画像形成方法を実施する第１の手段として、図２あるいは図４に例示したようなアルゴリズムを実行することが可能な演算回路をハードウエアとして設けることができる。
【００６５】
また、本発明の画像形成方法を実施する第２の手段として、図２あるいは図４に例示したアルゴリズムに基づくコンピュータ・プログラムをソフトウエアとして、コンピュータにインストールし実行させることもできる。
【００６６】
すなわち、図６に例示したものは、画像形成装置のうちの、パターン画像を生成するコンピュータ部分であり、このコンピュータにより形成されたパターン画像が、例えば、図１に例示したような画像ディスプレイ３０１に出力されて、所望の立体画像を表示することができる。
【００６７】
図５に例示したコンピュータ８０の本体は、本発明の画像形成方法を実行可能なハードウエア回路が設けられ、あるいはソフトウエアがインストールされている。
【００６８】
このようなソフトウエアは、例えば、磁気ディスクあるいは光磁気ディスク８３に格納した状態で、ドライブ８１により読み取り、インストールが可能である。または、ＣＤ（compact disk）やＤＶＤ（digital versatile disk）などの光ディスク８４に格納され、ドライブ８２により読み取り、インストールも可能である。
【００６９】
また、所定の入力装置を接続することにより、例えばメモリ装置としてのＲＯＭ８５や、磁気テープ８６を用いることもできる。
【００７０】
さらにまた、通信回線８８を介して本発明のプログラムをダウンロードし、インストールすることも可能である。
【００７１】
そして、図６に表した装置により形成されたパターン画像は、例えば、図１に例示したような表示装置に供給されてインテグラルフォトグラフィ法により立体画像を表示させることができる。
【００７２】
また、図６に表した装置により形成されたパターン画像を、一旦、記録媒体やメモリなどに格納し、これを別の装置で再生して立体画像を表示させることも同様に可能である。
【００７３】
さらにまた、形成したパターン画像を、インターネットあるいはイントラネットなどの各種の通信回線を介して送信し、受信者がこれを用いて立体画像を表示することも可能である。
【００７４】
いずれの場合であっても、本発明によれば、インテグラルフォトグラフィ法により立体画像を表示するためのパターン画像を、従来よりも大幅に短縮された処理時間で形成することが可能となる。その結果として、汎用のパーソナル・コンピュータやこれに準ずる性能の演算装置を用いて、リアルタイムで動画レベルの立体画像の表示が可能となる。
【００７５】
以上、具体例を例示しつつ本発明の実施の形態について説明した。しかし、本発明は、上述した各具体例に限定されるものではない。
【００７６】
例えば、画素データのカラー値やＺ座標値、あるいはパターン画像のデータなどを格納するために、メモリのかわりに磁気ディスクや光ディスクを始めとする各種のストレージデバイスを用いてもよい。その他、その詳細は、仕様に応じて適宜変更することもできる。
【００７７】
また、例えば、図２に表したアルゴリズムのステップＳ１０４において視点を決定し、ステップＳ１０６においてその視点を含む平面を得る代わりに、最初から平面３０４を決定しておいてもよい。この場合には、ステップＳ１０４においては、視線が予め決定した平面３０４と交わる点が視点となる。
【００７８】
また一方、ステップＳ１０６において物体の全体を平行投影し、ステップＳ１０８においてそれを一定の周期でサンプリングする代わりに、ステップＳ１０６において物体のうちの視線と交差する部分のみを平面３０４の上に投影してもよい。すなわち、ピクセルとピンホールにより形成される視線の上のみについて、物体の画素データを平面３０４の上に投影すれは、物体の全体を平行投影するよりも処理時間が短く、さらにステップＳ１０８においてサンプリングする必要もなくなる。
【００７９】
その他、本発明は、その趣旨を逸脱しない範囲において、種々変形して実施することができ、これらの実施例も本発明の範囲に包含される。
【００８０】
【発明の効果】
以上説明したように、本発明によれば、簡便かつ低コストな手法により、インテグラルフォトグラフィや光線再生法による立体視装置で用いるためのパターン画像を生成することができる。
【００８１】
その結果として、自然な動画での立体視が可能な装置を低コストで実現でき、またその信頼性も高く、産業上のメリットは多大である。
【図面の簡単な説明】
【図１】本発明の画像形成方法を説明するための概念図である。
【図２】本発明の画像形成方法のアルゴリズムを例示するフローチャートである。
【図３】ピクセルの割り当てを説明する概念図である。
【図４】ステップＳ１０８における物体３０３の投影図の形成処理に用いて好適なアルゴリズムを例示するフローチャートである。
【図５】カラーバッファ２０１とデプスバッファ２０２および、仮想画面用のバッファ２０３を表す概念図である。
【図６】本発明の画像形成方法を実行可能な画像形成装置を例示する模式図である。
【図７】インテグラルフォトグラフィー（ＩＰ）法を説明するための概念図である。
【図８】レイ・トレーシング法を説明するための概念図である。
【符号の説明】
８０ コンピュータ
８１、８２ ドライブ
８３ 磁気ディスク
８４ 光ディスク
８５ ＲＯＭ
８６ 磁気テープ
８８ 通信回線
２０１ カラーバッファ
２０２ デプスバッファ
２０３ 仮想画面用バッファ
３０１ 画像ディスプレイ
３０２ ピンホール板
３０２Ａ ピンホール
３０３ 物体（三次元実像）
３０４ 平面
３１１ 観察者
４０１Ａ〜Ｄ、４０２Ａ〜Ｄ ピクセル
４０４ 交点
５００、５０１Ａ〜Ｄ、５０２Ａ〜Ｄ 視線
６０１Ａ、６０２Ａ 視点
Ｐ１〜Ｐ３ ピンホール
ＰＧ１〜ＰＧ３ ピクセル群
ＰＸ ピクセル
【発明の属する技術分野】
本発明は、画像形成方法、画像形成プログラム及び画像形成装置に関し、特に、インテグラルフォトグラフィー（ＩＰ）法あるいは光線再生法により立体的な画像を表示させるためのパターン画像データを形成する画像形成方法、画像形成プログラム及びこれらにより形成されたパターン画像を用いて立体画像を表示する画像形成装置に関する。
【０００２】
【従来の技術】
近年のコンピュータ及びその関連技術の急速な発展に伴い、画像表示技術も急速に進歩している。そして、例えば、アミューズメント、インターネットショッピング、携帯端末、医療、バーチャルリアリティ、広告看板などの各種の用途において、立体画像を表示する技術の開発が望まれつつある。
【０００３】
立体画像を表示する方法としては、これまでに、いくつかの方法が提案されている。例えばその１つに、「体積表示方法」と呼ばれるものがある。この体積表示方法は、三次元空間内に複数の断層情報を文字通り体積表示するもので、自然な立体視が可能である。ただし、この方法では、断層情報が表示された表示面を機械的に高速で動かす必要があり、その物理的な機構の実現が容易でないという問題がある。
【０００４】
他の方法として、複数の視差画像を表示し、それらを再構成することにより立体感を得る方法もある。この方法のうちで最も簡単な例である「２眼式」の場合、右目用の情報と左眼用の情報とを観察者に提示することにより立体感を与えることができる。しかし、この２眼式では、焦点位置はディスプレイ面にあり、この焦点位置と注視物体のある輻輳位置との間には空間的な「ずれ」が生ずる。このため、いわゆる焦点調節と輻輳距離の不一致が生じ、観察者にとって再現される空間に違和感があり、観察者に疲労を与えやすいという問題がある。
【０００５】
これらの問題を解決する立体表示方法として、非常に多くの視差画像を用いる「インテグラルフォトグラフィー（ＩＰ）法」あるいは「光線再生法」が知られている。ここで、「インテグラルフォトグラフィー（ＩＰ）法」及び「光線再生法」は、立体表示方法として、その用語の意味が正確には確立されていないが、ほぼ同一の原理に基づくものである点を明記しておく。そして、以下の説明においては、光線再生法を含む概念として「インテグラルフォトグラフィー（ＩＰ）法」と称し、このインテグラルフォトグラフィー（ＩＰ）法について説明する。
【０００６】
インテグラルフォトグラフィー（ＩＰ）法では、図７に例示したように画像ディスプレイ３０１とピンホールアレイ板３０２とからなる簡単な光学系により、自然な三次元像を再生できる。ここで、画像ディスプレイ３０１は、例えば、液晶ディスプレイやプラズマディスプレイなどの各種の２次元表示装置を用いることができる。
【０００７】
画像ディスプレイ３０１には、視差画像群に相当する多数のパターンが表示される。本願においては、これを「パターン画像」と称する。そして、ピンホールが二次元配列されたピンホールアレイ板３０２を介してこれらのパターンを観察すると、画像ディスプレイ３０１の背後に三次元虚像が形成され、ピンホールアレイ板３０２の前面に、三次元実像３０３が形成される。
【０００８】
すなわち、観察者からピンホールアレイ板３０２のピンホールを介して画像ディスプレイ３０１上のパターンに向かう視差画像光線群によって三次元虚像が形成され、画像ディスプレイ３０１上に表示されるパターン画像からピンホールアレイ板３０２のピンホールを介して観察者に向かう視差画像光線群の交点４０４によって三次元実像３０３が形成される。ここで、観察者に対しては、三次元虚像を背景としてその前面に実像が形成されるように表示することができ、あるいは、実像または虚像のいずれかのみが観察されるように表示することもできる。
【０００９】
インテグラルフォトグラフィー（ＩＰ）法は、このように比較的簡単な構成で自然な立体像を形成することができる。このインテグラルフォトグラフィー（ＩＰ）法において、画像ディスプレイ３０１上に表示すべきパターン画像を作成するには、表示すべき対象物を実写することにより実写ベースで行うこともできる。しかし、この場合には再生立体像の遠近が逆になる「裏返しの像」の問題があった。
【００１０】
これに対して、画像データを処理するコンピュータグラフィックス（ＣＧ）ベースによれば、このような問題を解決でき、さらに実写画像を取り込むこともできる。コンピュータグラフィックス（ＣＧ）を用いてパターン画像を作成する場合には、「光線追跡法」と呼ばれる方法が用いられている。光線追跡法は、「レイ・トレーシング（ray tracing）法」とも呼ばれ、観察者の眼に入ってくる光の進路を逆向きに追跡（トレース）する方法である。その概要は、以下に説明するように、表示画面を構成する各ピクセルに注目し、それに与えるべき色を１つずつ調べていくというものである。
【００１１】
図８は、レイ・トレーシング法を説明するための概念図である。
【００１２】
すなわち、レイ・トレーシング法においては、以下の手順が採られる。
【００１３】
（１）画像ディスプレイ３０１上の各ピクセルについて、視点３１１から始まってそのピクセルを通る視線５０１を作る。そして、この視線５０１が、物体３０３の存在するシーン内において、その物体３０３とぶつかるか否かを交差判定しながら追跡する。
【００１４】
（２）視線５０１が物体３０３にぶつかったら、その物体の観察者３１１の側の表面の点５０２の幾何的性質と視線の方向、およびそのシーンに置かれた光源の位置を基にして、そのピクセルに与える色を決定する。
【００１５】
しかし、以上の方法による場合、物体３０３の全体についてレイ・トレーシングを行うためには、例えば次のような量の計算手続が必要とされる。
（交差判定処理×図形数＋ピクセルの色を求める処理）×視差数×ピンホール数この方法の場合、そもそも交差判定処理が煩雑であり、処理時間がかかりやすい。特に、シーン内に複数の物体３０３を配置し、その表現色も多様なものとすると、交差判定処理が複雑であるとともに全体の計算量が多く、処理時間が非常に長くなるという問題があった。
【００１６】
【発明が解決しようとする課題】
すなわち、インテグラルフォトグラフィー（ＩＰ）法は、簡単な構成で自然な立体像を形成できる点で優れるが、画像ディスプレイ３０１上に表示すべきパターン画像を作成するために、従来は光線追跡法が用いられていた。しかし、この方法では、必要とされる計算処理量が膨大であり、従って処理時間が非常に長いという問題があった。その結果として、リアルタイムで処理をしながら画像表示を行うことは現状でも困難である。
【００１７】
また、このような画像データ処理のための専用のＬＳＩを作成することも考えられるが、これは非常に高価となるために実用に供することが容易でなく、立体画像表示の普及には寄与しにくい。
【００１８】
以上説明したように、インテグラルフォトグラフィー（ＩＰ）法のような理想に近い立体像表示方法が提案されているにもかかわらず、インテグラルフォトグラフィー（ＩＰ）用の画像データをリアルタイムで作成することは困難であった。
【００１９】
本発明はかかる課題の認識に基づいてなされたものであり、その目的は、インテグラルフォトグラフィー（ＩＰ）法あるいは光線再生法において用いるパターン画像のための画像形成方法、画像形成プログラム及び画像形成装置を堤供することにある。
【００２０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の画像形成方法は、画像ディスプレイと前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイとを用いて立体的な画像を表示する画像形成装置の前記画像ディスプレイに表示させるパターン画像データを形成するインテグラルフォトグラフィ用のディスプレイの画像形成方法であって、前記画像ディスプレイのいずれかのピクセルと、前記ピンホール板のいずれかのピンホールまたは前記レンズアレイのいずれかのレンズ中心とを結ぶ視線の延長上に視点を決定する第１のプロセスと、表示すべき対象を前記視線の方向に沿って平行投影して、前記視点を含む平面上に前記対象の投影図を形成する第２のプロセスと、前記平面上に形成した前記投影図において、前記視点及びそこから縦横に一定の周期で画素データをサンプリングして格納する第３のプロセスと、を備え、前記視点を含む前記平面を共通な１つの平面としつつ前記第１乃至第３のプロセスを繰り返し、前記投影図の形成は、Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、前記対象を構成する画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行し、前記画素データを取得することを特徴とする。
【００２１】
上記構成によれば、従来よりも大幅に処理時間を短縮してパターン画像データを形成できる。その結果として、汎用の演算処理装置に用いても、リアルタイムで動画レベルの立体画像を表示することも可能となる。
【００２２】
また、本発明の第２の画像形成方法は、画像ディスプレイと前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイとを用いて立体的な画像を表示する画像形成装置の前記画像ディスプレイに表示させるパターン画像データを形成するインテグラルフォトグラフィ用のディスプレイの画像形成方法であって、表示すべき対象と観察者との間に投影平面を設定する第１のプロセスと、前記画像ディスプレイのピクセルと、前記ピンホール板のいずれかのピンホールまたは前記レンズアレイのいずれかのレンズ中心とを結ぶ視線を決定する第２のプロセスと、表示すべき対象を前記視線の方向に沿って平行投影して、前記投影平面上に前記対象の投影図を形成する第３のプロセスと、前記投影平面上に形成した前記投影図において、前記投影平面と前記視線との交点である視点及び当該視点から縦横に一定の周期で画素データをサンプリングして格納する第４のプロセスと、を備え、前記投影平面を共通な１つの平面としつつ前記第２乃至第４のプロセスを繰り返し、前記投影図の形成は、Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、前記対象を構成する画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行し、前記画素データを取得することを特徴とする。
【００２３】
上記構成によっても、従来よりも大幅に処理時間を短縮してパターン画像データを形成できる。その結果として、汎用の演算処理装置に用いても、リアルタイムで動画レベルの立体画像を表示することも可能となる。
【００２４】
ここで、前記一定の周期は、前記ピンホール板のピンホールあるいは前記レンズアレイにおけるレンズ中心の配列の周期に対応するものとすることができる。
【００２５】
また、前記投影図の形成は、
Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、
前記対象を構成する全ての画素について、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行するプロセスを含むものとすることができる。
【００２６】
この方法によれば、さらに高速な処理が可能となる。
【００２７】
また、前記Ｚ座標の座標軸は、前記平行投影する前記視線の方向に対して平行であるものとすれば、正確な投影図の形成が可能である。
【００２８】
一方、本発明の画像形成プログラムは、上記のいずれかの画像形成方法をコンピュータに実行可能とさせたことを特徴とする。
【００２９】
一方、本発明の画像形成装置は、上記のいずれかの画像形成方法を実行するパターン画像データ形成部と、
画像ディスプレイと、
前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイと、
を備え、
前記パターン画像形成部により形成された前記パターン画像データを前記画像ディスプレイに表示させることにより、前記対象の立体画像を表示可能としたことを特徴とする。
【００３０】
上記構成によれば、従来よりも大幅に処理時間を短縮してパターン画像データを形成できる。その結果として、汎用の演算処理装置に用いても、リアルタイムで動画レベルの立体画像を表示することも可能となる。
【００３１】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について詳細に説明する。
【００３２】
図１は、本発明の画像形成方法を説明するための概念図である。
【００３３】
本発明は、インテグラルフォトグラフィ法により立体画像を表示するためのパターン画像データを形成する。従って、図１に例示した如く、液晶ディスプレイなどの２次元画像ディスプレイ３０１と、その全面に配置されたピンホール板３０２と、を想定する。但し、ピンホール板３０２は、ピンホールの代わりにレンズが２次元的に配置されたレンズアレイ板でもよい。
【００３４】
図２は、本発明の画像形成方法のアルゴリズムを例示するフローチャートである。
【００３５】
本発明においては、まず、ステップＳ１０２において、シーン内に物体３０３を配置する。ここで、「物体」とは、表示すべき対象（オブジェクト）のことであり、必ずしも実在する物体である必要はない。例えば、コンピュータグラフィクスにより立体的に表示させる仮想のオブジェクトであってもよい。また、「シーン」とは、対象となる立体画像を表示する空間に対応する。
【００３６】
次に、ステップＳ１０４において、表示画面上のピクセルとピンホールあるいはレンズ中心を結ぶ線（視線）の延長上に視点を決める。例えば、図１において、画像ディスプレイ３０１のピクセル４０１Ａと、ピンホール板３０２のピンホール３０２Ａとを結ぶ視線５０１Ａを形成し、その延長上に視点６０１Ａを決める。
【００３７】
次に、ステップＳ１０６において、視点を含む平面上に視線の方向に物体を平行投影して、その投影図を書く。例えば、図１において、視点６０１Ａを含む平面３０４を想定し、視線５０１Ａの方向に沿って、この平面３０４の上に物体３０３を平行投影する。ここで行う平行投影は、観察者３１１が視線５０１Ａの方向に沿って物体３０３を眺めた場合の像を平面３０４の上に形成することに対応する。
【００３８】
このようにして平面３０４の上に投影図を描いたら、次に、ステップＳ１０８において、最初に着目したピクセルから縦横に一定の周期でサンプリングして別の画面に画素データを転送する。例えば、図１において、平面３０４の上に描かれた物体３０３の投影図のうちで、視点６０１Ａ、６０１Ｂ、６０１Ｃ、６０１Ｄ・・・における画素データをサンプリングして、コンピュータの画像メモリに転送する。これら視点６０１Ａ、６０１Ｂ、６０１Ｃ、６０１Ｄ・・・は、それぞれピクセル４０１Ａ、４０１Ｂ、４０１Ｃ、４０１Ｄ・・・と、ピンホール３０２Ａ、３０２Ｂ、３０２Ｃ、３０２Ｄ・・と、を結ぶ視線５０１Ａ、５０１Ｂ、５０１Ｃ、５０１Ｄ・・が平面３０４の上に形成する画素データに対応する。つまり、これらの画素データは、観察者３１１が視線５０１Ａ〜Ｄの方向から物体３０３を見た画像を表示させるために、ピクセル４０１Ａ〜Ｄに表示すべき画素データに対応する。
【００３９】
従って、このステップにおけるサンプリングの周期は、ピンホール板３０２のピンホールの配列ピッチに対応するものである。
【００４０】
このようにしてサンプリングされた画素データは、具体的には、例えば、各ピクセルに表示すべき色データと輝度データとを有する。そして、これらの画素データは、例えば、コンピュータにより画像データを格納すべき画像メモリ空間が確保された半導体メモリやハードディスクなどに転送され格納される。
【００４１】
このようにして、ある方向の視線に沿った画素データを取得したら、次に、ステップＳ１０４に戻り、再び、表示画面上のピクセルとピンホールあるいはレンズ中心を結ぶ線（視線）の延長上に視点を決める。例えば、図１において、画像ディスプレイ３０１のピクセル４０２Ａと、ピンホール板３０２のピンホール３０２Ａとを結ぶ視線５０２Ａを形成し、その延長上に視点６０２Ａを決める。
【００４２】
次に、ステップＳ１０６において、視点６０２Ａを含む平面３０４を想定し、視線５０２Ａの方向に沿って、この平面３０４の上に物体３０３を平行投影する。
【００４３】
そして、ステップＳ１０８において、平面３０４の上に描かれた物体３０３の投影図のうちで、視点６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ・・・における画素データをサンプリングして、コンピュータの画像メモリなどに転送する。
【００４４】
このようにして、観察者３１１が視線５０２Ａ〜Ｄの方向から物体３０３を見た画像を表示させるために、ピクセル４０２Ａ〜Ｄに表示すべき画素データを生成し、画像メモリなどに格納する。
【００４５】
これ以降、順次、ステップＳ１０４〜Ｓ１０８を繰り返す。そして、要素画像を構成する全てのピクセルに関してこれらの処理を繰り返したら、ステップＳ１１０において終了する。このようにして駆られた画素データを合成すれば、物体３０３をシーンに立体表示するために画像ディスプレイ３０１に表示すべきパターン画像を得られる。
【００４６】
ここで、本発明においては、ピクセルとピンホールとの対応関係を予め決めておいてもよい。すなわち、ピンホール毎にピクセルを割り当てておくことができる。
【００４７】
図３は、ピクセルの割り当てを説明する概念図である。すなわち、同図に表した具体例の場合、画像ディスプレイ３０１に設けられているピクセルＰＸは、ピクセル群ＰＧ１、ＰＧ２、ＰＧ３・・・のようなグループに分けられている。そして、例えば、ピクセル群ＰＧ１に属するピクセルは、ピンホールＰ１に割り当てられ、ピクセル群ＰＧ２に属するピクセルは、ピンホールＰ２に割り当てられ、ピクセル群ＰＧ３に属するピクセルは、ピンホールＰ３に割り当てられている。
【００４８】
例えば、ステップＳ１０４において、ピクセル群ＰＧ１のピクセルＡを選択すると、このピクセルが割り当てられたピンホールＰ１を通る視線５００の延長上に視点が決定される。そして、ステップＳ１０８において、これと平行な視線５００を有するピクセル群ＰＧ２とＰＧ３のピクセルＡについての画素データが生成される。つまり、各ピクセル群において、平行な視線を有するピクセルについての画素データが生成される。
【００４９】
従って、図３のようにピクセルをピンホール毎に割り当てた場合には、ステップＳ１０４において選択するピクセルは、未だ画素データが生成されていないピクセルとすればよい。
【００５０】
次に、ステップＳ１０８における物体３０３の投影図の形成処理に用いて好適なアルゴリズムについて、図４を参照しつつ説明する。
【００５１】
図４は、ステップＳ１０８における物体３０３の投影図の形成処理に用いて好適なアルゴリズムを例示するフローチャートである。
【００５２】
このアルゴリズムは、物体３０３を視線の方向に沿って観察者３１１の側から眺めた投影図を形成するための方法を表す。つまり、物体３０３のうちで、観察者３１１の側の表面が投影された投影図を形成するものである。またここで、物体３０３は、Ｘ，Ｙ，Ｚ座標のような３次元的な位置データと関連づけられた画素（点）毎のカラー値データ群として与えられるものとする。
【００５３】
図４に表した具体例の場合、まず、ステップＳ１０８Ａとして、画素のＺ（深さ）座標値を、画素のカラー値を記憶するメモリ上のカラーバッファと１対１に対応した専用のメモリ上のデプスバッファに記憶させる。
【００５４】
すなわち、Ｘ座標とＹ座標との２次元的な画像データを格納するカラーバッファと、そのカラーバッファに格納されるそれぞれの画素のカラー値のデータに対応させてそのＺ座標値を２次元的に格納したデプスバッファを用意する。
【００５５】
そして、物体３０３を構成する画素（点）のいずれかについて、その画素（点）のカラー値のデータをそのＸ座標とＹ座標とに基づいたカラーバッファのアドレスに格納し、このデータと対応づけて、その画素（点）のＺ座標値のデータをデプスバッファに格納する。ここで、Ｚ座標値は、ステップＳ１０８における投影方向、すなわち視線の方向に沿って設定する。
【００５６】
次に、ステップＳ１０８Ｂとして、メモリ上のデプスバッファに記憶されているＺ値がこれから描画しようとするＺ値よりも観察者に近い場合には画素をメモリ上のカラーバッファに描画してメモリ上のデプスバッファの値も更新する。メモリ上のデプスバッファに記憶されているＺ値がこれから描画しようとするＺ値よりも近傍である場合には何もしない。
【００５７】
すなわち、物体３０３の任意の画素（点）を順次選択し、この画素のＸ座標とＹ座標とに基づいて、デプスバッファに格納されているＺ座標値データと、新たに選択したこの画素のＺ座標値とを比較する。そして、新たに選択した画素（点）の方が観察者３１１に近い場合には、そのカラー値をカラーバッファのそのＸＹ座標値に対応するアドレスに格納する。つまり、新たに選択した画素（点）がバッファに格納されている同一のＸＹ座標の画素（点）よりも観察者に近い場合には、カラー値とＺ座標値のデータをそれぞれ書き換える。
【００５８】
逆に、この新たに選択した画素（点）が、同一のＸＹ座標値に対応するデプスバッファに格納されているＺ座標値と比較して、観察者３１１から遠い場合には、カラーバッファには格納しない。つまり、新たに選択した画素（点）がバッファに格納されている同一のＸＹ座標の画素（点）よりも観察者から遠い場合には、カラー値とＺ座標値のデータを書き換えない。
【００５９】
そして、ステップＳ１０８Ｃに表したように、物体３０３の全ての画素（点）について、ステップＳ１０８Ｂを繰り返す。
【００６０】
以上説明したアルゴリズムは、半導体メモリ上にデータを展開することにより簡単に実現できる。
【００６１】
すなわち、図５に概念的に例示したように、カラーバッファ２０１とデプスバッファ２０２および、仮想画面用のバッファ２０３を準備する。カラーバッファ２０１上の、あるアドレスのカラー値を決めるのにデプスバッファ２０２の情報を使うわけである。カラーバッファ２０１のすべてのアドレス上の値が確定したのち、特定のアドレスのカラー値を仮想画面用のバッファ２０３にデータ転送する。これを繰り返すことで、仮想画面用バッファ２０３のすべてのアドレス上のカラー値が決まるわけである。最後に、仮想画面バッファ２０３のデータを用いて投影画面を表示することができる。
【００６２】
図４に表したアルゴルズムを用いて本発明を実施したところ、ほぼリアルタイムで、画像ディスプレイ３０１に表示させるべきパターン画像を計算することが可能であり、三次元虚像および三次元実像からなるシーンの動画が再生可能であった。
【００６３】
図６は、本発明の画像形成方法を実行可能な画像形成装置を例示する模式図である。
【００６４】
すなわち、本発明の画像形成方法を実施する第１の手段として、図２あるいは図４に例示したようなアルゴリズムを実行することが可能な演算回路をハードウエアとして設けることができる。
【００６５】
また、本発明の画像形成方法を実施する第２の手段として、図２あるいは図４に例示したアルゴリズムに基づくコンピュータ・プログラムをソフトウエアとして、コンピュータにインストールし実行させることもできる。
【００６６】
すなわち、図６に例示したものは、画像形成装置のうちの、パターン画像を生成するコンピュータ部分であり、このコンピュータにより形成されたパターン画像が、例えば、図１に例示したような画像ディスプレイ３０１に出力されて、所望の立体画像を表示することができる。
【００６７】
図５に例示したコンピュータ８０の本体は、本発明の画像形成方法を実行可能なハードウエア回路が設けられ、あるいはソフトウエアがインストールされている。
【００６８】
このようなソフトウエアは、例えば、磁気ディスクあるいは光磁気ディスク８３に格納した状態で、ドライブ８１により読み取り、インストールが可能である。または、ＣＤ（compact disk）やＤＶＤ（digital versatile disk）などの光ディスク８４に格納され、ドライブ８２により読み取り、インストールも可能である。
【００６９】
また、所定の入力装置を接続することにより、例えばメモリ装置としてのＲＯＭ８５や、磁気テープ８６を用いることもできる。
【００７０】
さらにまた、通信回線８８を介して本発明のプログラムをダウンロードし、インストールすることも可能である。
【００７１】
そして、図６に表した装置により形成されたパターン画像は、例えば、図１に例示したような表示装置に供給されてインテグラルフォトグラフィ法により立体画像を表示させることができる。
【００７２】
また、図６に表した装置により形成されたパターン画像を、一旦、記録媒体やメモリなどに格納し、これを別の装置で再生して立体画像を表示させることも同様に可能である。
【００７３】
さらにまた、形成したパターン画像を、インターネットあるいはイントラネットなどの各種の通信回線を介して送信し、受信者がこれを用いて立体画像を表示することも可能である。
【００７４】
いずれの場合であっても、本発明によれば、インテグラルフォトグラフィ法により立体画像を表示するためのパターン画像を、従来よりも大幅に短縮された処理時間で形成することが可能となる。その結果として、汎用のパーソナル・コンピュータやこれに準ずる性能の演算装置を用いて、リアルタイムで動画レベルの立体画像の表示が可能となる。
【００７５】
以上、具体例を例示しつつ本発明の実施の形態について説明した。しかし、本発明は、上述した各具体例に限定されるものではない。
【００７６】
例えば、画素データのカラー値やＺ座標値、あるいはパターン画像のデータなどを格納するために、メモリのかわりに磁気ディスクや光ディスクを始めとする各種のストレージデバイスを用いてもよい。その他、その詳細は、仕様に応じて適宜変更することもできる。
【００７７】
また、例えば、図２に表したアルゴリズムのステップＳ１０４において視点を決定し、ステップＳ１０６においてその視点を含む平面を得る代わりに、最初から平面３０４を決定しておいてもよい。この場合には、ステップＳ１０４においては、視線が予め決定した平面３０４と交わる点が視点となる。
【００７８】
また一方、ステップＳ１０６において物体の全体を平行投影し、ステップＳ１０８においてそれを一定の周期でサンプリングする代わりに、ステップＳ１０６において物体のうちの視線と交差する部分のみを平面３０４の上に投影してもよい。すなわち、ピクセルとピンホールにより形成される視線の上のみについて、物体の画素データを平面３０４の上に投影すれは、物体の全体を平行投影するよりも処理時間が短く、さらにステップＳ１０８においてサンプリングする必要もなくなる。
【００７９】
その他、本発明は、その趣旨を逸脱しない範囲において、種々変形して実施することができ、これらの実施例も本発明の範囲に包含される。
【００８０】
【発明の効果】
以上説明したように、本発明によれば、簡便かつ低コストな手法により、インテグラルフォトグラフィや光線再生法による立体視装置で用いるためのパターン画像を生成することができる。
【００８１】
その結果として、自然な動画での立体視が可能な装置を低コストで実現でき、またその信頼性も高く、産業上のメリットは多大である。
【図面の簡単な説明】
【図１】本発明の画像形成方法を説明するための概念図である。
【図２】本発明の画像形成方法のアルゴリズムを例示するフローチャートである。
【図３】ピクセルの割り当てを説明する概念図である。
【図４】ステップＳ１０８における物体３０３の投影図の形成処理に用いて好適なアルゴリズムを例示するフローチャートである。
【図５】カラーバッファ２０１とデプスバッファ２０２および、仮想画面用のバッファ２０３を表す概念図である。
【図６】本発明の画像形成方法を実行可能な画像形成装置を例示する模式図である。
【図７】インテグラルフォトグラフィー（ＩＰ）法を説明するための概念図である。
【図８】レイ・トレーシング法を説明するための概念図である。
【符号の説明】
８０ コンピュータ
８１、８２ ドライブ
８３ 磁気ディスク
８４ 光ディスク
８５ ＲＯＭ
８６ 磁気テープ
８８ 通信回線
２０１ カラーバッファ
２０２ デプスバッファ
２０３ 仮想画面用バッファ
３０１ 画像ディスプレイ
３０２ ピンホール板
３０２Ａ ピンホール
３０３ 物体（三次元実像）
３０４ 平面
３１１ 観察者
４０１Ａ〜Ｄ、４０２Ａ〜Ｄ ピクセル
４０４ 交点
５００、５０１Ａ〜Ｄ、５０２Ａ〜Ｄ 視線
６０１Ａ、６０２Ａ 視点
Ｐ１〜Ｐ３ ピンホール
ＰＧ１〜ＰＧ３ ピクセル群
ＰＸ ピクセル
Claims (3)
- 画像ディスプレイと前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイとを用いて立体的な画像を表示する画像形成装置の前記画像ディスプレイに表示させるパターン画像データを形成するインテグラルフォトグラフィ用のディスプレイの画像形成方法であって、
前記画像ディスプレイのいずれかのピクセルと、前記ピンホール板のいずれかのピンホールまたは前記レンズアレイのいずれかのレンズ中心とを結ぶ視線の延長上に視点を決定する第１のプロセスと、
表示すべき対象を前記視線の方向に沿って平行投影して、前記視点を含む平面上に前記対象の投影図を形成する第２のプロセスと、
前記平面上に形成した前記投影図において、前記視点及びそこから縦横に一定の周期で画素データをサンプリングして格納する第３のプロセスと、
を備え、
前記視点を含む前記平面を共通な１つの平面としつつ前記第１乃至第３のプロセスを繰り返し、
前記投影図の形成は、
Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、
前記対象を構成する画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行し、前記画素データを取得することを特徴とする画像形成方法。 - 画像ディスプレイと前記画像ディスプレイの前面に設けられたピンホール板またはレンズアレイとを用いて立体的な画像を表示する画像形成装置の前記画像ディスプレイに表示させるパターン画像データを形成するインテグラルフォトグラフィ用のディスプレイの画像形成方法であって、
表示すべき対象と観察者との間に投影平面を設定する第１のプロセスと、
前記画像ディスプレイのピクセルと、前記ピンホール板のいずれかのピンホールまたは前記レンズアレイのいずれかのレンズ中心とを結ぶ視線を決定する第２のプロセスと、
表示すべき対象を前記視線の方向に沿って平行投影して、前記投影平面上に前記対象の投影図を形成する第３のプロセスと、
前記投影平面上に形成した前記投影図において、前記投影平面と前記視線との交点である視点及び当該視点から縦横に一定の周期で画素データをサンプリングして格納する第４のプロセスと、
を備え、
前記投影平面を共通な１つの平面としつつ前記第２乃至第４のプロセスを繰り返し、
前記投影図の形成は、
Ｘ座標およびＹ座標に沿って２次元的に配列される画素の画像データを格納する画像データバッファと、それぞれの画素のＺ座標値を格納するデプスバッファと、をそれぞれ用意し、
前記対象を構成する画素のＺ座標値が、その画素のＸ座標及びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者に近い位置を表示する場合には、その画素の画像データを前記画像データバッファに格納し、その画素のＺ座標値を前記デプスバッファに格納し、これとは反対に、その画素のＺ座標値が、その画素のＸ座標及 びＹ座標に対応した前記デプスバッファに格納されている前記Ｚ座標値よりも観察者から遠い位置を表示する場合には、前記画像データバッファ及びデプスバッファにその画素のデータを格納しない処理を実行し、前記画素データを取得することを特徴とする画像形成方法。 - 前記Ｚ座標の座標軸は、前記平行投影する前記視線の方向に対して平行であることを特徴とする請求項１または２記載の画像形成方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092455A JP4184690B2 (ja) | 2002-03-28 | 2002-03-28 | 画像形成方法、画像形成プログラム及び画像形成装置 |
| US10/386,492 US7265775B2 (en) | 2002-03-28 | 2003-03-13 | Three-dimensional display apparatus |
| KR1020030019530A KR100765595B1 (ko) | 2002-03-28 | 2003-03-28 | 3차원 이미지 디스플레이 장치 및 3차원 이미지 재생 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092455A JP4184690B2 (ja) | 2002-03-28 | 2002-03-28 | 画像形成方法、画像形成プログラム及び画像形成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003288612A JP2003288612A (ja) | 2003-10-10 |
| JP4184690B2 true JP4184690B2 (ja) | 2008-11-19 |
Family
ID=29237281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002092455A Expired - Fee Related JP4184690B2 (ja) | 2002-03-28 | 2002-03-28 | 画像形成方法、画像形成プログラム及び画像形成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4184690B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4645142B2 (ja) * | 2004-10-07 | 2011-03-09 | パナソニック株式会社 | インテグラル・フォトグラフィ画像生成方法 |
| JP4764624B2 (ja) * | 2004-12-07 | 2011-09-07 | 株式会社 日立ディスプレイズ | 立体視表示装置及び立体視用画像生成方法 |
| JP4331224B2 (ja) | 2007-03-29 | 2009-09-16 | 株式会社東芝 | 三次元画像表示装置及び三次元画像の表示方法 |
| JP4875680B2 (ja) * | 2008-09-10 | 2012-02-15 | 日本放送協会 | 三次元情報統合装置および三次元情報統合プログラム |
| JP2011120233A (ja) * | 2009-11-09 | 2011-06-16 | Panasonic Corp | ３ｄ映像特殊効果装置、３ｄ映像特殊効果方法、および、３ｄ映像特殊効果プログラム |
| JP5452801B2 (ja) * | 2010-04-28 | 2014-03-26 | 日本放送協会 | 立体像生成装置およびそのプログラム |
| CN110398843B (zh) * | 2019-07-28 | 2024-03-05 | 成都航空职业技术学院 | 宽视角和均匀分辨率的双视3d显示装置 |
-
2002
- 2002-03-28 JP JP2002092455A patent/JP4184690B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003288612A (ja) | 2003-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bimber et al. | Spatial augmented reality: merging real and virtual worlds | |
| JP3318684B2 (ja) | 立体画像を生成する方法及び装置 | |
| Luo et al. | Parallax360: Stereoscopic 360 scene representation for head-motion parallax | |
| US20130321396A1 (en) | Multi-input free viewpoint video processing pipeline | |
| US9438886B2 (en) | Parallax scanning methods for stereoscopic three-dimensional imaging | |
| JP2005521123A (ja) | 光学顕微鏡検出３次元画像の生成方法及び生成装置 | |
| Jones et al. | Interpolating vertical parallax for an autostereoscopic three-dimensional projector array | |
| US20080143715A1 (en) | Image Based Rendering | |
| CN101236662A (zh) | 生成用于3d显示的cg图像的装置和方法 | |
| US11308682B2 (en) | Dynamic stereoscopic rendering method and processor | |
| TWI813098B (zh) | 用於新穎視圖合成之神經混合 | |
| JP4406824B2 (ja) | 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム | |
| JP6553184B2 (ja) | デジタルビデオのレンダリング | |
| US11436698B2 (en) | Method of playing back image on display device and display device | |
| Chen et al. | Real-time lens based rendering algorithm for super-multiview integral photography without image resampling | |
| KR20170013704A (ko) | 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 | |
| JP2014067372A (ja) | 運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置 | |
| KR20180136891A (ko) | 전방향 비디오에 관한 영상 처리 방법 및 장치 | |
| KR100430381B1 (ko) | 입체 영상 표시 장치 | |
| JP4184690B2 (ja) | 画像形成方法、画像形成プログラム及び画像形成装置 | |
| KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
| Ponto et al. | Effective replays and summarization of virtual experiences | |
| CN101686407A (zh) | 一种采样点信息的获取方法和装置 | |
| JP4567422B2 (ja) | 三次元画像の作成方法 | |
| KR100464286B1 (ko) | 입체 디스플레이 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060524 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061205 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080808 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080904 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |