JP6846165B2 - 画像生成装置、画像表示システム及びプログラム - Google Patents

Description

本発明は、画像生成装置、画像表示システム及びプログラムに関する。

インテグラル方式立体ディスプレイ装置は、専用のメガネを用いずに自然な立体像を観察者に視認させることができる立体ディスプレイ装置の一種である。立体ディスプレイ装置は、表示面の前面における所定の視域内における観察者の左右両眼の位置に応じた像の光線を選択的に提示する仕組みを備える。この仕組みにより、観視者の左右両眼に提示される像の違い（両眼視差）及び観視位置に応じた見え方の変化（運動視差）が再現される。そのため、観視者は表示される被写体の立体像を知覚することができる。

インテグラル方式立体ディスプレイ装置は、レンズを備えた光学的な仕組みを有する立体ディスプレイ装置である。この仕組みにより、観視位置における光の選択的提示が実現される。より具体的には、インテグラル方式立体ディスプレイ装置は、レンズ板とディスプレイパネルを備える。レンズ板は、多数の微細な凸レンズを２次元アレイ状に配列してなる。レンズ板の主面は、レンズ板を構成する凸レンズの焦点距離に相当する距離だけ離れた位置にディスプレイパネルの表示面と平行に配置される。ディスプレイパネルは、レンズ板を構成する凸レンズよりもさらに微細な画素が２次元平面内に配列してなる。ディスプレイパネルは、例えば、液晶ディスプレイである。従って、各１個の凸レンズには複数の画素が割り当てられる。ディスプレイパネルは、レンズ板よりも観視者に対して奥に配置される。レンズ板の前面に所在する観視者は、レンズ板を構成する各１個の凸レンズに割り当てられた画素群から、１画素から発される光線を選択的に観察することになる。

レンズ板よりも観視者に対して奥に配置されるディスプレイパネルに表示される画像を表示画像と呼ぶ。また、レンズ板を構成する個々の凸レンズを要素レンズと呼び、各１個の要素レンズについて提示される画像を要素画像と呼ぶ。１個の要素画像は、複数の画素からなる。つまり、表示画像は、複数の要素画像からなる要素画像群である。表示画像は、立体ディスプレイ装置の前面における所定の視域内の複数の視点において観察される像の情報を含んで構成される。従って、観視者は、ディスプレイパネルに表示された表示画像をレンズ板越しに観察することにより、立体像を認識することができる。

しかしながら、観視者の位置が所定の視域から外れる場合には、立体像の乱れが視認されることがある。その位置において、ある要素レンズを通じて観察される画素が、その要素レンズに対面した要素画像内の画素ではなく、その要素レンズとは異なる要素レンズに対面した要素画像内の画素となることが一因として考えられる。図４に示す例では、観視位置Ｖａ３において要素レンズＥｌを通じて観察される位置Ｐ_ｎ上の画素は、要素レンズＥｌの上方に隣接した要素レンズに対面している。その異なる要素レンズに対面する画素は、本来異なる観視位置から観察されるべき画素であるためである。例えば、観視者の位置が所定の視域の左端よりも左方である場合には、その位置で観察される像の一部を構成する画素が本来視域の右端の近傍で観察される像を構成する画素になることがある。この像の一部が像の乱れとして視認される。

視域拡大のために、観視者の位置を測定し、測定した位置に応じてレンズ板とディスプレイとの位置関係をサーボ機構により機械的に移動させることや、要素レンズの屈折率分布を変化させること、などが提案されている（特許文献１−３参照）。これらの手法は、いずれも観察される像の乱れを低減するための手法に過ぎず、所定の視域外で観察される像の乱れを根本的に解消することはできない。例えば、視域外である立体ディスプレイ装置の主面に対して斜め方向の観視位置から、正面視により視認される立体像に近い像が視認されることがある。従って、真に視域を拡大するためには、像の乱れを解消するだけではなく、拡大された視域内の視点において本来視認されるべき立体像が視認されることが望ましい。

なお、立体ディスプレイ方式には、インテグラル方式の他に、レンチキュラー方式、パララックスバリア方式などの方式がある。レンチキュラー方式、パララックスバリア方式ともに、専用のメガネが不要である立体ディスプレイ方式である。いずれも、共通の被写体の像を表し、相互間で視差を有する２枚の画像を、垂直方向に細長く切断されてなる要素画像を水平方向に交互に配列してなる表示画像をディスプレイパネルに表示させる方式である。但し、レンチキュラー方式立体ディスプレイ装置は、細長いかまぼこ型の複数の凸レンズの長手方向を垂直方向に向け、それらの凸レンズを水平方向に要素画像と同じ周期で配列してなるレンズ板をディスプレイの前面に配置してなる。パララックスバリア方式立体ディスプレイ装置は、垂直方向に細長い開口部を水平方向に要素画像と同じ周期で配列してなるスリットを配置してなる。従って、レンチキュラー方式、パララックスバリア方式の立体ディスプレイ装置では、視域拡大は、レンズ板もしくはスリットとディスプレイとの相対的な位置関係を制御することで実現される。これらの方式でも、所定の視域外となる視点から視認される像には乱れが生じないが、本来視認されるべき像とは異なってしまう。

特許平７−３８９２６号公報 特開２００５−１７５９７３号公報 特開２０１４−１１２７５７号公報 特許第５５２２７９４号公報

Athineos, Spyros S., et al. "Physical modeling of a microlens array setup for use in computer generated IP", Proceedings of the SPIE, Vol. 5664, pp. 472-479, 2005 Huy Hoang Tran, et al., "Interactive 3D Navigation System for Image-guided Surgery", International Journal of Virtual Reality, 8(1), pp. 9-16, 2009 中島勧, 他, "Integral Photographyの原理を用いた３次元ディスプレイの画像高速作成法", 映像メディア学会誌, Vol. 54, No.3, pp. 420-425, 2000 小池崇文, "プログラマブルなグラフィックハードウェアを用いたインテグラルフォトグラフィ画像のレンダリング",社団法人情報処理学会 研究報告, 2003-CG-113, pp. 70-74, 2003

所定の視域外となる視点から本来の像が視認されるには、観視位置に応じた表示画像をフラットディスプレイに表示させることが考えられる。フラットディスプレイに表示させる表示画像は、複数の視点においてそれぞれ取得される被写体の画像を合成して生成されうる。しかしながら、従来の表示画像の生成方式、例えば、非特許文献１〜４に記載の方式によれば多大な計算コストを要していた。このことは、都度変化しうる観視位置に対する実時間追従を困難にしていた。

本発明は上記の点に鑑みてなされたものであり、立体像が視認される視域を効率的に拡大することができる画像生成装置、画像表示システム及びプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、画像を表示する表示部が複数の要素レンズを配列してなるレンズ板からの距離が前記要素レンズの焦点距離となる位置に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、複数の視点それぞれの仮想カメラ画像を取得する仮想カメラ画像取得手段と、観視位置を取得する観視位置取得手段と、前記観視位置と前記レンズ板の中心点を通る直線と前記表示部との交点までの前記表示部の中心点からの変位量を算出し、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記複数の視点の中心点を原点とする仮想カメラの相対位置と前記変位量を加算して補正した表示画素の座標値に基づいて、もとの表示画素に対する重み係数を各仮想カメラについて定め、前記仮想カメラ画像のうち、もとの表示画素の位置に配置される画素値と、当該表示画素に対する重み係数との積を前記仮想カメラ間で加算して前記変位量で変位した位置における表示画素の画素値を算出する画素値決定手段と、を備える画像生成装置である。
［１］の構成によれば、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、もとの表示画素からの変位量が算出した変位量となる位置の表示画素の画素値が算出される。そのため、仮想カメラ画像のうち各要素レンズに対応する領域内の画像として、観視位置からレンズ板の中心点の方向に変位した領域の画像を仮想カメラ間で合成して要素画像が生成される。観視位置の移動量が個々の要素レンズの径よりも大きくなっても観視位置において各要素画像が対応する要素レンズを介して提示される。そのため、所期の立体像が視認される視域が拡大する。また、仮想カメラ画像に基づいて中間画像を生成せずに表示画像を直接生成することが可能となるので、メモリ利用効率を向上させることができる。表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列に処理することで、表示画像の生成が高速化される。

［２］本発明の一態様は、上述の画像生成装置であって、前記複数の視点の中心点の位置が前記観視位置となるように前記複数の視点の位置を設定するカメラパラメータ記録手段を備える［１］の画像生成装置である。
［２］の構成によれば、観視位置を中心に分布する視点で観察される複数の仮想カメラ画像が表示画像の生成に用いられる。そのため、仮想カメラ画像を取得する視点の全体が観視位置に追従する。従って、各視点について取得される複数の仮想カメラ画像が表示画像の生成に有効に利用され、表示される表示画像について視認される立体像の画質が向上する。

［３］本発明の一態様は、上述の画像生成装置であって、観視位置計測部と、前記画像表示装置と、［１］又は［２］の画像生成装置と、を備える画像表示システムであって、前記観視位置取得手段は、前記観視位置計測部が計測した前記観視位置を取得することを特徴とする画像表示システムである。
［３］の構成によれば、観視位置計測部が計測した観視位置に基づいて算出した変位量で変位した仮想カメラ画像を用いて表示画像が生成される。画像表示装置は、生成された表示画像を表示する。そのため、観視者は画像表示装置に表示される表示画像について観視位置に応じた立体像を視認することができる。

［４］本発明の一態様は、画像を表示する表示部が複数の要素レンズを配列してなるレンズ板からの距離が前記要素レンズの焦点距離となる位置に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、複数の視点それぞれの仮想カメラ画像を取得する仮想カメラ画像取得手段と、観視位置を取得する観視位置取得手段と、前記観視位置と前記レンズ板の中心点を通る直線と前記表示部との交点までの前記表示部の中心点からの変位量を算出し、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記複数の視点の中心点を原点とする仮想カメラの相対位置と前記変位量を加算して補正した表示画素の座標値に基づいて、もとの表示画素に対する重み係数を各仮想カメラについて定め、前記仮想カメラ画像のうち、もとの表示画素の位置に配置される画素値と、当該表示画素に対する重み係数との積を前記仮想カメラ間で加算して前記変位量で変位した位置における表示画素の画素値を算出する画素値決定手段と、を備える画像生成装置として、コンピュータに機能させるためのプログラムである。
［４］の構成によれば、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、もとの表示画素からの変位量が算出した変位量となる位置の表示画素の画素値が算出される。そのため、仮想カメラ画像のうち各要素レンズに対応する領域内の画像として、観視位置からレンズ板の中心点の方向に変位した領域の画像を仮想カメラ間で合成して要素画像が生成される。観視位置の移動量が個々の要素レンズの径よりも大きくなっても観視位置において各要素画像が対応する要素レンズを介して提示される。そのため、所期の立体像が視認される視域が拡大する。また、仮想カメラ画像に基づいて中間画像を生成せずに表示画像を直接生成することが可能となるので、メモリ利用効率を向上させることができる。表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列に処理することで、表示画像の生成が高速化される。

本発明によれば、立体像が観察される視域を効率的に拡大することができる。

本発明の実施形態に係る画像表示システムの構成例を示すブロック図である。 本発明の実施形態に係る画像生成装置の構成例を示すブロック図である。 本発明の実施形態に係る仮想カメラの配置例を示す図である。 表示画像と視点の位置関係の一例を示す図である。 表示画像と視点の位置関係の他の例を示す図である。 表示画像の一例を示す図である。 表示画像の一部を示す拡大図である。 要素レンズの配置例を示す図である。 表示画素に最も近接する要素レンズの特定方法の一例を示す説明図である。 仮想カメラ画像の例を示す図である。 本発明の実施形態に係る画像生成処理の一例を示すフローチャートである。 本発明の実施形態に係る画素値決定処理の一例を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像表示システム１の構成例を示す図である。
画像表示システム１は、画像生成装置１０、観視位置計測部２０及び画像表示装置３０を含んで構成される。

画像生成装置１０は、観視位置計測部２０から観視位置Ｖｐを示す観視位置信号と、複数の視点のそれぞれにおいて観察される仮想カメラ画像を示す仮想カメラ画像データを取得する。観視位置Ｖｐは、画像表示装置３０に表示される画像を１名の観視者が観視する位置である。画像生成装置１０は、観視位置Ｖｐに基づいて各視点の仮想カメラ画像を変位させ、変位させた仮想カメラ画像を仮想カメラ間で合成して表示画像を生成する。表示画像とは、画像表示装置３０に表示される画像を指し示す。表示画像は、インテグラル画像とも呼ばれる。画像生成装置１０は、生成した表示画像を示す表示画像データを画像表示装置３０に出力し、画像表示装置３０に表示画像を表示させる。

観視位置計測部２０は、実空間において観視位置Ｖｐを計測する。画像表示装置３０が移動できる可搬型の場合（例えば、タブレット型の画像表示装置である場合）は、画像表示装置３０の中心点Ｏ_ｄの位置も計測する。一般には、観視位置計測部２０と画像表示装置３０との位置関係が一定していないためである。観視位置計測部２０が画像表示装置３０と一体化して構成されている場合には、画像表示装置３０の中心点Ｏ_ｄの位置は計測されなくてもよい。観視位置計測部２０の形態は、据え置き型でもよいし、その一部が可搬型であってもよい。観視位置Ｖ_ｐや画像表示装置３０の中心点Ｏ_ｄの位置の計測方式は、いかなる方式でもよい。計測方法には、例えば、光学式、磁気式がある。光学式の計測方法が用いられる場合には、観視位置計測部２０は、例えば、撮像素子（イメージセンサ）を含んで構成される。撮像素子は、被写体からの可視光線又は赤外線で表される画像を撮像する。観視位置計測部２０は、撮像された画像から観視者の頭部の中心点又は左右両眼の中点を観視位置Ｖ_ｐとして計測する。観視位置計測部２０は、撮影により得られる深度マップを示す画像データを参照し、互いに近接する座標間の深度値の差に基づいて像の輪郭を抽出する。観視位置計測部２０は、抽出した輪郭と所定の人体モデルと照合して観視者の頭部の中心点の画像上の２次元座標と奥行値について座標変換を行って得られる被撮像空間の座標値で表される位置を観視位置Ｖｐとして特定する。人体モデルは、人体を構成する各部位の中心点の位置を示すデータである。人体の部位には、頭部の他、上腕部、胸部、下肢部などが含まれる。観視位置計測部２０は、撮影により得られる画像データについて画像認識処理を行い観視者の左眼、右眼とそれぞれの中心点の画像上の２次元座標値ならびに奥行値を特定してもよい。そして、観視位置計測部２０は、特定した左眼、右眼それぞれの２次元座標値ならびに奥行値の平均値を算出し、算出した２次元座標値ならびに奥行値の平均値を被撮像空間の座標値で表される位置を観視位置Ｖ_ｐとして特定する。

磁気式の計測方法が用いられる場合には、観視位置計測部２０は、例えば、位置が固定した磁場発生器と磁気センサを備える。磁気センサは、観視者の頭部に装着可能な固定具に固定され、磁場発生器から伝搬した磁場の大きさと向きを検出する。観視位置計測部２０は、磁気センサが検出した磁場の大きさと向きに対応する観視者の頭部の位置を観視位置Ｖ_ｐとして特定する。
観視位置計測部２０は、特定した観視位置Ｖ_ｐを示す観視位置信号を画像生成装置１０に出力する。
以上、主に観視位置Ｖ_ｐについて説明したが、画像表示装置３０の中心点Ｏ_ｄの位置も、観視位置Ｖ_ｐと同様な手法で計測可能である。画像表示装置３０の中心点Ｏ_ｄの位置を計測する場合には、観視位置計測部２０は、計測した画像表示装置３０の中心点Ｏ_ｄの位置を示す表示位置信号を画像生成装置１０に出力する。

画像表示装置３０は、インテグラル方式立体ディスプレイ装置である。画像表示装置３０は、ディスプレイパネル３１（図５）とレンズ板３２（図５）を含んで構成される。ディスプレイパネル３１とレンズ板３２は、それぞれの主面が互いに平行に対面して配置される。ディスプレイパネル３１とレンズ板３２それぞれの主面は、２次元平面であり、長方形の形状を有する。ディスプレイパネル３１の主面には、複数の画素が水平方向、垂直方向のそれぞれについて等間隔に配置される。ディスプレイパネル３１の水平方向、垂直方向の画素数は、それぞれ７６８０、４３２０である。画素が配列される領域が表示画像の表示領域に相当する。従って、ディスプレイパネル３１は、表示画像を表示する表示部として機能する。レンズ板３２の主面には、複数の要素レンズが所定の形式で配列される。要素レンズの配列形式は、例えば、デルタ配列である。複数の要素レンズは、互いに形状と大きさが共通である凸レンズである。要素レンズの焦点距離ｆは、ディスプレイパネル３１とレンズ板３２との間の距離に相当する。観視者は、ディスプレイパネル３１に表示された表示画像を、レンズ板３２を介して観察することにより、被写体の立体像を視認することができる。画像表示装置３０は、例えば、テーブルトップ型またはタブレット型のインテグラル方式立体ディスプレイ装置として実現されてもよい。テーブルトップ型またはタブレット型のインテグラル方式立体ディスプレイ装置の大きさは、表示画像を一度に観視する観視者の数が１名である場合に適している。典型的なテーブルトップ型またはタブレット型のインテグラル方式立体ディスプレイ装置の大きさは、例えば、縦１００ｍｍ×横１５０ｍｍ×奥行２０ｍｍから縦４００ｍｍ×横５６０ｍｍ×奥行１００ｍｍまでの範囲である。

（画像生成装置の構成例）
次に、本実施形態に係る画像生成装置１０の構成例について説明する。
図２は、本実施形態に係る画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、画像表示装置３０に表示させる表示画像を生成する。画像生成装置１０は、カメラパラメータ記録手段１１０、入力部１２０、カメラパラメータ・仮想カメラ画像関連付け手段１３０、画素値決定手段１４０及び出力部１５０を含んで構成される。

カメラパラメータ記録手段１１０は、画像生成装置１０の外部から複数の仮想カメラのそれぞれに係るカメラパラメータを取得し、取得したカメラパラメータを記録する。仮想カメラとは、仮想的に３次元空間内に設置された画像取得手段を意味する。カメラパラメータは、仮想カメラによる画像の取得に係るパラメータである。カメラパラメータには、仮想カメラの光学中心の位置が含まれる。この位置は、視点の位置に相当し、所定の位置を基準とする相対的な位置として表されてもよい。基準とする所定の位置は、例えば、複数の仮想カメラの分布領域の重心点である。

なお、カメラパラメータ記録手段１１０は、複数の仮想カメラそれぞれの視点の中心点の座標を算出し、算出した中心点の座標が観視位置の座標と等しくなるように、それぞれの視点を定めてもよい。観視位置は、入力部１２０の観視位置取得手段１２１（後述）から入力される観視位置信号によりカメラパラメータ記録手段１１０に通知される。視点の設定において、カメラパラメータ記録手段１１０は、視点間の相対的な位置関係を変化させずに一定に保ってもよい。設定される各視点は、観視位置と画像表示装置３０のレンズ板３２の中心点を通る直線に垂直な２次元平面内に配置され、視点の中心点を基準とする各視点の相対的な座標が移動前後で変化せずに一定に保たれてもよい。

入力部１２０には、画像生成装置１０の外部から各種のデータが入力される。入力部１２０は、観視位置取得手段１２１、仮想カメラ画像取得手段１２２、立体ディスプレイパラメータ入力手段１２３及び表示画像調整パラメータ入力手段１２４を含んで構成される。

観視位置取得手段１２１には、観視位置計測部２０から観視位置信号が入力される。観視位置取得手段１２１は、入力された観視位置信号をカメラパラメータ記録手段１１０と画素値決定手段１４０に出力する。
観視位置取得手段１２１には、観視位置計測部２０から表示位置信号が入力される場合がある。その場合、観視位置取得手段１２１は、入力された表示位置信号を画素値決定手段１４０に出力する。

仮想カメラ画像取得手段１２２は、個々の仮想カメラが設置される視点において観察される共通の被写体の画像を示す画像データを取得する。取得される画像データは、現実にその視点において撮影された被写体の画像を示す画像データでもよいし、公知のＣＧ技術を用いて合成され、その視点において観察されうる被写体の画像を示す画像データでもよい。また、カメラパラメータ記録手段１１０が各視点を移動させる場合、仮想カメラ画像取得手段１２２は、設定された各視点において観察される被写体の画像を示す画像データを取得してもよい。

以下の説明では、各仮想カメラについて取得される画像を仮想カメラ画像と呼び、その仮想カメラ画像を示すデータを仮想カメラ画像データと呼ぶ。仮想カメラ画像データは、画素毎の画素値を示すデータである。画素値は、画素毎の明るさを示す輝度値、色を示す色空間値のいずれでもよい。色空間値として、例えば、ＲＧＢ表色系で色を表現するＲＧＢ値が利用可能である。仮想カメラ画像取得手段は、仮想カメラ毎に取得される仮想カメラ画像データをカメラパラメータ・仮想カメラ画像関連付け手段１３０に出力する。

立体ディスプレイパラメータ入力手段１２３は、立体ディスプレイパラメータを取得する。立体ディスプレイパラメータは、立体ディスプレイ装置である画像表示装置３０による表示画像の表示に係るパラメータである。立体ディスプレイパラメータには、例えば、画像表示装置３０を構成するレンズ板３２のパラメータと、ディスプレイパネル３１のパラメータとが含まれる。レンズ板３２のパラメータには、レンズ板３２を構成する個々の要素レンズの直径、焦点距離、配置間隔（ピッチ）、水平方向ならびに垂直方向の要素レンズの個数などが含まれる。ディスプレイパネル３１のパラメータには、上述した画像表示装置３０の中心点としてレンズ板３２の中心点Ｏ_ｄの座標、ディスプレイパネル３１の表示領域の中心点の座標、画像を表示する画素の画素ピッチ、水平方向ならびに垂直方向の画素の個数などが含まれる。立体ディスプレイパラメータ入力手段１２３は、取得した立体ディスプレイパラメータを画素値決定手段１４０に出力する。なお、観視位置取得手段１２１に観視位置計測部２０からレンズ板３２の中心点Ｏ_ｄの座標を示す表示位置信号が入力される場合には、立体ディスプレイパラメータにレンズ板３２の中心点Ｏ_ｄの座標が含まれていなくてもよい。

表示画像調整パラメータ入力手段１２４は、表示画像調整パラメータを取得する。表示画像調整パラメータは、立体ディスプレイ装置に表示させる表示画像の表示位置や向きを調整するためのパラメータである。表示画像調整パラメータには、レンズ板のディスプレイ装置への取り付け誤差を調整するための取付誤差調整パラメータ、例えば、所定の基準位置からの垂直方向の変位ならびに水平方向の変位、所定の基準方向からの回転角などが含まれる。表示画像調整パラメータ入力手段１２４は、取得した表示画像調整パラメータを画素値決定手段１４０に出力する。

カメラパラメータ・仮想カメラ画像関連付け手段１３０には、仮想カメラ画像取得手段１２２から仮想カメラ画像データが入力され、入力される仮想カメラ画像データに対応する仮想カメラに係るカメラパラメータをカメラパラメータ記録手段１１０から読み取る。カメラパラメータ・仮想カメラ画像関連付け手段１３０は、読み取ったカメラパラメータと入力された仮想カメラ画像データとを仮想カメラ、即ち視点毎に関連付け、カメラパラメータと仮想カメラ画像データのセットを形成する。カメラパラメータ・仮想カメラ画像関連付け手段１３０は、仮想カメラ毎に形成したカメラパラメータと仮想カメラ画像データのセットを画素値決定手段１４０に出力する。

画素値決定手段１４０には、カメラパラメータ・仮想カメラ画像関連付け手段１３０からカメラパラメータと仮想カメラ画像データのセットが仮想カメラ毎に入力される。また、画素値決定手段１４０には、観視位置取得手段１２１から観視位置信号が入力され、立体ディスプレイパラメータ入力手段１２３から立体ディスプレイパラメータが入力される。
画素値決定手段１４０は、ディスプレイパネル３１の表示領域の中心点を通る当該表示領域の法線とレンズ板３２の主面との交点の座標を、レンズ板３２の中心点の座標として算出する。画素値決定手段１４０は、観視位置信号が示す観視位置と立体ディスプレイパラメータに含まれるレンズ板３２の中心点を通る直線と、ディスプレイパネル３１の表示領域との交点の座標を算出する。画素値決定手段１４０は、ディスプレイパネル３１の表示領域の中心点の座標から算出した座標までの変位量（ずれ量）を算出する。変位量については、後述する。

画素値決定手段１４０は、立体ディスプレイパラメータとカメラパラメータに基づいて、表示画像を表示するディスプレイパネル３１と、そのディスプレイパネル３１と平行に対面して配置されるレンズ板３２を構成する要素レンズの位置関係を判定する。そして、画素値決定手段１４０は、表示画素毎に、その表示画素に対応する要素レンズを特定する。表示画像に対応する要素レンズは、中心点がその表示画素から最も近接した要素レンズである。立体ディスプレイ装置において、その表示画素に対面する要素レンズが存在する場合には、その対面する要素レンズが対応する要素レンズとなる。

画素値決定手段１４０は、入力された仮想カメラ画像データから、表示画素毎にその画像内の位置を示す座標値が等しい画素の画素値を抽出する。
画素値決定手段１４０は、表示画素毎に対応する要素レンズの位置を基準としたその表示画素の位置と、仮想カメラの位置とに基づいて、抽出した画素値に対する重み係数を定める。仮想カメラの位置は、対応する視点の位置に相当する。画素値決定手段１４０は、各表示画素からの変位量が算出した変位量と等しい位置にある表示画素を特定する。特定される表示画素は、もとの表示画素から算出した変位量だけ変位した位置に配置される表示画素に相当する。そして、画素値決定手段１４０は、抽出した画素値と定めた重み係数を乗じて得られる乗算値について仮想カメラ画像間で総和をとって得られる値を、特定した表示画素の画素値、つまり、算出した変位量で変位した位置における表示画素の画素値として定める。

定めた画素値で表される画像は、もとの仮想カメラ画像を算出した変位量で変位した画像に基づいて生成される。そのため、変位した位置が画像表示装置３０の表示領域外となる場合がある。画素値決定手段１４０は、表示領域外となる位置における表示画素の画素値を棄却する。また、変位した位置が表示領域内であっても変位前の位置が表示領域外である場合には、もとの表示画像が存在しない。そこで、画素値決定手段１４０は、変位前の位置が表示領域外である表示画素の画素値を予め定めた画素値に定めてもよい。予め定めた画素値は、例えば、ディスプレイパネル３１が表示できる最低の輝度（基準黒輝度）に対応する画素値である。
画素値決定手段１４０は、定めた表示画素毎の画素値を示す表示画像データを生成し、生成した表示画像データを出力部１５０に出力する。

画素値決定手段１４０には、表示画像調整パラメータ入力手段１２４から表示画像調整パラメータがさらに入力されることがある。その場合には、画素値決定手段１４０は、所定のレンズ板の位置と向きを入力された表示画像調整パラメータを用いて、レンズ板の位置と向きを補正する。この補正によりレンズ板を構成する要素レンズ毎の位置と向きが補正される。画素値決定手段１４０は、位置と向きが補正された複数の要素レンズから、表示画素に対応する要素レンズを特定する。そのため、レンズ板の取付誤差の調整に伴って変更した取付誤差調整パラメータに対応する画素値で示される表示画像が得られる。表示画像に基づいて取付誤差調整パラメータを調整することができるため、取付誤差調整パラメータの校正に係る作業能率が向上する。画素値決定手段１４０において画素値を決定するより具体的な手法については、後述する。

出力部１５０は、画素値決定手段１４０から入力された表示画像データを、自部が備える出力バッファに一時的に記憶し、画像表示装置３０のディスプレイパネル３１に表示画像データを出力する。ディスプレイパネルは、出力部１５０から入力される表示画像データが示す表示画像を表示する。なお、表示画像データは、画像表示装置３０以外の機器、例えば、画像データベースなどに出力されてもよい。

（仮想カメラの配置例）
次に、本実施形態に係る仮想カメラの配置例について説明する。図３は、本実施形態に係る仮想カメラの配置例を示す図である。表示画像の生成において複数の視点のそれぞれから観察される被写体Ｏ_ｂを表す平面画像が用いられる。図３に示す例では、各視点に相当する仮想カメラの光学中心の位置が被写体に対面した２次元平面内にアレイ状に配置される。立体像の画質を確保するために、各一方向に配置される仮想カメラの個数は、レンズ板を構成する１つの要素レンズの領域内に収容可能な画素数以上になることが望ましい。例えば、要素レンズの直径、画素ピッチがそれぞれ１ｍｍ、０．０５ｍｍであるとき、仮想カメラの水平方向、垂直方向の個数は、それぞれ２０個以上であることが望ましい。また、仮想カメラの分布は、要素レンズに対応した配列であってもよいし、要素レンズに対応付けられていなくてもよい。図３に示す例では、ほぼ円形の領域内に複数の仮想カメラが水平方向及び垂直方向に等間隔に配置される。

カメラパラメータとして用いられる各仮想カメラＶ_ｃの座標（ｃｘ，ｃｙ）は、それらの中心に配置された仮想カメラの座標を原点Ｏ（０，０）とした相対位置で表されてもよい。図３に対して、原点Ｏよりも左方に隣接する仮想カメラの座標は、（−ｐ，０）となる。ｐは、仮想カメラのピッチ（間隔）を示す。水平方向の座標値ｃｘ、垂直方向の座標値ｃｙは、複数の仮想カメラの水平方向、垂直方向の分布の幅をそれぞれ２Ｃとして正規化した値であってもよい。その場合、座標値ｃｘ、ｃｙの最大値、最小値は、それぞれＣ、−Ｃである。従って、水平方向、垂直方向の仮想カメラの数である２×Ｃ／ｐは、画素ピッチに対する要素レンズの直径の比よりも大きければよい。要素レンズの半径を１とするとき、後述する画素値の算出において採用される補間法によっては、Ｃは１よりも大きい値であってもよい。例えば、Ｃ＝１＋２ｐと設定しておいてもよい。よって、座標値ｃｘ、ｃｙがいずれも−１以上であって１以下となる仮想カメラに係る画素の画素値が確実に算出される。なお、仮想カメラ画像取得手段１２２は、複数の仮想カメラの全てについての仮想カメラ画像データを必ずしも一斉に取得しなくてもよい。仮想カメラ画像取得手段１２２は、移動する１つの仮想カメラに係る仮想カメラ画像データを取得してもよい。従って、それぞれ異なる時刻において異なる視点から観察される複数の画像を示す仮想カメラ画像データが取得される。

カメラパラメータ記録手段１１０は、上述したように、観視位置取得手段１２１から入力された観視位置信号が示す観視位置に基づいて、複数の仮想カメラ間の位置関係を保ちながら仮想カメラ毎の視点の座標を定めてもよい。図３に示す例では、カメラパラメータ記録手段１１０は、複数の仮想カメラ毎の視点の中心点Ｏを観視位置と定め、中心点Ｏと画像表示装置３０のレンズ板３２の中心点Ｏ_ｄを通る直線（以下、Ｏ−Ｏ_ｄ線と呼ぶ）を法線とする２次元平面内に、仮想カメラ毎の視点の位置を定める。カメラパラメータ記録手段１１０は、定めた各視点の２次元平面内の座標値として、もとの座標値（ｃｘ，ｃｙ）を設定する。これにより、視点間の相対的な位置関係が一定に保たれる。なお、カメラパラメータ記録手段１１０は、各視点と中心点Ｏ_ｄを通る直線とＯ−Ｏ_ｄ線とのなす角度が一定に保たれるように、各視点の位置を定めてもよい。
そして、仮想カメラ画像取得手段１２２は、定められた各視点において観察される被写体Ｏ_ｂの画像を示す仮想カメラ画像データを取得する。仮想カメラ画像取得手段１２２は、例えば、ＣＧ技術を用いて、その仮想カメラ画像データを合成する。

（変位量）
次に、変位量について説明する。図４、図５は、それぞれ画像表示装置３０に表示される表示画像と視点との位置関係の例を示す図である。図４に示す例では、ディスプレイパネル３１の表示領域の垂直方向（ｘ方向）、奥行方向（ｚ方向）が、それぞれ下方、左方に表されている。ディスプレイパネル３１の表示領域の水平方向（ｙ方向）は、図面に対して奥行方向に相当する。ディスプレイパネル３１の主面は、レンズ板３２の主面とｚ方向に焦点距離ｆだけ離れた位置に配置されている。レンズ板３２は、直径がｄである主面の形状が円形の要素レンズがｘ−ｙ平面内において垂直方向に間隔ｄで配列されてなる（図８、図９参照）。変位量が０であるとき、ディスプレイパネル３１の表示領域のうち各要素レンズに対面した領域には、それぞれ要素画像が表示される。Ｖａ１、Ｖａ２、Ｖａ３は、それぞれ観視位置の例を示す。観視位置Ｖａ１は、ディスプレイパネル３１の表示領域の中心点Ｏ_ｅとレンズ板３２の中心点Ｏ_ｄを通る直線Ｐ_ｄ上にある。要素レンズＥｌの中心点は、レンズ板３２の中心点Ｏ_ｄと同じ位置に配置されている。そのため、観視位置Ｖａ１には、要素レンズＥｌと対面した領域に表示される要素画像のうち中心点Ｏ_ｅからの光線が要素レンズＥｌを介して到来する。観視位置Ｖａ２は、観視位置Ｖａ１よりも垂直方向にずれた位置である。観視位置Ｖａ２は、要素レンズＥｌに対応する要素画像の上端と要素レンズＥｌの中心点を通る直線上にある。そのため、観視位置Ｖａ２には、要素レンズＥｌと対面した領域に表示される要素画像の上端からの光線が要素レンズＥｌを介して到来する。観視位置Ｖａ１、Ｖａ２では、要素レンズＥｌに対面した要素画像内の画素からの光線が到来するので観察される立体像に乱れは生じない。これに対し、観視位置Ｖａ３は、観視位置Ｖａ２よりもさらに垂直方向にずれた位置となる。観視位置Ｖａ３には、要素レンズＥｌの上隣の要素レンズＥｍと対面した領域に表示される要素画像内の一点Ｐ_ｎと要素レンズＥｌの中心点を通る直線上にある。そのため、観視位置Ｖａ３には、その要素画像内の点Ｐ_ｎに配置された画素の光線が要素レンズＥｌを介して到来する。図４に示す例では、点Ｐ_ｎは、要素レンズＥｌに対応する要素画像の上端よりも上方であるが、要素レンズＥｍに対応する要素画像の中心点よりも下方に位置している。そのため、観視位置Ｖａ３では、観視位置Ｖａ１、Ｖａ２とは異なり、本来観察されるべき立体像が観察されず、立体像の乱れが観察される。

これに対し、本実施形態では、画素値決定手段１４０は、観視位置Ｖａとレンズ板３２の中心点Ｏ_ｄを通る直線Ｐ_ｄと、ディスプレイパネル３１の表示領域との交点Ｏ_ｆの座標を算出する。画素値決定手段１４０は、ディスプレイパネル３１の表示領域の中心点Ｏ_ｅの座標から算出した交点Ｏ_ｆの座標までの変位量（ずれ量）を算出する。変位量は、ｘ方向の変位量ｄｘ、ｙ方向の変位量ｄｙを要素として含む２次元のベクトル量である。ｘ、ｙ方向の変位量は、それぞれ式（１）に示す関係を用いて算出される。但し、図５では、ｙ方向について図示が省略されている。

式（１）において、Ｄｘ、Ｄｙは、それぞれ中心点Ｏ_ｄを原点とする観視位置Ｖａのｘ、ｙ座標を示す。ｆは、各要素レンズの焦点距離を示す。ｚは、中心点Ｏ_ｄを原点とする観視位置Ｖａの奥行方向の座標値（奥行値）を示す。即ち、ｘ、ｙ各方向の変位量Ｄｘ、Ｄｙは、観視位置Ｖａのｘ座標Ｄｘ、ｙ座標Ｄｙに、焦点距離ｆの比を乗じて算出される。算出された変位量で変位した位置の画素を特定することで、変位前の画素に対応する要素レンズと特定した画素とが関連づけられる。図５に示す例では、中心点Ｏ_ｅに存在する画素からのｘ方向の変位量がｄｘである位置Ｏ_ｆの画素が特定され、その特定された画素と要素レンズＥｌとが関連づけられる。観視位置Ｖａには関連付けられた要素画像内の位置Ｏ_ｆの画素からの光線が要素レンズＥｌを介して到来する。そのため、観視位置Ｖａでは、所望の立体像が観察される。

（表示画像）
次に、表示画像の例について説明する。図６は、表示画像の一例を示す図である。図６に示す表示画像は、図３に示す被写体Ｏ_ｂを複数の仮想カメラの位置において観察される表示画像を、画素値決定手段１４０において集積ならびに合成して得られる。この表示画像は、出力部１５０から最終的に出力される表示画像データに基づいて画像表示装置のディスプレイパネル３１により表示される二次元の画像である。レンズ板３２を通過したこの表示画像を、観視者が観察することによって立体像を視認することができる。
図６において（ｕ，ｖ）は、表示画像内の画素の座標値を示す。原点は、表示画像の左下端の画素である。ｕ、ｖは、それぞれ水平方向、垂直方向の座標値を示す値であって、０以上１以下に正規化された値をとる。例えば、表示画像の左下端、右上端の画素の座標は、それぞれ（０，０）、（１，１）となる。

図７は、図６に示す座標値（ｕ，ｖ）の周辺を拡大して表す拡大図である。表示画像を構成する要素画像は、その表示画素に対面するレンズ板の１つの要素レンズに対応付けられる。＋印を中心とする円は、１つの要素レンズに対応する要素画像の領域を示す。画素値決定手段１４０は、表示画素の画素値を定めるために、その表示画素の座標値（ｕ，ｖ）に最も近接する要素レンズのディスプレイパネル上の中心点を特定する。画素値決定手段１４０は、座標値（ｕ，ｖ）をその中心点Ｏ_ｒを原点（０，０）とするレンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換する。

より具体的には、画素値決定手段１４０は、座標値（ｕ，ｖ）を、式（２）に示す関係を用いて表示画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。

式（２）において、ｗｉｄｔｈ、ｈｅｉｇｈｔは、それぞれ要素画像の水平方向、垂直方向の画素数を示す。要素画像の水平方向、垂直方向の画素数は、通例、ディスプレイパネルの解像度に相当する。例えば、立体ディスプレイ装置のディスプレイパネルが、解像度が８Ｋである８Ｋディスプレイであるとき、そのディスプレイパネルの水平方向、垂直方向の画素数は、それぞれ７６８０、４３２０である。
なお、座標値（ｕ，ｖ）に代えて座標値（Ｐｘ，Ｐｙ）が取得されている場合には、画素値決定手段１４０は、座標値（ｕ，ｖ）から座標値（Ｐｘ，Ｐｙ）への変換を省略する。

表示画像調整パラメータが入力される場合には、画素値決定手段１４０は、入力された表示画像調整パラメータを用いて座標値（Ｐｘ，Ｐｙ）を補正する。補正後の座標値（Ｐｘ’，Ｐｙ’）は、式（３）に示す関係を用いて算出される。

式（３）において、ｈ、ｖ、θは、それぞれ所定の基準点からの水平方向の変位（ずれ）、その基準点からの垂直方向の変位、所定の基準方向からの回転角を示す。

画素値決定手段１４０は、式（４）に示すように座標値（Ｐｘ’，Ｐｙ’）で表される位置について、変位量（ｄｘ，ｄｙ）で変位した位置の座標値（Ｐｘ’’，Ｐｙ’’）を算出する。この演算により、もとの表示画素の位置から変位量（ｄｘ，ｄｙ）で変位した位置が特定される。

なお、表示画像調整パラメータが入力されない場合には、座標値（Ｐｘ’，Ｐｙ’）は得られない。そのため、画素値決定手段１４０は、式（４）において座標値（Ｐｘ’，Ｐｙ’）に代えて、座標値（Ｐｘ，Ｐｙ）を用いて座標値（Ｐｘ’’，Ｐｙ’’）を算出する。

次に、画素値決定手段１４０は、表示画素の座標値（ｕ，ｖ）から最も近接する要素レンズの中心点を特定する。要素レンズの配置がデルタ配列である場合を例にして、最も近接する要素レンズの中心点を特定する手順を説明する。デルタ配列とは、各行について列方向に等間隔に配列対象物が配列され、ある行に配列された配列対象物の列方向の位置と、その行に隣接する行に配列された配列対象物の列方向の位置とのずれが、列方向の配列間隔の半分となる配列である。図８に示す例では、配列対象物が要素レンズであり、各要素レンズの中心点が三角格子の各頂点に配列されている。従って、列方向の要素レンズの位置について、隣接する行間のずれはｄ／２となり、要素レンズの列間の間隔はｄ√３／２となる。ここで、ｄは、各要素レンズの直径を示し、要素レンズの直径が列方向の配列間隔に等しいことを前提としている。なお、ｄは、実寸の要素レンズの直径ｄｌ（単位：ｍｍ）についてディスプレイパネルの画素ピッチｐｐ（単位：ｍｍ／ｐｉｘ）で正規化された値（単位：ｐｉｘ）をとる。

そして、画素値決定手段１４０は、各要素レンズを内接する正方形の領域のうち、表示画素の位置を含む領域を特定する。図８に破線で示す正方形は、その領域の１つを示す。特定される領域がレンズ板の最下行から第Ｎ行であるとして、画素値決定手段は、Ｎを、式（５）に示す関係を用いて算出する。

式（５）において、（ｉｎｔ）…は、実数…の小数点以下の値を切り捨てて得られる整数値を示す。画素値決定手段１４０は、特定される領域の列番号についても、その領域の行番号Ｎの算出と同様の手法を要素レンズの列に適用して定めることができる。
画素値決定手段１４０は、座標値（Ｐｘ’’，Ｐｙ’’）を特定される領域の左下端を原点とする座標値（Ｑｘ，Ｑｙ）に変換する。画素値決定手段１４０は、座標値（Ｑｘ，Ｑｙ）を、式（６）に示す関係を用いて算出する。

式（６）において、ｅは、行番号Ｎが偶数行であるか奇数行であるかを示す変数である。具体的には、変数ｅは、式（７）に示すように、行番号Ｎを２で除算して得られる剰余として算出される。従って、行番号Ｎが偶数行を示すとき変数ｅは０であり、行番号Ｎが奇数行を示すとき変数ｅは１である。

画素値決定手段１４０は、座標値（Ｑｘ，Ｑｙ）を、特定される正方形の領域の中心点を原点とする座標値（Ｑｘ’，Ｑｙ’）に変換する。座標値（Ｑｘ’，Ｑｙ’）は、式（８）に示す関係を用いて算出される。なお、以下の説明では、座標値（Ｑｘ’，Ｑｙ’）又はその座標値で表される位置の座標点をＱ’と表すことがある。

次に、画素値決定手段１４０は、変換した座標値（Ｑｘ’，Ｑｙ’）でその位置が表される座標点Ｑ’に最も近接する要素レンズの中心点を判定する。図９に示す例では、候補となる要素レンズの中心点は、特定される領域の中心点の座標値ｐｌ０と、その中心点からの距離がｄである６個の隣接要素レンズの中心点である。これら７個の中心点の座標値ｐｌ０〜ｐｌ６は、式（９）で表される。この例では、座標点Ｑ’の座標値（Ｑｘ’，Ｑｙ’）、ｐｌ０〜ｐｌ６は、それぞれ中心点ｐｌ０を原点とする座標系で表されている。

座標値Ｑ’に最も近接する要素レンズの中心点の座標値ｐｌｃは、式（１０）に示す関係を用いて表される。

式（１０）において、ｉは、０〜６のいずれかの値をとる中心点のインデックスである。ａｒｇｍｉｎ_ｐｌｉ…は、…を最小化する座標値ｐｌｉを示す。
そして、画素値決定手段１４０は、座標値（Ｑｘ’，Ｑｙ’）を、その座標点Ｑ’に最も近接する要素レンズの中心点ｐｌｃを原点とする座標値Ｑ’’に変換する。座標値Ｑ’’は、式（１１）に示す関係を用いて表される。

画素値決定手段１４０は、式（１２）に示すように変換した座標値Ｑ’’を要素レンズの半径ｄ／２で正規化して座標値（ｒｘ，ｒｙ）を算出する。

以上の処理により、表示画素の座標値（ｕ，ｖ）は、レンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換され、もとの座標値（ｕ，ｖ）に最も近接する要素レンズと変換された座標値（ｒｘ，ｒｙ）とが対応付けられる。この変換には、上述した観視位置と表示画像補正パラメータに基づく補正が含まれる。

次に、画素値決定手段１４０は、補正される位置に配置される画素として、もとの仮想カメラ画像の座標値（ｕ，ｖ）で表わされる位置に配置された画素の画素値を各仮想カメラについて抽出する。画素値決定手段１４０は、抽出した画素値に、その画素値に対応する重み係数を乗じて得られる乗算値を仮想カメラ間で合成して得られる値を、その表示画素の画素値として定める。具体的には、画素値決定手段１４０は、式（１３）に示す関係を用いて座標値（ｕ，ｖ）に配置された表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}を算出する。

式（１３）において、ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、重み係数を示す。重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、仮想カメラの位置を示す座標値（ｃｘ，ｃｙ）、レンズ中心座標系の座標値（ｒｘ，ｒｙ）及び仮想カメラのピッチｐに依存する。式（１６）においてΣは、総和を示す記号である。この記号に付された座標値（ｃｘ，ｃｙ）は、本来仮想カメラの座標値の中心点を原点とする視点の相対位置を示す。式（１４）では、画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}は、座標値（ｕ，ｖ）に配置された仮想カメラの仮想カメラ画像を構成する画素のうち、表示画像の座標値（ｕ，ｖ）で表される位置から補正された位置（ｒｘ，ｒｙ）に配置された画素の画素値を示す。総和は、仮想カメラを示す座標値（ｃｘ，ｃｙ）間で、表示画素毎に独立に演算される。

重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、式（１５）に示すよう水平方向と垂直方向のそれぞれの因子ｗ’（ｃｘ，ｒｘ，ｐ）、ｗ’（ｃｙ，ｒｙ，ｐ）の積として算出される。

各方向の因子ｗ’（ｓ，ｔ，ｐ）として公知の画像の補間法において用いられる補間係数が適用可能である。補間法の一例として、バイキュービック（ｂｉｃｕｂｉｃ）法を用いることができる。バイキュービック法は、式（１５）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。

式（１５）に示すｘは、仮想カメラからの画像を構成する画素の要素レンズの中心点を基準とする座標値を要素レンズの間隔ｐで正規化して得られる。ａは、因子ｗ’（ｓ，ｔ，ｐ）を調整するための調整係数を示す。調整係数ａは、例えば、−０．５〜−１．０の範囲内の実数である。これにより、因子ｗ’（ｓ，ｔ，ｐ）は、所定の値域（この場合、−４／２７〜１）内の値を有する。因子ｗ’（ｓ，ｔ，ｐ）は、ｘが０から２までの場合でｘ＝１の場合を除き、正または負の値をとり、ｘが２以上である場合０となる。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの２倍以上離れている領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。これにより、表示画素間において算出される画素値に対する仮想カメラ画像の成分が平滑化される。そのため、空間エリアシングによる画質の劣化が緩和する。具体的には、不自然な線や二重像などのアーチファクトが軽減又は解消される。

補間法の他の例として、最近傍（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）補間法も適用可能である。最近傍補間法は、式（１６）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。

式（１６）において、ｘは、式（１５）の下段に示すように画素の要素レンズの中心点を基準とする座標値を要素レンズの間隔ｐで正規化して得られる。従って、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が０．５以下、つまり要素レンズの中心点からその間隔の半分の距離ｐ／２の範囲内の画素について１であり、その範囲外における画素について０であることを示す。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの半分以下の領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。

図１０は、表示画像の生成に係る仮想カメラ画像の例を示す。図１０（ａ）、（ｂ）、（ｃ）は、それぞれ異なる位置に設置された仮想カメラから取得された画像を示す。図１０（ａ）、（ｂ）、（ｃ）に示す例では、仮想カメラの座標値（ｃｘ，ｃｙ）は、それぞれ（１．１，−０．１）、（０．０，０．０）、（−１．１，０．１）である。即ち、図１０（ａ）に示す画像は、図１０（ｂ）に示す画像よりも左下の視点から観察して得られる。図１０（ｃ）に示す画像は、図１０（ｂ）に示す画像よりも右上の視点から観察して得られる。座標値（ｕ，ｖ）における表示画素に対応する画素であって、図１０（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}は、それぞれｃｏｌ^{（ｕ，ｖ）} _{（１．１，―０．１）}、ｃｏｌ^{（ｕ，ｖ）} _{（０，０）}、ｃｏｌ^{（ｕ，ｖ）} _{（―１．１，０．１）}と表される。また、座標値（ｕ，ｖ）における表示画素に対応する画素であって、図１０（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、それぞれｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）、ｗ（０，０，ｒｘ，ｒｙ，ｐ）、ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）と表される。上述したように、座標値（ｕ，ｖ）において配置された表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}は、画素値ｃｏｌ^{（ｕ，ｖ）} _{（１．１，―０．１）}と重み係数ｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ^{（ｕ，ｖ）} _{（０，０）}と重み係数ｗ（０，０，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ^{（ｕ，ｖ）} _{（−１．１，０。１）}と重み係数ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）との積を仮想カメラ間で加算することによって算出される。

各表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}の計算は、中間画像バッファなどに計算途中のデータを保存せずに、各仮想カメラ画像を構成する画素の画素値のうち、必要とされる画素値を抽出して実行される。この計算は、表示画素毎に独立になされるため、それらを並列に行うことにより表示画像の生成に係る処理全体が高速化される。

（画像生成処理）
次に、本実施形態に係る画像生成処理について説明する。図１１は、本実施形態に係る画像生成処理の一例を示すフローチャートである。
（ステップＳ１０１）カメラパラメータ記録手段１１０は、３次元の仮想空間における複数の仮想カメラそれぞれの位置の情報を取得し、取得した情報を設定する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）観視位置計測部２０は、実空間において観視位置を計測する。観視位置取得手段１２１は、観視位置計測部２０が計測した観視位置を取得する。その後、ステップＳ１０３の処理に進む。

（ステップＳ１０３）カメラパラメータ記録手段１１０は、計測された観視位置に基づいて複数の仮想カメラそれぞれの視点の位置を設定する。ここで、カメラパラメータ記録手段１１０は、仮想空間における複数の仮想カメラの視点の中心点が観視位置となるように、各視点の位置を設定する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）カメラパラメータ記録手段１１０は、複数の仮想カメラそれぞれの視点の中心点を原点とする相対位置を算出し、算出した相対位置を示す相対位置情報をカメラパラメータの一部として記録する。その後、ステップＳ１０５の処理に進む。

（ステップＳ１０５）立体ディスプレイパラメータ入力手段１２３は、立体ディスプレイパラメータを取得する。表示画像調整パラメータ入力手段１２４は、表示画像調整パラメータを取得する。表示画像調整パラメータには、レンズ板の取付誤差調整パラメータが含まれる。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）画素値決定手段１４０は、観視位置とレンズ板３２の中心点を通る直線と、ディスプレイパネル３１の表示領域との交点の座標を算出し、その表示領域の中心点の座標から算出した座標までの変位量を算出する。その後、ステップＳ１０７の処理に進む。

（ステップＳ１０７）画素値決定手段１４０は、算出した変位量、仮想カメラの相対位置情報と及び仮想カメラ毎の仮想カメラ画像データを用いて画素値決定処理を行って表示画像を示す表示画像データを生成する。画素値決定処理については、後述する。その後、ステップＳ１０８の処理に進む。
（ステップＳ１０８）出力部１５０は、画素値決定手段が生成した表示画像データを画像表示装置３０のディスプレイパネル３１に出力する。ディスプレイパネル３１には出力部１５０から供給された表示画像データに基づく表示画像が表示される。その後、図１１に示す処理を終了する。

次に、本実施形態に係る画素値決定処理について説明する。
図１２は、本実施形態に係る画素値決定処理の一例を示すフローチャートである。
図１２に示す処理は、図１１のステップＳ１０７において実行される。
（ステップＳ１１１）画素値決定手段１４０は、表示画像を構成する表示画素毎の座標値（ｕ，ｖ）を、画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。その後、ステップＳ１１２の処理に進む。
（ステップＳ１１２）画素値決定手段１４０は、変換された表示画素の座標値（Ｐｘ，Ｐｙ）を、表示画像調整パラメータを用いて座標値（Ｐｘ’，Ｐｙ’）に補正する。その後、ステップＳ１１３の処理に進む。

（ステップＳ１１３）画素値決定手段１４０は、補正された表示画素の座標値（Ｐｘ’，Ｐｙ’）に観視位置に基づいて算出した変位量（ｄｘ，ｄｙ）を加算して座標値（Ｐｘ’’，Ｐｙ’’）に補正する。その後、ステップＳ１１４の処理に進む。
（ステップＳ１１４）画素値決定手段１４０は、補正された表示画素の座標値（Ｐｘ’’，Ｐｙ’’）で表される位置を、その領域に含む要素レンズを対応する要素レンズとして特定する。画素値決定手段１４０は、座標値（Ｐｘ’’，Ｐｙ’’）を特定した要素レンズの中心点を基準とするレンズ中心座標系の座標値（ｒｘ、ｒｙ）に変換する。その後、ステップＳ１１５の処理に進む。

（ステップＳ１１５）画素値決定手段１４０は、各仮想カメラからの仮想カメラ画像のうち、表示画素の座標値（ｕ，ｖ）の位置に配置される画素の画素値を取得する。その後、ステップＳ１１６の処理に進む。
（ステップＳ１１６）画素値決定手段１４０は、各仮想カメラの相対位置（ｃｘ，ｃｙ）と表示画素の座標値（ｒｘ、ｒｙ）に基づいて、その仮想カメラの対応する画素に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）を定める。その後、ステップＳ１１７の処理に進む。

（ステップＳ１１７）画素値決定手段１４０は、各仮想カメラにおいて取得される画像のうち、表示画像の座標値（ｕ、ｖ）で表される位置に配置される画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}と、この画素に対する重み値ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）との積を算出し、算出した積を仮想カメラ間で加算して、その表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}を定める。画素値決定手段１４０は、表示画素毎に定めた画素値を表す表示画像データを生成する。その後、ステップＳ１０８（図１１）の処理に進む。

以上に説明したように、本実施形態に係る画像生成装置１０は、画像表示装置３０に表示させる表示画像を生成する。画像表示装置３０は、画像を表示する表示部であるディスプレイパネル３１が複数の要素レンズを配列してなるレンズ板３２からの距離が前記要素レンズの焦点距離となる位置に対面して配置されてなる。画像生成装置１０は、複数の視点それぞれの仮想カメラ画像を取得する仮想カメラ画像取得手段１２２と、観視位置を取得する観視位置取得手段１２１を備える。また、画像生成装置１０は、観視位置とレンズ板３２の中心点を通る直線とディスプレイパネル３１との交点までのディスプレイパネル３１の中心点からの変位量を算出し、表示画像の画素である表示画素に対応する要素レンズを特定し、表示画素と同じ位置における仮想カメラ画像の画素の画素値を、表示画素の位置と前記仮想カメラ画像の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成してその表示画素からの変位量が算出した変位量となる位置における表示画素の画素値を算出する画素値決定手段１４０を備える。

この構成により、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、もとの表示画素からの変位量が算出した変位量となる位置の表示画素の画素値が算出される。そのため、仮想カメラ画像のうち各要素レンズに対応する領域内の画像として、観視位置からレンズ板３２の中心点の方向に変位した領域の画像を仮想カメラ間で合成して要素画像が生成される。よって、変位量が要素レンズの径よりも大きくても観視位置において各要素画像が対応する要素レンズを介して提示されるので、立体像が視認される視域が拡大する。また、仮想カメラ画像に基づいて中間画像を生成せずに表示画像を直接生成することが可能となるので、表示画像の生成を高速化し、メモリ利用効率を向上させることができる。さらに、表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列に処理することで、表示画像の生成をさらに高速化することができる。高速化に伴い仮想カメラの数の増加が許容されるので、仮想カメラ画像を取得する視点がより密に設定されることで視認される像の画質が向上する。そのため、通常のテレビジョン番組などの一方向的なメディアに限らず、コンピュータゲーム、ビデオ通信などインタラクティブメディアへの画像表示装置による立体像の応用が促進される。

画像生成装置１０は、複数の視点の中心点の位置が観視位置となるように複数の視点の位置を設定するカメラパラメータ記録手段１１０を備える。
この構成により、観視位置を中心に分布する視点で観察される複数の仮想カメラ画像が表示画像の生成に用いられる。そのため、仮想カメラ画像を取得する視点の全体が観視位置に追従する。従って、各視点について取得される複数の仮想カメラ画像が表示画像の生成に有効に利用される。ひいては、表示画像について視認される立体像の画質が向上する。

また、画像表示システム１は、観視位置計測部２０と、画像表示装置３０と、画像生成装置１０を備える。画像生成装置１０の観視位置取得手段１２１は、観視位置計測部２０が計測した観視位置を取得することを特徴とする。
この構成により、画像生成装置１０は、観視位置計測部２０が計測した観視位置に基づいて算出した変位量で変位した仮想カメラ画像を用いて表示画像を生成する。また、画像表示装置３０は、生成された表示画像を表示する。そのため、観視者は、画像表示装置３０に表示される表示画像に対して観視位置に応じた立体像を視認することができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

例えば、画像生成装置１０は、観視位置計測部２０と画像表示装置３０の一方又は両方と一体化した単一の装置として構成されてもよい。
上述したレンズ板３２は、単位図形が正三角形である三角格子の各格子点上に、それぞれの要素レンズの中心点を配置して形成される場合を例にしたが、これには限られない。要素レンズの中心点は、所定の周期をもって空間的に繰り返される平行移動対称性を有する格子の各格子点に配置されればよい。そのような格子には、例えば、正方格子、矩形格子、二等辺三角格子などがある。各要素レンズの主面の形状は、円形に限られず、例えば、長方形、三角形などであってもよい。

また、上述した画像生成装置１０の一部又は全部は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのデータ処理、特に並列処理を実行可能な集積回路を備えたコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像生成装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像生成装置１０の一部又は全部をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像生成装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１…画像表示システム、１０…画像生成装置、２０…観視位置計測部、３０…画像表示装置、１１０…カメラパラメータ記録手段、１２０…入力部、１２１…観視位置取得手段、１２２…仮想カメラ画像取得手段、１２３…立体ディスプレイパラメータ入力手段、１２４…表示画像調整パラメータ入力手段、１３０…カメラパラメータ・仮想カメラ画像関連付け手段、１４０…画素値決定手段、１５０…出力部

Claims (4)

1. 画像を表示する表示部が複数の要素レンズを配列してなるレンズ板からの距離が前記要素レンズの焦点距離となる位置に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、
   複数の視点それぞれの仮想カメラ画像を取得する仮想カメラ画像取得手段と、
   観視位置を取得する観視位置取得手段と、
   前記観視位置と前記レンズ板の中心点を通る直線と前記表示部との交点までの前記表示部の中心点からの変位量を算出し、
   前記表示画像の画素である表示画素に対応する要素レンズを特定し、
   前記複数の視点の中心点を原点とする仮想カメラの相対位置と前記変位量を加算して補正した表示画素の座標値に基づいて、もとの表示画素に対する重み係数を各仮想カメラについて定め、
   前記仮想カメラ画像のうち、もとの表示画素の位置に配置される画素値と、当該表示画素に対する重み係数との積を前記仮想カメラ間で加算して前記変位量で変位した位置における表示画素の画素値を算出する画素値決定手段と、
   を備える画像生成装置。
2. 前記複数の視点の中心点の位置が前記観視位置となるように前記複数の視点の位置を設定するカメラパラメータ記録手段
   を備える請求項１に記載の画像生成装置。
3. 観視位置計測部と、前記画像表示装置と、請求項１又は請求項２に記載の画像生成装置と、
   を備える画像表示システムであって、
   前記観視位置取得手段は、
   前記観視位置計測部が計測した前記観視位置を取得することを特徴とする
   画像表示システム。
4. 画像を表示する表示部が複数の要素レンズを配列してなるレンズ板からの距離が前記要素レンズの焦点距離となる位置に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、
   複数の視点それぞれの仮想カメラ画像を取得する仮想カメラ画像取得手段と、
   観視位置を取得する観視位置取得手段と、
   前記観視位置と前記レンズ板の中心点を通る直線と前記表示部との交点までの前記表示部の中心点からの変位量を算出し、
   前記表示画像の画素である表示画素に対応する要素レンズを特定し、
   前記複数の視点の中心点を原点とする仮想カメラの相対位置と前記変位量を加算して補正した表示画素の座標値に基づいて、もとの表示画素に対する重み係数を各仮想カメラについて定め、
   前記仮想カメラ画像のうち、もとの表示画素の位置に配置される画素値と、当該表示画素に対する重み係数との積を前記仮想カメラ間で加算して前記変位量で変位した位置における表示画素の画素値を算出する画素値決定手段と、
   を備える画像生成装置として、コンピュータに機能させるためのプログラム。

Images