WO2018051743A1

WO2018051743A1 - 表示装置用の情報処理装置、表示装置用の情報処理方法、および、表示装置用のプログラム

Info

Publication number: WO2018051743A1
Application number: PCT/JP2017/029918
Authority: WO
Inventors: 潤爾大山
Original assignee: 国立研究開発法人産業技術総合研究所
Priority date: 2016-09-16
Filing date: 2017-08-22
Publication date: 2018-03-22
Also published as: EP3514607A1; CN109691093A; US11402657B2; EP3514607B1; JPWO2018051743A1; EP3514607A4; KR20190046810A; CN109691093B; US20210385431A1

Abstract

広い視点方向から見ることのできる３次元空間表現を表示装置で表現するための表示装置用の情報処理装置等を提供する。円形状の断面を有し、光を屈折する屈折手段と複数の屈折手段を視点側に対して凸形状に配置して支持する配置支持手段と、折手段に対して視点側と反対側の面に形成画像を形成する画像形成手段とを備えた表示装置において、表示対象を３次元空間表現するための３次元空間表現データから、３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出し、所定の屈折手段を通った光によって、表示要素画像が表示されるように、所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する。

Description

表示装置用の情報処理装置、表示装置用の情報処理方法、および、表示装置用のプログラム

　本発明は、画像を表示する表示装置用の情報処理装置、表示装置用の情報処理方法、および、表示装置用のプログラムの技術分野に関する。

　道路や広場等の公共空間や、駅構内、イベント会場、競技場等の公共施設、スーパーマーケットやモール等の商業施設においては、表示装置に対して様々な位置にいる多くの人に、見やすく表示画像を見てもらえることが好ましい。例えば、特許文献１には、光源を中心に円筒形をなすレンチキュラーレンズと透過光制御手段とを備え、この透過光制御手段に、レンチキュラーレンズを構成する各レンズに対して、水平方向に縮小した透過画像を形成した表示器が開示されている。

特開２００１－２７２９３４号公報

　しかしながら、特許文献１のような従来技術においては、レンチキュラーレンズの個々のレンズは、平坦面を有する片凸構造であるため、視野角が所定値以上になると、レンズの平坦面において、レンズ内部からの光の反射（内部反射）が生じるため十分な視野角を確保できなかったという問題があった。このため、表示器の中心部の画像しか十分に表示できず、広い視点方向の変化の範囲から見える広い空間を使って表現し、実際に３次元空間が存在するような視覚表現が確認できるようにすることが難しかった。

　そこで、本発明の課題の一例は、広い視点方向から見ることのできる３次元空間表現を表示装置で表現するための表示装置用の情報処理装置等を提供することを目的とする。

　上記課題を解決するために、請求項１に記載の発明は、円形状の断面を有し、光を屈折する屈折手段と、複数の前記屈折手段を、視点側に対して凸形状に配置して支持する配置支持手段と、前記屈折手段に対して前記視点側と反対側の面に形成画像を形成する画像形成手段と、を備えた表示装置用の情報処理装置において、前記表示装置において表示対象を３次元空間表現するための３次元空間表現データから、前記３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出する抽出手段と、所定の前記屈折手段を通った光によって、前記表示要素画像が表示されるように、前記所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する画像生成手段と、を備え、前記３次元空間表現データは、前記所定の屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度の角度データと、前記角度に応じて、前記表示対象が前記所定の視点方向から見える平面画像データとを有することを特徴とする。

　請求項２に記載の発明は、請求項１に記載の表示装置用の情報処理装置において、前記抽出手段が、前記３次元空間表現データのうち、前記平面画像データから、前記所定の屈折手段毎に対応した領域画像を領域画像データとして各々抽出し、前記画像生成手段が、各前記領域画像を前記所定の屈折手段の前記反対側の面の形状に合わせるように変形し、当該変形した各領域画像を、当該各領域画像に対応する前記角度に応じた位置に配置して、前記所定の屈折手段の前記形成画像を形成するための形成画像用データを生成することを特徴とする。

　請求項３に記載の発明は、請求項１または請求項２に記載の表示装置用の情報処理装置において、前記抽出手段が、前記屈折手段の大きさに応じて、前記表示要素画像の画像データを抽出することを特徴とする

　請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の表示装置用の情報処理装置において、実空間の立体物または３ＤＣＧデータから、前記表示装置に３次元空間を表現するための前記３次元空間表現データを生成する原データ生成手段を更に備えたことを特徴とする。

　請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の表示装置用の情報処理装置において、前記生成した形成画像用データにより表示された前記３次元空間表現を、所定の撮影方向から撮影した撮影画像の画像データを取得する画像取得手段と、前記撮影画像および撮影方向のデータと、前記３次元空間表現データの前記角度データおよび前記平面画像データとの差異に従って、前記形成画像用データを調節する画像調節手段と、更に備えたことを特徴とする。

　請求項６に記載の発明は、請求項５に記載の表示装置用の情報処理装置において、前記画像調節手段が、前記抽出手段が抽出する前記表示要素画像の画像データを調節することにより、前記形成画像用データを調節することを特徴とする。

　請求項７に記載の発明は、請求項５または請求項６に記載の表示装置用の情報処理装置において、前記画像調節手段が、前記形成画像における形成するための形成の仕方を調節することにより、前記形成画像用データを調節することを特徴とする。

　請求項８に記載の発明は、請求項１から請求項７のいずれか１項に記載の表示装置用の情報処理装置において、前記画像形成手段が、前記形成画像用データに基づき印刷された画像により前記形成画像を形成することを特徴とする。

　請求項９に記載の発明は、円形状の断面を有し、光を屈折する屈折手段と、複数の前記屈折手段を、視点側に対して凸形状に配置して支持する配置支持手段と、前記屈折手段に対して前記視点側と反対側の面に形成画像を形成する画像形成手段と、を備えた表示装置用の情報処理方法において、前記表示装置において表示対象を３次元空間表現するための３次元空間表現データから、前記３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出する抽出ステップと、所定の前記屈折手段を通った光によって、前記表示要素画像が表示されるように、前記所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する画像生成ステップと、を含み、前記３次元空間表現データは、前記所定の屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度の角度データと、前記角度に応じて、前記表示対象が前記所定の視点方向から見える平面画像データとを有することを特徴とする。

　請求項１０に記載の発明は、円形状の断面を有し、光を屈折する屈折手段と、複数の前記屈折手段を、視点側に対して凸形状に配置して支持する配置支持手段と、前記屈折手段に対して前記視点側と反対側の面に形成画像を形成する画像形成手段と、を備えた表示装置用のプログラムにおいて、コンピュータを、前記表示装置において表示対象を３次元空間表現するための３次元空間表現データから、前記３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出する抽出手段、および、所定の前記屈折手段を通った光によって、前記表示要素画像が表示されるように、前記所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する画像生成手段として機能させ、前記３次元空間表現データは、前記所定の屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度の角度データと、前記角度に応じて、前記表示対象が前記所定の視点方向から見える平面画像データとを有することを特徴とする。

　本発明によれば、広い視点方向から見える広い空間を使って表現し、３次元空間が存在するような視覚表現が確認できるような表示装置において、その表示装置で表現したい３次元空間表現データから、表示装置に入力する形成画像用データを生成する情報処理装置を備えることで、表示装置に実際に３次元空間が存在するような視覚表現を容易に実現できる。

一実施形態に係る表示システムの概要構成例を示す模式図である。第１実施例の表示システムの概要構成例を示す模式図である。図２Ａの屈折手段の一例を示す模式図である。図２Ａの屈折手段を立体的に配置した一例を示す模式図である。図２Ａの屈折手段を立体的に配置した一例を示す模式図である。屈折手段の形状の変形例を示す模式図である。屈折手段の形状の変形例を示す模式図である。屈折手段の形状の変形例を示す模式図である。屈折手段の形状の変形例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。屈折手段の配置の一例を示す模式図である。画像映出手段の一例を示す模式図である。画像映出手段の一例を示す模式図である。画像映出手段の変形例を示す模式図である。画像映出手段の変形例を示す模式図である。画像映出手段の変形例を示す模式図である。画像映出手段の変形例を示す模式図である。画像映出手段の変形例を示す模式図である。画像映出手段の変形例を示す模式図である。画像映出手段の変形例を示す模式図である。制御装置の概要構成の一例を示すブロック図である。画像投影手段の変形例を示す模式図である。屈折手段における光路の一例を示す模式図である。片凸の構造を有するレンズにおける反射の一例を示す模式図である。片凸の構造を有するレンズにおける反射の一例を示す模式図である。視点と各屈折手段の画像との関係の一例を示す模式図である。視差と画像との関係の一例を示す模式図である。制御装置における画像生成の動作例を示すフローチャートである。表示合成画像と表示要素画像との関係を示す模式図である。３次元空間表現のある視点方向から見た平面画像の一例を示す模式図である。形成画像の一例を示す模式図である。表示合成画像と表示要素画像との関係を示す模式図である。３次元空間表現のある視点方向から見た平面画像の一例を示す模式図である。形成画像の一例を示す模式図である。表示合成画像と表示要素画像との関係を示す模式図である。３次元空間表現のある視点方向から見た平面画像の一例を示す模式図である。３次元空間表現のある視点方向から見た平面画像の一例を示す模式図である。形成画像の一例を示す模式図である。３次元空間表現に対する視点の一例を示す模式図である。３次元空間表現に対して着目する点の定め方の一例を示す模式図である。３次元空間表現の複数の視点方向から見た平面画像の一例を示す模式図である。３次元空間表現に対して着目する点の定め方の一例を示す模式図である。形成画像の一例を示す模式図である。屈折手段の配置の位置関係の一例を示す模式図である。表示合成画像と表示要素画像との関係の一例を示す模式図である。表示合成画像と表示要素画像との関係の一例を示す模式図である。制御装置における画像生成の動作の変形例を示すフローチャートである。制御装置における画像調節の動作例を示すフローチャートである。表示装置の第１実施例におけるボールレンズの配置の一例を示す模式図である。表示装置の第１実施例における表示の一例を示す模式図である。表示装置の第１実施例における表示の一例を示す模式図である。表示装置の変形例を示す模式図である。表示装置の第２実施例における円柱レンズの配置の一例を示す模式図である。表示装置の第２実施例における画像投影手段の一例を示す模式図である。表示装置における反射手段の一例を示す模式図である。表示装置の変形例を示す模式図である。第２実施例の表示システムの概要構成例を示す模式図である。図３４Ａの屈折手段の一例を示す模式図である。表示装置の第２実施例における画像形成手段の変形例を示す模式図である。

　本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態に係る表示システムＳ１の概要構成の一例を示す模式図である。

　図１に示すように、表示システムＳは、表示装置ＤＤと、表示装置用の情報処理装置８と、撮影装置９（撮影手段の一例）と、を備えて構成されている。

　表示装置ＤＤは、光を屈折して像を拡大する複数の屈折手段１ａと、各屈折手段１ａを支持して配置する配置支持手段１ｂと、屈折手段１ａに画像を形成する画像形成手段１ｃと、を有する。

　屈折手段１ａは、例えば、円形状の断面を有している。屈折手段１ａの一例として、例えば、球形のボールレンズ、円形状の断面を有する円柱形の円柱レンズ、楕円体、円錐形等のレンズが挙げられる。円形状は、曲率がほぼ一定の円形である。

　配置支持手段１ｂは、各屈折手段１ａを、視点３側に対して凸形状に配置する。立体的には、例えば、ボールレンズが球面形状の曲面に配置される。屈折手段１ａが、円柱レンズの場合、同じ向きの各円柱レンズが円筒面状の曲面に配置される。なお、円錐形状や円錐台形状のレンズの場合、円錐台状の側面の曲面にレンズが配置される。なお、視点３は、表示装置ＤＤの外にある。

　ここで、配置支持手段１ｂの凸形状の一例として、曲率がほぼ一定の球面形状、円筒の軸に垂直の面で断面が円形状になる円筒面形状が挙げられる。また、球面形状は、全球面、半球面等の球面の一部を形成する曲面で、曲率がほぼ一定の曲面である。また、円筒面形状は、全円筒、半円筒、1/4円筒等の円筒面の一部を形成する曲面で、円筒の軸方向と垂直に交わる平面による断面形状が、曲率がほぼ一定の円である。なお、必ずしも曲率が一定でない曲面の形状等でもよい。

　視点３の一例として、人間の目、カメラ、ロボットの目等が挙げられる。また、表示装置ＤＤと視点３との距離も様々で、表示装置ＤＤを近づいたり、離れたりして見てもよい。視点３の視点方向も様々で、屈折手段１ａが見えればよい。

　画像形成手段１ｃは、屈折手段１ａに対して視点３側と反対側の面に形成画像を形成する。画像形成手段１ｃの一例として、画像を表示するディスプレイ手段、プロジェクタ等の画像投影手段から投影された投影光による画像を映し出すスクリーン等の画像映出手段等が挙げられる。

　ディスプレイ手段は、屈折手段１ａの面の形状に沿った形状を有する液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイ等が好ましい。例えば、半球面のディスプレイ、半円筒形のディスプレイ等が挙げられる。

　画像映出手段は、例えば、透過型のスクリーンで、ボールレンズの半球面に形成されたり、円柱レンズの半円筒面に形成されたりする。なお、画像映出手段およびディスプレイ手段については、後述する。

　また、画像形成手段１ｃは、屈折手段１ａに直接画像を描く場合は、インク等により画像を形成してもよい。また、屈折手段１ａに貼り付ける場合は、画像形成手段１ｃは、樹脂製、紙製、金属製等のフィルムにより画像を形成する。画像形成手段１ｃは、画像が印刷された透過性のフィルムとバックライトとにより構成されていてもよい。

　情報処理装置８は、抽出手段８ａと、画像生成手段８ｂと、画像調節手段８ｃとを有する。

　抽出手段８ａは、表示装置ＤＤにおいて表示対象を３次元空間表現するための３次元空間表現データから、３次元空間表現に見えるように各屈折手段１ａに表示される表示要素画像の画像データを抽出する。

　３次元空間表現とは、表示内容の各点や、その点の集合としての線や面や立体が、表示装置の表現する３次元空間の、所望の場所に、所望の角度で、配置されているように見える表現を示す。

　表現対象となる空間の広い領域が、広い視点方向の変化の範囲から、表現対象を確認できることで、現実の３次元の空間があるように見える３次元空間表現が可能になる。

　３次元空間を、狭い角度範囲で異なる視点方向から見た時のような表現が実現できることで、両目で見て、視差による奥行き感を表現でき、これを一般に立体感や立体表現や立体像と呼ぶことがある。３次元空間表現は、ある空間を正面方向から見ている状況から、大きく回り込んで、側面や上部などの大きく異なる角度から、同じ部分を確認できるような、広い視点方向の変化によって、空間内のレイアウトや物体形状の全体像を３次元的に把握できるような空間表現であり、一般的な、奥行き感による立体的な表現とは異なる効果を指す。

　３次元空間表現は、３次元空間デザインの表現とも言う。

　表示対象の一例として、実空間の立体物、例えば、人物の体、人物の顔、オブジェ、風景、建物、アクセサリーや服や車等の製品、動植物や石などの自然物やその加工物、キャラクタ等が挙げられる。また、表示対象の一例として、ＣＧ（Computer Graphics）等に作成された架空の立体物でもよい。

　３次元空間表現の一例として、空間内を平面が回転して見える立体的な表現、見る方向で違う平面が立っているようにみえる立体表現、立体物が置いてあるような表現等が挙げられる。

　３次元空間表現は、広い視点変化に対応して、広い範囲の空間を確認できるような表現であればよく、実世界には存在しないような、視点方向によって表現される空間が異なるような空間も表現できる。一例として、視点方向の変化に応じて空間内の異なる配置の平面があるように見せる表現や、どのような視点方向に対してでも空間内に視点方向に垂直な平面が常に正面向きに配置されているように見せる表現、視点方向に合わせて、表現されている空間内の立体や面や点の配置や形状や色等が、少しずつ変化するような表現等が挙げられる。また、３次元空間表現は、時間によって変化してもよい。一例として、空間内で立体物や表示面が時間とともに、回転したり、変形したりしているように見せる表現や、立体物の表面や平面に描かれた画像が、動画像のように変化するような表現等が挙げられる。

　３次元空間表現は、例えば、直交座標系で記述されていても、極座標系で記述されていてもよい。

　３次元空間表現データは、何らかの形式で記述された３次元空間表現の情報を、表示装置に表現した時に、表示装置に対する視点方向の角度データと、その角度から３次元空間表現を見た時の画像データで記述したデータである。

　３次元空間表現データの一例として、円筒形状の表示装置において、円筒の側面を左右３６０度の視点方向から見て３次元空間表現を確認できる場合、３次元空間表現データは、ある視点方向から表示装置の表現する空間を見た時の２次元のパラメータで記述される画像データと、その視点方向を１つのパラメータで記述した角度データであればよい。

　３次元空間表現データの一例として、球形状の表示装置において、球のまわりを上下左右３６０度の視点方向から見て３次元空間表現を確認できる場合、３次元空間表現データは、ある視点方向から表示装置の表現する空間を見た時の２次元のパラメータで記述される画像データと、その視点方向を２つのパラメータで記述した角度データであればよい。

　３次元空間表現データの一例として、所定の屈折手段１ａにおける凸形状の法線方向と視点３側の所定の視点方向とにより規定される角度の角度データと、角度に応じて、表示対象が所定の視点方向から見える平面画像の画像データとのデータ等が挙げられる。角度データと平面画像の画像データとは対応している。また、３次元空間表現データは、３次元ＣＧデータ（３ＤＣＧデータ）から、生成されてもよい。

　３次元空間表現データは、空間に立体物が存在するように見せる表現でも、視点方向に応じて空間内の異なる配置の平面に異なる画像があるように見せる表現でも、どのような視点方向に対してでも空間内に視点方向に垂直な平面を配置して常に正面向きの画像を見せる表現でもよい。３次元空間表現データは、時間によって変化させてもよい。例えば、空間配置を時間変化させて、立体物や表示面が回転したり、変形したりしているように見せてもよいし、色や明るさを時間変化させて、立体表面や画像を動画像にして見せてもよい。

　具体的には、抽出手段８ａは、角度データと、平面画像データのうち角度に対応した平面画像データとから、所定の各屈折手段に対応した領域画像を領域画像データとして各々抽出する。

　画像生成手段８ｂは、所定の屈折手段１ａを通った光によって、表示要素画像が表示されるように、所定の屈折手段１ａの視点３側と反対側に形成画像を形成するための形成画像用データを生成する。

　表示要素画像は、視点３側から屈折手段１ａに見える画像である。例えば、表示要素画像は、視点３側から各ボールレンズに見える円形の画像、視点３側から各円柱レンズに見える矩形の画像である。これらの表示要素画像が合成されて、立体物等の３次元空間表現が表示装置ＤＤに見える。なお、領域画像が屈折手段１ａを通して視点で、表示要素画像として見える。表示要素画像用の画像データが、領域画像の画像データ（領域画像データ）である。

　具体的には、画像生成手段８ｂは、各領域画像を所定の屈折手段の反対側の面の形状に合わせるように変形し、当該変形した各領域画像を、当該各領域画像に対応する角度に応じた位置に配置して、所定の屈折手段の形成画像を形成するための形成画像用データを生成する。

　画像調節手段８ｃは、撮影装置９が撮影した撮影画像と撮影した角度のデータと、平面画像データと角度データで構成される３次元空間表現データとの差異に従って、形成画像用データを調節する。例えば、画像調節手段８ｃは、抽出手段が抽出する表示要素画像の領域画像データを調節することにより、撮影画像と撮影した角度のデータと、平面画像データと角度データで構成される３次元空間表現データとの差異が減少するように形成画像用データを調節する。更に具体的には、画像調節手段８ｃが、抽出手段８ａが抽出する領域画像を調節することにより、撮影画像と撮影した角度のデータと、平面画像データと角度データで構成される３次元空間表現データとの差異が減少するように形成画像用データを調節してもよい。

　画像調節手段８ｃは、形成画像における形成するための形成の仕方を調節することにより、撮影画像と撮影した角度のデータと、平面画像データと角度データで構成される３次元空間表現データとの差異が減少するように前記形成画像用データを調節してもよい。更に具体的には、画像調節手段８ｃが、画像生成手段８ｂが変形の仕方を調節すること、または、配置の仕方を調節することにより、撮影画像と撮影した角度のデータと、平面画像データと角度データで構成される３次元空間表現データとの差異が減少するように形成画像用データを調節してもよい。

　撮影装置９は、生成した形成画像用データにより３次元空間表現が表示された表示装置ＤＤを撮影する。撮影装置９の一例として、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮影素子を有するデジタルカメラが挙げられる。撮影装置９は、静止画像、または、動画像を撮影する。撮影装置９は、可動式で、様々な視点方向から、画像が表示された表示装置ＤＤを撮影する。なお、表示装置ＤＤと撮影装置９との距離も可動であってもよい。また、複数の撮影装置９があってもよい。

　以上説明したように、実施形態に係る表示システムＳによれば、表示対象が所定の視点方向から見える平面画像データと角度データで構成される３次元空間表現データから、３次元表現に見えるように各屈折手段１ａに表示される表示要素画像の領域画像データを抽出し、それに基づいて形成された形成画像用データが生成される。生成された形成画像用データは、情報処理装置８から、円形状の断面を有し、光を屈折する屈折手段１ａを有する表示装置ＤＤに送られ、表示装置ＤＤの画像形成手段１ｃに、所望の表示要素画像を表示させるための形成画像が形成され、表示装置ＤＤの各屈折手段１ａの視点側に所望の表示要素画像が表示されるので、広い視点方向から見ることのできる３次元空間表現を表示装置ＤＤで表現できる。

　表示装置ＤＤと情報処理装置８とによって、表示対象となる３次元空間表現から、その３次元空間が存在するような視覚表現が確認できるようになる。情報処理装置８は、所定の視点方向から各屈折手段１ａを見た時に各屈折手段１ａに表示される表示要素画像の領域画像データを抽出する。抽出した領域画像データから、（各屈折手段を所定の視点方向から見た時に）所望の表示要素画像が得られるように、視点側と反対側に形成される形成画像用データを生成する。表示装置ＤＤは、入力された形成画像から、円形状の断面を有し、光を屈折する屈折手段１ａを通して視点３側から表示要素画像を表示する。複数の屈折手段１ａを、視点３側に対して凸形状に配置して支持する配置支持手段１ｂによって、各屈折手段１ａに表示される表示要素画像で構成される３次元空間が表現できる。情報処理装置８によって、表示装置ＤＤに、広い視点方向から見える広い空間を使って安定して表現し、実際に３次元空間が存在するような視覚表現を容易に実現できる。

［実施例１］
　次に、上述した実施形態に対応する具体的な実施例について、図を用いて説明する。なお以下に説明する実施例は、画像形成手段１ｃが、屈折手段に対して視点側と反対側に設けられ、画像投影手段からの投影光が投影された投影面の裏面に視点側から見える画像を映し出す画像映出手段を有する場合の表示システムＳに対して本願を適用した場合の実施例である。
［１．　表示装置の構成および機能］

（１．１　表示装置の構成および機能の概要）
　まず、表示装置の構成の概要について、図２Ａから図３Ｂを用いて説明する。

　図２Ａは、本実施例の表示システムＳ１の概要構成例を示す模式図である。図２Ｂは、屈折手段の一例を示す模式図である。図３Ａおよび図３Ｂは、屈折手段を立体的に配置した一例を示す模式図である。

　図２Ａに示すように、本実施例の表示システムＳ１は、表示装置１と、制御装置５０（情報処理装置の一例）と、撮影装置９と、を備えて構成されている。

　本実施例の表示装置１は、屈折手段１ａと、各屈折手段１ａを支持して配置する配置支持手段１ｂと、画像形成手段１ｃの一例である画像映出手段２０と、を備える。

　屈折手段１ａの一例として、例えば、図２Ｂに示すように、球形のボールレンズ１０が挙げられる。

　配置支持手段１ｂは、図２Ａに示すように、各屈折手段１ａを、視点３側に対して凸形状に配置する。立体的には、例えば、図３Ａに示すように、各ボールレンズ１０（屈折手段１ａの一例）が球面形状の曲面に配置される。図３Ｂに示すように、屈折手段１ａが、円柱レンズ１１の場合、同じ向きの各円柱レンズ１１が円筒面状の曲面に配置される。なお、円錐形状や円錐台形状のレンズの場合、円錐台状の側面の曲面にレンズが配置される。なお、視点３は、表示装置１の外にある。

　なお、図３Ｂに示すように、視点３の場合（視点３の視点方向が、円柱レンズ１１の底面と平行の場合）、円柱レンズ１１の断面の形状は円形状になり、円柱レンズ１１の断面の形状が同じなる。

　また、図２Ａは、図３Ａおよび図３Ｂのように立体的に配置された各屈折手段１ａを、ある視点３からのある断面で記載した断面図でもある。また、図２Ａは、立体的に配置された各屈折手段１ａの一例である円筒面形状の曲面に配置されたボールレンズ１０をある断面で記載した断面図でもある。

　画像映出手段２０は、図２Ａに示すように、屈折手段１ａに対して視点３側と反対側に設けられる。例えば、画像映出手段２０は、屈折手段１ａの反対側の面に設けられる。画像映出手段２０は、屈折手段に対して視点側と反対側の面に形成画像を形成する画像形成手段の一例である。

　画像映出手段２０は、例えば、画像投影手段２１から投影された投影光による画像を映し出すスクリーンである。画像投影手段２１から出力された投影光が、スクリーンの投影面に投影されて投影画像が形成される。画像映出手段２０は、スクリーンの面の裏面に、裏面側から見て投影画像とは鏡映になる画像を映し出す透過型のスクリーンである。

　ここで、画像投影手段２１から出力（または投射）された投影光が、画像映出手段２０の投影面に投影されることにより、投影面に形成される画像である。投影画像は、画像映出手段２０の投影面の形状と、画像投影手段２１の投影光と、その２つの手段の位置関係（距離や方向等）に依存して変わってよい。

　図２Ｂに示すように、ボールレンズ１０の半球面を、例えば、表面処理することにより、透過型のスクリーンである画像映出手段２０が形成される。図２Ｂに示すような透過型スクリーンがボールレンズ１０の半球面に形成される場合、画像映出手段２０は、投影光が投影された投影面の裏面に視点３側から見える画像を映し出す。

　画像映出手段２０は、図２Ａに示すように、屈折手段１ａに対して視点３側と反対側に設けられる。すなわち、画像映出手段２０は、表示装置１の外側の視点３に対して、表示装置１の内側に設けられる。図２Ｂに示すように、画像投影手段２１から画像映出手段２０に投影された投影光により、ボールレンズ１０のような屈折手段１ａに対して視点３側と反対側の屈折手段１ａの面に形成画像５（図２Ｂ中、文字”Ｅ”の鏡映像）が形成される。画像映出手段２０が、表面処理等により、反対側の屈折手段の面に設けられている場合、画像映出手段２０の投影面の裏面に映し出された画像（視点３側から見たら、文字”Ｅ”の正像に見える画像）が、形成画像５になる。この場合、画像映出手段２０の投影面の投影画像も、画像映出手段２０画像５（視点３と反対側から見たら、文字”Ｅ”の鏡映像に見える画像）になる。

　図２Ａに示すように、画像映出手段２０は、配置支持手段１ｂにより形成される凸形状の法線方向に、形成画像５の中心とする部分が向くように設けられる。すなわち、画像映出手段２０の中心部（形成画像の中心とする部分）が凸形状の法線方向に向くように、各屈折手段１ａが配置支持手段１ｂにより支持される。画像映出手段２０の中心部と屈折手段１ａの中心部とを結ぶ線が、配置支持手段１ｂの凸形状の面に対して、垂直方向になる。

　視点３側と反対側の屈折手段１ａの表面に形成された形成画像５の光は、屈折手段１ａの内部を通過して、屈折手段１ａから外部に出るとときに屈折し、視点３に達する。形成画像５のうち、視点３の方向に対応した一部分（部分形成画像）が、屈折手段１ａにより拡大される。ここで、表示装置１の各屈折手段１ａには、視点側からこれらの部分形成画像が拡大された画像（表示要素画像）として見えて、視点側から見える表示装置１の屈折手段１ａの全体で、表示要素画像が合成されて、立体物や視点方向に合わせた平面画像などの、３次元空間表現が見える。なお、部分形成画像は、後述する領域画像に対応する。

　画像投影手段２１（画像形成手段の一例）は、制御装置５０（表示装置用の情報処理装置の一例）に接続され、制御装置５０によって制御される。画像投影手段２１は、屈折手段１ａに対して視点３側と反対側から屈折手段１ａに向かう投影光を出力（または投射）する。画像投影手段２１から出力された投影光により、画像映出手段２０の投影面に投影画像が形成される。投影画像の光が画像映出手段２０を透過して、投影面の裏側に画像が映し出される。映し出された画像の光により、屈折手段１ａの表面に形成画像が形成される。このように、画像映出手段２０および画像投影手段２１は、屈折手段に対して視点側と反対側の面に形成画像を形成する画像形成手段の一例である。

　制御装置５０は、画像投影手段２１から出力する投影光が画像映出手段２０の投影面に形成する投影画像の画像データを生成する。制御装置５０は、投影画像が画像映出手段２０の投影面に形成されるような投影光を、画像投影手段２１から出力するように、画像投影手段２１を制御する。

　また、各画像映出手段２０の投影面の投影画像が、画像投影手段２１からの投影光によって、全ての屈折手段１ａにおいて同一または類似する形成画像５を形成する場合、表示装置１に、視点３を変えても、同一または類似する画像が表示される。

　ここで、凸形状の曲面に配置された屈折手段１ａにおいて、隣り合った各屈折手段１ａの一例として、屈折手段１ａを中心とした各方向で、最近接にある他の屈折手段１ａや、２番目に近い他の屈折手段１ａが挙げられる。

　制御装置５０には、画像が表示された表示装置１を撮影する撮影装置９が接続されている。

（１．２　屈折手段の構成および機能）
　次に、屈折手段１ａの構成および機能について詳細に説明する。

　屈折手段１ａは、ガラス、プラスティック等の光を屈折して透過させる材質からなるレンズである。屈折手段１ａの色は、光を透過できればよいので、透明に限らず、着色されたガラス等でもよい。

　屈折手段１ａは、少なくとも一部の断面が円形状である。屈折手段１ａの立体形状は、球形、円柱、楕円体、円錐形等である。例えば、屈折手段１ａの一例として、ボールレンズ、円柱レンズ等が挙げられる。さらに、屈折手段１ａの立体形状は、円柱が樽のように膨らんだ形状、または、円柱が鼓のようにくびれた形状、円錐形状や円錐台形状でもよい。

　ここで、屈折手段１ａの断面の形状である円形状は、真円に限らず、多少歪んでいてもよい。例えば、視点３から見て、表示装置１による表示される画像の形状が、表示装置１全体として、真円の場合の画像と認識できる程度に、真円から変形したり、歪んだりしてもよい。

　さらに、図４Ａから図４Ｄに示すように、屈折手段１ａの断面の円形状は、視点３から見て、表示装置１による表示される画像の見え方に、屈折手段内部における反射（内部反射）の影響が気にならない程度、多少楕円形等の両凸の構造であってもよい。例えば、図４Ａに示すように、屈折手段１ａが楕円体で、楕円体の軸が視点３に向き、屈折手段１ａの断面の円形状が、多少楕円になってもよい。また、図４Ｂに示すように、屈折手段１ａが、２つの半球で薄い円板を挟む形状のレンズで、屈折手段１ａの断面の円形状が、長方形を半円で挟む形状でもよい、図４Ｃに示すように、ボールレンズの一部がカッティングされ、屈折手段１ａの断面の円形状が、円の一部が削られた形状でもよい。図４Ｄに示すように、視点３側に対して、手前側の屈折手段１ａの曲面と、奥行き側の屈折手段１ａの曲面とで曲率が、多少異なってもよい。

（１．３　配置支持手段の構成および機能）
　次に、配置支持手段１ｂの構成および機能について、図５Ａから図８Ｂを用いて、詳細に説明する。

　配置支持手段１ｂは、樹脂、粘土等のボールレンズ等の屈折手段１ａを連結して配置を規定できる材質を有する。

　なお、接着剤でフレキシブルに連結した屈折手段１ａを、凸の面を有する支持台の上に載せるようにしてもよい。この場合、配置支持手段１ｂは、接着剤および支持台である。また、配置支持手段１ｂは、画像映出手段２０を付けた屈折手段１ａを、可塑性の素材に半分ほど埋め込むことで支持してもよい。また、屈折手段１ａの形状が円柱、楕円体、円錐形のような棒状である場合、配置支持手段１ｂは、屈折手段１ａを差し込んで固定する支持台でもよい。

　次に、屈折手段１ａの配置例について説明する。

　配置支持手段１ｂは、複数の屈折手段１ａを、視点３側に対して凸形状に配置する。例えば、図５Ａに示すように、屈折手段１ａが、円形状ｓ１に配列されてもよい。この場合、各屈折手段１ａの３次元配置は、球形、半球形、円柱形、楕円体等である。半球形、円柱形、楕円体の場合、ある切断面で円形状ｓ１の配置になる。

　画像映出手段２０により屈折手段１ａの面に形成される形成画像の向きは、図５Ａに示すように、屈折手段１ａの配置形状（円形状ｓ１）に対して垂直方向になる。すなわち、形成画像の中心とする部分（例えば、画像映出手段２０の中心部）が、凸形状の法線方向に向くように、各屈折手段１ａが配置されている。

　また、図５Ｂに示すように、屈折手段１ａが、楕円形状ｓ２に配列されてもよい。この場合、各屈折手段１ａの３次元配置は、例えば、楕円柱形、楕円体等である。楕円柱形、楕円体のある切断面で楕円形状ｓ２の配置になる。画像映出手段２０により屈折手段１ａの面に形成される形成画像の向きは、図５Ｂに示すように、屈折手段１ａの配置形状（楕円形状ｓ２）に対して垂直方向になる。すなわち、形成画像の中心とする部分（例えば画像映出手段２０の中心部）が、凸形状の法線方向に向くように、各屈折手段１ａが配置されている。

　また、図６Ａに示すように、凸形状は、各屈折手段１ａの中心を通る形状に限らず、各屈折手段１ａに内接または外接する形状ｓ３に設定してもよい。画像映出手段２０により屈折手段１ａの面に形成される形成画像の向きは、図６Ａに示すように、内接または外接する形状ｓ３に対して垂直方向になる。

　また、凸形状（形状ｓ３）は、図５Ａおよび図５Ｂのように閉じた形状でなくて、図６Ａに示すように開いた形状でもよい。すなわち、凸形状は、閉じた円形状、閉じた楕円形状のように閉じた凸形状でなくても、これらの一部の形状でもよい。

　また、図６Ｂに示すように、凸形状は、各屈折手段１ａの中心付近を直線で結んだ多角形ｓ４でもよい。すなわち、各屈折手段１ａの３次元配置が、各屈折手段１ａの中心付近を頂点とする凸の多面体でもよい。

　画像映出手段２０により屈折手段１ａの面に形成される形成画像の向きは、図６Ｂに示すように、多角形の頂点において、多角形に接する１つの面に対して垂直方向になる。

　また、図６Ｂに示すように、各屈折手段１ａは等間隔に配置されなくてもよい。

　また、配置支持手段１ｂによる同じ凸形状ｓ５に、図７Ａに示すように、小さい屈折手段１ａ（例えば、直径の小さいボールレンズ）が配置されても、図７Ｂに示すように、大きい屈折手段１ａ（例えば、直径の大きいボールレンズ）が配置されてもよい。図７Ａに示すように、小さい屈折手段１ａの場合、表示装置１による表示される３次元空間表現の表示の解像度が高くなる。

　また、配置支持手段１ｂにより屈折手段１ａが配置される凸形状の大きさは、表示装置１の大きさに依存する。例えば、図７Ｃに示すように、表示装置１の大きさが小さくなると、凸形状ｓ６の曲率が大きくなる。図７Ｃは、図７Ａと同じ大きさの個々の屈折手段１ａを用いて、配置支持手段１ｂの半径が小さい例を示す。この場合、図７Ｃの表示装置１に表示される３次元空間表現は、図７Ａと比較して、表示される３次元空間表現の大きさは表示装置１の大きさに合わせて小さくなるが、同じ３次元空間表現になる。

　また、図８Ａに示すように、必ずしも全ての屈折手段１ａが、配置支持手段１ｂにより形成される凸形状ｓ７の線上に配置されていなくてもよい。例えば、一部の屈折手段１ａが、表示装置１の設計上の凸形状ｓ７より、視点３側（表示装置１の外側に）配置されたり、視点３側とは逆の内側（表示装置１の内側）に設置されたりしてもよい。

　これらの場合、表示装置１の３次元空間表現において、このような一部の屈折手段１ａが担当する表現の部分が、作成前に予定していた設計の形状通りにならなくてもよい。この場合、表示装置１が表示する３次元空間表現全体において、一部の画像映出手段２０が担当する表現の部分がずれた３次元空間表現になる。

　また、図８Ａに示すように、必ずしも全ての画像映出手段２０による屈折手段１ａの面に形成される形成画像の向きは、表示装置１の設計上の凸形状ｓ７に、正確に垂直にならなくてもよい。このような一部の画像映出手段２０が担当する表現の部分が、作成前に予定していた設計の方向の通りにならなくてもよい。この場合、表示装置１が表示する３次元空間表現全体において、一部の画像映出手段２０が担当する表現の部分がずれた３次元空間表現になる。

　なお、画像の中心とする部分が凸形状の法線方向に向くようにとは、画像映出手段２０により屈折手段１ａの面に形成される形成画像の向きは、表示装置１の設計上の凸形状ｓ７に、正確に垂直である必要は無く、表示装置１全体として、各画像映出手段２０により屈折手段１ａの面に形成される形成画像の向きが正確に垂直である場合の３次元空間表現と認識できる程度に、画像映出手段２０により屈折手段１ａの面に形成される形成画像の向きが垂直からずれていてもよい。

　また、図８Ｂに示すように、屈折手段１ａの大きさが、それぞれ異なってもよい。例えば、視点３から見て、表示装置１全体として、各屈折手段１ａの大きさが同じ場合の３次元空間表現と認識できる程度に、各屈折手段１ａの大きさは、それぞれ異なってもよい。なお、図３Ａに示すようなボールレンズ１０が３次元配置された表示装置１を、どのような断面で捉えるかにより、一部の屈折手段１ａの断面積が小さくなることもある。

　また、屈折手段１ａの屈折率が、それぞれ異なってもよい。例えば、視点３から見て、表示装置１全体として、各屈折手段１ａの屈折率が同じ場合の３次元空間表現と認識できる程度に、各屈折手段１ａの屈折率は、それぞれ異なってもよい。

　なお、各画像形成手段の形成する形成画像の中心とする部分が凸形状の法線方向に向くように、各屈折手段１ａが配置されると、各屈折手段１ａを、視点３からの各屈折手段１ａの断面形状が同じ形状になる。すなわち、特に、屈折手段１ａが、円柱形、楕円体、円錐形などのように、方向性がある立体の場合、各屈折手段１ａの向きがほぼ揃うように、各屈折手段１ａが配置される。なお、各屈折手段１ａの断面形状が、厳密に同じある必要は無く、視点３から各形成画像５を見て、表示装置１全体で、形成画像が合成された３次元空間表現が認識されるようであればよい。

　また、配置支持手段１ｂにより屈折手段１ａが配置される凸形状は、球面形状と円筒面形状とをつなぎ合わせた形状でもよい。例えば、表示装置１の全体の形状が、２つの半球面で円筒面を挟むようにつなぎ合わせた形状でもよい。このように、各屈折手段１ａの３次元配置は、球面、半球面、円筒面、楕円体面等の組み合わせでもよい。

　なお、表示装置１の全体の形状が、複数の凸形状が組み合わされた形状でもよい。この場合、凸形状と凸形状とのつなぎ目の部分は、必ずしも凸形状になっていなくてもよい。例えば、４つ葉のように、４方向に凸形状が形成されていてもよい。

　また、屈折手段１ａの配置に関して、凸形状であればよいので、球面形状は、球面に類似した形状でもよい。また、屈折手段１ａの配置に関しても、円筒面形状は、円筒面が樽のように膨らんだ形状、円筒面が鼓のようにくびれた形状、または、円錐面の頂点側が削られた形状のように、円筒面に類似した形状でもよい。

（１．４　画像映出手段の構成および機能）
　次に、画像映出手段２０の構成および機能について、図９Ａから図１０を用いて、詳細に説明する。

　画像映出手段２０は、例えば、透過型のスクリーンの機能を有する。屈折手段１ａの視点３側と反対側の表面を半透明にする処理や表面処理を施したり、屈折手段１ａの視点３側と反対側の表面に半透明のシート（例えば、つや消しのポリエステル等のフィルム）を貼ったり、半透明の塗料を塗布したりして、画像映出手段２０が設けられる。屈折手段１ａの反対側の表面が、研き砂や薬品等で表面処理されて、細かい凹凸が生じ、磨りガラスまたは曇りガラスのようになる。

　例えば、図２Ｂに示すように、ボールレンズ１０の半球面を表面処理することにより、半球形状の画像映出手段２０が形成される。

　画像映出手段２０は、ビニールまたはアクリル等樹脂、ガラス製等の半透明のスクリーンでもよい。

　画像映出手段２０は、投影光が投影された投影面の裏面に画像を映し出す機能を有すればよく、投影光が投影された投影面での光の反射が少なく、画像映出手段２０を透過して裏面から散乱光を放射してもよい。画像映出手段２０に映し出された画像が、屈折手段１ａにより像が拡大されて、視点３側から見える。

　画像映出手段２０は、図９Ａに示すように、透明な材質からなる屈折手段１ａの半面を覆うように設けられてもよい。なお、図９Ａは、透明のボールレンズ１０の表面に半球状に、画像映出手段２０が形成された場合の断面を示す模式図である。なお、円柱レンズが、半円筒面形状の画像映出手段２０が設けられた場合の断面でもよい。

　半球状の画像映出手段２０の中心部とボールレンズ１０の中心部とを結ぶ線が、配置支持手段１ｂの凸形状の面に対して、垂直方向になる。また、円柱レンズの場合、円柱レンズの中心線と、半円筒面形状の画像映出手段２０の中心線を垂直に結ぶ線が、配置支持手段１ｂの凸形状の面に対して、垂直方向になる。

　図９Ｂに示すように、半球状の画像映出手段２０が設けられたボールレンズ１０の表面に、画像投影手段２１から投影光が投影され、形成画像５が形成される。なお、ボールレンズ１０の表面に形成された形成画像５を、形成画像５が形成された側から見ると、形成画像５は、鏡映の画像である。

　また、形成画像５の中心部分は、必ずしも画像”Ｅ”自体の中心とは限らず、ボールレンズ１０が、配置支持手段１ｂにより各ボールレンズ１０が固定された後、配置支持手段１ｂにより形成された凸形状面の法線が、ボールレンズ１０の中心部を通り、視点３側と反対側のボールレンズ１０と面と交差する位置が、形成画像の中心とする部分である。

　図１０Ａに示すように、画像映出手段２０は、屈折手段１ａに密着させず、屈折手段１ａとの隙間があるように設けてもよい。図１０Ｂに示すように、画像映出手段２０は、屈折手段１ａの面の形状に、沿った形状でなくてもよい。屈折手段１ａの断面の形状が円形状の場合、画像映出手段２０の断面形状が、円形状に限らず、楕円形状でもよい。画像投影手段２１から投影光が画像映出手段２０の投影面に投影され、画像映出手段２０の投影面の裏面に画像が映し出され、映し出された形成画像が、屈折手段１ａを通して、視点３側から見えればよい。

　図１１Ａに示すように、画像映出手段２０の形状は、平面でもよい。図１１Ｂに示すように、平面の画像映出手段２０は、屈折手段１ａの断面形状の大きさより、大きくすることで、形成画像が見える視野角が広くなる。

　図１１Ｃに示すように、画像映出手段２０は、各屈折手段１ａに対して視点３側とは反対側に、一体となるように形成してもよい。例えば、各屈折手段１ａが球面形状に配置される場合、画像映出手段２０は、球面形状になり、各屈折手段１ａが円筒形状に配置される場合、画像映出手段２０は、円筒形状になる。

　図１２Ａおよび１２Ｂに示すように、画像映出手段２０は、複数の平面から構成されてもよい。

　図４Ａから図４Ｄに示すように、視点３の反対側の屈折手段１ａの面に画像映出手段２０が設けられる。

（１．５　制御装置および画像投影手段の構成および機能）
　次に、制御装置５０および画像投影手段２１の構成および機能について、図１３から図１４を用いて、詳細に説明する。

　情報処理装置８の一例である制御装置５０は、コンピュータの機能を有する。制御装置５０は、出力部５１と、記憶部５２と、通信部５３と、入力部５４と、入出力インターフェース部５５と、制御部５６と、を備えている。そして、制御部５６と入出力インターフェース部５５とは、システムバス５７を介して電気的に接続されている。また、制御装置５０は、画像投影手段２１および撮影装置９に、有線または無線で接続されている。制御装置５０は、表示装置１に表示される３次元空間表現を、ある視点方向の、ある距離から、を撮影した撮影画像の画像データを、撮影装置９から取得する。

　なお、制御装置５０は、撮影装置９の位置を制御してもよい。例えば、撮影装置９の撮影方向（視点方向）および表示装置１から撮影装置９までの撮影距離（視点距離）を制御する。制御装置５０は、撮影装置９の位置を制御する代わりに、撮影装置９が設置された撮影方向および撮影距離を、撮影された撮影画像から特定してもよい。また、所定の撮影方向および撮影距離に撮影装置９を予め設定して、撮影装置９が表示装置１の表示３次元空間表現を画像として撮影してもよい。撮影装置９がＧＰＳ（Global Positioning System,）やジャイロセンサを備え、撮影装置９の撮影方向および撮影距離が特定さえるようにしてもよい。

　出力部５１は、各屈折手段に配置した各画像映出手段２０に、形成画像データを出力する。出力部５１には、形成画像を印刷するプリンタが接続されていてもよい。なお、屈折手段の表面に直接形成画像が印刷されてもよい。樹脂製、紙製、金属製等のフィルムに形成画像を印刷し、形成画像が印刷されたフィルムを屈折手段の表面に貼り付けてもよい。

　記憶部５２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等により構成されている。記憶部５２は、表示装置１に表示する３次元空間表現データを記憶する。

　また、記憶部５２は、オペレーティングシステム等の各種プログラムや各種ファイル等を記憶する。記憶部５２は、画像生成のプログラム、画像調整のプログラム等の制御装置５０が実行するプログラムを記憶する。なお、３次元空間表現データ、各種プログラム等は、例えば、外部からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

　通信部５３は、外部の装置との通信状態を制御するようになっている。制御装置５０は、通信部５３を介して、無線または有線でインターネット等のネットワークと接続してもよい。

　入力部５４は、例えば、御号等を受け付けるためのコネクタである。

　入出力インターフェース部５５は、出力部５１および記憶部５２等と制御部５６との間のインターフェース処理を行うようになっている。

　制御部５６は、ＣＰＵ（Central Processing Unit）５６ａ、ＲＯＭ（Read Only Memory）５６ｂ、ＲＡＭ（Random Access Memory）５６ｃ等を有する。そして、制御部５６は、ＣＰＵ５６ａが、ＲＯＭ５６ｂや記憶部５２に記憶された各種プログラムのコードを読み出し実行することにより、投影画像の画像データを生成したり、投影画像を画像映出手段２０の投影面に形成するような投影光の制御データや画像データを画像投影手段２１に送信したりする。

　制御装置５０は、表示装置１の外部から接続しても、表示装置１の内部に設置してもよい。制御装置５０は、パーソナルコンピュータ、スマートフォン、タブレット端末等でもよく、プロジェクタ等の画像投影手段２１に接続して、投影光の制御データや投影する画像データを送信してもよい。

　画像投影手段２１は、例えば、投影面に画像を投影するプロジェクタである。例えば、プロジェクタは、CRT(Cathode Ray Tube)プロジェクタ、液晶プロジェクタ、DMD（Digital Mirror Device）プロジェクタ、LCOS（Liquid Crystal On Silicon）プロジェクタ、GLV（Grating Light Valve）等である。また、画像投影手段２１は、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイ等でもよい。これらのディスプレイは、曲面型、平面型、フレキシブル型でもよい。画像投影手段２１は、レーザ光をスキャンさせて、投影面に画像を投影してもよい。

　画像投影手段２１の一例のプロジェクタは、光源ランプ、透過型または反射型の映像部、投影レンズ、インターフェース等を有する。プロジェクタのインターフェースは、制御装置５０の出力部５１に接続する。プロジェクタは、インターフェースを介して、制御装置５０から形成画像用データを取得する。

　制御装置５０は、画像投影手段２１の電源のＯＮ／ＯＦＦ、および、投影方向等を制御してもよい。また、制御装置５０は、画像投影手段２１の投影レンズ、画像投影手段２１から画像映出手段２０に投影される投影光の角度、画像映出手段２０の形状、屈折手段の表面形状等を計算して、投影画像を生成する。制御装置５０は、屈折手段の表面に、表示装置１に表示画像が表示されるように設計された形成画像が形成されるように、投影画像の画像データを生成し、投影画像が画像映出手段２０の投影面に形成されるように、画像投影手段２１の投影光を制御すればよい。投影画像を画像映出手段２０の投影面に形成するように、画像投影手段２１の投影光を制御する機能は、画像投影手段２１にあってもよい。

　図１４に示すように、複数の画像投影手段２１が、複数の方向から投影光を画像映出手段２０の各面（画像映出手段２０の所定の部分、または、所定の領域）にそれぞれ投影してもよい。画像映出手段２０の各面に映し出された投影画像により、屈折手段１ａの対応する面の形成画像が形成される。なお、各面は、曲面における所定の部分でもよい。半球面形状や曲面形状の画像映出手段２０に対しても、複数の画像投影手段２１が、複数の方向から投影光を画像映出手段２０の投影面における所定の部分に投影してもよい。

　ここで、各屈折手段１ａにおいて同一または類似する形成画像は、各形成画像が多少異なってもよく、視点３から見て、各屈折手段１ａの表示要素画像の全体で、表示装置１の３次元空間表現を認識できればよい。

［２．　表示装置の作用］
　次に、表示装置の作用について、図を用いて説明する。

（２．１　屈折手段の光路）
　まず、屈折手段の光路について、図１５、図１６Ａおよび図１６Ｂを用いて説明する。

　図１５は、屈折手段における光路の一例を示す模式図である。図１６Ａおよび図１６Ｂは、片凸の構造を有するレンズにおける反射の一例を示す模式図である。

　ここで、図１５に示すように、屈折手段１ａの大きさは、視点３から屈折手段１ａまでの距離に対して、十分小さい場合を考える。この場合、視点３から屈折手段１ａまでの距離は、無限遠と見なせる（屈折手段１ａと視点３の距離と比較して、屈折手段１ａが小さくない場合は、図１５のような平行な光路にならないが、効果は同様であるため、図１５で光路を説明する）。

　断面が半径ｒの屈折手段１ａにおける光路（幅２ｒ）は、平行の光路が屈折手段１ａで屈折して、視点３側と反対側で、屈折手段１ａの円弧の部分（長さａ）に達し、屈折手段１ａの外部に出る。なお、屈折手段１ａの断面形状が円形状なので、視点３の視覚方向をずらしても、同様な光路になる。

　一方、図１６Ａおよび図１６Ｂに示すように、屈折手段の断面形状が半円の場合、法線方向に対して、視点３の角度θｄが大きくなると、屈折手段内部での反射（内部反射）が生じるようになる。すなわち、片凸の構造のレンズの場合、視点３から、外光が見えることになる。

　しかし、図１５に示すように、屈折手段１ａの断面形状が円形状であると、屈折手段１ａに入射した光の屈折手段１ａ内部での反射がない。

　なお、長さａの円弧が、幅２ｒまで拡大されるので、屈折手段１ａの拡大率は、おおよそ２ｒ／ａとすることができる。

（２．２　視点からの各形成画像の見え方）
　次に、各視点からの形成画像の見え方について図１７および図１８を用いて説明する。図１７は、視点と各屈折手段の形成画像との関係の一例を示す模式図である。図１８は、視差と３次元空間表現との関係の一例を示す模式図である。

　図１７に示すように、屈折手段１０ａ、１０ｂ、１０ｃ、１０ｄが、配置支持手段１ｂにより、中心Ｃの半径Ｒの円形ｓ１０（凸形状の一例）に並んでいるとする。屈折手段１０ａ、１０ｂ、１０ｃ、１０ｄの中心ｃと、配置の中心Ｃとの距離はＲである。なお、視点とレンズの距離がレンズのサイズや配置される径と比較して特別大きくはない場合、視点と各レンズを結ぶ線は、放射状になる。

　各屈折手段１０ａ、１０ｂ、１０ｃ、１０ｄには、記号であるダガー、ダイヤおよびスペードの順に並んでいる形成画像の部分画像であるダガーの部分画像５ａ、ダイヤの部分画像５ｂ、スペードの部分画像５ｃが並んでいるとする。また、この例では、形成画像の中心とする部分が、ダイヤの部分画像５ｂであるとする。なお、記号であるダガー、ダイヤおよびスペードの順に並んでいる形成画像は、画像投影手段２１から投影した投影光により、画像映出手段２０の投影面に映し出されて形成されている。また、後述するディスプレイ手段の場合、記号であるダガー、ダイヤおよびスペードの順に並んでいる形成画像は、ディスプレイ手段の表示面に表示されて形成される。

　形成画像の中心とする部分であるダイヤの部分画像５ｂは、屈折手段の中心ｃと、屈折手段の配置の中心Ｃとを結ぶ線上にある。形成画像の中心とする部分であるダイヤの部分画像５ｂと、屈折手段の中心ｃとを結ぶ線は、中心Ｃの半径Ｒの円形ｓ１０（凸形状の一例）の法線方向である。すなわち、形成画像の中心とする部分であるダイヤの部分画像５ｂの向きは、円形ｓ１０（１ｂ）の法線方向である。

　視点３ａから表示装置１を見ると、屈折手段１０ａには、ダガーの部分画像５ａが中心に見え、屈折手段１０ｂには、ダイヤの部分画像５ｂが中心に見え、屈折手段１０ｃには、スペードの部分画像５ｃが中心に見える。

　各屈折手段１０ａ、１０ｂ、１０ｃの拡大機能より、視点３ａから、屈折手段１０ａには、ダガーの部分画像５ａが、拡大された部分画像６ａのように見え、屈折手段１０ｂには、ダイヤの部分画像５ｂが、拡大された部分画像６ｂのように見え、屈折手段１０ｃには、スペードの部分画像５ｃが拡大された部分画像６ｃのように見える。

　従って、屈折手段１０ａの部分画像６ａと、屈折手段１０ｂの部分画像６ａと、屈折手段１０ｃの部分画像６ｃとを合わせて、表示装置１の内部空間に、視点３ａからの視線に垂直な平面が存在し、その平面に、記号であるダガー、ダイヤおよびスペードの順に並んでいる表示合成画像が表示されているような３次元空間表現ができる。

　一方、視点３ｂから表示装置１を見ると、屈折手段１０ｂには、ダガーの部分画像５ａが中心に見え、屈折手段１０ｃには、ダイヤの部分画像５ｂが中心に見え、屈折手段１０ｄには、スペードの部分画像５ｃが中心に見える。

　各屈折手段１０ｂ、１０ｃ、１０ｄの拡大機能より、視点３ｂから、屈折手段１０ｂには、ダガーの部分画像５ａが拡大された部分画像７ａのように見え、屈折手段１０ｃには、ダイヤの部分画像５ｂが拡大された部分画像６ｂのように見え、屈折手段１０ｄには、スペードの部分画像５ｃが拡大された部分画像７ｃのように見える。

　従って、屈折手段１０ｂの拡大された部分画像７ａと、屈折手段１０ｃの拡大された部分画像６ｂと、屈折手段１０ｄの拡大された部分画像７ｃとを合わせて、表示装置１の内部空間に、視点３ｂからの視線に垂直な平面が存在し、その平面に、記号であるダガー、ダイヤおよびスペードの順に並んでいる表示合成画像が表示されているような３次元空間表現ができる。

　以上のように、視点３ａから見た場合と視点３ｂから見た場合では、異なる表示装置１の内部空間に、異なる配置の平面が表現され、その平面は、各屈折手段の拡大された部分要素画像から合成された、記号であるダガー、ダイヤおよびスペードの順に並んでいる表示合成画像が表示されているような、観察する角度に応じた異なる３次元空間表現ができる。

　また、図１７の例で、視点３ａから３ｂに移動しながら表示装置１を見ると、記号であるダガー、ダイヤおよびスペードの順に並んでいる表示合成画像が、面Ｐ１から面Ｐ２へと、表示装置内に表現された３次元空間で、屈折手段の配置の中心Ｃを中心軸として回転しながら、視点方向の変化に対して正面を向く平面に表示されているような空間表現ができる。

　また、図１８に示すように、図１７のような表示を両眼（視点３ｃおよび視点３ｄ）で見ると、それぞれの眼について視点３ｃ、３ｄと各屈折手段の配置の中心Ｃとを結ぶ線と、円形ｓ１０との交点付近にある各屈折手段におけるダイヤの各部分画像５ｂが見える。よって、ダイヤの部分画像５ｂは、両眼の視線の交点である屈折手段の配置の中心Ｃ付近に、拡大された部分画像６ｃが表示されているように見える。こうして、観察している視点３ａと３ｂの視点方向の大きな変化による３次元空間表現に加えて、ある方向から観察している場合の、両眼の視差によるわずかな角度の違いによって、記号であるダイヤの並んでいる空間位置までの距離が表示装置１の中に存在するような奥行き感も与えることができる。

［３．　制御装置の動作］
　次に、制御装置５０の動作について、図１９から図２６を用いて説明する。

（３．１　画像生成の動作例）
　視点方向が１つ、または、２つであって、図３Ｂに示すように、屈折手段１ａの一例の円柱レンズ１１が、凸形状の一例の円筒形状に配置されている場合を例示して、制御装置における画像生成の動作例について、図１９から図２２Ｄを用いて説明する。図１９は、制御装置における画像生成の動作例を示すフローチャートである。図２０Ａ、図２１Ａ、および、図２２Ａは、表示合成画像と表示要素画像との関係を示す模式図である。図２０Ｂ、図２１Ｂ、図２２Ｂ、および、図２２Ｃは、３次元空間表現データの中の、ある１つの角度データに対応する平面画像データの一例を示す模式図である。図２０Ｃ、図２１Ｃ、図２２Ｄは、形成画像の一例を示す模式図である。

　図１９に示すように、制御装置５０は、１つ以上の視点方向の角度データとそれに対応する１つ以上の平面画像データとを有する３次元空間表現データを取得する（ステップＳ１０）。具体的には、制御装置５０の制御部５６が、１つ以上の視点方向の角度データに基づき、記憶部５２から、その角度データに対応した各視点方向から３次元空間表現を見た時の平面画像データを取得する。

　例えば、図２０Ａに示すように、ある３次元空間表現を、ある１つの視点方向から見た時に、表示装置１の中心軸を含む位置に平面が存在し、その平面に、例えば、図２０Ｂに示すように、図中右向きの三角形が描かれた画像があるように見える平面画像ｏＰを想定する。平面画像ｏＰの幅は、ｗとし、表示装置１（円筒形状の配置支持手段１ｂ）の直径２Ｒに対応する。

　図２１Ａに示すように、視点方向が１つで、表示装置１の表面の半面に、視点方向に凸の曲面の平面画像ｏＰが存在するような３次元空間表現想定してもよい。図２１Ｂに示すように、平面画像ｏＰの幅は、表示装置１（円筒形状の配置支持手段１ｂ）の半円周πＲに対応する。

　図２２Ａに示すように、２つの視点方向から見て異なる平面が存在し、視点Ａから見ると、図２２Ｂに示すような、図中右向きの三角形の画像が円筒の軸の中心を通る視線に垂直な平面が存在するように見えて、視点Ｂから見ると、図２２Ｃに示すような、図中左向きの画像が視点Ｂからの視線に垂直な平面に存在するように見える場合、視点Ａからは、図２２Ｂの平面画像ｏＰ１のように見え、視点Ｂからは、図２２Ｃの平面画像ｏＰ２のように見える。制御部５６は、平面画像ｏＰ１と平面画像ｏＰ２とを、対応する角度データに合わせた３次元空間表現データを取得する。

　なお、ここでは、視点方向が１つ、または、２つの場合を例示しているが、各視点方向の個数は、屈折手段の個数分でもよいし、屈折手段の個数より多くてもよい。各視点方向の個数は、屈折手段の個数分でもよいし、屈折手段の個数より少なくてもよく、１つでもよい。また、視点方向は、１つの角度でも、０°から４５°、４６°から９０°のように角度範囲でもよい。

　次に、制御装置５０は、所定の屈折手段における法線方向と各視点方向との各角度を算出する（ステップＳ１１）。具体的には、制御装置５０の制御部５６が、形成画像を生成する１つの屈折手段１ａを選択し、表示装置１における屈折手段１ａの配置の位置のデータを取得する。

　図３Ｂに示すように、円柱レンズ１１が円筒形状に配置されている場合、制御部５６が、法線方向として、表示装置１の中心軸を基準に、円柱レンズ１１の配置の配置角度を算出する。なお、制御部５６が、表示装置１の中心軸から１つの円柱レンズ１１の中心へ伸びる直線を、法線として算出してもよい。

　制御部５６が、表示装置１の中心軸から各視点３の視点角度を、視点方向のデータとして取得する。制御部５６が、円柱レンズ１１の配置角度と、各視点３の視点角度との差から、法線方向と各視点方向との各角度を算出する。例えば、図２０Ａ、図２１Ａに示すように、制御部５６が、角度θを算出する。視点方向が２つの場合、図２２Ａに示すように、制御部５６が、所定円柱レンズ１１に対して、視点Ａに対して角度θ、および、視点Ｂに対して角度φを算出する。算出された各角度が、所定の前記屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度の一例である。

　次に、制御装置５０は、平面画像データの各平面画像から、角度に応じて屈折手段に対する領域画像を抽出する（ステップＳ１２）。例えば、制御装置５０は、各視点方向と各視点方向の平面画像を取得する。より具体的には、制御装置５０の制御部５６が、図２０Ｂに示すように、角度θに対して、平面画像ｏＰの中心線からｗθ／πの位置に、平面画像ｏＰの画像データから、幅Δの領域画像ｄ１の画像データを抽出する。幅Δは、ｗａ／（ｒπ）でも、幅Δは、２ｒでもよい。図１５に示すように、ａは、円柱レンズの屈折率に応じた長さ、ｒは、円柱レンズの半径である。または、制御部５６が、図２１Ｂに示すように、角度θに対して、平面画像の中心線からθＲの位置に、平面画像ｏＰの画像データから、幅Δの領域画像ｄ１の画像データを抽出してもよい。なお、幅Δは、正確にｗａ／（ｒπ）または２ｒでなくてもよい。これらは幅Δの目安の値である。

　図２２Ａに示すように、視点方向が２つの場合、制御部５６は、図２２Ｂに示すように、角度θに対して、平面画像ｏＰ１の中心線からｗθ／πの位置に、平面画像ｏＰ１の画像データから、幅Δの領域画像ｄ１を抽出し、図２２Ｃに示すように、角度φに対して、平面画像ｏＰ２の中心線からｗφ／πの位置に、平面画像ｏＰ２の画像データから、幅Δの領域画像ｄ２の画像データを抽出する。

　このように制御装置５０は、前記表示装置において表示対象を３次元空間表現するための３次元空間表現データから、前記３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出する抽出手段の一例として機能する。制御装置５０は、３次元空間表現データのうち、前記平面画像データから、所定の各屈折手段に対応した領域画像を領域画像データとして各々抽出する抽出手段の一例として機能する。

　また、制御装置５０は、所定の前記屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度に応じて、前記所定の視点方向から見える３次元空間表現の前記平面画像データから、所定の各屈折手段に対応した領域画像を領域画像データとして抽出する抽出手段の一例として機能する。このように、領域画像の大きさ（例えば、幅Δ）が、屈折手段の大きさ（例えば、レンズの半径ｒ）に応じて規定される。

　次に、制御装置５０は、屈折手段を通して形成画像の一部分が拡大され、所定の視点方向から領域画像として見えるように各領域画像を形成画像上の部分画像に変形する（ステップＳ１３）。例えば、制御装置５０は、形成画像の形状に合わせて各領域画像を変形する。より具体的には、制御装置５０の制御部５６が、形成画像ｆＰを形成する円柱レンズの片側の半面に合わせて、平面画像ｏＰが変形するように、領域画像ｄ１を変形した部分画像ｔｄ１の画像データを生成する。例えば、制御部５６が、図２０Ｃまたは図２１Ｃに示すように、幅δの部分画像ｔｄ１の画像データを生成する。平面画像ｏＰは、形成画像ｆＰの大きさに合わせ、図中、縦長に引き延ばすように変形される。

　図２２Ａに示すように、視点方向が２つの場合、制御部５６は、図２２Ｄに示すように、視点方向に応じた幅δの部分画像ｔｄ１、ｔｄ２の画像データを各々生成する。

　次に、制御装置５０は、変形した各領域画像を、各角度に応じた位置に配置して形成画像用データを生成する（ステップＳ１４）。具体的には、制御装置５０の制御部５６が、例えば図２０Ｃまたは図２１Ｃに示すように、形成画像ｆＰの中心線からｒθの位置に幅δの部分画像ｔｄ１を配置した形成画像ｆＰの画像データを生成する。

　図２２Ａに示すように、視点方向が２つの場合、制御部５６は、図２２Ｄに示すように、形成画像ｆＰの中心線からｒθの位置に、視点Ａの幅δの部分画像ｔｄ１を配置し、ｒφの位置に、視点Ｂの幅δの部分画像ｔｄ２を配置した形成画像ｆＰの画像データを生成する。

　このように制御装置５０は、前記所定の屈折手段を通った光によって、前記表示要素画像が表示されるように、前記所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する画像生成手段の一例として機能する。制御装置５０は、各前記領域画像を前記所定の屈折手段の前記反対側の面の形状に合わせるように変形し、当該変形した各領域画像を、当該各領域画像に対応する前記角度に応じた位置に配置して、前記所定の屈折手段の前記形成画像を形成するための形成画像用データを生成する画像生成手の一例として機能する。

　また、制御装置５０は、前記領域画像を前記所定の屈折手段の前記反対側の面の形状に合わせるように変形し、当該変形した領域画像を前記角度に応じた位置に配置して、前記所定の屈折手段の前記形成画像を形成するための形成画像用データを生成する画像生成手段の一例として機能する。

　次に、制御装置５０は、表示装置１の全ての屈折手段に対して、形成画像用データを生成したか否かを判定する（ステップＳ１５）。

　全ての屈折手段に対して、形成画像用データを生成してない場合（ステップＳ１５；ＮＯ）、制御装置５０は、次の屈折手段に対して、ステップＳ１１からＳ１４の処理を行う。具体的には、制御部５６が、隣の円柱レンズ１１に対して、ステップＳ１１からＳ１４の処理を行う。

　全ての屈折手段に対して、形成画像用データを生成した場合（ステップＳ１５；ＹＥＳ）、制御装置５０は、処理を終了する。

　制御装置５０は、形成画像用データを、画像投影手段２１に送信する。画像投影手段２１が、形成画像用データに基づいた投影光を画像映出手段２０に投影し、各屈折手段１ａに、形成画像用データに応じた形成画像が形成される。視点方向に応じて、各屈折手段１ａの表示要素画像が見られ、表示装置１に、視点方向に応じた表示合成画像が表示される。なお、後述するディスプレイ手段の場合、制御装置５０は、形成画像用データを、各ディスプレイ手段に送信する。

　なお、図２０Ａから図２１Ｃにおいて、１つの視点方向を例示して、所定の視点方向のみから、３次元空間に平面画像が存在するように見える場合の３次元空間表現を説明した。また、図２２Ａから図２２Ｄにおいては、２つの視点方向を例示して、所定の２つの視点方向のみから、３次元空間に平面画像が存在するように見える場合の３次元空間表現を説明した。制御装置５０は、３つ以上の視点方向から３次元空間に平面画像が存在するように見えるような３次元空間表現に対して、ステップＳ１０からステップＳ１５の処理を行ってもよい。さらに、制御装置５０は、ステップ１０において、複数の一連の視点方向から見た３次元空間の、複数の平面画像を取得する場合、視点方向を変えることにより、一つの空間が見る角度で次々異なる空間に変化するような表現が可能になる。

　このように制御装置５０は、複数の一連の前記視点方向における各視点方向と前記所定の屈折手段における前記法線方向とに規定される各角度に応じて、前記各視点方向から見える各前記３次元空間表現データの各平面画像データから、所定の各屈折手段に対応した領域画像を領域画像データとして各々抽出する抽出手段の一例として機能する。また、制御装置５０は、各前記領域画像を前記所定の屈折手段の前記反対側の面の形状に合わせるように変形し、当該変形した各領域画像を、当該各領域画像に対応する前記角度に応じた位置に配置して、前記所定の屈折手段の前記形成画像を形成するための形成画像用データを生成する画像生成手段の一例として機能する。

（３．２　立体物を表現する場合）
　次に、立体の実物からの形成画像の生成について、図２３Ａから図２３Ｅを用いた説明する。なお、表示装置は、図３Ｂに示すように、屈折手段１ａの一例の円柱レンズ１１が、凸形状の一例の円筒形状に配置されている場合について説明する。

　図２３Ａは、３次元空間表現に対する視点の一例を示す模式図である。図２３Ｂおよび図２３Ｄは、３次元空間表現に対して着目する点の定め方の一例を示す模式図である。図２３Ｃは、平面画像の一例を示す模式図である。図２３Ｅは、形成画像の一例を示す模式図である。

　図２３Ａに示すように、立体の実物である３次元空間表現（例えば、人の顔）を、視点Ａ（顔を横方向から見た視点）、視点Ｂ（４５°の斜め方向の視点）、視点Ｃ（人物を正面方向から見た視点）、視点Ｄ（４５°の斜め方向の視点）、視点Ｅ（顔を横方向から見た視点）の場合について説明する。

　まず、制御装置５０は、ステップ１０において、図２３Ｃに示すように、各視点における３次元空間表現データを取得する。３次元空間表現データは、３次元空間表現を１つ以上の視点方向から見た場合に見える平面画像のデータと、そのように見える視点方向の角度データで構成される。

　図２３Ｂに示すように、３次元空間表現（実空間の立体物の一例）である人の頭の立体が円柱（この円柱の表面に屈折手段が配置されているとする。）内に見えるように設計する場合、制御装置５０は、各屈折手段に対応し、３次元空間表現の周りに点を設定する。例えば、３次元空間表現である顔の正面から見える画像を生成する場合、制御装置５０は、所定の円柱レンズ１１に対応して、図２３Ｂに示すように点ｐ１（所定の屈折手段に対応）を設定する。

　制御装置５０は、ステップＳ１１において、点ｐ１（所定の屈折手段）における外向きの方向と、各視点方向の角度を算出する。例えば、図２３Ｂに示すように、制御装置５０は、顔の正面に当たる円柱レンズ１１の角度（表示装置１の中心から円柱レンズ１１への方向（法線方向の一例）に対応）と、視点Ａから視点Ｅの各視点方向との角度を算出する。

　なお、３次元空間表現のある視点方向への平面画像は、３次元空間表現を各視点方向から撮像した画像でもよいが、制御装置５０は、３次元空間表現の３次元データから、各視点方向からの平面画像の画像データを生成してもよい。

　このように制御装置５０が、実空間の立体物から、前記表示装置に３次元空間表現データを生成する原データ生成手段の一例として機能する。例えば、立体物をカメラで撮影するなどの方法で、視点方向（角度）に応じて平面投影した画像データを作成し、その画像データと角度データと紐付けることで、情報処理装置の入力となる３次元空間表現データが生成できる。

　図２３Ｃに示すように、制御装置５０は、ステップ１２において、様々な視点方向Ａ～Ｅから円柱を見た時に、点ｐ１に見える部分画像を、各平面画像（例えば、平面画像ｏＰａ、平面画像ｏＰｃ、平面画像ｏＰｅ）データから抽出する。制御装置５０は、各視点の角度と、顔の正面に当たる円柱レンズ１１の角度との角度に応じて、幅Δの領域画像（例えば、図２３Ｃに示すように、領域画像ｄｅ、ｄｃ、ｄａ）を抽出する。立体の実物の表面に近い部分、すなわち、顔の正面の鼻の部分（点ｐ１）を基点として、視点Ａから視点Ｅに対する領域画像が抽出される。

　図２３Ｂに示すように、表現する立体物や空間の各部分が、他の部分で隠れない限り、広い視点方向から見ることができ、図２３Ｃに示すように、それぞれの視点方向に対応した立体や空間の異なる角度からの情報が見ることができることで、３次元空間表現が認識される。

　図２３Ｂおよび図２３Ｃの例では、顔の正面を中心とした１８０度の方向から鼻を見ることができ、顔を左（－９０度）、正面（０度）、右（＋９０度）から見た時に、図２３Ｃのように、左、正面、右から見た鼻が、それぞれ、全体の空間の左側、中央、右側に見えることで、３次元空間の中の点ｐ１付近に実際に鼻があるかのように認識できる。片凸のレンズによる表示装置では、各視点方向から見える範囲が狭いため、例えば、図２３Ｃの３つの角度からの全体像の３次元的な空間を表現することが難しい。図２３Ｃの鼻の場合、正面（０度）の視点方向からは鼻が見られるが、左（－９０度）や右（＋９０度）から見た時には、鼻は、平面画像の中央部分に無いため見えない。よって、平面画像の広い領域を、広い視点方向から確認できる表示装置と情報処理装置が必要になる。

　なお、図２３Ｄに示すように、他の所定の屈折手段１ａの場合、制御装置５０は、この屈折手段１ａに対応する点ｐ２で、様々な視点方向を設定する。

　このように制御装置５０は、複数の一連の前記視点方向における各視点方向と前記所定の屈折手段における前記法線方向とに規定される各角度に応じて、前記３次元空間表現データの各平面画像データから、所定の各屈折手段に対応した領域画像を領域画像データとして各々抽出する抽出手段の一例として機能する。

　制御装置５０は、ステップＳ１３において、図２３Ｅに示すように、各視点の領域画像を幅δの部分画像に変形する。

　制御装置５０は、ステップＳ１４において、図２３Ｅに示すように、点ｐ１における各視点方向と、顔の正面に当たる円柱レンズ１１の角度との角度に応じた位置に、各視点の部分画像を配置して形成画像を作成し、この所定の円柱レンズ１１の形成画像用のデータを生成する。例えば、変形された部分画像ｔｄａ、ｔｄｂ、ｔｄｃ、ｔｄｄ、ｔｄｅが配置される。なお、図２３Ｅにおける黒塗りのところは、視点方向が細かく設定されると、その視点方向に応じて変形された部分画像が配置される。

　ステップＳ１５において“ＮＯ”の場合、他の点、すなわち、他の円柱レンズ１１に対しても、制御装置５０は、同様に形成画像用データを生成する。

　各円柱レンズ１１に対して、形成画像用データが生成され、制御装置５０がこれらの形成画像用データを送信し、表示装置１が表示すると、表示装置１の中に、３次元空間表現が存在するような画像を表示できる。なお、３次元空間表現が時間とともに変化する（例えば、人の顔の場合、口を動かしたり、瞬きする）動画像の場合、フレーム画像毎に、制御装置５０が、これらの形成画像用データを生成する。

　このように制御装置５０は、各前記領域画像を前記所定の屈折手段の前記反対側の面の形状に合わせるように変形し、当該変形した各領域画像を、当該各領域画像に対応する前記角度に応じた位置に配置して、前記所定の屈折手段の前記形成画像を形成するための形成画像用データを生成する画像生成手段の一例として機能する。

　ところで、屈折手段が片凸レンズの場合、表示できる範囲が狭くなる。従って、屈折手段が片凸レンズの場合、広い視点方向から表現空間の広い領域を確認できる３次元空間表現を実現することは難しくなる。

（３．３　ボールレンズ１０が球面形状に配置された場合の領域画像）
　次に、ボールレンズ１０が球面形状に配置された場合の領域画像について図２４Ａから図２４Ｃを用いて説明する。
　図２４Ａは、屈折手段の配置の位置関係の一例を示す模式図である。図２４Ｂおよび図２４Ｃは、表示合成画像と表示要素画像との関係の一例を示す模式図である。

　図２４Ａに示すように、図３Ａに示すようなボールレンズ１０が３次元配置された表示装置１から、所定のボールレンズ１０を一つ取り出して説明する。

　図２４Ａに示すように、所定のボールレンズ１０の座標は、ｘｙｚ座標系で、座標（ｘ１、ｙ１，ｚ１）であるとする。原点と所定のボールレンズ１０とを結ぶ線（長さＲ）とｚ軸とのなす角度β、原点と所定のボールレンズ１０とを結ぶ線をｘｙ面へ射影した線と、ｘ軸とがなす角αとする。ｘ１＝Ｒsinβ cosα、および、ｚ１＝Ｒcosβであり、平面画像をｘｚ面とすると、平面画像における所定のボールレンズ１０の位置関係は、θ１＝arctan(ｚ１／ｘ１)、Ｒ１^２＝ｘ１^２＋ｚ１^２となる。

　図２４Ｂに示すように、極座標表示において、領域画像ｄ３は、座標（Ｒ１、θ１）の位置に、直径はΔＲ１またはΔθ１の円形となる。なお、領域画像ｄ３は、座標（Ｒ１、θ１）の位置に、ΔＲ１、Δθの扇形の領域でもよい。

　図２４Ｃに示すように、デカルト座標表示において、領域画像ｄ３は、座標（ｘ１、ｚ１）の位置を中心とした、直径Δｘ１またはΔｚ１の円形となる。なお、領域画像ｄ３は、座標（ｘ１、ｚ１）の位置に、Δｘ１，Δｚ１の矩形の領域でもよい。

（３．４　画像生成の動作の変形例）
　次に、画像生成の動作の変形例について図２５を用いて説明する。図２５は、制御装置５０における画像生成の動作の変形例を示すフローチャートである。

　この変形例では、制御装置５０が、所定の屈折手段を決めるのではなく、所定の視点方向を決めて、各屈折手段における形成画像の部分画像を生成してから、各視点方向に対して順次部分画像を生成することにより、形成画像を生成する。

　図２５に示すように、制御装置５０は、ステップＳ１０のように、視点方向の角度データと平面画像データを有する３次元空間表現データを取得する（ステップＳ２０）。

　次に、制御装置５０は、所定の視点方向と各屈折手段における法線方向との各角度を算出する（ステップＳ２１）。視点方向と屈折手段における法線方向との角度は、ステップＳ１１のように計算される。

　次に、制御装置５０は、所定の視点方向の平面画像から、角度に応じて、屈折手段に対する領域画像を抽出する（ステップＳ２２）。ステップＳ１２のように、所定の視点方向の平面画像から角度に応じた各領域画像が抽出される。

　次に、制御装置５０は、ステップＳ１３のように、屈折手段を通して形成画像の一部分が拡大され、所定の視点方向から領域画像として見えるように各領域画像を形成画像上の部分画像に変形する（ステップＳ２３）。

　次に、制御装置５０は、各屈折手段の形成画像において、変形した領域画像を角度に応じた位置に配置する（ステップＳ２４）。ステップＳ１４のように、制御装置５０は、変形した領域画像（部分画像）を角度に応じた位置に配置し、各屈折手段の形成画像において、順次部分画像が配置されて、徐々に形成画像が形成されていく。

　次に、制御装置５０は、全ての視点方向に対して、実行されたか否かを判定する（ステップＳ２５）。

　全ての視点方向に対して、実行されてない場合（ステップＳ２５；ＮＯ）、制御装置５０は、次の視点方向に対して、ステップＳ２１からＳ２４の処理を行う。

　全ての視点方向に対して、実行された場合（ステップＳ１５；ＹＥＳ）、制御装置５０は、処理を終了する。これにより、形成画像用データが生成される。

（３．５　画像調節の動作例）
　次に、表示装置１に画像が表示された後における画像の調節の動作例について、図２６を用いて説明する。図２６は、制御装置５０における画像調節の動作例を示すフローチャートである。

　図２６に示すように、制御装置５０は、生成した形成画像用データにより３次元空間デザインを表現する（ステップＳ３０）。具体的には、制御装置５０の制御部５６が、形成画像用データを、プロジェクタ等の画像投影手段２１に送信する。画像投影手段２１が、形成画像用データに基づいた投影光を画像映出手段２０に投影し、各屈折手段１ａに、形成画像用データに応じた形成画像が形成される。視点方向に応じて、各屈折手段１ａの表示要素画像が見られ、表示装置１に、視点方向に応じた表示合成画像が表示され、３次元空間デザインが表現される。

　次に、制御装置５０は、各視点方向の撮像画像を取得する（ステップＳ３１）。具体的には、制御部５６が、撮影装置９の位置を制御（撮影方向および撮影距離を設定）し、撮影装置９が撮影するように指令の信号を送信し、撮影装置９が、各視点方向から表示装置１に表現された３次元空間デザインを撮影する。制御部５６が、撮影装置９から撮影画像の画像データと撮影方向のデータを取得する。

　このように制御装置５０は、前記生成した形成画像用データにより表示装置に実現された前記３次元空間デザインを撮影した撮影画像の画像データと撮影方向のデータを取得する画像取得手段の一例として機能する。

　形成画像を部分領域ごとに点滅させる等の方法で、形成画像上の点と表示装置を撮影装置９で撮影した画像の点との対応関係が把握されてもよい

　次に、制御装置５０は、取得した撮像画像および撮影方向のデータと、３次元空間表現データの角度データおよび平面画像データとの差異に従って、形成画像用データを調節する（ステップＳ３２）。具体的には、制御部５６が、撮影方向のデータと３次元空間表現の角度データが一致する時に、その角度データにそれぞれ対応する撮影画像データと平面画像データとを比較する。撮像画像データにおける各屈折手段１ａに対応する部分画像（撮影装置９の撮影方向に対応した部分画像）と、撮影装置９の撮影方向に対応した平面画像であって、撮影装置９の撮影方向と各屈折手段１ａの法線方向に対応した領域画像と、を比較し、差異を求める。例えば、比較する部分画像と領域画像との位置のずれ大きさと方向、比較する部分画像と領域画像と大きさの差異および形状の差異等である。

　領域画像と各屈折手段１ａに対応する部分画像と比較する場合、制御部５６が、画像処理により特徴点（輪郭や内部の点等）を抽出して、特徴点同士を比較してもよい。

　このように制御装置５０は、前記撮影画像および前記撮影方向のデータと、前記３次元空間表現データの前記角度データおよび前記平面画像データとの差異に従って、前記形成画像用データを調節する画像調節手段の一例として機能する。

　なお、形成画像用データを調節する際、制御装置５０は、ステップＳ１２またはステップＳ２２における領域画像の抽出段階を利用して、調節を行ってもよい。また、制御装置５０は、ステップＳ１３またはステップＳ２３における領域画像の変形段階を利用して、調節を行ってもよい。また、制御装置５０は、ステップＳ１４またはステップＳ２４における変形した領域画像の配置段階を利用して、調節を行ってもよい。

　このように制御装置５０は、前記抽出手段が抽出する前記領域画像を調節することにより、前記形成画像用データを調節する画像調節手段の一例として機能する。制御装置５０は、前記画像生成手段が前記変形の仕方を調節すること、または、前記配置の仕方を調節することの少なくとも一方により、前記形成画像用データを調節する画像調節手段の一例として機能する。

　ここで、差異が生じる原因の一例として、屈折手段であるレンズの材質が均質でない、レンズの形状が設計と正確に同じになっていない、レンズの配置（レンズ同士の関係、レンズと形成画像（またはそれを形成するための画像形成手段）の関係）が、設計と正確に同じになっていない、形成画像または画像を形成する画像形成手段の位置が設計と正確に同じになっていない、レンズの形状や材質が時間とともに変化し、設置当初の設計と同じでない等が挙げられる。また、差異が生じる原因の一例として、画像形成手段に画像投影手段（例えば、プロジェクタ）と画像映出手段（例えば、スクリーン）を用いる場合、プロジェクタの位置や投影光の角度が設計と正確に同じになっていない、スクリーンの位置や形状が設計と正確に同じになっていない、プロジェクタとスクリーンの間に反射手段を用いる場合、反射手段の位置、反射面の形状が設計と正確に同じになっていない等が挙げられる。画像形成手段にディスプレイを用いる場合、ディスプレイの位置や形状が設計と正確に同じになっていない等が挙げられる。また、表示装置１が設置された場所の設置環境により、表示装置１が通常見られる、視点方向の視点の位置が異なってくる。例えば、ある視点方向では、障害物があり、表示装置１との視点距離が近くなる場合、合成表示画像は、大きめに見えため、差異が生じることがある。

　次に、制御部５６が、撮像画像と平面画像との差異が減少するように形成画像用データを修正する。例えば、比較する部分画像と領域画像との位置のずれの場合、位置ずれの大きさと方向に基づき、制御部５６が、形成画像用データを修正する。

　なお、制御部５６が、修正後、撮影装置９が撮像を行い、さらに形成画像用データを修正し、できるだけ差異が少なくなるように、処理を繰り返してもよい。

　撮影方向を変えて、各視点方向の平面画像との差異ができるだけ少なくなるように、制御部５６が、画像調節を行う。

　以上、説明したように、本実施例に係る表示装置１用の制御装置５０によれば、表示対象が所定の視点方向から見える平面画像から、３次元空間表現に見えるように各屈折手段に表示される表示要素画像の領域画像データを抽出し、それに基づいて生成された形成画像用データに従って、表示装置１において、円形状の断面を有し、光を屈折する屈折手段に表示要素画像が表示されるので、広い視点方向から見ることのできる３次元空間デザインを表示装置１に表現できる。

　３次元空間表現データのうち、平面画像データから、所定の各屈折手段に対応した領域画像を領域画像データとして各々抽出し、領域画像を所定の屈折手段の反対側の面の形状に合わせるように変形し、当該変形した各領域画像を、当該各領域画像に対応する角度に応じた位置に配置して、所定の屈折手段の形成画像を形成するための形成画像用データを生成することにより、３次元空間デザインを表示装置に表現できる。

　また、屈折手段と視点方向とにより規定される角度に応じて、領域画像の画像データを抽出し、変形した領域画像を角度に応じた位置に配置して、形成画像用データを生成するので、視点方向に応じて、表示装置に表示する表示画像を容易に変更させることができる。

　また、屈折手段１ａの大きさに応じて、表示要素画像の領域画像データを抽出する場合、屈折手段の大きさに合わせた対応させた領域画像を抽出できる。

　複数の一連の視点方向における平面画像の場合、表示空間に、連続して、見る角度に応じて異なる平面が存在し、そこに画像が表示されているような３次元空間表現ができる。

　また、実空間の立体物または３ＤＣＧデータから、表示装置に３次元表示するための３次元空間表現データを生成する場合、あたかも立体物の配置された空間が表示装置１の中に存在するように表現することもできる。

　また、制御装置５０が、生成した形成画像用データにより表示された表示画像を、撮影装置９が撮影した撮影画像の画像データを取得し、撮影画像と平面画像との差異に従って、形成画像用データを調節する場合、歪みが少ない画像を表示できる。また、表示装置１を設置した場所に応じて、表示装置１が最適な３次元空間デザインを表現することができる。

　形成画像における形成するための形成の仕方を調節することにより、形成画像用データを調節する場合、表示装置１が最適な３次元空間デザインを表現することができる。

　抽出する表示要素画像の画像データ（例えば、領域画像）を調節することにより、形成画像用データを調節する場合、領域画像を抽出する段階から調節するので、大き目な調整ができる。

　変形の仕方を調節すること、または、配置の仕方を調節することの少なくとも一方により、形成画像用データを調節する場合、細かい調整ができる。

　形成画像用データに基づき印刷された画像により形成画像を形成する場合、３次元空間デザインを表示装置に表現できる。

　また、画像投影手段２１から出力された投影光が画像映出手段２０の投影面に当たり投影画像が形成され、投影画像によって画像映出手段２０の投影面の裏面に画像が映し出され、映し出された画像が各屈折手段１ａを通して視点３側から見えるので、画像投影手段２１の投影光を制御して投影画像を変更することにより、表示装置１に表現する３次元空間表現を容易に変更させることができる。

　各屈折手段の１つ１つ、画像を貼り替えたり、印刷し直したりする必要がない。また、従来技術では、表示する画像の変更の自由度が低いため、動画像を表現させることが難しかったが、本実施例に係る表示装置１によれば、動画像や時間によって形状や配置が変化する３次元空間表現ができる。

　画像投影手段２１から画像映出手段２０の投影面に投影される投影光を時間変化させることで、画像映出手段２０の投影面に動画像を投影することにより、表示装置１に動画像や時間によって形状や配置が変化する３次元空間表現を容易に実現することができる。また、画像投影手段２１からの投影光によって画像映出手段２０の投影面に動画像を投影するので、各屈折手段１ａに配線をする必要が無いので、配線がシンプルになる。

　また、表示装置１を両眼で見ると、屈折手段１ａが視点３側に対して凸形状に配列されているため、視差により、合成画像が表示装置１の中に存在するように見える。動画像の投影光を投影すると、両眼でみると、表示装置１の中に、動画像や時間によって形状や配置が変化する３次元空間表現されているように見える。

　画像映出手段２０が、反対側の屈折手段１ａの面に設けられた場合、別途、画像映出手段２０を設ける必要がなく、部品点数が減少し、コストを下げることができる。

　複数の方向から投影された投影光により画像映出手段２０の投影面に投影画像を投影して、屈折手段１ａに形成画像を形成する場合、投影の死角を減少させることができる。

　プロジェクタのような画像投影手段を更に備える場合、各屈折手段に液晶ディスプレイ、有機ＥＬディプレイ等のディスプレイを設置する必要がないので、配線がシンプルになる。

　配置支持手段１ｂが、形成画像の中心とする部分が凸形状の法線方向に向くように、各屈折手段１ａを支持するので、各屈折手段１ａにおいて同じ形成画像が形成されている場合、見る角度を変えても、表示装置１は、同じ３次元空間であるように表現することができる。また、表示装置１は、各屈折手段１ａの形成画像に応じて、様々な３次元空間デザインを表現できる。

　凸形状が、円形状の断面を有する場合、表示装置１が表示する合成画像の歪みが少なくなる。また、ユーザが見る角度を変えても、歪みが少ない３次元空間デザインを見ることができる。

　ところで、レンチキュラーレンズの個々のレンズは、平坦面を有する片凸構造であるため、視野角が所定値以上になると、レンズの平坦面において、レンズ内部からの光の反射（内部反射）が生じるため十分な視野角を確保できなかったという問題があった。さらに、特許文献１では、周囲からの外光による影響を少なくするために、黒色の薄板に格子状に形成したスリット等の遮光手段を設けているが、遮光手段のため画像が暗くなり、特に円筒形の中心部分以外では画像が表示できない、もしくは画像が見えにくくなり視認性が低下するという問題があった。

　しかし、屈折手段１ａが円形状の断面を有する場合の表示装置１によれば、屈折手段１ａが、円形状の断面を有するので、屈折手段１ａ内部における表示装置１の周囲からの外光の反射（内部反射）による視認性の低下を防止でき、外光を遮断するスリット等の遮光手段が不要になり、表示装置１が表示する画像が明るくなり、視認性が向上する。

　このように視認性が向上することにより、屈折手段１ａが円形状の断面を有する場合、表示装置１に対して視認性の高い表示範囲を広く確保し、表示装置１の実用性を高めることができる。

　また、各屈折手段１ａの視野角が広がったため、視点３側から見える表示装置１の表示面全体で、大きな画像を表示させることができる。一方、片凸の構造を有するレンズでは、内部反射により各屈折手段の視野角が狭いため、視点３側から見える表示装置の表示面全体に映し出す大きな画像を表示することができない。

　また、屈折手段１ａの形状が、球状、または、円柱状である場合、表示装置１の周囲から外光に対して、屈折手段１ａの内部反射をほとんど無くすことができる。また、この場合、個々の屈折手段１ａの視野角が広がる。

　屈折手段１ａの形状が、ボールレンズ１０のように球状である場合、球形の屈折手段１ａを、球面に配置したり、楕円体の面に配置したり等と、配置の自由度が向上する。

　屈折手段１ａの形状がボールレンズ１０等の球状であり、配置支持手段１ｂが、各屈折手段１ａを球面形状に配置する場合、平面的な視点３の移動のみならず、立体的な方向からの視点３の移動に対して、表示装置１は、同じような画像を表示できる。また、屈折手段１ａの形状がボールレンズ１０等の球状であり、配置支持手段１ｂが、各屈折手段１ａを円筒形状に配置する場合、建物柱等に表示装置１を設置することができる。

　屈折手段１ａの形状が、円柱レンズのように円柱状であり配置支持手段１ｂが、各屈折手段１ａを円筒面形状に配置する場合、建物柱等に表示装置１を設置することができる。

［表示装置の実施例］
　次に、上述した実施形態に対応する具体的な実施例について、図を用いて説明する。

（表示装置の第１実施例）
　屈折手段１ａが、ボールレンズ１０である場合の実施例について、図２７、図２８Ａおよび図２８Ｂを用いて説明する。

　図２７に示すように、表示装置１Ａは、複数個のボールレンズ１０を球面に配置した実施例である。

　なお、図２７には、図示されないが、各ボールレンズ１０の半球面に、スクリーン面として半球形状の画像映出手段２０が形成されている。各ボールレンズ１０には、表示装置１Ａの内側から、図９Ｂに示すように、画像投影手段２１からの投影光によって各ボールレンズ１０の画像映出手段２０の投影面に”Ｅ”の文字の投影画像が映し出され、ボールレンズ１０の視点と反対側の面に形成画像が形成される。形成画像の中心部分が、表示装置１Ａの球面の中心に向いている。すなわち、形成画像の中心部分からボールレンズ１０の中心に向かう向きが、球面の法線方向になっている。

　また、球面形状のプラスティックの面に、各ボールレンズ１０をはめ込む穴が空いていて、各ボールレンズ１０が半分ほどはめ込まれている。

　図２８Ａに示すように、画像”Ｅ”の各部分を受け持つ各ボールレンズ１０の部分画像（表示要素画像）から合成された画像（合成表示画像）”Ｅ”が、表示装置１Ａに表示される。

　なお、両眼で見ると、画像”Ｅ”が、表示装置１Ａの中に存在するように見える。

　図２８Ｂに示すように、視点をずらして見ても、画像”Ｅ”が、同じように見える。なお、図２８Ｂに示すように、画像”Ｅ”の各部分を受け持つ、ボールレンズ１０が、図２８Ａに示した場合と異なっている。

　制御装置５０により、画像投影手段２１が画像映出手段２０の投影面に異なる投影画像を形成する投影光を投影すると、表示装置１Ａには、異なる画像が表示される。表示装置１Ａは、画像”Ｅ”の他に、様々な画像を容易に表示できる。

　なお、表示装置の形状は、半球面等でもよい。

　また、図２９に示すように、表示装置の形状は、円筒面形状の表示装置１Ｂでもよい。この場合、ボールレンズ１０が、円筒面形状に配置される。背の高い人の視線、背の低い人の視線でも、画像が見える。

　表示装置１Ｂは、完全な円筒形状でなく、半円筒形状やその一部の形状でもよい。

（表示装置の第２実施例）
　次に、円柱レンズを円筒面形状に配置した実施例について図３０、図３１、図３２および図３３を用いて説明する。

　図３０に示すように、表示装置１Ｃは、同じ長軸方向の円柱レンズ１１を、円筒面形状に配置してもよい。各円柱レンズ１１により、円筒面ｓ１１（１ｂ）が形成される。

　図３０および図３１に示すように、円柱レンズ１１の片側の面に、スクリーン面として半円筒面形状の画像映出手段２０が形成されている。半円筒面形状の画像映出手段２０が、表示装置１Ｃの各円柱レンズ１１に設けられている。

　図３１に示すように、半円筒面形状の画像映出手段２０の向きは、表示装置１Ｃの円筒面ｓ１１（１ｂ）の法線方向である。すなわち、円柱レンズ１１の中心ｃと、円筒面ｓ１１の中心Ｃとを結ぶ線上に、画像映出手段２０の中心部分がある。

　ここで、配置支持手段１ｂは、各屈折手段１ａを、視点からの各屈折手段１ａの断面形状が同じ形状になるように配置する。

　なお、表示装置１Ｃは、完全な円筒形状でなく、半円筒形状やその一部の形状でもよい。

　図３１に示すように、表示装置１Ｃの内部には、画像投影手段２１の一例であるプロジェクタが設置されている。画像投影手段２１からの投影光によって画像映出手段２０の投影面に投影画像が投影され、投影画像が画像映出手段２０の裏面に映し出され、円柱レンズ１１の視点と反対側の面に形成画像が形成される。

　図３２に示すように、表示装置１Ｄは、反射鏡等の反射手段２２（画像形成手段の一例）を備えてもよい。反射手段２２は、金属を磨いた面、金属をメッキした面、蒸着した面、金属箔を貼った面、鏡のような光の反射効果を持つ面、または、光の反射効果と似た光路に光を屈折する屈折手段でもよい。

　画像投影手段２１は、表示装置１Ｄの内部になくてもよい。反射手段２２は、図２４に示すように、画像投影手段２１に対して凸形状の球形状でもよい。反射手段２２は、画像投影手段２１に向かう軸以外、凹面の形状でもよい。反射手段２２は、半球、円錐形、円錐台、三角錐形、四角錐形等の多角錐形、多角錐台、放物線や双曲線型、それらの形状を２つ以上組み合わせた形状、または、360度撮影の時のミラーのような形状でもよく、画像投影手段２１からの投影光を、反射して画像映出手段２０の投影面に画像を投影できる形状ならばよい。

　また、反射手段により、投影光を複数の方向から投影して画像映出手段２０の投影面に画像を投影してもよい。または、画像映出手段２０からの一部の投影光を反射手段（複数でもよい）により反射して、別の角度から、画像映出手段２０の他の投影面に投影してもよい。

　画像投影手段２１から投影された投影光が、反射手段２２で反射してから、画像映出手段２０に投影され、円柱レンズ１１の視点と反対側の面に形成画像が形成される。なお、制御装置５０は、各屈折手段での形成画像が形成できるように、反射手段２２の反射面の形状を考慮した投影画像を生成する。

　画像投影手段２１は、表示装置１Ｄの内部に設置しなくてもよいので、表示装置１Ｄを小型できる。画像投影手段２１は、表示装置１Ｄの内部に設置しなくてもよいので、小型の画像投影手段２１でなくてもよい。また、表示装置１Ｄは、画像投影手段２１は始めから備えていなくてもよいので、後付けで画像投影手段２１を設置でき、交換しやすくなる。

　画像投影手段２１から出力された投影光を反射して、反射した投影光を画像映出手段２０の投影面に投影する反射手段２２を更に備えた場合、屈折手段および画像映出手段等の光学系とは別に、画像投影手段等の投影系を後から表示装置１に装着できるので、それぞれを別々にメンテナンスできる。また、プロジェクタのような画像投影手段を表示装置１の内部（配置支持手段１ｂの内部）に設置する必要がないため、表示装置１を小型化ができる。１つの画像映出手段２０から投影光を反射手段２２に投影し、反射手段２２から各方向の屈折手段１ａに投影すれば、複数の画像映出手段２０による投影のように、投影画像間の継ぎ目の調節を考える必要がなくなり、屈折手段１ａの形成画像の生成が容易になる。

　図３３に示すように、表示装置１Ｅは、円錐台状の形状でもよい。複数の円錐台レンズ１２が、配置支持手段１ｂの一例の支持台１５により、円錐台の側面の曲面に配置される。図３３に示すように、上方の視点３から、表示装置１Ｅを見下ろす位置に設置することができる。図１５に示すような表示装置１Ｅを図中上下反転した表示装置の場合、下方の視点３から、表示装置１Ｅを見上げる位置に設置することができる。

　なお、画像映出手段２０は、透過型のスクリーンでなく、反射型のスクリーンでもよい。この場合、小型の画像投影手段２１を、画像映出手段２０と屈折手段１ａとの間に設置する。また、透過型のスクリーンと反射型のスクリーンとを組み合わせてもよい。

　画像映出手段２０は、屈折手段１ａの視点と反対側の面の全面に設けず、一部分に屈折手段１ａに直接投影画像が形成されるような投影光が、画像投影手段２１または反射手段２２から投影されてもよい。

［実施例２］
　次に、画像形成手段の一例であるディスプレイ手段を用いた表示システムについて図３４Ａから図３４Ｃを用いて説明する。本実施例は、実施例１の画像映出手段２０および画像投影手段２１の代わりに、ディスプレイ手段を用いて実施例である。　

　本実施例の表示システムＳ２は、図３４Ａに示すように、表示装置２と、制御装置５０と、撮影装置９と、を備えて構成されている。

　本実施例の表示装置２は、屈折手段１ａと、配置支持手段１ｂと、各屈折手段１ａに対して視点３側と反対側の面に設置されたディスプレイ手段２５（画像形成手段の一例）と、を備える。

　ディスプレイ手段２５は、例えば、液晶ディスプレイ、有機ＥＬディプレイ等のディスプレイである。ディスプレイ手段２５は、画像を屈折手段１ａに表示することにより、屈折手段１ａにおいて形成画像を形成する。

　ディスプレイ手段２５は、図３４Ｂに示すように、透明な材質からなる屈折手段１ａの半面を覆うように設置される。ディスプレイ手段２５は、制御装置５０に接続されている。図３４Ａにおける各屈折手段１ａは、透明のボールレンズ１０が半球状のディスプレイ２５に覆われた場合の断面を示している。なお、円柱レンズが、半円筒面形状のディスプレイ手段に覆われた場合の断面でもよい。

　図３４Ａに示すように、各ディスプレイ手段２５は、制御装置５０に接続されている。制御装置５０は、各ディスプレイ手段２５に形成画像用データを送信する。各ディスプレイ手段２５は、各ディスプレイ手段２５は、形成画像用データに基づき形成画像５を表示する。視点方向に応じて、各ディスプレイ手段２５により各屈折手段１ａに表示要素画像が見られ、表示装置２に、視点方向に応じた表示合成画像が表示される。

　制御装置５０は、表示装置２の表示合成画像を撮影した撮影画像の画像データを、撮影装置９から取得して画像調節を行う。

　図３４Ｃに示すように、表示装置２Ｃは、視点側の反対側が半円筒面形状のディスプレイ２６（ディスプレイ手段２５の一例）に覆われた同じ向きの円柱レンズ１１を、円筒面形状に配置してもよい。図３１における画像映出手段２０の代わりに、半円筒面形状のディスプレイ２６が設置されている。各円柱レンズ１１により、円筒面ｓ１１（１ｂ）が形成される。

　円柱レンズ１１の軸方向の中心線の部分が、画像の中心とする部分（ディスプレイ２６の中心部分）である。図３４Ｃに示すように、ディスプレイ２６の向きは、表示装置２Ｃの円筒面ｓ１１（１ｂ）の法線方向である。すなわち、円柱レンズ１１の中心ｃと、円筒面ｓ１１の中心Ｃとを結ぶ線上に、ディスプレイ２６の中心部分がある。

　表示システムＳ２においても、画像映出手段２０および画像投影手段２１に起因する特別の効果以外、実施例１と同様の効果が得られる。

　さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

　１、１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ、２、２Ｃ、ＤＤ：表示装置
　１ａ：屈折手段
　１ｂ：配置支持手段
　１ｃ：画像形成手段
　３：視点
　５：形成画像
　８：情報処理装置
　９：撮影装置（撮影手段）
　１０：ボールレンズ（屈折手段）
　１１：円柱レンズ（屈折手段）
　１２：円錐台レンズ（屈折手段）
　２０：画像映出手段（画像形成手段）
　２１：画像投影手段（画像形成手段）
　２２：反射手段（画像形成手段）
　２５：ディスプレイ手段（画像形成手段）
　２６：ディスプレイ（画像形成手段）
　５０：制御装置（情報処理装置）
　Ｓ、Ｓ１、Ｓ２：表示システム
　ｏＰ：平面画像
　ｄ１、ｄ２、ｄｅ、ｄｃ、ｄａ：領域画像

Claims

　円形状の断面を有し、光を屈折する屈折手段と、複数の前記屈折手段を、視点側に対して凸形状に配置して支持する配置支持手段と、前記屈折手段に対して前記視点側と反対側の面に形成画像を形成する画像形成手段と、を備えた表示装置用の情報処理装置において、
　前記表示装置において表示対象を３次元空間表現するための３次元空間表現データから、前記３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出する抽出手段と、
　所定の前記屈折手段を通った光によって、前記表示要素画像が表示されるように、前記所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する画像生成手段と、
　を備え、
　前記３次元空間表現データは、前記所定の屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度の角度データと、前記角度に応じて、前記表示対象が前記所定の視点方向から見える平面画像データとを有することを特徴とする表示装置用の情報処理装置。
　請求項１に記載の表示装置用の情報処理装置において、
　前記抽出手段が、前記３次元空間表現データのうち、前記平面画像データから、前記所定の屈折手段毎に対応した領域画像を領域画像データとして各々抽出し、
　前記画像生成手段が、各前記領域画像を前記所定の屈折手段の前記反対側の面の形状に合わせるように変形し、当該変形した各領域画像を、当該各領域画像に対応する前記角度に応じた位置に配置して、前記所定の屈折手段の前記形成画像を形成するための形成画像用データを生成することを特徴とする表示装置用の情報処理装置。
　請求項１または請求項２に記載の表示装置用の情報処理装置において、
　前記抽出手段が、前記屈折手段の大きさに応じて、前記表示要素画像の画像データを抽出することを特徴とする表示装置用の情報処理装置。
　請求項１から請求項３のいずれか１項に記載の表示装置用の情報処理装置において、
　実空間の立体物または３ＤＣＧデータから、前記表示装置に３次元空間を表現するための前記３次元空間表現データを生成する原データ生成手段を更に備えたことを特徴とする表示装置用の情報処理装置。
　請求項１から請求項４のいずれか１項に記載の表示装置用の情報処理装置において、
　前記生成した形成画像用データにより表示された前記３次元空間表現を、所定の撮影方向から撮影した撮影画像の画像データを取得する画像取得手段と、
　前記撮影画像および撮影方向のデータと、前記３次元空間表現データの前記角度データおよび前記平面画像データとの差異に従って、前記形成画像用データを調節する画像調節手段と、
　更に備えたことを特徴とする表示装置用の情報処理装置。
　請求項５に記載の表示装置用の情報処理装置において、
　前記画像調節手段が、前記抽出手段が抽出する前記表示要素画像の画像データを調節することにより、前記形成画像用データを調節することを特徴とする表示装置用の情報処理装置。
　請求項５または請求項６に記載の表示装置用の情報処理装置において、
　前記画像調節手段が、前記形成画像における形成するための形成の仕方を調節することにより、前記形成画像用データを調節することを特徴とする表示装置用の情報処理装置。
　請求項１から請求項７のいずれか１項に記載の表示装置用の情報処理装置において、
　前記画像形成手段が、前記形成画像用データに基づき印刷された画像により前記形成画像を形成することを特徴とする表示装置用の情報処理装置。
　円形状の断面を有し、光を屈折する屈折手段と、複数の前記屈折手段を、視点側に対して凸形状に配置して支持する配置支持手段と、前記屈折手段に対して前記視点側と反対側の面に形成画像を形成する画像形成手段と、を備えた表示装置用の情報処理方法において、
　前記表示装置において表示対象を３次元空間表現するための３次元空間表現データから、前記３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出する抽出ステップと、
　所定の前記屈折手段を通った光によって、前記表示要素画像が表示されるように、前記所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する画像生成ステップと、
　を含み、
　前記３次元空間表現データは、前記所定の屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度の角度データと、前記角度に応じて、前記表示対象が前記所定の視点方向から見える平面画像データとを有することを特徴とする表示装置用の情報処理方法。
　円形状の断面を有し、光を屈折する屈折手段と、複数の前記屈折手段を、視点側に対して凸形状に配置して支持する配置支持手段と、前記屈折手段に対して前記視点側と反対側の面に形成画像を形成する画像形成手段と、を備えた表示装置用のプログラムにおいて、
　コンピュータを、
　前記表示装置において表示対象を３次元空間表現するための３次元空間表現データから、前記３次元空間表現に見えるように各屈折手段に表示される表示要素画像の画像データを抽出する抽出手段、および、
　所定の前記屈折手段を通った光によって、前記表示要素画像が表示されるように、前記所定の屈折手段の視点側と反対側に形成画像を形成するための形成画像用データを生成する画像生成手段として機能させ、
　前記３次元空間表現データは、前記所定の屈折手段における前記凸形状の法線方向と前記視点側の所定の視点方向とにより規定される角度の角度データと、前記角度に応じて、前記表示対象が前記所定の視点方向から見える平面画像データとを有することを特徴とする表示装置用のプログラム。