JP4003129B2 - 立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法 - Google Patents
立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法 Download PDFInfo
- Publication number
- JP4003129B2 JP4003129B2 JP2003013193A JP2003013193A JP4003129B2 JP 4003129 B2 JP4003129 B2 JP 4003129B2 JP 2003013193 A JP2003013193 A JP 2003013193A JP 2003013193 A JP2003013193 A JP 2003013193A JP 4003129 B2 JP4003129 B2 JP 4003129B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- optical path
- light emitting
- display device
- path selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/365—Image reproducers using digital micromirror devices [DMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
Description
【０００１】
【発明の属する技術分野】
本発明は、立体画像を撮影して再生する立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法に関し、特に、複数方向の視点からの立体画像を撮影して再生する立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法に関するものである。
【０００２】
【従来の技術】
従来から、立体画像を撮像して表示する装置として、二つの視点に相当する位置に配した受光素子により二方向から撮影対象の画像を撮像して、視聴者の左目と右目にそれぞれの受光素子が撮影した画像を視認させることで視差を生じさせて立体画像を表示する技術が知られている。左右の目に二つの異なる画像を認識させる方法としては、右目用画像と左目用画像とを直交する偏光方向の光により再生して、視聴者が偏光レンズを装着することで片方の目に入射する光を限定する方法や、表示画素の全面にレンチキュラーレンズを配置して画素毎に光を屈折させて、右目用画像の表示方向と左目用画像の表示方向を選択する方法等が知られている。
【０００３】
しかし、二視点間の視差に相当する画像を撮影して表示するため、視聴者が視認可能な立体画像は、撮影者が設定した位置から見た撮像対象の立体画像しかありえず、表示対象を立体的に知覚するための臨場感が乏しかった。また、レンチキュラーレンズを用いた方法では、視聴者が表示を立体的に視認することが可能な位置が限定されてしまうという問題があった。
【０００４】
そこで、表示画素毎に複数方向からの光線の入射を記録し、記録された複数方向からの光を複数方向へ発光して表示を行うことで、視聴者が表示装置に対する位置を変更すると異なる角度からの光線を認識でき、異なる角度から表示対象画像を視認することができる光線再生型表示装置が提案されている。
【０００５】
光線再生型表示装置としては、画像を表示する画像表示部の一画素あたりに、同時に複数の視点方向への表示を行うための複数の発光素子を形成し、画像表示部の前面にシャッターが設けられたピンホールを配列し、シャッターの開閉動作に同期して表示の切替をおこなうことにより、一つのシャッターを介して左右の目に入射する光を異なるものとし、視聴者に視差のある画像を認識させて立体画像を表示するものが提案されている（例えば、特許文献１参照）。
【０００６】
また、複数の光源からなる光源アレイを光の進行方向に対して直角方向に周期的に振動させ、光源アレイから出射された光をレンズを用いて平行光にして、光源アレイとレンズの相対位置の変化によって出射光の進行方向を変化させ、光源アレイの移動に同期して光源アレイが表示する離散フーリエ変換像を変化させることで視聴者の左右の目に異なる画像を認識させて立体画像を表示するものも提案されている（例えば、特許文献２参照）。
【０００７】
しかしながら上述した特許文献１の技術においては、一つのシャッターによって表現される画素には、複数方向の視点に対応する数の表示画素を形成する必要があり、精細な立体画像を表示するために要求される表示画素数が過大になり、表示装置の製造コストが大きくなってしまうために精細な立体表示には向かないという問題や、表示装置の大きさによって形成できる表示画素数に物理的制限が加えられてしまうために精細な立体表示には向かないという問題が存在した。
【０００８】
また特許文献２の技術においては、光源アレイの周期的振動に同期させて光源アレイが表示する離散フーリエ変換像を切り替えるため、立体表示を行うためには非常に高速に情報処理を行うことが可能な情報処理手段を必要とし、装置構成が複雑化するという問題が存在した。
【０００９】
【特許文献１】
特開平５−１９１８３８号公報
【特許文献２】
特開平７−３１８８５８号公報
【００１０】
【発明が解決しようとする課題】
したがって本願発明は、簡便な装置構成によって複数方向の視点からの精細な立体表示を行うことが可能な立体撮像装置、立体表示装置および立体撮像表示装置を提供することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために本願発明の立体撮像装置は、光を受光して電気信号に変換する受光素子と、前記受光素子まで到達する光の入射角度を選択する光路選択素子とを有し、前記受光素子と前記光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記受光素子が受光した光の強度と前記光路選択素子が選択した光の入射角度を前記画素毎に関連付けして記録することを特徴とする。
【００１２】
受光素子が受光した光の強度と光の入射角度を関連付けして画素毎に記録することにより、異なる方向からの入射光を記録することが出来るようになり、受光素子と光路選択素子とが一対で一つの画素を構成し、光路選択素子が選択する光の経路を時間経過に応じて変化させることで、一つの受光素子によって複数の方向から入射する光を時間分割によって記録することが可能となる。画素を複数形成することで、同一対象物に対する視差が生じるため、複数方向からの入射光を記録することで立体の撮像を行うことが可能となる。
【００１３】
光路選択素子として、光を反射する反射板を駆動することで受光素子に到達する光の入射角度を反射板による反射光に決定する反射素子を用い、反射素子として圧電素子により駆動する鏡面板、ＭＥＭＳまたはデジタル・マイクロミラー・デバイス（商品名）等を利用することにより、効果的に入射光の光路選択を行うことが可能となる。
【００１４】
また、光路選択素子として受光素子を搭載して駆動する駆動体を用い、受光素子の受光面が対向する方向を変化させることで、効果的に入射光の光路選択を行うことが可能となる。
【００１５】
また、光路選択素子として受光素子の受光面前に配置されたレンズを用い、レンズを駆動して受光素子との相対位置を変化させることで、レンズにより屈折させられて受光素子に到達する入射光を選択することが可能となる。
【００１６】
また、光路選択素子として受光素子の受光面前に配置された液晶導波路を用い、導波路に充填された液晶の屈折率を選択的に変化させることで光の透過経路を選択することで、受光素子に到達する入射光を選択することが可能となる。
【００１７】
また、前記光路選択素子として受光素子の受光面前に配置されたマッハツェンダー素子を用い、光路に設けられた位相制御部の屈折率を選択的に変化させることで光の干渉を引き起こして光の透過経路を選択することで、受光素子に到達する入射光を選択することが可能となる。
【００１８】
また、上記課題を解決するために本願発明の立体表示装置は、電気信号に基づいて光を発光する発光素子と、前記発光素子から出射する光の出射角度を選択する光路選択素子とを有し、前記発光素子と前記光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記画素毎に前記光路選択素子が選択した光の出射角度と光の強度との関連付けに応じて前記発光素子が発光することを特徴とする。
【００１９】
画素毎に光路選択素子が選択した光の出射角度と光の強度とを関連付けに応じて発光素子が発光することにより、画素毎に異なる方向への光を発光することが出来るようになり、発光素子と光路選択素子とが一対で一つの画素を構成し、光路選択素子が選択する光の経路を時間経過に応じて変化させることで、一つの発光素子によって複数の方向へ出射する光を時間分割によって表示することが可能となる。画素を複数形成することで、同一対象物に対する視差が生じるため、複数方向への出射光を表示することで立体の表示を行うことが可能となる。視聴者は、異なる位置では視差を有する異なった表示を視認するため、複数方向からは異なった立体表示を認識することが可能となる。
【００２０】
また、上記課題を解決するために本願発明の立体撮像表示装置は、光を受光して電気信号に変換する受光素子と、前記受光素子まで到達する光の入射角度を選択する第一の光路選択素子とを有して、前記受光素子と前記第一の光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記受光素子が受光した光の強度と前記第一の光路選択素子が選択した光の入射角度を前記画素毎に関連付けして映像信号とする受光部と、電気信号に基づいて光を発光する発光素子と、前記発光素子から出射する光の出射角度を選択する第二の光路選択素子とを有して、前記発光素子と前記第二の光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記映像信号に基づいて前記画素毎に前記第二の光路選択素子が選択した光の出射角度と光の強度との関連付けに応じて前記発光素子が発光する発光部とを有することを特徴とする。
【００２１】
画素毎に光の強度と光の入射角度を関連付けして映像信号とし、映像信号に基づいて画素毎に光の強度と光の出射角度を関連付けして発光することにより、受光部での異なる方向からの入射光を撮像して発光部での異なる方向への出射光として表示することが出来るようになる。画素を複数形成することで、同一対象物に対する視差が生じるため、受光部での複数方向からの入射光を発光部で複数の出射光とすることで立体の撮像および表示を行うことが可能となる。
【００２２】
受光部と発光部を分離して形成し、映像信号を受光部から発光部に送信することにより、離れた位置での立体撮像と立体表示を行うことが可能となる。また、受光部と発光部を同一装置の同一面内に形成することにより、一画面で立体の撮像と表示を行うことが可能となり、記受光部と発光部を同一装置の反対面に形成することにより、立体撮像表示装置を透過した光と同様の立体表示を行うことが可能となる。
【００２３】
【発明の実施の形態】
［第一の実施の形態］
以下、本願発明を適用した立体撮像装置および立体表示装置およびその駆動方法について、図面を参照しながら詳細に説明する。なお本願発明は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。本実施の形態は、立体撮像装置と立体表示装置とを別途用意して、時間分割により立体撮像装置で受光した複数方向の光を、時間分割により立体表示装置で複数方向に発光するものである。
【００２４】
図１は、本願発明の立体表示装置を用いて視聴者が立体映像を視聴する様子を示した模式図である。視聴者６は立体表示装置５の画面の方向を見て、立体表示装置５から射出される出射光２２を見る。立体表示装置５は時間経過に応じて光の出射方向を変化させるとともに、出射方向に関連付けされた表示内容を表示するため、異なる方向へは異なる映像が表示されることになる。このため、視聴者６が立体表示装置５との相対位置を変更すると異なる映像を視認することになる。このようにして視聴者６が視認した映像が立体映像として知覚され、かつ、異なる角度から見た場合には異なる立体画像として知覚される理由を以下に説明する。
【００２５】
図２は本願発明の立体撮像装置と立体表示装置を用いて立体の撮像と表示を行う構成について示したブロック図であり、立体撮像装置１と、情報処理モジュール２と、記録装置３と、情報処理モジュール４と、立体表示装置５とが情報交換可能に接続され、立体撮像装置１で対象物の撮像を行って立体表示装置５で対象物の表示を行う。
【００２６】
立体撮像装置１は複数の受光素子が配列されて画素が形成された装置であり、複数方向から入射してくる光を後述する時間分割によって画素毎に入射してくる光の強度と入射光の入射方向とを関連付けした電気信号に変換して、情報処理モジュール２に対して電気信号を伝達する。情報処理モジュール２は受光した複数方向からの光を映像信号に変換する情報処理手段であり、立体撮像装置１から伝達された入射光の電気信号の増幅・デジタルデータ化・データ圧縮操作等を行って映像信号とし、記録装置３または情報処理モジュール４に対して映像信号を伝達する。
【００２７】
記録装置３は、映像信号を記録して一定期間保存するための装置であり、電気的に情報の記録を行う半導体記憶装置であるメモリや、磁気的に情報の記録を行う磁気記憶装置である磁気ディスクや磁気テープ、光学的に情報の記録を行う装置等が用いられる。情報処理モジュール４は、記録装置３または情報処理モジュール４から伝達された映像信号を電気信号に変換する情報処理手段であり、映像信号の増幅・アナログデータ化・データ復元操作等を行って電気信号とし、立体表示装置５に対して電気信号を伝達する。
【００２８】
立体表示装置５は、複数の発光素子が配列されて画素が形成された装置であり、情報処理モジュール４から伝達される電気信号に基づいて、時間分割によって画素毎に入射光の入射方向との関連付けに応じて光の出射方向を選択して複数方向へ出射する光を表示する。
【００２９】
図３は本実施の形態における立体撮像装置１の構造を示した概略図である。立体撮像装置１は、反射部１１と受光部１２とが対向して配置された構造をなしており、反射部１１と受光部１２の上方には外部からの光を取り入れるための光入射口１３が形成されている。また、反射部１１の動作と受光部１２の動作を同期させるための同期制御回路１４が設けられている。
【００３０】
反射部１１は電気配線（図示せず）が形成された基板であり、反射部１１の受光部１２側の面上には反射素子１５が行方向および列方向に複数配列されており、各反射素子１５は光入射口１３から入射してきた外部の光を受光部１２方向へと反射させる。各反射素子１５は反射部１１上に形成された電気配線を介して同期制御回路１４に接続されており、同期制御回路１４から送出される制御信号に応じて入射光の反射方向を変化させる。
【００３１】
受光部１２は電気配線（図示せず）が形成された基板であり、受光部１２の反射部１１側の面上には受光素子１６が行方向および列方向に複数配列されており、各受光素子１６は反射素子１５によって反射された外部の光を受光して光の強度に応じて電気信号に変換する。各受光素子１６は受光部１２上に形成された電気配線を介して同期制御回路１４に接続されており、同期制御回路１４に対して画素毎に光の強度と光の入射方向とを関連付けした電気信号に変換して送出する。
【００３２】
一つの反射素子１５ａと、反射素子１５ａからの反射光を受光する受光素子１６ａとの組み合わせにより一つの画素が構成され、反射部１１上に配列されている反射素子１５と受光部１２上に配列されている受光素子１６の組み合わせで複数の画素が構成される。
【００３３】
光入射口１３は、立体撮像装置１の外部からの光を取り入れるための開口部であり、外部からの光を反射部１１に対して取り入れることが可能であればガラスやプラスチック等の光を透過する素材により形成されてもよい。また、広範囲にわたる外部からの光を効率よく取り入れるためにレンズやプリズムを用いるとしてもよい。
【００３４】
同期制御回路１４は、反射部１１上に配列されている全ての反射素子１５の動作を個別に制御し、受光部１２上に配列されている全ての受光素子１６が個別に変換した入射光の電気信号が入力され、反射素子１５の動作状況と受光素子１６からの電気信号を関連付けして情報処理モジュール２に送出する回路である。つまり、画素を構成する反射素子１５の動作状況と受光素子１６の電気信号を関連付けして、全ての画素の動作状況と電気信号を情報処理モジュール２に対して送出することで、反射部１１と受光部１２とを同期させて駆動し制御する。
【００３５】
次に、画素を構成する反射素子１５と受光素子１６の詳細な構造と、時間分割を用いた複数方向からの入射光の受光について図５を用いて説明する。図５（ａ）は、反射素子１５と受光素子１６の組み合わせによって構成される一画素について示す模式断面図であり、図５（ｂ）は反射素子１５の構造を示す斜視図である。
【００３６】
反射素子１５は、光を反射する平面である鏡面板１７と、鏡面板１７の一つの辺に形成された棒状の軸である回転軸１８を有し、回転軸１８が回転可能に保持されて鏡面板１７に静電力、磁力、圧電等が加えられることにより、鏡面板１７が回転軸１８を回転中心とした振動運動を行う部材である。鏡面板１７の他に反射素子として、ＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−ＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓ）やデジタル・マイクロミラー・デバイス（ＤＭＤ：ｄｉｇｉｔａｌ ｍｉｃｒｏｍｉｒｒｏｒ ｄｅｖｉｃｅ）（商品名）を用いても良い。
【００３７】
受光素子１６は、赤（Ｒ）緑（Ｇ）青（Ｂ）の光の波長に対応した発光ダイオード１９Ｒ，１９Ｇ，１９Ｂが受光部１２上に配置され、発光ダイオード１９Ｒ，１９Ｇ，１９Ｂにはそれぞれライトガイド２０Ｒ，２０Ｇ，２０Ｂが取り付けられて構成されている。また、発光ダイオード１９Ｒ，１９Ｇ，１９Ｂは受光部１２上に形成されている電気配線に接続されており、光を受光することによって端子間に生じた電位差である電気信号を電気配線を介して同期制御回路１４に伝達する。ここで、光を受光して電気信号に変換する素子として発光ダイオード１９Ｒ，１９Ｇ，１９Ｂを例示したが、受光により電位差が生じる素子であれば他の種類であってもよい。また、赤・緑・青のそれぞれの発光ダイオード１９Ｒ，１９Ｇ，１９Ｂそれぞれにライトガイド２０Ｒ，２０Ｇ，２０Ｂを取り付けるとしたが、一組の発光ダイオード１９Ｒ，１９Ｇ，１９Ｂにライトガイド２０を一つ取り付けることで導光路としてもよい。
【００３８】
次に、鏡面板１７が反射した光がライトガイド２０Ｒを介して発光ダイオード１９Ｒに到達する例を用いて光の経路について説明を行うが、ライトガイド２０Ｇ，２０Ｂと発光ダイオード１９Ｇ，１９Ｂに関しても同様であるとする。ライトガイド２０Ｒは、光ファイバー等で形成された柱状の導光路であり、ライトガイド２０Ｒ側面から光は入射せず、端面から入射した光を反対の端面に導く機能を有する。ライトガイド２０Ｒの一端は発光ダイオード１９Ｒに取り付けられており、多端は反射素子１５方向に対向して配置されている。このためライトガイド２０Ｒが導光路として機能することにより、発光ダイオード１９Ｒに到達することが可能な光は反射素子１５方向からの光だけに制限されることになる。
【００３９】
発光ダイオード１９Ｒが反射素子１５から受光する光の経路を受光経路２１とし、受光経路２１に垂直な平面と鏡面板１７とがなす角を反射角θと定義すると、光入射口１３から入射した光の経路のうち発光ダイオード１９Ｒに到達することが可能な経路を入射経路２２とすると、受光経路２１と入射経路２２と成す角は２θとなる。
【００４０】
したがって、回転軸１８を中心として鏡面板１７を回転駆動して、時間ｔがｔ１，ｔ２，ｔ３・・・・ｔｎと経過したときに反射角θがθ１，θ２，θ３・・・・θｎと変化すると、発光ダイオード１９Ｒに到達する光は受光経路２１と入射経路２２と成す角が２θ１，２θ２，２θ３・・・・２θｎである方向からの光になる。つまり、異なる方向から入射してくる光を時間経過とともに発光ダイオード１９Ｒが受光して電気信号に変換することになる。このように、時間経過とともに入射光の方向を変化させることを、時間分割による撮像方向の変化と呼ぶことにする。また、反射素子１５が駆動して反射角θが変化することにより、入射光の経路が変化するため、反射素子１５は受光の経路を選択する光路選択素子として機能することになる。
【００４１】
図４は行方向と列方向に複数配列された画素と、画素毎に取得される時間分割による電気信号を示す概念図である。反射素子１５ａと受光素子１６ａとの組み合わせによって構成される画素が、行方向にｍ個、列方向にｎ個配列されて画面全体が構成されている。画素毎に時間経過と共に入射光の方向θ（ｔ）と光の強度Ｉ（ｔ）とが関連付けされて電気信号Ｐｍ，ｎ（Ｉ（ｔ），θ（ｔ））とされる。同期制御回路１４は、反射素子１５の駆動制御に関連付けして受光素子１６が受光した光の電気信号を受け取るので、反射素子１５と受光素子１６の組み合わせによって構成される全ての画素に関して、時間ｔと反射角θと画素位置と電気信号を関連付けして情報処理モジュール２に送出する。したがって情報処理モジュール２には、全ての画素での時間分割によって変化する撮像方向の受光が電気信号として送出されることになる。
【００４２】
情報処理モジュール２は、受け取った電気信号に増幅・デジタルデータ化・データ圧縮操作等を施して映像信号に変換し、映像信号を記録装置３に送出し、記録装置３は映像信号を記録する。記録された映像信号は情報処理モジュール４によって読み出されて、必要に応じて情報処理モジュール４が映像信号に増幅・アナログデータ化・データ復元操作等を施して電気信号に変換する。情報処理モジュール４は時間経過順に変換された電気信号を立体表示装置５に送出し、立体表示装置５が表示方向を時間分割によって変化させることで、複数方向での立体表示を行う。
【００４３】
立体表示装置５は、立体撮像装置１と類似した構造をもつため、図３を用いて立体表示装置５の構造を説明する。立体表示装置５は、反射部５１と発光部５２とが対向して配置された構造をなしており、反射部５１と発光部５２の上方には外部へと光を出射するための光出射口５３が形成されている。また、反射部５１の動作と発光部５２の動作を同期させるための同期制御回路５４が設けられている。
【００４４】
反射部５１は電気配線（図示せず）が形成された基板であり、反射部５１の発光部５２側の面上には反射素子５５が行方向および列方向に複数配列されており、各反射素子５５は発光部５２が出射した光を光出射口５３から外部の方向へと反射させる。各反射素子５５は反射部５１上に形成された電気配線を介して同期制御回路５４に接続されており、同期制御回路５４から送出される制御信号に応じて出射光の反射方向を変化させる。
【００４５】
発光部５２は電気配線（図示せず）が形成された基板であり、発光部５２の反射部５１側の面上には発光素子５６が行方向および列方向に複数配列されている。各発光素子５６は発光部５２上に形成された電気配線を介して同期制御回路５４に接続されており、同期制御回路５４から送出される電気信号に応じて発光を行う。
【００４６】
一つの発光素子５６ａと、発光素子５６ａからの出射光を反射する反射素子５５ａとの組み合わせにより一つの画素が構成され、反射部５１上に配列されている反射素子５５と発光部５２上に配列されている発光素子５６の組み合わせで複数の画素が構成される。
【００４７】
光出射口５３は、立体表示装置５の外部へと光を取り出すための開口部であり、反射部５１から外部への光を出射することが可能であればガラスやプラスチック等の光を透過する素材により形成されてもよい。また、広範囲にわたって光を効率よく外部へと出射するためにレンズやプリズムを用いるとしてもよい。
【００４８】
同期制御回路５４は、反射部５１上に配列されている全ての反射素子５５の動作を個別に制御し、発光部５２上に配列されている全ての発光素子５６が個別に発光する出射光の電気信号を発光素子５６に送出し、反射素子５５の動作状況と関連付けられた発光素子５６への電気信号を情報処理モジュール４から受け取る回路である。つまり、画素を構成する反射素子５５の動作状況と発光素子５６の電気信号を関連付けして、反射部５１と発光部５２とを同期させて駆動し制御する。
【００４９】
次に、画素を構成する反射素子５５と発光素子５６の詳細な構造と、時間分割を用いた複数方向からの入射光の受光について説明するが、反射素子５５は反射素子１５と類似した構造であり、発光素子５６は受光素子１６と類似した構造であるため、再度図５を用いて説明する。
【００５０】
反射素子５５は、光を反射する平面である鏡面板５７と、鏡面板５７の一つの辺に形成された棒状の軸である回転軸５８を有し、回転軸５８が回転可能に保持されて鏡面板５７に静電力、磁力、圧電等が加えられることにより、鏡面板５７が回転軸５８を回転中心とした振動運動を行う部材である。
【００５１】
発光素子５６は、赤（Ｒ）緑（Ｇ）青（Ｂ）の光の波長に対応した発光ダイオード５９Ｒ，５９Ｇ，５９Ｂが発光部５２上に配置され、発光ダイオード５９Ｒ，５９Ｇ，５９Ｂにはそれぞれライトガイド６０Ｒ，６０Ｇ，６０Ｂが取り付けられて構成されている。また、発光ダイオード５９Ｒ，５９Ｇ，５９Ｂは発光部５２上に形成されている電気配線に接続されており、同期制御回路５４から送出される電気信号により端子間に生じた電位差により発光を行う。ここで、電気信号により光を発光する素子として発光ダイオード５９Ｒ，５９Ｇ，５９Ｂを例示したが、発光を行う素子であれば他の種類であってもよい。また、赤・緑・青のそれぞれの発光ダイオード５９Ｒ，５９Ｇ，５９Ｂそれぞれにライトガイド６０Ｒ，６０Ｇ，６０Ｂを取り付けるとしたが、一組の発光ダイオード５９Ｒ，５９Ｇ，５９Ｂにライトガイド６０を一つ取り付けることで導光路としてもよい。
【００５２】
次に、鏡面板５７が反射した光がライトガイド６０Ｒを介して発光ダイオード５９Ｒに到達する例を用いて光の経路について説明を行うが、ライトガイド６０Ｇ，６０Ｂと発光ダイオード５９Ｇ，５９Ｂに関しても同様であるとする。ライトガイド６０Ｒは、光ファイバー等で形成された柱状の導光路であり、ライトガイド６０Ｒ側面から光は出射せず、端面から入射した光を反対の端面に導く機能を有する。ライトガイド６０Ｒの一端は発光ダイオード５９Ｒに取り付けられており、多端は反射素子５５方向に対向して配置されている。このためライトガイド６０Ｒが導光路として機能することにより、発光ダイオード５９Ｒが発光した光の経路は反射素子５５方向だけに制限されることになる。
【００５３】
反射素子５５が発光ダイオード５９Ｒから受光する光の経路を発光経路６１とし、発光経路６１に垂直な平面と鏡面板５７とがなす角を反射角θと定義すると、発光ダイオード５９Ｒが発光した光が鏡面板５７によって反射されて光出射口５３方向へと進む経路を出射経路６２とすると、発光経路６１と出射経路６２とが成す角は２θとなる。
【００５４】
したがって、回転軸５８を中心として鏡面板５７を回転駆動して、時間ｔがｔ１，ｔ２，ｔ３・・・・ｔｎと経過したときに反射角θがθ１，θ２，θ３・・・・θｎと変化すると、光出射口５３方向から出射する光は発光経路６１と出射経路６２と成す角が２θ１，２θ２，２θ３・・・・２θｎである方向への光になる。つまり、時間経過と電気信号に応じて発光ダイオード５９Ｒは異なる方向へ出射する光を発光することになる。このように、時間経過とともに出射光の方向を変化させることを、時間分割による表示方向の変化と呼ぶことにする。また、反射素子５５が駆動して反射角θが変化することにより、入射光の経路が変化するため、反射素子５５は発光の経路を選択する光路選択素子として機能することになる。
【００５５】
同期制御回路５４は、反射素子５５と発光素子５６の組み合わせによって構成される全ての画素に関して、時間ｔと反射角θと画素位置が関連付けされた電気信号を反射素子５５の駆動制御に関連付けして発光素子５６に送出する。これにより、立体撮像装置１が時間分割により撮像した複数方向の光を立体表示装置５が時間分割により複数方向への表示を行うことになり、撮像時と同様の時間経過で同方向に発光を行うことができる。
【００５６】
上述した様に、立体撮像装置１が時間分割によって画素毎に入射してくる光の強度と入射光の入射方向とを関連付けした電気信号を、立体表示装置５が電気信号に基づいて、時間分割によって画素毎に入射光の入射方向との関連付けに応じて光の出射方向を選択して、視聴者６が立体表示装置５の全画素からの発光を見た場合には、図６を用いて以下に説明する理由により立体を認識することとなる。
【００５７】
図６は立体表示装置５と視聴者６の左目７と右目８の位置関係を示す模式図である。視聴者の右目７と左目８とは一定の間隔を有しているため、視聴者６の顔と立体表示装置５との相対位置を変化させない場合においても、右目７が受ける光と左目８が受ける光とは立体表示装置５からの発光方向が異なるものである。時間分割による発光では、異なる方向への発光は異なる時間に行われるので、顔の位置が図中（ａ）の場合には右目７ａが受ける光は時間ｔ２の発光となり、左目８ａが受ける光は時間ｔ１の発光となる。時間ｔ１の発光は立体撮像装置１が時間ｔ１に受光した方向の光であり、時間ｔ２の発光は立体撮像装置１が時間ｔ２に受光した方向の光であるため、左右の目が受ける画像は異なったものとなる。この際、時間ｔ１とｔ２の時間間隔が小さい場合には人間は異なる時間の画像だと区別できないため、左右の目で視差をもつ画像を認識することになり、立体として認識を行うことが可能となる。
【００５８】
また、視聴者６が図中（ｂ）の位置に顔を移動した場合には、右目７ｂが受ける光は時間ｔ３の発光となり、左目８ｂが受ける光は時間ｔ４の発光となる。時間ｔ３の発光は立体撮像装置１が時間ｔ３に受光した方向の光であり、時間ｔ４の発光は立体撮像装置１が時間ｔ４に受光した方向の光であるため、左右の目が受ける画像は異なったものとなる。この際、時間ｔ３とｔ４の時間間隔が小さい場合には人間は残像の影響により異なる時間の画像だと区別できないため、左右の目で視差をもつ画像を認識することになり、立体として認識を行うことが可能となる。さらに、立体撮像装置１が受光した方向が異なるために、図中（ｂ）の位置で認識した立体は図中（ａ）の位置で認識した立体と異なるものになる。
【００５９】
立体撮像装置１が受光する方向を増やし立体表示装置５が発光する方向を増やすと、異なる立体画像の認識を行うために視聴者が立体表示装置５に対する顔の位置を変化させる距離も小さくなり、連続的な立体画像の認識を行うことが可能となる。
【００６０】
図７は、ライトガイドの他の構造を示す図であり、円錐形状のライトガイドを示すものである。発光ダイオード１９側の断面が小さく、光が入射および出射する側の断面が大きい円錐形状を有することにより、ライトガイドの中心軸に対して角度θ２で入出射してきた光はライトガイドの側面で反射を繰り返すうちに中心軸に対する角度が大きくなっていく。したがって、θ２が大きいと発光ダイオード１９に対して光が到達しなくなり、θ２が小さい入射光のみを発光ダイオード１９で受光することが可能となり、受光方向の指向性が向上する。
【００６１】
［第二の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、立体撮像表示装置の反対面上に受光素子と発光素子を設けることにより立体の撮像および表示を行うものである。
【００６２】
図８は、立体撮像表示装置の同一のパネル上の反対面に受光部と発光部を形成した場合の構成について示したブロック図であり、立体撮像表示装置７１と、情報処理モジュール７２と、記録装置７３とが情報交換可能に接続され、立体撮像表示装置７１で対象物の撮像を行って立体撮像表示装置７１で対象物の表示を行う。
【００６３】
立体撮像表示装置７１は、第一の実施の形態において示した立体撮像装置１と立体表示装置５を表裏一体に形成した構造となっており、また、情報処理モジュール７２が情報処理モジュール２と情報処理モジュール４の両方の動作を兼ね備えている。他の構成および動作に関しては第一の実施の形態と同様であるため、重複を避けるために説明を省略する。
【００６４】
図９は、立体撮像表示装置７１の法線方向に対する入射光の入射角度と出射光の出射角度の関係を示す模式図である。立体撮像表示装置７１の法線方向に対する入射光の入射角度がθである場合に、情報処理モジュール７２が出射光の出射角度をθとし、立体撮像表示装置７１を光が透過した場合と同様に立体を表示することができる。
【００６５】
［第三の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、回転軸を中心とした振動運動を行う平面板上に受光素子と発光素子を混載した立体撮像表示装置により立体の撮像および表示を行うものである。
【００６６】
図１０は本願発明の立体撮像表示装置を用いて立体の撮像と表示を行う構成について示したブロック図であり、立体撮像表示装置１０１と、情報処理モジュール１０２と、記録装置１０３とが情報交換可能に接続され、立体撮像表示装置１０１で対象物の撮像及び表示を行う。
【００６７】
立体撮像表示装置１０１は複数の受発光素子が配列されて画素が形成された装置であり、複数方向から入射してくる光を時間分割によって画素毎に入射してくる光の強度と入射光の入射方向とを関連付けした電気信号に変換して、情報処理モジュール１０２に対して電気信号を伝達する。また、情報処理モジュール１０２から伝達される電気信号に基づいて、時間分割によって画素毎に入射光の入射方向との関連付けに応じて光の出射方向を選択して複数方向へ出射する光を表示する。なお、受光と発光を単独の受発光素子で実現するとしてもよく、受光素子と発光素子を別個に形成して実質的に受発光素子として扱ってもよく、以下の記載においては受光と発光を行うことが可能な機能の組み合わせを受発光素子とする。また、第一の実施の形態で示したように光の三原色である赤（Ｒ）緑（Ｇ）青（Ｂ）に対応した受発光素子を設ける場合にも、以下の図中および説明においては単に受発光素子と記述する。
【００６８】
情報処理モジュール１０２は受光した複数方向からの光を映像信号に変換する情報処理手段であり、立体撮像表示装置１０１から伝達された入射光の電気信号の増幅・デジタルデータ化・データ圧縮操作等を行って映像信号とし、記録装置１０３に対して映像信号を伝達する。また、記録装置１０３から伝達された映像信号を電気信号に変換する情報処理手段であり、映像信号の増幅・アナログデータ化・データ復元操作等を行って電気信号とし、立体撮像表示装置１０１に対して電気信号を伝達する。
【００６９】
記録装置１０３は、映像信号を記録して一定期間保存するための装置であり、電気的に情報の記録を行う半導体記憶装置であるメモリや、磁気的に情報の記録を行う磁気記憶装置である磁気ディスクや磁気テープ、光学的に情報の記録を行う装置等が用いられる。
【００７０】
図１１は本実施の形態における立体撮像表示装置１０１の構造を示した概略図である。立体撮像表示装置１０１は、受発光素子１１５が配列された受発光部１１１と、受発光部１１１が受発光する光の入出射方向と電気信号とを同期させるための同期制御回路１１４を有する装置である。
【００７１】
受発光部１１１は電気配線（図示せず）が形成された基板であり、受発光部１１１の撮像および表示を行う側の面上には受発光素子１１５が行方向および列方向に複数配列されており、各受発光素子１１５は外部から入射してきた光を受光すると共に、外部への光の発光を行う。各受発光素子１１５は受発光部１１１上に形成された電気配線を介して同期制御回路１１４に接続されており、同期制御回路１１４から送出される制御信号に応じて光の入射方向と出射方向を変化させる。
【００７２】
同期制御回路１１４は、受発光素子１１５の受光および発光の方向を制御する回路であり、受発光素子１１５が受光した光の電気信号と受光方向とを関連付けして情報処理モジュール１０２に送出し、情報処理モジュール１０２から受け取った電気信号と発光方向とを同期させて受発光素子１１５に送出する。
【００７３】
次に、画素を構成する受発光素子１１５の詳細な構造と、時間分割を用いた複数方向からの入射光の受光と複数方向への出射光の発光について図１２を用いて説明する。図１２（ａ）は、一画素に形成される受発光素子１１５について示す模式断面図であり、図１２（ｂ）は受発光素子１１５の構造を示す斜視図である。
【００７４】
受発光素子１１５は、平坦な板である平面板１１７と、平面板１１７の一つの辺に形成された棒状の軸である回転軸１１８を有し、回転軸１１８が回転可能に保持されて平面板１１７に静電力、磁力、圧電等が加えられることにより、平面板１１７が回転軸１１８を回転中心とした振動運動を行う。つまり、受発光素子１１５は回転軸１１８を回転中心とした振動運動を行う駆動体としての機能を有する。
【００７５】
平面板１１７上には受光素子１１９と発光素子１２２が搭載され、受光素子１１９にはライトガイド１２０が取り付けられ、ライトガイド１２０の先端にはレンズ１２１が取り付けられている。また、発光素子１２２にはライトガイド１２３が取り付けられ、ライトガイド１２３の先端にはレンズ１２４が取り付けられている。ライトガイド１２０とライトガイド１２３は延伸方向が同一となるように平行に平面板１１７上の位置が固定されている。
【００７６】
また、平面板１１７には図示しない電気配線が形成されており、受光素子１１９および発光素子１２２が平面板１１７上の電気配線と受発光部１１１上の電気配線を介して情報処理モジュール１０２と電気的に接続されている。受光素子１１９および発光素子１２２は、電圧が印加されると発光を行い光を受光すると電圧を発光する性質を有する素子であり、発光ダイオードが用いられる。
【００７７】
ライトガイド１２０，１２３は光ファイバー等で形成された柱状の導光路であり、ライトガイド１２０，１２３の側面から光は入射せず、端面から入射した光を反対の端面に導く機能を有する。ライトガイド１２０，１２３の導光路としての長さは、レンズ１２１，１２４の焦点距離ｄと同程度に設定されており、受光素子１１９と発光素子１２２はそれぞれレンズ１２１，１２４の焦点位置に配置されている。したがって、外部方向から入射した光のうちレンズ１２１によって屈折させられて受光素子１１９に集光されるものは、入射光の経路である入射経路１２５に制限され、発光素子１２２が発光した光はレンズ１２４によって屈折させられて、外部に射出する光の経路は出射経路１２６に決定される。したがって、ライトガイド１２０とライトガイド１２３とは平面板１１７上に平行に固定して配置されているため、入射光の経路である入射経路１２５と出射光の経路である出射経路１２６とは平行になり、平面板１１７に対する角度が同一となる。
【００７８】
回転軸１１８を中心として平面板１１７を回転駆動して、時間ｔがｔ１，ｔ２，ｔ３・・・・ｔｎと経過したときに平面板１１７と受発光部１１１とが成す角θがθ１，θ２，θ３・・・・θｎと変化すると、受発光部１１１への垂線方向と入射経路１２５および出射経路１２６が成す角もθ１，θ２，θ３・・・・θｎに変化する。受発光素子１１５が駆動して平面板１１７と受発光部１１１とが成す角θが変化することにより、入出射光の経路が変化するため、受発光素子１１５は受発光の経路を選択する光路選択素子として機能することになる。
【００７９】
同期制御回路１１４は、受発光素子１１５の駆動制御に関連付けして受光素子１１９が受光した光の電気信号を受け取るので、全ての画素に関して時間ｔと入射光の入射角度と画素位置と電気信号を関連付けして情報処理モジュール１０２に送出する。したがって情報処理モジュール１０２には、全ての画素での時間分割によって変化する撮像方向の受光が電気信号として送出されることになる。
【００８０】
情報処理モジュール１０２は、受け取った電気信号に増幅・デジタルデータ化・データ圧縮操作等を施して映像信号に変換し、映像信号を記録装置１０３に送出し、記録装置１０３は映像信号を記録する。記録された映像信号は情報処理モジュール１０２によって読み出されて、必要に応じて情報処理モジュール１０２が映像信号に増幅・アナログデータ化・データ復元操作等を施して電気信号に変換する。情報処理モジュール１０２は時間経過順に変換された電気信号を立体撮像表示装置１０１に送出し、同期制御回路１１４が、時間ｔと出射光の出射角度と画素位置とが関連付けされた電気信号を受発光素子１１５の駆動制御に関連付けして発光素子１２２に送出する。これにより、立体撮像表示装置１０１が時間分割により撮像した複数方向の光を立体撮像表示装置１０１が時間分割により複数方向への表示を行うことになり、撮像時と同様の時間経過で同方向に発光を行うことができる。
【００８１】
上述した様に、立体撮像表示装置１０１が時間分割により複数方向の光を受光し、立体撮像表示装置１０１が時間分割により複数方向への発光を行い、視聴者が立体撮像表示装置１０１の全画素からの発光を見た場合には、第一の実施の形態で図６を用いて説明した理由により立体を認識することとなる。
【００８２】
上述した説明においては、図１３（ａ）に示すように受発光部１１１の法線方向に対する入射光の入射角度と出射光の出射角度は同一であるとしたが、図１３（ｂ）に示すように受発光部１１１の法線方向に対する入射光の入射角度がθである場合に、情報処理モジュール１０２が出射光の出射角度を−θとし、鏡面反射の関係とすることもできる。
【００８３】
［第四の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、発光素子あるいは受光素子の前面に配置したマイクロレンズを周期的に振動させることで光の進行方向を変化させる立体撮像表示装置により立体の撮像および表示を行うものである。
【００８４】
本実施の形態の立体撮像表示装置を用いて立体の撮像と表示を行う構成については第三の実施の形態で図１０に示したブロック図と同様であり、説明の簡略化のために省略する。
【００８５】
図１４は本実施の形態における立体撮像表示装置１０１の構造を示した概略図である。立体撮像表示装置１０１は、受発光素子２１５が配列された受発光部２１１と、受発光部２１１の前面に配置されたレンズアレイ２１２と、レンズアレイ２１２を図中ｙ軸方向に変位させる振動装置２１３と、受発光部２１１が受発光する光の電気信号とレンズアレイ２１２の変位を同期させるための同期制御回路２１４とを有する装置である。
【００８６】
受発光部２１１は電気配線（図示せず）が形成された基板であり、受発光部２１１の撮像および表示を行う側の面上には受発光素子２１５が行方向および列方向に複数配列されており、各受発光素子２１５は外部から入射してきた光を受光すると共に、外部への発光を行う発光ダイオードである。各受発光素子２１５は受発光部２１１上に形成された電気配線を介して同期制御回路２１４に接続されており、同期制御回路２１４から送出される制御信号に応じて受発光を行う。
【００８７】
レンズアレイ２１２には、微細な光学レンズであるマイクロレンズ２１６が行方向および列方向に複数配列されており、各マイクロレンズ２１６は受発光部２１１の受発光素子２１５と対になる位置に対向して配置されて画素を構成している。また、レンズアレイ２１２は、振動装置２１３によって受発光部２１１に平行に図中ｙ軸方向に周期的に変位させられる。振動装置２１３はピエゾ素子等の圧電素子を用いた装置であり、同期制御回路２１４からの制御信号に基づいてレンズアレイ２１２の原点からｙ軸方向への変位量を制御する装置である。
【００８８】
同期制御回路２１４は、受発光素子２１５の受光および発光の方向を制御する回路であり、受発光素子２１５が受光した光の強度とレンズアレイ２１２の変位とを関連付けした電気信号として情報処理モジュール１０２に送出し、情報処理モジュール１０２から受け取った電気信号に基づいてレンズアレイ２１２の変位と受発光素子２１５の発光を同期させる。
【００８９】
図１５は、受発光素子２１５とマイクロレンズ２１６との位置関係を示した模式図である。受発光部２１１上に配置された受発光素子２１５とレンズアレイ２１２に配列されたマイクロレンズ２１６とは、図中ｚ軸方向に距離ｄを隔てて相対している。図中φＯＰＴは受発光素子２１５の発光を行う面の直径を表し、φＬＥＮＳはマイクロレンズ２１６の直径を表している。また、マイクロレンズ２１６の中心と受発光素子２１５の中心とのｙ軸方向の差を変位Δｙで表している。
【００９０】
振動装置２１３が同期制御回路２１４からの制御信号に基づいてレンズアレイ２１２をｙ軸方向に変位させると、マイクロレンズ２１６の中心と受発光素子２１５の中心とのｙ軸方向の変位Δｙも変化する。変位Δｙが変化することで、マイクロレンズ２１６と受発光素子２１５との相対的な位置が変化するため、マイクロレンズ２１６を通過して受発光素子２１５に到達する入射光の入射経路と、受発光素子２１５が発光した光がマイクロレンズ２１６を通過して外部に出射する出射経路とが変化することになる。
【００９１】
図１６は、マイクロレンズ２１６と受発光素子２１５との相対的な位置関係の変化と、入射経路および出射経路の変化を説明する概念図である。マイクロレンズ２１６が振動装置２１３によって変位させられることにより、受発光素子２１５のマイクロレンズ２１６に対する相対位置が２１５（ａ）〜（ｄ）に変化すると、受発光素子２１５（ａ）〜（ｄ）まで到達する光の経路はそれぞれ入射経路２１７（ａ）〜（ｄ）方向に変化する。同様に、受発光素子２１５（ａ）〜（ｄ）が発光した場合にレンズを通過して出射する経路は出射経路２１８（ａ）〜（ｄ）方向に変化する。つまり、レンズアレイ２１２が振動装置２１３によって変位されてマイクロレンズ２１６と受発光素子２１５との相対位置が変化することにより、光が入射してくる方向および光が出射していく方向を変化させることができる。
【００９２】
図１７は、受発光素子２１５が発光してマイクロレンズ２１６により光が屈折される際の、出射光の進行方向と受発光部２１１の垂線方向とが成す射出角度と、マイクロレンズ２１６の中心と受発光素子２１５の中心とのｙ軸方向での差である変位Δｙとの関係を示したグラフである。マイクロレンズ２１６の直径φＬＥＮＳを３００μｍとし、マイクロレンズ２１６と受発光素子２１５とのｚ軸方向での距離ｄは５０μｍとした。変位Δｙの変化と射出角度も変化とは比例関係にあることがわかる。入射光の入射経路と出射光の出射経路は同じであるので、入射光の進行方向が受発光部２１１の垂線方向とが成す入射角度にも同様の関係が成り立つと考えられる。マイクロレンズ２１６が振動して変位Δｙと射出角度が変化することにより、入出射光の経路が変化するため、マイクロレンズ２１６は受発光の経路を選択する光路選択素子として機能することになる。
【００９３】
図１８は、マイクロレンズ２１６の材質として用いられるＰＭＭＡ（ポリメチルメタクリレート、アクリル樹脂）の屈折率を示した表である。光の三原色である青・緑・赤のいずれにおいても同程度の屈折率を有することから、受発光素子２１５を一画素あたりに青・緑・赤の複数配置して青・緑・赤の受発光を行う場合にも、上述したマイクロレンズ２１６の変位により光の入射方向と出射方向とを変化させることができることがわかる。
【００９４】
同期制御回路２１４は、レンズアレイ２１２の駆動制御に関連付けして受発光素子２１５が受光した光の電気信号を受け取るので、全ての画素に関して時間ｔとマイクロレンズ２１６の変位Δｙと画素位置と電気信号を関連付けして情報処理モジュール１０２に送出する。したがって情報処理モジュール１０２には、全ての画素での時間分割によって変化する撮像方向の受光が電気信号として送出されることになる。
【００９５】
情報処理モジュール１０２は、受け取った電気信号に増幅・デジタルデータ化・データ圧縮操作等を施して映像信号に変換し、映像信号を記録装置１０３に送出し、記録装置１０３は映像信号を記録する。記録された映像信号は情報処理モジュール１０２によって読み出されて、必要に応じて情報処理モジュール１０２が映像信号に増幅・アナログデータ化・データ復元操作等を施して電気信号に変換する。情報処理モジュール１０２は時間経過順に変換された電気信号を立体撮像表示装置１０１に送出し、同期制御回路２１４が、時間ｔとマイクロレンズの変位Δｙと画素位置が関連付けされた電気信号をレンズアレイ２１２の駆動制御に関連付けして受発光素子２１５に送出する。これにより、立体撮像表示装置１０１が時間分割により撮像した複数方向の光を立体撮像表示装置１０１が時間分割により複数方向への表示を行うことになり、撮像時と同様の時間経過で同方向に発光を行うことができる。
【００９６】
上述した様に、立体撮像表示装置１０１が時間分割により複数方向の光を受光し、立体撮像表示装置１０１が時間分割により複数方向への発光を行い、視聴者が立体撮像表示装置１０１の全画素からの発光を見た場合には、第一の実施の形態で図６を用いて説明した理由により立体を認識することとなる。
【００９７】
［第五の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、発光素子あるいは受光素子の前面に配置した液晶入り導波路により光の経路を選択する立体撮像表示装置により立体の撮像および表示を行うものである。
【００９８】
本実施の形態の立体撮像表示装置を用いて立体の撮像と表示を行う構成については第三の実施の形態で図１０に示したブロック図と同様であり、説明の簡略化のために省略する。
【００９９】
図１９は本実施の形態における立体撮像表示装置１０１の構造を示した概略図である。立体撮像表示装置１０１は、受発光素子３１５が配列された受発光部３１１と、受発光素子３１５の受発光面上に積層して配置された液晶光路選択素子３１６と、受発光部３１１が受発光する光の電気信号と液晶光路選択素子３１６の動作を同期させるための同期制御回路３１４とを有する装置である。
【０１００】
受発光部３１１は電気配線（図示せず）が形成された基板であり、受発光部３１１の撮像および表示を行う側の面上には受発光素子３１５が行方向および列方向に複数配列されている。各受発光素子３１５は外部から入射してきた光を受光すると共に、外部への発光を行う発光ダイオードである。各受発光素子３１５は受発光部３１１上に形成された電気配線を介して同期制御回路３１４に接続されており、同期制御回路３１４から送出される制御信号に応じて受発光を行う。
【０１０１】
液晶光路選択素子３１６は、受発光素子３１５の受発光面上に積層して配置されて、受発光素子３１５が受光又は発光する光の経路を選択的に変更して、受発光素子３１５に対して入射する光の入射経路と出射する光の出射経路を選択する素子であり、液晶導波路として機能する。
【０１０２】
同期制御回路３１４は、受発光素子３１５の受光および発光の方向を制御する回路であり、受発光素子３１５が受光した光の電気信号と液晶光路選択素子３１６が選択する光の入射方向とを関連付けして情報処理モジュール１０２に送出し、情報処理モジュール１０２から受け取った電気信号を液晶光路選択素子３１６が選択する光の出射方向と同期させて受発光素子３１５に送出する。
【０１０３】
図２０は、液晶光路選択素子３１６の構造を模式的に示し、光の経路選択を説明する模式図であり、図２０（ａ）は平面図であり、図２０（ｂ）は斜視図である。液晶光路選択素子３１６は樹脂により形成した型枠３２０に、空洞である光路３２１および光路３２２を形成した構造を有している。また、光路３２１の上面と下面にそれぞれ光路電極３２３ａと光路電極３２３ｂを配して光路３２１内に液晶を充填している。また、光路３２２の上面と下面にそれぞれ光路電極３２４ａと光路電極３２４ｂを配して光路３２２内に液晶を充填している。
【０１０４】
光路３２１と光路３２２の一端は、型枠３２０の受発光素子３１５に対向する面で共通する空洞となっており、多端はそれぞれ型枠３２０の異なる部分まで貫通する空洞となっている。また、型枠３２０の周囲に可視光を遮蔽する遮蔽膜が形成されており、光路３２１および光路３２１の端部には遮蔽膜が形成されていないとする。
【０１０５】
液晶光路選択素子３１６による光の経路選択は、光路電極３２３ａと光路電極３２３ｂとの間、光路電極３２４ａと光路電極３２４ｂとの間のどちらかに電圧を印加することにより行われる。例えば、型枠３２０を構成する樹脂の光の屈折率が１．４２であり、光路３２１と光路３２２に充填されている液晶の屈折率が電圧印加時に１．６０であり電圧無印加時に１．４２である場合には、光は電圧が印加された液晶が充填されている光路を通過することになる。
【０１０６】
したがって、同期制御回路３１４からの制御信号に基づいて液晶光路選択素子３１６が電圧が印加される電極が変化すると、光路電極３２３ａと光路電極３２３ｂとの間に電圧が印加された場合には光は光路３２１を通過するので、図中Ａ方向と受発光素子３１５との受発光が可能になり、光路電極３２４ａと光路電極３２４ｂとの間に電圧が印加された場合には光は光路３２２を通過するので、図中Ｂ方向と受発光素子３１５との受発光が可能になる。液晶光路選択素子３１６の電圧印加に応じて液晶の屈折率が変化し、入出射光の経路が変化するため、液晶光路選択素子３１６は受発光の経路を選択する光路選択素子として機能することになる。
【０１０７】
図２０では光路を型枠３２０に二経路形成した例を示したが、光路の数を増加させることにより、光路数に応じた受発光の方向を選択することが可能となり、図２１に示すように、液晶光路選択素子３１６を通過して受発光素子３１５に到達する入射光の入射経路と、受発光素子３１５が発光した光が液晶光路選択素子３１６を通過して外部に出射する出射経路とを適宜変更して時分割により受発光方向を選択することが可能となる。
【０１０８】
上述した様に、立体撮像表示装置１０１が時間分割により複数方向の光を受光し、立体撮像表示装置１０１が時間分割により複数方向への発光を行い、視聴者が立体撮像表示装置１０１の全画素からの発光を見た場合には、第一の実施の形態で図６を用いて説明した理由により立体を認識することとなる。
【０１０９】
［第六の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、発光素子あるいは受光素子の前面に配置した光干渉路により光の経路を選択する立体撮像表示装置により立体の撮像および表示を行うものである。
【０１１０】
本実施の形態は、第五の実施の形態で図１９に示した立体撮像表示装置１０１において用いた液晶光路選択素子３１６の代わりに、マッハツェンダー光路選択素子４１６を用いた実施の形態について説明するものであり、光路の選択にマッハツェンダー光路選択素子４１６を用いる以外は第五の実施の形態と同様の構成を用いるため重複する説明を省略する。
【０１１１】
図２２は、マッハツェンダー光路選択素子４１６の構造を示す平面図である。マッハツェンダー光路選択素子４１６は、可視光を透過しない樹脂で形成された型枠４２０の内部に、光の透過が可能な光路４２１と光路４２２が形成され、光路４２１の中間には光干渉路４２３が形成され、光路４２２の中間には光干渉路４２４が形成されている。光路４２１と光路４２２の一端は型枠４２０の受発光素子３１５に対向する面に露出し、多端は型枠４２０の他の面に別々に露出して形成されている。
【０１１２】
マッハツェンダー光路選択素子４１６による光の経路選択は、光干渉路４２３と光干渉路４２４のどちらかで光を干渉させて光の打消しを行うことにより行われる。干渉により光が打ち消された光路を介しては受発光が行われず、光の打消しがされなかった光路を介してのみ受発光素子３１５が受発光を行うことになる。
【０１１３】
図２３は、光干渉路４２３，４２４による光の打ち消しについて説明した図である。図２３（ａ）は光の打消しを行わない場合に通過する光の位相と強度を模式的に示した図であり、光路４２１の一端から入射した光は部分光路４２１Ａと部分光路４２１Ｂとを分岐されて通過し、同位相で光路４２１で合流し多端から出射することになる。このとき、部分光路４２１Ａと部分光路４２１Ｂとの経路差が通過する光の波長の整数倍とすることで、合流時の光の位相を等しくして入射光と同じ強度の光を出射することができる。
【０１１４】
図２３（ｂ）は光の打消しを行う場合に通過する光の位相と強度を模式的に示した図であり、光路４２２の一端から入射した光は部分光路４２２Ａと部分光路４２２Ｂとを分岐されて通過し、反対位相で光路４２２で合流し多端から出射することになる。このとき、部分光路４２２Ａと部分光路４２２Ｂとの経路差を通過する光の波長の整数倍としても、部分光路４２２Ａの中間に位相制御部４２５を形成しておくことで、合流時の光の位相を半波長ずれたものとして入射光の強度である振幅を無くして光を打ち消す。
【０１１５】
位相制御部４２５は、電圧の印加により屈折率が変化する液晶層と電極により形成され、電圧無印加時には部分光路４２２Ａおよび光路４２２と屈折率が等しくなり、電圧印加時には屈折率が変化して電圧無印加時の通過光とは位相が半波長ずれる半波長板として機能する。
【０１１６】
したがって、同期制御回路３１４からの制御信号に基づいて光干渉路４２３の位相制御部４２５に電圧が印加され、光干渉路４２４の位相制御部４２５に電圧が印加されない場合には、光路４２１を通過する光は打ち消され光路４２２を光が通過する。このため、図中Ａ方向と受発光素子３１５との受発光が不可能になり、図中Ｂ方向と受発光素子３１５との受発光が可能になる。マッハツェンダー光路選択素子４１６の位相制御部４２５に印加される電圧に応じて、光が打ち消される光路が変化し入出射光の経路が変化するため、マッハツェンダー光路選択素子４１６は受発光の経路を選択する光路選択素子として機能することになる。
【０１１７】
図２２では光路を型枠４２０に二経路形成した例を示したが、光路の数を増加させることにより、光路数に応じた受発光の方向を選択することが可能となり、マッハツェンダー光路選択素子４１６を通過して受発光素子３１５に到達する入射光の入射経路と、受発光素子３１５が発光した光がマッハツェンダー光路選択素子４１６を通過して外部に出射する出射経路とを適宜変更して時分割により受発光方向を選択することが可能となる。
【０１１８】
【発明の効果】
立体撮像装置および立体表示装置において，各画素を通過する複数の光線の方向と強度を時分割して記録し再生する機構により，臨場感のある空間の像の鑑賞や視覚的コミュニケーションを実現した。
【図面の簡単な説明】
【図１】立体表示表示装置が表示する映像を視聴者が視聴している様子を示す模式図である。
【図２】 立体撮像装置と立体表示装置を用いて立体の撮像と表示を行う構成について示したブロック図である。
【図３】 立体撮像装置の構造を示した概略図である。
【図４】 画面における画素と各画素が取得する電気信号を示す概念図である。
【図５】 画素を構成する反射素子と受光素子の詳細な構造と、時間分割を用いた複数方向からの入射光の受光について説明する模式図である。
【図６】 立体表示装置と視聴者の左目と右目の位置関係を示す模式図である。
【図７】 ライトガイドの他の構造を示す図である。
【図８】 立体撮像表示装置の同一のパネル上の反対面に受光部と発光部を形成した場合の構成について示したブロック図である。
【図９】 立体撮像表示装置の法線方向に対する入射光の入射角度と出射光の出射角度の関係を示す模式図である。
【図１０】 立体撮像表示装置を用いて立体の撮像と表示を行う構成について示したブロック図である。
【図１１】 立体撮像表示装置の構造を示した概略図である。
【図１２】 画素を構成する受発光素子の詳細な構造と、時間分割を用いた複数方向からの入射光の受光と複数方向への出射光の発光について説明する模式図である。
【図１３】 受発光部の法線方向に対する入射光の入射角度と出射光の出射角度の関係を示す模式図である。
【図１４】 立体撮像表示装置の構造を示した概略図である。
【図１５】 受発光素子とマイクロレンズとの位置関係を示した模式図である。
【図１６】 マイクロレンズと受発光素子との相対的な位置関係の変化と、入射経路および出射経路の変化を説明する概念図である。
【図１７】 出射光の射出角度と変位Δｙとの関係を示したグラフである。
【図１８】 マイクロレンズの材質として用いられるＰＭＭＡ（ポリメチルメタクリレート、アクリル樹脂）の屈折率を示した表である。
【図１９】 立体撮像表示装置の構造を示した概略図である。
【図２０】 液晶光路選択素子の構造を模式的に示し、光の経路選択を説明する模式図である。
【図２１】 光路の数を増加させることにより、光路数に応じた受発光の方向を選択することが可能となる様子を示す模式図である。
【図２２】 マッハツェンダー光路選択素子の構造を示す平面図である。
【図２３】 光干渉路による光の打ち消しについて説明した図である。
【符号の説明】
１ 立体撮像装置
５ 立体表示装置
７１，１０１ 立体撮像表示装置
２，４，７２，１０２ 情報処理モジュール
３，７３，１０３ 記録装置
１４，５４，１１４，２１４，３１４ 同期制御回路
６ 視聴者
７ 左目
８ 右目
１３ 光入射口
５３ 光出射口
１１，５１ 反射部
１２ 受光部
５２ 発光部
１１１，２１１，３１１ 受発光部
１６，１１９ 受光素子
５６，１２２ 発光素子
１１５，２１５，３１５ 受発光素子
１５，５５ 反射素子
１７，５７ 鏡面板
１８，５８，１１８ 回転軸
１１７ 平面板
２１ 受光経路
６１ 発光経路
２２，１２５，２１７ 入射経路
６２，１２６，２１８ 出射経路
１９Ｒ，１９Ｇ，１９Ｂ，５９Ｒ，５９Ｇ，５９Ｂ 発光ダイオード
２０Ｒ，２０Ｇ，２０Ｂ，６０Ｒ，６０Ｇ，６０Ｂ，１２０，１２３ ライトガイド
１２１，１２４ レンズ
２１２ レンズアレイ
２１３ 振動装置
２１６ マイクロレンズ
３１６ 液晶光路選択素子
４１６ マッハツェンダー光路選択素子
３２０，４２０ 型枠
３２１，３２２，４２１，４２２ 光路
３２３ａ，３２３ｂ，３２４ａ，３２４ｂ 光路電極
４２１Ａ，４２１Ｂ，４２２Ａ，４２２Ｂ 部分光路
４２３，４２４ 光干渉路
４２５ 位相制御部
【発明の属する技術分野】
本発明は、立体画像を撮影して再生する立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法に関し、特に、複数方向の視点からの立体画像を撮影して再生する立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法に関するものである。
【０００２】
【従来の技術】
従来から、立体画像を撮像して表示する装置として、二つの視点に相当する位置に配した受光素子により二方向から撮影対象の画像を撮像して、視聴者の左目と右目にそれぞれの受光素子が撮影した画像を視認させることで視差を生じさせて立体画像を表示する技術が知られている。左右の目に二つの異なる画像を認識させる方法としては、右目用画像と左目用画像とを直交する偏光方向の光により再生して、視聴者が偏光レンズを装着することで片方の目に入射する光を限定する方法や、表示画素の全面にレンチキュラーレンズを配置して画素毎に光を屈折させて、右目用画像の表示方向と左目用画像の表示方向を選択する方法等が知られている。
【０００３】
しかし、二視点間の視差に相当する画像を撮影して表示するため、視聴者が視認可能な立体画像は、撮影者が設定した位置から見た撮像対象の立体画像しかありえず、表示対象を立体的に知覚するための臨場感が乏しかった。また、レンチキュラーレンズを用いた方法では、視聴者が表示を立体的に視認することが可能な位置が限定されてしまうという問題があった。
【０００４】
そこで、表示画素毎に複数方向からの光線の入射を記録し、記録された複数方向からの光を複数方向へ発光して表示を行うことで、視聴者が表示装置に対する位置を変更すると異なる角度からの光線を認識でき、異なる角度から表示対象画像を視認することができる光線再生型表示装置が提案されている。
【０００５】
光線再生型表示装置としては、画像を表示する画像表示部の一画素あたりに、同時に複数の視点方向への表示を行うための複数の発光素子を形成し、画像表示部の前面にシャッターが設けられたピンホールを配列し、シャッターの開閉動作に同期して表示の切替をおこなうことにより、一つのシャッターを介して左右の目に入射する光を異なるものとし、視聴者に視差のある画像を認識させて立体画像を表示するものが提案されている（例えば、特許文献１参照）。
【０００６】
また、複数の光源からなる光源アレイを光の進行方向に対して直角方向に周期的に振動させ、光源アレイから出射された光をレンズを用いて平行光にして、光源アレイとレンズの相対位置の変化によって出射光の進行方向を変化させ、光源アレイの移動に同期して光源アレイが表示する離散フーリエ変換像を変化させることで視聴者の左右の目に異なる画像を認識させて立体画像を表示するものも提案されている（例えば、特許文献２参照）。
【０００７】
しかしながら上述した特許文献１の技術においては、一つのシャッターによって表現される画素には、複数方向の視点に対応する数の表示画素を形成する必要があり、精細な立体画像を表示するために要求される表示画素数が過大になり、表示装置の製造コストが大きくなってしまうために精細な立体表示には向かないという問題や、表示装置の大きさによって形成できる表示画素数に物理的制限が加えられてしまうために精細な立体表示には向かないという問題が存在した。
【０００８】
また特許文献２の技術においては、光源アレイの周期的振動に同期させて光源アレイが表示する離散フーリエ変換像を切り替えるため、立体表示を行うためには非常に高速に情報処理を行うことが可能な情報処理手段を必要とし、装置構成が複雑化するという問題が存在した。
【０００９】
【特許文献１】
特開平５−１９１８３８号公報
【特許文献２】
特開平７−３１８８５８号公報
【００１０】
【発明が解決しようとする課題】
したがって本願発明は、簡便な装置構成によって複数方向の視点からの精細な立体表示を行うことが可能な立体撮像装置、立体表示装置および立体撮像表示装置を提供することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために本願発明の立体撮像装置は、光を受光して電気信号に変換する受光素子と、前記受光素子まで到達する光の入射角度を選択する光路選択素子とを有し、前記受光素子と前記光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記受光素子が受光した光の強度と前記光路選択素子が選択した光の入射角度を前記画素毎に関連付けして記録することを特徴とする。
【００１２】
受光素子が受光した光の強度と光の入射角度を関連付けして画素毎に記録することにより、異なる方向からの入射光を記録することが出来るようになり、受光素子と光路選択素子とが一対で一つの画素を構成し、光路選択素子が選択する光の経路を時間経過に応じて変化させることで、一つの受光素子によって複数の方向から入射する光を時間分割によって記録することが可能となる。画素を複数形成することで、同一対象物に対する視差が生じるため、複数方向からの入射光を記録することで立体の撮像を行うことが可能となる。
【００１３】
光路選択素子として、光を反射する反射板を駆動することで受光素子に到達する光の入射角度を反射板による反射光に決定する反射素子を用い、反射素子として圧電素子により駆動する鏡面板、ＭＥＭＳまたはデジタル・マイクロミラー・デバイス（商品名）等を利用することにより、効果的に入射光の光路選択を行うことが可能となる。
【００１４】
また、光路選択素子として受光素子を搭載して駆動する駆動体を用い、受光素子の受光面が対向する方向を変化させることで、効果的に入射光の光路選択を行うことが可能となる。
【００１５】
また、光路選択素子として受光素子の受光面前に配置されたレンズを用い、レンズを駆動して受光素子との相対位置を変化させることで、レンズにより屈折させられて受光素子に到達する入射光を選択することが可能となる。
【００１６】
また、光路選択素子として受光素子の受光面前に配置された液晶導波路を用い、導波路に充填された液晶の屈折率を選択的に変化させることで光の透過経路を選択することで、受光素子に到達する入射光を選択することが可能となる。
【００１７】
また、前記光路選択素子として受光素子の受光面前に配置されたマッハツェンダー素子を用い、光路に設けられた位相制御部の屈折率を選択的に変化させることで光の干渉を引き起こして光の透過経路を選択することで、受光素子に到達する入射光を選択することが可能となる。
【００１８】
また、上記課題を解決するために本願発明の立体表示装置は、電気信号に基づいて光を発光する発光素子と、前記発光素子から出射する光の出射角度を選択する光路選択素子とを有し、前記発光素子と前記光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記画素毎に前記光路選択素子が選択した光の出射角度と光の強度との関連付けに応じて前記発光素子が発光することを特徴とする。
【００１９】
画素毎に光路選択素子が選択した光の出射角度と光の強度とを関連付けに応じて発光素子が発光することにより、画素毎に異なる方向への光を発光することが出来るようになり、発光素子と光路選択素子とが一対で一つの画素を構成し、光路選択素子が選択する光の経路を時間経過に応じて変化させることで、一つの発光素子によって複数の方向へ出射する光を時間分割によって表示することが可能となる。画素を複数形成することで、同一対象物に対する視差が生じるため、複数方向への出射光を表示することで立体の表示を行うことが可能となる。視聴者は、異なる位置では視差を有する異なった表示を視認するため、複数方向からは異なった立体表示を認識することが可能となる。
【００２０】
また、上記課題を解決するために本願発明の立体撮像表示装置は、光を受光して電気信号に変換する受光素子と、前記受光素子まで到達する光の入射角度を選択する第一の光路選択素子とを有して、前記受光素子と前記第一の光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記受光素子が受光した光の強度と前記第一の光路選択素子が選択した光の入射角度を前記画素毎に関連付けして映像信号とする受光部と、電気信号に基づいて光を発光する発光素子と、前記発光素子から出射する光の出射角度を選択する第二の光路選択素子とを有して、前記発光素子と前記第二の光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記映像信号に基づいて前記画素毎に前記第二の光路選択素子が選択した光の出射角度と光の強度との関連付けに応じて前記発光素子が発光する発光部とを有することを特徴とする。
【００２１】
画素毎に光の強度と光の入射角度を関連付けして映像信号とし、映像信号に基づいて画素毎に光の強度と光の出射角度を関連付けして発光することにより、受光部での異なる方向からの入射光を撮像して発光部での異なる方向への出射光として表示することが出来るようになる。画素を複数形成することで、同一対象物に対する視差が生じるため、受光部での複数方向からの入射光を発光部で複数の出射光とすることで立体の撮像および表示を行うことが可能となる。
【００２２】
受光部と発光部を分離して形成し、映像信号を受光部から発光部に送信することにより、離れた位置での立体撮像と立体表示を行うことが可能となる。また、受光部と発光部を同一装置の同一面内に形成することにより、一画面で立体の撮像と表示を行うことが可能となり、記受光部と発光部を同一装置の反対面に形成することにより、立体撮像表示装置を透過した光と同様の立体表示を行うことが可能となる。
【００２３】
【発明の実施の形態】
［第一の実施の形態］
以下、本願発明を適用した立体撮像装置および立体表示装置およびその駆動方法について、図面を参照しながら詳細に説明する。なお本願発明は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。本実施の形態は、立体撮像装置と立体表示装置とを別途用意して、時間分割により立体撮像装置で受光した複数方向の光を、時間分割により立体表示装置で複数方向に発光するものである。
【００２４】
図１は、本願発明の立体表示装置を用いて視聴者が立体映像を視聴する様子を示した模式図である。視聴者６は立体表示装置５の画面の方向を見て、立体表示装置５から射出される出射光２２を見る。立体表示装置５は時間経過に応じて光の出射方向を変化させるとともに、出射方向に関連付けされた表示内容を表示するため、異なる方向へは異なる映像が表示されることになる。このため、視聴者６が立体表示装置５との相対位置を変更すると異なる映像を視認することになる。このようにして視聴者６が視認した映像が立体映像として知覚され、かつ、異なる角度から見た場合には異なる立体画像として知覚される理由を以下に説明する。
【００２５】
図２は本願発明の立体撮像装置と立体表示装置を用いて立体の撮像と表示を行う構成について示したブロック図であり、立体撮像装置１と、情報処理モジュール２と、記録装置３と、情報処理モジュール４と、立体表示装置５とが情報交換可能に接続され、立体撮像装置１で対象物の撮像を行って立体表示装置５で対象物の表示を行う。
【００２６】
立体撮像装置１は複数の受光素子が配列されて画素が形成された装置であり、複数方向から入射してくる光を後述する時間分割によって画素毎に入射してくる光の強度と入射光の入射方向とを関連付けした電気信号に変換して、情報処理モジュール２に対して電気信号を伝達する。情報処理モジュール２は受光した複数方向からの光を映像信号に変換する情報処理手段であり、立体撮像装置１から伝達された入射光の電気信号の増幅・デジタルデータ化・データ圧縮操作等を行って映像信号とし、記録装置３または情報処理モジュール４に対して映像信号を伝達する。
【００２７】
記録装置３は、映像信号を記録して一定期間保存するための装置であり、電気的に情報の記録を行う半導体記憶装置であるメモリや、磁気的に情報の記録を行う磁気記憶装置である磁気ディスクや磁気テープ、光学的に情報の記録を行う装置等が用いられる。情報処理モジュール４は、記録装置３または情報処理モジュール４から伝達された映像信号を電気信号に変換する情報処理手段であり、映像信号の増幅・アナログデータ化・データ復元操作等を行って電気信号とし、立体表示装置５に対して電気信号を伝達する。
【００２８】
立体表示装置５は、複数の発光素子が配列されて画素が形成された装置であり、情報処理モジュール４から伝達される電気信号に基づいて、時間分割によって画素毎に入射光の入射方向との関連付けに応じて光の出射方向を選択して複数方向へ出射する光を表示する。
【００２９】
図３は本実施の形態における立体撮像装置１の構造を示した概略図である。立体撮像装置１は、反射部１１と受光部１２とが対向して配置された構造をなしており、反射部１１と受光部１２の上方には外部からの光を取り入れるための光入射口１３が形成されている。また、反射部１１の動作と受光部１２の動作を同期させるための同期制御回路１４が設けられている。
【００３０】
反射部１１は電気配線（図示せず）が形成された基板であり、反射部１１の受光部１２側の面上には反射素子１５が行方向および列方向に複数配列されており、各反射素子１５は光入射口１３から入射してきた外部の光を受光部１２方向へと反射させる。各反射素子１５は反射部１１上に形成された電気配線を介して同期制御回路１４に接続されており、同期制御回路１４から送出される制御信号に応じて入射光の反射方向を変化させる。
【００３１】
受光部１２は電気配線（図示せず）が形成された基板であり、受光部１２の反射部１１側の面上には受光素子１６が行方向および列方向に複数配列されており、各受光素子１６は反射素子１５によって反射された外部の光を受光して光の強度に応じて電気信号に変換する。各受光素子１６は受光部１２上に形成された電気配線を介して同期制御回路１４に接続されており、同期制御回路１４に対して画素毎に光の強度と光の入射方向とを関連付けした電気信号に変換して送出する。
【００３２】
一つの反射素子１５ａと、反射素子１５ａからの反射光を受光する受光素子１６ａとの組み合わせにより一つの画素が構成され、反射部１１上に配列されている反射素子１５と受光部１２上に配列されている受光素子１６の組み合わせで複数の画素が構成される。
【００３３】
光入射口１３は、立体撮像装置１の外部からの光を取り入れるための開口部であり、外部からの光を反射部１１に対して取り入れることが可能であればガラスやプラスチック等の光を透過する素材により形成されてもよい。また、広範囲にわたる外部からの光を効率よく取り入れるためにレンズやプリズムを用いるとしてもよい。
【００３４】
同期制御回路１４は、反射部１１上に配列されている全ての反射素子１５の動作を個別に制御し、受光部１２上に配列されている全ての受光素子１６が個別に変換した入射光の電気信号が入力され、反射素子１５の動作状況と受光素子１６からの電気信号を関連付けして情報処理モジュール２に送出する回路である。つまり、画素を構成する反射素子１５の動作状況と受光素子１６の電気信号を関連付けして、全ての画素の動作状況と電気信号を情報処理モジュール２に対して送出することで、反射部１１と受光部１２とを同期させて駆動し制御する。
【００３５】
次に、画素を構成する反射素子１５と受光素子１６の詳細な構造と、時間分割を用いた複数方向からの入射光の受光について図５を用いて説明する。図５（ａ）は、反射素子１５と受光素子１６の組み合わせによって構成される一画素について示す模式断面図であり、図５（ｂ）は反射素子１５の構造を示す斜視図である。
【００３６】
反射素子１５は、光を反射する平面である鏡面板１７と、鏡面板１７の一つの辺に形成された棒状の軸である回転軸１８を有し、回転軸１８が回転可能に保持されて鏡面板１７に静電力、磁力、圧電等が加えられることにより、鏡面板１７が回転軸１８を回転中心とした振動運動を行う部材である。鏡面板１７の他に反射素子として、ＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−ＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓ）やデジタル・マイクロミラー・デバイス（ＤＭＤ：ｄｉｇｉｔａｌ ｍｉｃｒｏｍｉｒｒｏｒ ｄｅｖｉｃｅ）（商品名）を用いても良い。
【００３７】
受光素子１６は、赤（Ｒ）緑（Ｇ）青（Ｂ）の光の波長に対応した発光ダイオード１９Ｒ，１９Ｇ，１９Ｂが受光部１２上に配置され、発光ダイオード１９Ｒ，１９Ｇ，１９Ｂにはそれぞれライトガイド２０Ｒ，２０Ｇ，２０Ｂが取り付けられて構成されている。また、発光ダイオード１９Ｒ，１９Ｇ，１９Ｂは受光部１２上に形成されている電気配線に接続されており、光を受光することによって端子間に生じた電位差である電気信号を電気配線を介して同期制御回路１４に伝達する。ここで、光を受光して電気信号に変換する素子として発光ダイオード１９Ｒ，１９Ｇ，１９Ｂを例示したが、受光により電位差が生じる素子であれば他の種類であってもよい。また、赤・緑・青のそれぞれの発光ダイオード１９Ｒ，１９Ｇ，１９Ｂそれぞれにライトガイド２０Ｒ，２０Ｇ，２０Ｂを取り付けるとしたが、一組の発光ダイオード１９Ｒ，１９Ｇ，１９Ｂにライトガイド２０を一つ取り付けることで導光路としてもよい。
【００３８】
次に、鏡面板１７が反射した光がライトガイド２０Ｒを介して発光ダイオード１９Ｒに到達する例を用いて光の経路について説明を行うが、ライトガイド２０Ｇ，２０Ｂと発光ダイオード１９Ｇ，１９Ｂに関しても同様であるとする。ライトガイド２０Ｒは、光ファイバー等で形成された柱状の導光路であり、ライトガイド２０Ｒ側面から光は入射せず、端面から入射した光を反対の端面に導く機能を有する。ライトガイド２０Ｒの一端は発光ダイオード１９Ｒに取り付けられており、多端は反射素子１５方向に対向して配置されている。このためライトガイド２０Ｒが導光路として機能することにより、発光ダイオード１９Ｒに到達することが可能な光は反射素子１５方向からの光だけに制限されることになる。
【００３９】
発光ダイオード１９Ｒが反射素子１５から受光する光の経路を受光経路２１とし、受光経路２１に垂直な平面と鏡面板１７とがなす角を反射角θと定義すると、光入射口１３から入射した光の経路のうち発光ダイオード１９Ｒに到達することが可能な経路を入射経路２２とすると、受光経路２１と入射経路２２と成す角は２θとなる。
【００４０】
したがって、回転軸１８を中心として鏡面板１７を回転駆動して、時間ｔがｔ１，ｔ２，ｔ３・・・・ｔｎと経過したときに反射角θがθ１，θ２，θ３・・・・θｎと変化すると、発光ダイオード１９Ｒに到達する光は受光経路２１と入射経路２２と成す角が２θ１，２θ２，２θ３・・・・２θｎである方向からの光になる。つまり、異なる方向から入射してくる光を時間経過とともに発光ダイオード１９Ｒが受光して電気信号に変換することになる。このように、時間経過とともに入射光の方向を変化させることを、時間分割による撮像方向の変化と呼ぶことにする。また、反射素子１５が駆動して反射角θが変化することにより、入射光の経路が変化するため、反射素子１５は受光の経路を選択する光路選択素子として機能することになる。
【００４１】
図４は行方向と列方向に複数配列された画素と、画素毎に取得される時間分割による電気信号を示す概念図である。反射素子１５ａと受光素子１６ａとの組み合わせによって構成される画素が、行方向にｍ個、列方向にｎ個配列されて画面全体が構成されている。画素毎に時間経過と共に入射光の方向θ（ｔ）と光の強度Ｉ（ｔ）とが関連付けされて電気信号Ｐｍ，ｎ（Ｉ（ｔ），θ（ｔ））とされる。同期制御回路１４は、反射素子１５の駆動制御に関連付けして受光素子１６が受光した光の電気信号を受け取るので、反射素子１５と受光素子１６の組み合わせによって構成される全ての画素に関して、時間ｔと反射角θと画素位置と電気信号を関連付けして情報処理モジュール２に送出する。したがって情報処理モジュール２には、全ての画素での時間分割によって変化する撮像方向の受光が電気信号として送出されることになる。
【００４２】
情報処理モジュール２は、受け取った電気信号に増幅・デジタルデータ化・データ圧縮操作等を施して映像信号に変換し、映像信号を記録装置３に送出し、記録装置３は映像信号を記録する。記録された映像信号は情報処理モジュール４によって読み出されて、必要に応じて情報処理モジュール４が映像信号に増幅・アナログデータ化・データ復元操作等を施して電気信号に変換する。情報処理モジュール４は時間経過順に変換された電気信号を立体表示装置５に送出し、立体表示装置５が表示方向を時間分割によって変化させることで、複数方向での立体表示を行う。
【００４３】
立体表示装置５は、立体撮像装置１と類似した構造をもつため、図３を用いて立体表示装置５の構造を説明する。立体表示装置５は、反射部５１と発光部５２とが対向して配置された構造をなしており、反射部５１と発光部５２の上方には外部へと光を出射するための光出射口５３が形成されている。また、反射部５１の動作と発光部５２の動作を同期させるための同期制御回路５４が設けられている。
【００４４】
反射部５１は電気配線（図示せず）が形成された基板であり、反射部５１の発光部５２側の面上には反射素子５５が行方向および列方向に複数配列されており、各反射素子５５は発光部５２が出射した光を光出射口５３から外部の方向へと反射させる。各反射素子５５は反射部５１上に形成された電気配線を介して同期制御回路５４に接続されており、同期制御回路５４から送出される制御信号に応じて出射光の反射方向を変化させる。
【００４５】
発光部５２は電気配線（図示せず）が形成された基板であり、発光部５２の反射部５１側の面上には発光素子５６が行方向および列方向に複数配列されている。各発光素子５６は発光部５２上に形成された電気配線を介して同期制御回路５４に接続されており、同期制御回路５４から送出される電気信号に応じて発光を行う。
【００４６】
一つの発光素子５６ａと、発光素子５６ａからの出射光を反射する反射素子５５ａとの組み合わせにより一つの画素が構成され、反射部５１上に配列されている反射素子５５と発光部５２上に配列されている発光素子５６の組み合わせで複数の画素が構成される。
【００４７】
光出射口５３は、立体表示装置５の外部へと光を取り出すための開口部であり、反射部５１から外部への光を出射することが可能であればガラスやプラスチック等の光を透過する素材により形成されてもよい。また、広範囲にわたって光を効率よく外部へと出射するためにレンズやプリズムを用いるとしてもよい。
【００４８】
同期制御回路５４は、反射部５１上に配列されている全ての反射素子５５の動作を個別に制御し、発光部５２上に配列されている全ての発光素子５６が個別に発光する出射光の電気信号を発光素子５６に送出し、反射素子５５の動作状況と関連付けられた発光素子５６への電気信号を情報処理モジュール４から受け取る回路である。つまり、画素を構成する反射素子５５の動作状況と発光素子５６の電気信号を関連付けして、反射部５１と発光部５２とを同期させて駆動し制御する。
【００４９】
次に、画素を構成する反射素子５５と発光素子５６の詳細な構造と、時間分割を用いた複数方向からの入射光の受光について説明するが、反射素子５５は反射素子１５と類似した構造であり、発光素子５６は受光素子１６と類似した構造であるため、再度図５を用いて説明する。
【００５０】
反射素子５５は、光を反射する平面である鏡面板５７と、鏡面板５７の一つの辺に形成された棒状の軸である回転軸５８を有し、回転軸５８が回転可能に保持されて鏡面板５７に静電力、磁力、圧電等が加えられることにより、鏡面板５７が回転軸５８を回転中心とした振動運動を行う部材である。
【００５１】
発光素子５６は、赤（Ｒ）緑（Ｇ）青（Ｂ）の光の波長に対応した発光ダイオード５９Ｒ，５９Ｇ，５９Ｂが発光部５２上に配置され、発光ダイオード５９Ｒ，５９Ｇ，５９Ｂにはそれぞれライトガイド６０Ｒ，６０Ｇ，６０Ｂが取り付けられて構成されている。また、発光ダイオード５９Ｒ，５９Ｇ，５９Ｂは発光部５２上に形成されている電気配線に接続されており、同期制御回路５４から送出される電気信号により端子間に生じた電位差により発光を行う。ここで、電気信号により光を発光する素子として発光ダイオード５９Ｒ，５９Ｇ，５９Ｂを例示したが、発光を行う素子であれば他の種類であってもよい。また、赤・緑・青のそれぞれの発光ダイオード５９Ｒ，５９Ｇ，５９Ｂそれぞれにライトガイド６０Ｒ，６０Ｇ，６０Ｂを取り付けるとしたが、一組の発光ダイオード５９Ｒ，５９Ｇ，５９Ｂにライトガイド６０を一つ取り付けることで導光路としてもよい。
【００５２】
次に、鏡面板５７が反射した光がライトガイド６０Ｒを介して発光ダイオード５９Ｒに到達する例を用いて光の経路について説明を行うが、ライトガイド６０Ｇ，６０Ｂと発光ダイオード５９Ｇ，５９Ｂに関しても同様であるとする。ライトガイド６０Ｒは、光ファイバー等で形成された柱状の導光路であり、ライトガイド６０Ｒ側面から光は出射せず、端面から入射した光を反対の端面に導く機能を有する。ライトガイド６０Ｒの一端は発光ダイオード５９Ｒに取り付けられており、多端は反射素子５５方向に対向して配置されている。このためライトガイド６０Ｒが導光路として機能することにより、発光ダイオード５９Ｒが発光した光の経路は反射素子５５方向だけに制限されることになる。
【００５３】
反射素子５５が発光ダイオード５９Ｒから受光する光の経路を発光経路６１とし、発光経路６１に垂直な平面と鏡面板５７とがなす角を反射角θと定義すると、発光ダイオード５９Ｒが発光した光が鏡面板５７によって反射されて光出射口５３方向へと進む経路を出射経路６２とすると、発光経路６１と出射経路６２とが成す角は２θとなる。
【００５４】
したがって、回転軸５８を中心として鏡面板５７を回転駆動して、時間ｔがｔ１，ｔ２，ｔ３・・・・ｔｎと経過したときに反射角θがθ１，θ２，θ３・・・・θｎと変化すると、光出射口５３方向から出射する光は発光経路６１と出射経路６２と成す角が２θ１，２θ２，２θ３・・・・２θｎである方向への光になる。つまり、時間経過と電気信号に応じて発光ダイオード５９Ｒは異なる方向へ出射する光を発光することになる。このように、時間経過とともに出射光の方向を変化させることを、時間分割による表示方向の変化と呼ぶことにする。また、反射素子５５が駆動して反射角θが変化することにより、入射光の経路が変化するため、反射素子５５は発光の経路を選択する光路選択素子として機能することになる。
【００５５】
同期制御回路５４は、反射素子５５と発光素子５６の組み合わせによって構成される全ての画素に関して、時間ｔと反射角θと画素位置が関連付けされた電気信号を反射素子５５の駆動制御に関連付けして発光素子５６に送出する。これにより、立体撮像装置１が時間分割により撮像した複数方向の光を立体表示装置５が時間分割により複数方向への表示を行うことになり、撮像時と同様の時間経過で同方向に発光を行うことができる。
【００５６】
上述した様に、立体撮像装置１が時間分割によって画素毎に入射してくる光の強度と入射光の入射方向とを関連付けした電気信号を、立体表示装置５が電気信号に基づいて、時間分割によって画素毎に入射光の入射方向との関連付けに応じて光の出射方向を選択して、視聴者６が立体表示装置５の全画素からの発光を見た場合には、図６を用いて以下に説明する理由により立体を認識することとなる。
【００５７】
図６は立体表示装置５と視聴者６の左目７と右目８の位置関係を示す模式図である。視聴者の右目７と左目８とは一定の間隔を有しているため、視聴者６の顔と立体表示装置５との相対位置を変化させない場合においても、右目７が受ける光と左目８が受ける光とは立体表示装置５からの発光方向が異なるものである。時間分割による発光では、異なる方向への発光は異なる時間に行われるので、顔の位置が図中（ａ）の場合には右目７ａが受ける光は時間ｔ２の発光となり、左目８ａが受ける光は時間ｔ１の発光となる。時間ｔ１の発光は立体撮像装置１が時間ｔ１に受光した方向の光であり、時間ｔ２の発光は立体撮像装置１が時間ｔ２に受光した方向の光であるため、左右の目が受ける画像は異なったものとなる。この際、時間ｔ１とｔ２の時間間隔が小さい場合には人間は異なる時間の画像だと区別できないため、左右の目で視差をもつ画像を認識することになり、立体として認識を行うことが可能となる。
【００５８】
また、視聴者６が図中（ｂ）の位置に顔を移動した場合には、右目７ｂが受ける光は時間ｔ３の発光となり、左目８ｂが受ける光は時間ｔ４の発光となる。時間ｔ３の発光は立体撮像装置１が時間ｔ３に受光した方向の光であり、時間ｔ４の発光は立体撮像装置１が時間ｔ４に受光した方向の光であるため、左右の目が受ける画像は異なったものとなる。この際、時間ｔ３とｔ４の時間間隔が小さい場合には人間は残像の影響により異なる時間の画像だと区別できないため、左右の目で視差をもつ画像を認識することになり、立体として認識を行うことが可能となる。さらに、立体撮像装置１が受光した方向が異なるために、図中（ｂ）の位置で認識した立体は図中（ａ）の位置で認識した立体と異なるものになる。
【００５９】
立体撮像装置１が受光する方向を増やし立体表示装置５が発光する方向を増やすと、異なる立体画像の認識を行うために視聴者が立体表示装置５に対する顔の位置を変化させる距離も小さくなり、連続的な立体画像の認識を行うことが可能となる。
【００６０】
図７は、ライトガイドの他の構造を示す図であり、円錐形状のライトガイドを示すものである。発光ダイオード１９側の断面が小さく、光が入射および出射する側の断面が大きい円錐形状を有することにより、ライトガイドの中心軸に対して角度θ２で入出射してきた光はライトガイドの側面で反射を繰り返すうちに中心軸に対する角度が大きくなっていく。したがって、θ２が大きいと発光ダイオード１９に対して光が到達しなくなり、θ２が小さい入射光のみを発光ダイオード１９で受光することが可能となり、受光方向の指向性が向上する。
【００６１】
［第二の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、立体撮像表示装置の反対面上に受光素子と発光素子を設けることにより立体の撮像および表示を行うものである。
【００６２】
図８は、立体撮像表示装置の同一のパネル上の反対面に受光部と発光部を形成した場合の構成について示したブロック図であり、立体撮像表示装置７１と、情報処理モジュール７２と、記録装置７３とが情報交換可能に接続され、立体撮像表示装置７１で対象物の撮像を行って立体撮像表示装置７１で対象物の表示を行う。
【００６３】
立体撮像表示装置７１は、第一の実施の形態において示した立体撮像装置１と立体表示装置５を表裏一体に形成した構造となっており、また、情報処理モジュール７２が情報処理モジュール２と情報処理モジュール４の両方の動作を兼ね備えている。他の構成および動作に関しては第一の実施の形態と同様であるため、重複を避けるために説明を省略する。
【００６４】
図９は、立体撮像表示装置７１の法線方向に対する入射光の入射角度と出射光の出射角度の関係を示す模式図である。立体撮像表示装置７１の法線方向に対する入射光の入射角度がθである場合に、情報処理モジュール７２が出射光の出射角度をθとし、立体撮像表示装置７１を光が透過した場合と同様に立体を表示することができる。
【００６５】
［第三の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、回転軸を中心とした振動運動を行う平面板上に受光素子と発光素子を混載した立体撮像表示装置により立体の撮像および表示を行うものである。
【００６６】
図１０は本願発明の立体撮像表示装置を用いて立体の撮像と表示を行う構成について示したブロック図であり、立体撮像表示装置１０１と、情報処理モジュール１０２と、記録装置１０３とが情報交換可能に接続され、立体撮像表示装置１０１で対象物の撮像及び表示を行う。
【００６７】
立体撮像表示装置１０１は複数の受発光素子が配列されて画素が形成された装置であり、複数方向から入射してくる光を時間分割によって画素毎に入射してくる光の強度と入射光の入射方向とを関連付けした電気信号に変換して、情報処理モジュール１０２に対して電気信号を伝達する。また、情報処理モジュール１０２から伝達される電気信号に基づいて、時間分割によって画素毎に入射光の入射方向との関連付けに応じて光の出射方向を選択して複数方向へ出射する光を表示する。なお、受光と発光を単独の受発光素子で実現するとしてもよく、受光素子と発光素子を別個に形成して実質的に受発光素子として扱ってもよく、以下の記載においては受光と発光を行うことが可能な機能の組み合わせを受発光素子とする。また、第一の実施の形態で示したように光の三原色である赤（Ｒ）緑（Ｇ）青（Ｂ）に対応した受発光素子を設ける場合にも、以下の図中および説明においては単に受発光素子と記述する。
【００６８】
情報処理モジュール１０２は受光した複数方向からの光を映像信号に変換する情報処理手段であり、立体撮像表示装置１０１から伝達された入射光の電気信号の増幅・デジタルデータ化・データ圧縮操作等を行って映像信号とし、記録装置１０３に対して映像信号を伝達する。また、記録装置１０３から伝達された映像信号を電気信号に変換する情報処理手段であり、映像信号の増幅・アナログデータ化・データ復元操作等を行って電気信号とし、立体撮像表示装置１０１に対して電気信号を伝達する。
【００６９】
記録装置１０３は、映像信号を記録して一定期間保存するための装置であり、電気的に情報の記録を行う半導体記憶装置であるメモリや、磁気的に情報の記録を行う磁気記憶装置である磁気ディスクや磁気テープ、光学的に情報の記録を行う装置等が用いられる。
【００７０】
図１１は本実施の形態における立体撮像表示装置１０１の構造を示した概略図である。立体撮像表示装置１０１は、受発光素子１１５が配列された受発光部１１１と、受発光部１１１が受発光する光の入出射方向と電気信号とを同期させるための同期制御回路１１４を有する装置である。
【００７１】
受発光部１１１は電気配線（図示せず）が形成された基板であり、受発光部１１１の撮像および表示を行う側の面上には受発光素子１１５が行方向および列方向に複数配列されており、各受発光素子１１５は外部から入射してきた光を受光すると共に、外部への光の発光を行う。各受発光素子１１５は受発光部１１１上に形成された電気配線を介して同期制御回路１１４に接続されており、同期制御回路１１４から送出される制御信号に応じて光の入射方向と出射方向を変化させる。
【００７２】
同期制御回路１１４は、受発光素子１１５の受光および発光の方向を制御する回路であり、受発光素子１１５が受光した光の電気信号と受光方向とを関連付けして情報処理モジュール１０２に送出し、情報処理モジュール１０２から受け取った電気信号と発光方向とを同期させて受発光素子１１５に送出する。
【００７３】
次に、画素を構成する受発光素子１１５の詳細な構造と、時間分割を用いた複数方向からの入射光の受光と複数方向への出射光の発光について図１２を用いて説明する。図１２（ａ）は、一画素に形成される受発光素子１１５について示す模式断面図であり、図１２（ｂ）は受発光素子１１５の構造を示す斜視図である。
【００７４】
受発光素子１１５は、平坦な板である平面板１１７と、平面板１１７の一つの辺に形成された棒状の軸である回転軸１１８を有し、回転軸１１８が回転可能に保持されて平面板１１７に静電力、磁力、圧電等が加えられることにより、平面板１１７が回転軸１１８を回転中心とした振動運動を行う。つまり、受発光素子１１５は回転軸１１８を回転中心とした振動運動を行う駆動体としての機能を有する。
【００７５】
平面板１１７上には受光素子１１９と発光素子１２２が搭載され、受光素子１１９にはライトガイド１２０が取り付けられ、ライトガイド１２０の先端にはレンズ１２１が取り付けられている。また、発光素子１２２にはライトガイド１２３が取り付けられ、ライトガイド１２３の先端にはレンズ１２４が取り付けられている。ライトガイド１２０とライトガイド１２３は延伸方向が同一となるように平行に平面板１１７上の位置が固定されている。
【００７６】
また、平面板１１７には図示しない電気配線が形成されており、受光素子１１９および発光素子１２２が平面板１１７上の電気配線と受発光部１１１上の電気配線を介して情報処理モジュール１０２と電気的に接続されている。受光素子１１９および発光素子１２２は、電圧が印加されると発光を行い光を受光すると電圧を発光する性質を有する素子であり、発光ダイオードが用いられる。
【００７７】
ライトガイド１２０，１２３は光ファイバー等で形成された柱状の導光路であり、ライトガイド１２０，１２３の側面から光は入射せず、端面から入射した光を反対の端面に導く機能を有する。ライトガイド１２０，１２３の導光路としての長さは、レンズ１２１，１２４の焦点距離ｄと同程度に設定されており、受光素子１１９と発光素子１２２はそれぞれレンズ１２１，１２４の焦点位置に配置されている。したがって、外部方向から入射した光のうちレンズ１２１によって屈折させられて受光素子１１９に集光されるものは、入射光の経路である入射経路１２５に制限され、発光素子１２２が発光した光はレンズ１２４によって屈折させられて、外部に射出する光の経路は出射経路１２６に決定される。したがって、ライトガイド１２０とライトガイド１２３とは平面板１１７上に平行に固定して配置されているため、入射光の経路である入射経路１２５と出射光の経路である出射経路１２６とは平行になり、平面板１１７に対する角度が同一となる。
【００７８】
回転軸１１８を中心として平面板１１７を回転駆動して、時間ｔがｔ１，ｔ２，ｔ３・・・・ｔｎと経過したときに平面板１１７と受発光部１１１とが成す角θがθ１，θ２，θ３・・・・θｎと変化すると、受発光部１１１への垂線方向と入射経路１２５および出射経路１２６が成す角もθ１，θ２，θ３・・・・θｎに変化する。受発光素子１１５が駆動して平面板１１７と受発光部１１１とが成す角θが変化することにより、入出射光の経路が変化するため、受発光素子１１５は受発光の経路を選択する光路選択素子として機能することになる。
【００７９】
同期制御回路１１４は、受発光素子１１５の駆動制御に関連付けして受光素子１１９が受光した光の電気信号を受け取るので、全ての画素に関して時間ｔと入射光の入射角度と画素位置と電気信号を関連付けして情報処理モジュール１０２に送出する。したがって情報処理モジュール１０２には、全ての画素での時間分割によって変化する撮像方向の受光が電気信号として送出されることになる。
【００８０】
情報処理モジュール１０２は、受け取った電気信号に増幅・デジタルデータ化・データ圧縮操作等を施して映像信号に変換し、映像信号を記録装置１０３に送出し、記録装置１０３は映像信号を記録する。記録された映像信号は情報処理モジュール１０２によって読み出されて、必要に応じて情報処理モジュール１０２が映像信号に増幅・アナログデータ化・データ復元操作等を施して電気信号に変換する。情報処理モジュール１０２は時間経過順に変換された電気信号を立体撮像表示装置１０１に送出し、同期制御回路１１４が、時間ｔと出射光の出射角度と画素位置とが関連付けされた電気信号を受発光素子１１５の駆動制御に関連付けして発光素子１２２に送出する。これにより、立体撮像表示装置１０１が時間分割により撮像した複数方向の光を立体撮像表示装置１０１が時間分割により複数方向への表示を行うことになり、撮像時と同様の時間経過で同方向に発光を行うことができる。
【００８１】
上述した様に、立体撮像表示装置１０１が時間分割により複数方向の光を受光し、立体撮像表示装置１０１が時間分割により複数方向への発光を行い、視聴者が立体撮像表示装置１０１の全画素からの発光を見た場合には、第一の実施の形態で図６を用いて説明した理由により立体を認識することとなる。
【００８２】
上述した説明においては、図１３（ａ）に示すように受発光部１１１の法線方向に対する入射光の入射角度と出射光の出射角度は同一であるとしたが、図１３（ｂ）に示すように受発光部１１１の法線方向に対する入射光の入射角度がθである場合に、情報処理モジュール１０２が出射光の出射角度を−θとし、鏡面反射の関係とすることもできる。
【００８３】
［第四の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、発光素子あるいは受光素子の前面に配置したマイクロレンズを周期的に振動させることで光の進行方向を変化させる立体撮像表示装置により立体の撮像および表示を行うものである。
【００８４】
本実施の形態の立体撮像表示装置を用いて立体の撮像と表示を行う構成については第三の実施の形態で図１０に示したブロック図と同様であり、説明の簡略化のために省略する。
【００８５】
図１４は本実施の形態における立体撮像表示装置１０１の構造を示した概略図である。立体撮像表示装置１０１は、受発光素子２１５が配列された受発光部２１１と、受発光部２１１の前面に配置されたレンズアレイ２１２と、レンズアレイ２１２を図中ｙ軸方向に変位させる振動装置２１３と、受発光部２１１が受発光する光の電気信号とレンズアレイ２１２の変位を同期させるための同期制御回路２１４とを有する装置である。
【００８６】
受発光部２１１は電気配線（図示せず）が形成された基板であり、受発光部２１１の撮像および表示を行う側の面上には受発光素子２１５が行方向および列方向に複数配列されており、各受発光素子２１５は外部から入射してきた光を受光すると共に、外部への発光を行う発光ダイオードである。各受発光素子２１５は受発光部２１１上に形成された電気配線を介して同期制御回路２１４に接続されており、同期制御回路２１４から送出される制御信号に応じて受発光を行う。
【００８７】
レンズアレイ２１２には、微細な光学レンズであるマイクロレンズ２１６が行方向および列方向に複数配列されており、各マイクロレンズ２１６は受発光部２１１の受発光素子２１５と対になる位置に対向して配置されて画素を構成している。また、レンズアレイ２１２は、振動装置２１３によって受発光部２１１に平行に図中ｙ軸方向に周期的に変位させられる。振動装置２１３はピエゾ素子等の圧電素子を用いた装置であり、同期制御回路２１４からの制御信号に基づいてレンズアレイ２１２の原点からｙ軸方向への変位量を制御する装置である。
【００８８】
同期制御回路２１４は、受発光素子２１５の受光および発光の方向を制御する回路であり、受発光素子２１５が受光した光の強度とレンズアレイ２１２の変位とを関連付けした電気信号として情報処理モジュール１０２に送出し、情報処理モジュール１０２から受け取った電気信号に基づいてレンズアレイ２１２の変位と受発光素子２１５の発光を同期させる。
【００８９】
図１５は、受発光素子２１５とマイクロレンズ２１６との位置関係を示した模式図である。受発光部２１１上に配置された受発光素子２１５とレンズアレイ２１２に配列されたマイクロレンズ２１６とは、図中ｚ軸方向に距離ｄを隔てて相対している。図中φＯＰＴは受発光素子２１５の発光を行う面の直径を表し、φＬＥＮＳはマイクロレンズ２１６の直径を表している。また、マイクロレンズ２１６の中心と受発光素子２１５の中心とのｙ軸方向の差を変位Δｙで表している。
【００９０】
振動装置２１３が同期制御回路２１４からの制御信号に基づいてレンズアレイ２１２をｙ軸方向に変位させると、マイクロレンズ２１６の中心と受発光素子２１５の中心とのｙ軸方向の変位Δｙも変化する。変位Δｙが変化することで、マイクロレンズ２１６と受発光素子２１５との相対的な位置が変化するため、マイクロレンズ２１６を通過して受発光素子２１５に到達する入射光の入射経路と、受発光素子２１５が発光した光がマイクロレンズ２１６を通過して外部に出射する出射経路とが変化することになる。
【００９１】
図１６は、マイクロレンズ２１６と受発光素子２１５との相対的な位置関係の変化と、入射経路および出射経路の変化を説明する概念図である。マイクロレンズ２１６が振動装置２１３によって変位させられることにより、受発光素子２１５のマイクロレンズ２１６に対する相対位置が２１５（ａ）〜（ｄ）に変化すると、受発光素子２１５（ａ）〜（ｄ）まで到達する光の経路はそれぞれ入射経路２１７（ａ）〜（ｄ）方向に変化する。同様に、受発光素子２１５（ａ）〜（ｄ）が発光した場合にレンズを通過して出射する経路は出射経路２１８（ａ）〜（ｄ）方向に変化する。つまり、レンズアレイ２１２が振動装置２１３によって変位されてマイクロレンズ２１６と受発光素子２１５との相対位置が変化することにより、光が入射してくる方向および光が出射していく方向を変化させることができる。
【００９２】
図１７は、受発光素子２１５が発光してマイクロレンズ２１６により光が屈折される際の、出射光の進行方向と受発光部２１１の垂線方向とが成す射出角度と、マイクロレンズ２１６の中心と受発光素子２１５の中心とのｙ軸方向での差である変位Δｙとの関係を示したグラフである。マイクロレンズ２１６の直径φＬＥＮＳを３００μｍとし、マイクロレンズ２１６と受発光素子２１５とのｚ軸方向での距離ｄは５０μｍとした。変位Δｙの変化と射出角度も変化とは比例関係にあることがわかる。入射光の入射経路と出射光の出射経路は同じであるので、入射光の進行方向が受発光部２１１の垂線方向とが成す入射角度にも同様の関係が成り立つと考えられる。マイクロレンズ２１６が振動して変位Δｙと射出角度が変化することにより、入出射光の経路が変化するため、マイクロレンズ２１６は受発光の経路を選択する光路選択素子として機能することになる。
【００９３】
図１８は、マイクロレンズ２１６の材質として用いられるＰＭＭＡ（ポリメチルメタクリレート、アクリル樹脂）の屈折率を示した表である。光の三原色である青・緑・赤のいずれにおいても同程度の屈折率を有することから、受発光素子２１５を一画素あたりに青・緑・赤の複数配置して青・緑・赤の受発光を行う場合にも、上述したマイクロレンズ２１６の変位により光の入射方向と出射方向とを変化させることができることがわかる。
【００９４】
同期制御回路２１４は、レンズアレイ２１２の駆動制御に関連付けして受発光素子２１５が受光した光の電気信号を受け取るので、全ての画素に関して時間ｔとマイクロレンズ２１６の変位Δｙと画素位置と電気信号を関連付けして情報処理モジュール１０２に送出する。したがって情報処理モジュール１０２には、全ての画素での時間分割によって変化する撮像方向の受光が電気信号として送出されることになる。
【００９５】
情報処理モジュール１０２は、受け取った電気信号に増幅・デジタルデータ化・データ圧縮操作等を施して映像信号に変換し、映像信号を記録装置１０３に送出し、記録装置１０３は映像信号を記録する。記録された映像信号は情報処理モジュール１０２によって読み出されて、必要に応じて情報処理モジュール１０２が映像信号に増幅・アナログデータ化・データ復元操作等を施して電気信号に変換する。情報処理モジュール１０２は時間経過順に変換された電気信号を立体撮像表示装置１０１に送出し、同期制御回路２１４が、時間ｔとマイクロレンズの変位Δｙと画素位置が関連付けされた電気信号をレンズアレイ２１２の駆動制御に関連付けして受発光素子２１５に送出する。これにより、立体撮像表示装置１０１が時間分割により撮像した複数方向の光を立体撮像表示装置１０１が時間分割により複数方向への表示を行うことになり、撮像時と同様の時間経過で同方向に発光を行うことができる。
【００９６】
上述した様に、立体撮像表示装置１０１が時間分割により複数方向の光を受光し、立体撮像表示装置１０１が時間分割により複数方向への発光を行い、視聴者が立体撮像表示装置１０１の全画素からの発光を見た場合には、第一の実施の形態で図６を用いて説明した理由により立体を認識することとなる。
【００９７】
［第五の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、発光素子あるいは受光素子の前面に配置した液晶入り導波路により光の経路を選択する立体撮像表示装置により立体の撮像および表示を行うものである。
【００９８】
本実施の形態の立体撮像表示装置を用いて立体の撮像と表示を行う構成については第三の実施の形態で図１０に示したブロック図と同様であり、説明の簡略化のために省略する。
【００９９】
図１９は本実施の形態における立体撮像表示装置１０１の構造を示した概略図である。立体撮像表示装置１０１は、受発光素子３１５が配列された受発光部３１１と、受発光素子３１５の受発光面上に積層して配置された液晶光路選択素子３１６と、受発光部３１１が受発光する光の電気信号と液晶光路選択素子３１６の動作を同期させるための同期制御回路３１４とを有する装置である。
【０１００】
受発光部３１１は電気配線（図示せず）が形成された基板であり、受発光部３１１の撮像および表示を行う側の面上には受発光素子３１５が行方向および列方向に複数配列されている。各受発光素子３１５は外部から入射してきた光を受光すると共に、外部への発光を行う発光ダイオードである。各受発光素子３１５は受発光部３１１上に形成された電気配線を介して同期制御回路３１４に接続されており、同期制御回路３１４から送出される制御信号に応じて受発光を行う。
【０１０１】
液晶光路選択素子３１６は、受発光素子３１５の受発光面上に積層して配置されて、受発光素子３１５が受光又は発光する光の経路を選択的に変更して、受発光素子３１５に対して入射する光の入射経路と出射する光の出射経路を選択する素子であり、液晶導波路として機能する。
【０１０２】
同期制御回路３１４は、受発光素子３１５の受光および発光の方向を制御する回路であり、受発光素子３１５が受光した光の電気信号と液晶光路選択素子３１６が選択する光の入射方向とを関連付けして情報処理モジュール１０２に送出し、情報処理モジュール１０２から受け取った電気信号を液晶光路選択素子３１６が選択する光の出射方向と同期させて受発光素子３１５に送出する。
【０１０３】
図２０は、液晶光路選択素子３１６の構造を模式的に示し、光の経路選択を説明する模式図であり、図２０（ａ）は平面図であり、図２０（ｂ）は斜視図である。液晶光路選択素子３１６は樹脂により形成した型枠３２０に、空洞である光路３２１および光路３２２を形成した構造を有している。また、光路３２１の上面と下面にそれぞれ光路電極３２３ａと光路電極３２３ｂを配して光路３２１内に液晶を充填している。また、光路３２２の上面と下面にそれぞれ光路電極３２４ａと光路電極３２４ｂを配して光路３２２内に液晶を充填している。
【０１０４】
光路３２１と光路３２２の一端は、型枠３２０の受発光素子３１５に対向する面で共通する空洞となっており、多端はそれぞれ型枠３２０の異なる部分まで貫通する空洞となっている。また、型枠３２０の周囲に可視光を遮蔽する遮蔽膜が形成されており、光路３２１および光路３２１の端部には遮蔽膜が形成されていないとする。
【０１０５】
液晶光路選択素子３１６による光の経路選択は、光路電極３２３ａと光路電極３２３ｂとの間、光路電極３２４ａと光路電極３２４ｂとの間のどちらかに電圧を印加することにより行われる。例えば、型枠３２０を構成する樹脂の光の屈折率が１．４２であり、光路３２１と光路３２２に充填されている液晶の屈折率が電圧印加時に１．６０であり電圧無印加時に１．４２である場合には、光は電圧が印加された液晶が充填されている光路を通過することになる。
【０１０６】
したがって、同期制御回路３１４からの制御信号に基づいて液晶光路選択素子３１６が電圧が印加される電極が変化すると、光路電極３２３ａと光路電極３２３ｂとの間に電圧が印加された場合には光は光路３２１を通過するので、図中Ａ方向と受発光素子３１５との受発光が可能になり、光路電極３２４ａと光路電極３２４ｂとの間に電圧が印加された場合には光は光路３２２を通過するので、図中Ｂ方向と受発光素子３１５との受発光が可能になる。液晶光路選択素子３１６の電圧印加に応じて液晶の屈折率が変化し、入出射光の経路が変化するため、液晶光路選択素子３１６は受発光の経路を選択する光路選択素子として機能することになる。
【０１０７】
図２０では光路を型枠３２０に二経路形成した例を示したが、光路の数を増加させることにより、光路数に応じた受発光の方向を選択することが可能となり、図２１に示すように、液晶光路選択素子３１６を通過して受発光素子３１５に到達する入射光の入射経路と、受発光素子３１５が発光した光が液晶光路選択素子３１６を通過して外部に出射する出射経路とを適宜変更して時分割により受発光方向を選択することが可能となる。
【０１０８】
上述した様に、立体撮像表示装置１０１が時間分割により複数方向の光を受光し、立体撮像表示装置１０１が時間分割により複数方向への発光を行い、視聴者が立体撮像表示装置１０１の全画素からの発光を見た場合には、第一の実施の形態で図６を用いて説明した理由により立体を認識することとなる。
【０１０９】
［第六の実施の形態］
次に、本願発明の他の実施の形態として、時間分割による複数方向からの受光と複数方向への発光とを同一の装置において実現するための立体撮像表示装置を示す。本実施の形態は、発光素子あるいは受光素子の前面に配置した光干渉路により光の経路を選択する立体撮像表示装置により立体の撮像および表示を行うものである。
【０１１０】
本実施の形態は、第五の実施の形態で図１９に示した立体撮像表示装置１０１において用いた液晶光路選択素子３１６の代わりに、マッハツェンダー光路選択素子４１６を用いた実施の形態について説明するものであり、光路の選択にマッハツェンダー光路選択素子４１６を用いる以外は第五の実施の形態と同様の構成を用いるため重複する説明を省略する。
【０１１１】
図２２は、マッハツェンダー光路選択素子４１６の構造を示す平面図である。マッハツェンダー光路選択素子４１６は、可視光を透過しない樹脂で形成された型枠４２０の内部に、光の透過が可能な光路４２１と光路４２２が形成され、光路４２１の中間には光干渉路４２３が形成され、光路４２２の中間には光干渉路４２４が形成されている。光路４２１と光路４２２の一端は型枠４２０の受発光素子３１５に対向する面に露出し、多端は型枠４２０の他の面に別々に露出して形成されている。
【０１１２】
マッハツェンダー光路選択素子４１６による光の経路選択は、光干渉路４２３と光干渉路４２４のどちらかで光を干渉させて光の打消しを行うことにより行われる。干渉により光が打ち消された光路を介しては受発光が行われず、光の打消しがされなかった光路を介してのみ受発光素子３１５が受発光を行うことになる。
【０１１３】
図２３は、光干渉路４２３，４２４による光の打ち消しについて説明した図である。図２３（ａ）は光の打消しを行わない場合に通過する光の位相と強度を模式的に示した図であり、光路４２１の一端から入射した光は部分光路４２１Ａと部分光路４２１Ｂとを分岐されて通過し、同位相で光路４２１で合流し多端から出射することになる。このとき、部分光路４２１Ａと部分光路４２１Ｂとの経路差が通過する光の波長の整数倍とすることで、合流時の光の位相を等しくして入射光と同じ強度の光を出射することができる。
【０１１４】
図２３（ｂ）は光の打消しを行う場合に通過する光の位相と強度を模式的に示した図であり、光路４２２の一端から入射した光は部分光路４２２Ａと部分光路４２２Ｂとを分岐されて通過し、反対位相で光路４２２で合流し多端から出射することになる。このとき、部分光路４２２Ａと部分光路４２２Ｂとの経路差を通過する光の波長の整数倍としても、部分光路４２２Ａの中間に位相制御部４２５を形成しておくことで、合流時の光の位相を半波長ずれたものとして入射光の強度である振幅を無くして光を打ち消す。
【０１１５】
位相制御部４２５は、電圧の印加により屈折率が変化する液晶層と電極により形成され、電圧無印加時には部分光路４２２Ａおよび光路４２２と屈折率が等しくなり、電圧印加時には屈折率が変化して電圧無印加時の通過光とは位相が半波長ずれる半波長板として機能する。
【０１１６】
したがって、同期制御回路３１４からの制御信号に基づいて光干渉路４２３の位相制御部４２５に電圧が印加され、光干渉路４２４の位相制御部４２５に電圧が印加されない場合には、光路４２１を通過する光は打ち消され光路４２２を光が通過する。このため、図中Ａ方向と受発光素子３１５との受発光が不可能になり、図中Ｂ方向と受発光素子３１５との受発光が可能になる。マッハツェンダー光路選択素子４１６の位相制御部４２５に印加される電圧に応じて、光が打ち消される光路が変化し入出射光の経路が変化するため、マッハツェンダー光路選択素子４１６は受発光の経路を選択する光路選択素子として機能することになる。
【０１１７】
図２２では光路を型枠４２０に二経路形成した例を示したが、光路の数を増加させることにより、光路数に応じた受発光の方向を選択することが可能となり、マッハツェンダー光路選択素子４１６を通過して受発光素子３１５に到達する入射光の入射経路と、受発光素子３１５が発光した光がマッハツェンダー光路選択素子４１６を通過して外部に出射する出射経路とを適宜変更して時分割により受発光方向を選択することが可能となる。
【０１１８】
【発明の効果】
立体撮像装置および立体表示装置において，各画素を通過する複数の光線の方向と強度を時分割して記録し再生する機構により，臨場感のある空間の像の鑑賞や視覚的コミュニケーションを実現した。
【図面の簡単な説明】
【図１】立体表示表示装置が表示する映像を視聴者が視聴している様子を示す模式図である。
【図２】 立体撮像装置と立体表示装置を用いて立体の撮像と表示を行う構成について示したブロック図である。
【図３】 立体撮像装置の構造を示した概略図である。
【図４】 画面における画素と各画素が取得する電気信号を示す概念図である。
【図５】 画素を構成する反射素子と受光素子の詳細な構造と、時間分割を用いた複数方向からの入射光の受光について説明する模式図である。
【図６】 立体表示装置と視聴者の左目と右目の位置関係を示す模式図である。
【図７】 ライトガイドの他の構造を示す図である。
【図８】 立体撮像表示装置の同一のパネル上の反対面に受光部と発光部を形成した場合の構成について示したブロック図である。
【図９】 立体撮像表示装置の法線方向に対する入射光の入射角度と出射光の出射角度の関係を示す模式図である。
【図１０】 立体撮像表示装置を用いて立体の撮像と表示を行う構成について示したブロック図である。
【図１１】 立体撮像表示装置の構造を示した概略図である。
【図１２】 画素を構成する受発光素子の詳細な構造と、時間分割を用いた複数方向からの入射光の受光と複数方向への出射光の発光について説明する模式図である。
【図１３】 受発光部の法線方向に対する入射光の入射角度と出射光の出射角度の関係を示す模式図である。
【図１４】 立体撮像表示装置の構造を示した概略図である。
【図１５】 受発光素子とマイクロレンズとの位置関係を示した模式図である。
【図１６】 マイクロレンズと受発光素子との相対的な位置関係の変化と、入射経路および出射経路の変化を説明する概念図である。
【図１７】 出射光の射出角度と変位Δｙとの関係を示したグラフである。
【図１８】 マイクロレンズの材質として用いられるＰＭＭＡ（ポリメチルメタクリレート、アクリル樹脂）の屈折率を示した表である。
【図１９】 立体撮像表示装置の構造を示した概略図である。
【図２０】 液晶光路選択素子の構造を模式的に示し、光の経路選択を説明する模式図である。
【図２１】 光路の数を増加させることにより、光路数に応じた受発光の方向を選択することが可能となる様子を示す模式図である。
【図２２】 マッハツェンダー光路選択素子の構造を示す平面図である。
【図２３】 光干渉路による光の打ち消しについて説明した図である。
【符号の説明】
１ 立体撮像装置
５ 立体表示装置
７１，１０１ 立体撮像表示装置
２，４，７２，１０２ 情報処理モジュール
３，７３，１０３ 記録装置
１４，５４，１１４，２１４，３１４ 同期制御回路
６ 視聴者
７ 左目
８ 右目
１３ 光入射口
５３ 光出射口
１１，５１ 反射部
１２ 受光部
５２ 発光部
１１１，２１１，３１１ 受発光部
１６，１１９ 受光素子
５６，１２２ 発光素子
１１５，２１５，３１５ 受発光素子
１５，５５ 反射素子
１７，５７ 鏡面板
１８，５８，１１８ 回転軸
１１７ 平面板
２１ 受光経路
６１ 発光経路
２２，１２５，２１７ 入射経路
６２，１２６，２１８ 出射経路
１９Ｒ，１９Ｇ，１９Ｂ，５９Ｒ，５９Ｇ，５９Ｂ 発光ダイオード
２０Ｒ，２０Ｇ，２０Ｂ，６０Ｒ，６０Ｇ，６０Ｂ，１２０，１２３ ライトガイド
１２１，１２４ レンズ
２１２ レンズアレイ
２１３ 振動装置
２１６ マイクロレンズ
３１６ 液晶光路選択素子
４１６ マッハツェンダー光路選択素子
３２０，４２０ 型枠
３２１，３２２，４２１，４２２ 光路
３２３ａ，３２３ｂ，３２４ａ，３２４ｂ 光路電極
４２１Ａ，４２１Ｂ，４２２Ａ，４２２Ｂ 部分光路
４２３，４２４ 光干渉路
４２５ 位相制御部
Claims (37)
- 光を受光して電気信号に変換する受光素子と、
前記受光素子まで到達する光の入射角度を選択する光路選択素子とを有し、
前記受光素子と前記光路選択素子によって構成された画素が行方向および列方向に複数配置され、
前記受光素子が受光した光の強度と前記光路選択素子が選択した光の入射角度を前記画素毎に関連付けして記録することを特徴とする立体撮像装置。 - 前記受光素子と前記光路選択素子とが一対で一つの画素を構成していることを特徴とする請求項１記載の立体撮像装置。
- 前記光路選択素子が選択する光の入射角度を時間経過に応じて変化させることを特徴とする請求項１記載の立体撮像装置。
- 前記光路選択素子は、光を反射する反射板を駆動することで前記受光素子に到達する光の入射角度を前記反射板による反射光に選択する反射素子であることを特徴とする請求項１記載の立体撮像装置。
- 前記反射素子は、圧電素子により駆動する鏡面板、ＭＥＭＳまたはデジタル・マイクロミラー・デバイス（商品名）であることを特徴とする請求項４記載の立体撮像装置。
- 前記光路選択素子は、前記受光素子を搭載して駆動する駆動体であり、前記受光素子の受光面が対向する方向を変化させるものであることを特徴とする請求項１記載の立体撮像装置。
- 前記光路選択素子は、前記受光素子の受光面前に配置されたレンズであり、前記レンズを駆動して前記受光素子との相対位置を変化させるものであることを特徴とする請求項１記載の立体撮像装置。
- 前記光路選択素子は、前記受光素子の受光面前に配置された液晶導波路であり、導波路に充填された液晶の屈折率を選択的に変化させることで光の透過経路を選択するものであることを特徴とする請求項１記載の立体撮像装置。
- 前記光路選択素子は、前記受光素子の受光面前に配置されたマッハツェンダー素子であり、光路に設けられた位相制御部の屈折率を選択的に変化させることで光の干渉を引き起こして光の透過経路を選択するものであることを特徴とする請求項１記載の立体撮像装置。
- 受光した光の強度情報を取得する光強度取得手段と、
受光した光の入射角度情報を取得する入射角度取得手段とを有し、
前記光の強度情報と前記入射角度情報を関連付けして記録することを特徴とする立体撮像装置。 - 電気信号に基づいて光を発光する発光素子と、
前記発光素子から出射する光の出射角度を選択する光路選択素子とを有し、
前記発光素子と前記光路選択素子によって構成された画素が行方向および列方向に複数配置され、
前記画素毎に前記光路選択素子が選択した光の出射角度と光の強度との関連付けに応じて前記発光素子が発光することを特徴とする立体表示装置。 - 前記発光素子と前記光路選択素子とが一対で一つの画素を構成していることを特徴とする請求項１１記載の立体表示装置。
- 前記光路選択素子が選択する光の出射角度を時間経過に応じて変化させることを特徴とする請求項１１記載の立体表示装置。
- 前記光路選択素子は、光を反射する反射板を駆動する反射素子であり、前記発光素子から出射する光を前記反射板によって反射することを特徴とする請求項１１記載の立体表示装置。
- 前記反射素子は、圧電素子により駆動する鏡面板、ＭＥＭＳまたはデジタル・マイクロミラー・デバイス（商品名）であることを特徴とする請求項１４記載の立体表示装置。
- 前記光路選択素子は、前記発光素子を搭載して駆動する駆動体であり、前記発光素子の発光面が対向する方向を変化させるものであることを特徴とする請求項１１記載の立体表示装置。
- 前記光路選択素子は、前記発光素子の発光面前に配置されたレンズであり、前記レンズを駆動して前記発光素子との相対位置を変化させるものであることを特徴とする請求項１１記載の立体表示装置。
- 前記光路選択素子は、前記発光素子の発光面前に配置された液晶導波路であり、導波路に充填された液晶の屈折率を選択的に変化させることで光の透過経路を選択するものであることを特徴とする請求項１１記載の立体表示装置。
- 前記光路選択素子は、前記発光素子の発光面前に配置されたマッハツェンダー素子であり、光路に設けられた位相制御部の屈折率を選択的に変化させることで光の干渉を引き起こして光の透過経路を選択するものであることを特徴とする請求項１１記載の立体表示装置。
- 光の強度情報に基づいて光を発光する発光手段と、
前記発光手段から出射する光の出射角度を選択する出射角度選択手段とを有し、
前記光の出射角度と光の強度情報との関連付けに応じて前記発光手段が発光することを特徴とする立体表示装置。 - 光を受光して電気信号に変換する受光素子と、前記受光素子まで到達する光の経路を選択する第一の光路選択素子とを有して、前記受光素子と前記第一の光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記受光素子が受光した光の強度と前記第一の光路選択素子が選択した光の入射角度を前記画素毎に関連付けして映像信号とする受光部と、
電気信号に基づいて光を発光する発光素子と、前記発光素子から出射する光の出射角度を選択する第二の光路選択素子とを有して、前記発光素子と前記第二の光路選択素子によって構成された画素が行方向および列方向に複数配置され、前記映像信号に基づいて前記画素毎に前記第二の光路選択素子が選択した光の出射角度と光の強度との関連付けに応じて前記発光素子が発光する発光部と
を有することを特徴とする立体撮像表示装置。 - 前記受光素子と前記第一の光路選択素子とが一対で一つの画素を構成し、前記発光素子と前記第二の光路選択素子とが一対で一つの画素を構成していることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記第一の光路選択素子および前記第二の光路選択素子が選択する光の入出射角度を時間経過に応じて変化させることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記受光部と前記発光部が分離して形成されていることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記受光部と前記発光部とが情報交換可能に接続され、前記映像信号を前記受光部から前記発光部に送信することを特徴とする請求項２４記載の立体撮像表示装置。
- 前記受光部と前記発光部が同一装置の同一面内に形成されていることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記受光部と前記発光部が同一装置の反対面に形成されていることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記受光部に入射する光の入射角度と、前記発光部が出射する光の出射角度とが関連付けられていることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記受光部に入射する光の入射角度と、前記発光部が出射する光の出射角度とが同じ角度であることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記受光部に入射する光の入射角度と、前記発光部が出射する光の出射角度とが前記発光部の法線方向に対して線対称であることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記第一の光路選択素子または前記第二の光路選択素子は、光を反射する反射板を駆動することで前記受光素子に到達する光の入射角度または前記発光素子から射出する光の出射角度を変化させる反射素子であることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記反射素子は、圧電素子により駆動する鏡面板、ＭＥＭＳまたはデジタル・マイクロミラー・デバイス（商品名）であることを特徴とする請求項３１記載の立体撮像表示装置。
- 前記第一の光路選択素子または前記第二の光路選択素子は、前記受光素子または前記発光素子を搭載して駆動する駆動体であり、前記受光素子の受光面または前記発光素子の発光面が対向する方向を変化させるものであることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記第一の光路選択素子または前記第二の光路選択素子は、前記受光素子の受光面前または前記発光素子の発光面前に配置されたレンズであり、前記レンズを駆動して前記受光素子または前記発光素子との相対位置を変化させるものであることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記第一の光路選択素子または前記第二の光路選択素子は、前記受光素子の受光面前または前記発光素子の発光面前に配置された液晶導波路であり、導波路に充填された液晶の屈折率を選択的に変化させることで光の透過経路を選択するものであることを特徴とする請求項２１記載の立体撮像表示装置。
- 前記第一の光路選択素子または前記第二の光路選択素子は、前記受光素子の受光面前または前記発光素子の発光面前に配置されたマッハツェンダー素子であり、光路に設けられた位相制御部の屈折率を選択的に変化させることで光の干渉を引き起こして光の透過経路を選択するものであることを特徴とする請求項２１記載の立体撮像表示装置。
- 受光した光の強度情報を取得し、
受光した光の入射角度情報を取得し、
前記光の強度情報と前記入射角度情報を関連付けして記録することを特徴とする情報記録方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003013193A JP4003129B2 (ja) | 2003-01-22 | 2003-01-22 | 立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法 |
| US10/763,059 US20040218234A1 (en) | 2003-01-22 | 2004-01-22 | Three-dimensional image pickup apparatus, three-dimensional display apparatus, three-dimensional image pickup and display apparatus and information recording method |
| US12/069,824 US8223195B2 (en) | 2003-01-22 | 2008-02-13 | Three-dimensional image pickup apparatus, three-dimensional display apparatus, three-dimensional image pickup and display apparatus and information recording method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003013193A JP4003129B2 (ja) | 2003-01-22 | 2003-01-22 | 立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004228838A JP2004228838A (ja) | 2004-08-12 |
| JP4003129B2 true JP4003129B2 (ja) | 2007-11-07 |
Family
ID=32901590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003013193A Expired - Fee Related JP4003129B2 (ja) | 2003-01-22 | 2003-01-22 | 立体撮像装置、立体表示装置、立体撮像表示装置および情報記録方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US20040218234A1 (ja) |
| JP (1) | JP4003129B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7511725B2 (en) * | 2005-05-11 | 2009-03-31 | Hewlett-Packard Development Company, L.P. | Apparatus and method for providing a three-dimensional moving image from a non-fixed pixel display |
| US7982822B2 (en) * | 2009-01-28 | 2011-07-19 | Sharp Laboratories Of America, Inc. | Area active backlight with steerable light source |
| US8026997B2 (en) * | 2009-01-28 | 2011-09-27 | Sharp Laboratories Of America, Inc. | Area active backlight with steerable light source |
| EP2398235A3 (en) * | 2010-02-08 | 2013-08-21 | Bronstein Bronstein Kimmel Technologies Ltd. | Imaging and projection devices and methods |
| KR20110118247A (ko) | 2010-04-23 | 2011-10-31 | 삼성전자주식회사 | 3차원 영상의 촬영 및 시현을 위한 장치 및 방법 |
| US7982823B1 (en) | 2010-06-17 | 2011-07-19 | Sharp Laboratories Of America, Inc. | Area active backlight with steerable backlight |
| JP5378331B2 (ja) * | 2010-09-06 | 2013-12-25 | 日立コンシューマエレクトロニクス株式会社 | 立体映像表示装置 |
| US8823882B2 (en) * | 2011-06-23 | 2014-09-02 | Sharp Kabushiki Kaisha | Backlight device, display device, and television receiver |
| JP5982751B2 (ja) | 2011-08-04 | 2016-08-31 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| CN103137026B (zh) * | 2011-11-29 | 2015-06-03 | 联想(北京)有限公司 | 一种电子设备及其成像方法 |
| KR101288979B1 (ko) * | 2012-03-13 | 2013-08-07 | 한국과학기술연구원 | 하나의 촬상 영상에 의한 삼차원 형상 재구성 장치 및 방법 |
| US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
| TW201436178A (zh) * | 2013-02-13 | 2014-09-16 | Sony Corp | 受光發光裝置 |
| BR102013021423B1 (pt) * | 2013-08-22 | 2021-01-19 | Roberto Massaru Amemiya | filmadora e televisão produtoras de imagem real que utilizam dispositivos de fltro de raios paralelos formados por múltiplos cristais líquidos emparelhados; processador de impulsos elétricos com parâmetros da imagem para obtenção de projeção de imagem real e controle de distância à frente e atrás da superfície da televisão; introdução e controle de imagem tridimensional no campo de projeção da imagem real; processos para obtenção desses dispositivos |
| JP6421992B2 (ja) * | 2016-05-01 | 2018-11-14 | 株式会社コンフォートビジョン研究所 | 高解像度立体撮像装置 |
| CN110012286B (zh) * | 2019-05-07 | 2023-04-25 | 成都工业学院 | 一种高视点密度的人眼追踪立体显示装置 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4492442A (en) * | 1979-10-04 | 1985-01-08 | Gaudyn Tad J | Three dimensional projection arrangement |
| US4520387A (en) * | 1980-08-06 | 1985-05-28 | Moorfeed Corporation | Holographic imager |
| JPS6391819U (ja) * | 1986-12-05 | 1988-06-14 | ||
| US5446479A (en) * | 1989-02-27 | 1995-08-29 | Texas Instruments Incorporated | Multi-dimensional array video processor system |
| US5319214A (en) * | 1992-04-06 | 1994-06-07 | The United States Of America As Represented By The Secretary Of The Army | Infrared image projector utilizing a deformable mirror device spatial light modulator |
| US5340978A (en) * | 1992-09-30 | 1994-08-23 | Lsi Logic Corporation | Image-sensing display panels with LCD display panel and photosensitive element array |
| EP0884914A1 (en) * | 1993-02-03 | 1998-12-16 | Nitor | Methods and apparatus for image projection |
| EP0656555B1 (en) * | 1993-12-01 | 2003-03-19 | Sharp Kabushiki Kaisha | Display for 3D images |
| US6947571B1 (en) * | 1999-05-19 | 2005-09-20 | Digimarc Corporation | Cell phones with optical capabilities, and related applications |
| JPH086481A (ja) * | 1994-03-31 | 1996-01-12 | Texas Instr Inc <Ti> | 空間光変調器を使用したホログラフィック画像発生方法及びホログラフィック画像ディスプレイシステム |
| FR2734065B1 (fr) * | 1995-05-12 | 1997-06-06 | Commissariat Energie Atomique | Composants microoptiques et microdeflecteurs optomecaniques a deplacement de microlentilles |
| US6118124A (en) * | 1996-01-18 | 2000-09-12 | Lockheed Martin Energy Research Corporation | Electromagnetic and nuclear radiation detector using micromechanical sensors |
| US6329963B1 (en) * | 1996-06-05 | 2001-12-11 | Cyberlogic, Inc. | Three-dimensional display system: apparatus and method |
| US5903380A (en) * | 1997-05-01 | 1999-05-11 | Rockwell International Corp. | Micro-electromechanical (MEM) optical resonator and method |
| ATE220465T1 (de) * | 1997-10-29 | 2002-07-15 | Calum E Macaulay | Gerät und verfahren zur mikroskopie unter verwendung räumlich modulierten lichtes |
| US6084697A (en) * | 1998-07-20 | 2000-07-04 | Motorola, Inc. | Integrated electro-optical package |
| US6795241B1 (en) * | 1998-12-10 | 2004-09-21 | Zebra Imaging, Inc. | Dynamic scalable full-parallax three-dimensional electronic display |
| US6091537A (en) * | 1998-12-11 | 2000-07-18 | Xerox Corporation | Electro-actuated microlens assemblies |
| JP2001154164A (ja) * | 1999-11-25 | 2001-06-08 | Nec Corp | 光変調器および光変調方法 |
| JP3316501B2 (ja) * | 2000-03-28 | 2002-08-19 | 科学技術振興事業団 | センサヘッド、これを具備した輝度分布測定装置及び表示むら検査評価装置 |
| ES2227200T3 (es) * | 2000-05-19 | 2005-04-01 | Tibor Balogh | Metodo y aparato para presentar imagenes 3d. |
| US6415068B1 (en) * | 2000-07-07 | 2002-07-02 | Xerox Corporation | Microlens switching assembly and method |
| US6570681B1 (en) * | 2000-08-25 | 2003-05-27 | Actuality Systems, Inc. | System and method for dynamic optical switching using a diffractive optical element |
| JP2005506555A (ja) * | 2000-11-03 | 2005-03-03 | アクチュアリティー システムズ， インク． | ３次元表示システム |
| US6865346B1 (en) * | 2001-06-05 | 2005-03-08 | Silicon Light Machines Corporation | Fiber optic transceiver |
| US6614581B2 (en) * | 2001-07-03 | 2003-09-02 | Network Photonics, Inc. | Methods and apparatus for providing a multi-stop micromirror |
| US20030122925A1 (en) * | 2001-08-17 | 2003-07-03 | Byoungyi Yoon | Method and system for providing the motion information of stereoscopic cameras |
| JP3809803B2 (ja) * | 2002-02-15 | 2006-08-16 | オムロン株式会社 | 変位センサ |
| US6798560B2 (en) * | 2002-10-11 | 2004-09-28 | Exajoula, Llc | Micromirror systems with open support structures |
| US6825968B2 (en) * | 2002-10-11 | 2004-11-30 | Exajoule, Llc | Micromirror systems with electrodes configured for sequential mirror attraction |
| US20040130649A1 (en) * | 2003-01-03 | 2004-07-08 | Chulhee Lee | Cameras |
| US7048384B2 (en) * | 2003-01-24 | 2006-05-23 | Honeywell International Inc. | Multiple scene projection system |
| US6912090B2 (en) * | 2003-03-18 | 2005-06-28 | Lucent Technologies Inc. | Adjustable compound microlens apparatus with MEMS controller |
| US6819469B1 (en) * | 2003-05-05 | 2004-11-16 | Igor M. Koba | High-resolution spatial light modulator for 3-dimensional holographic display |
| US7238957B2 (en) * | 2005-05-02 | 2007-07-03 | Raytheon Company | Methods and apparatus for presenting images |
| WO2007037926A2 (en) * | 2005-09-23 | 2007-04-05 | Sharp Laboratories Of America, Inc. | Mems pixel sensor |
| JP5287070B2 (ja) * | 2008-09-17 | 2013-09-11 | ソニー株式会社 | レンズモジュールおよび電子機器 |
-
2003
- 2003-01-22 JP JP2003013193A patent/JP4003129B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-22 US US10/763,059 patent/US20040218234A1/en not_active Abandoned
-
2008
- 2008-02-13 US US12/069,824 patent/US8223195B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20080143824A1 (en) | 2008-06-19 |
| US8223195B2 (en) | 2012-07-17 |
| JP2004228838A (ja) | 2004-08-12 |
| US20040218234A1 (en) | 2004-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8223195B2 (en) | Three-dimensional image pickup apparatus, three-dimensional display apparatus, three-dimensional image pickup and display apparatus and information recording method | |
| US8730129B2 (en) | Advanced immersive visual display system | |
| US8233035B2 (en) | Dual-view stereoscopic display using linear modulator arrays | |
| US7944465B2 (en) | Apparatus and system for reproducing 3-dimensional images | |
| US20060033992A1 (en) | Advanced integrated scanning focal immersive visual display | |
| US20040130783A1 (en) | Visual display with full accommodation | |
| CN103250098B (zh) | 三维图像拍摄方法 | |
| JPH0798439A (ja) | ３次元立体表示装置 | |
| US20090174919A1 (en) | Directed illumination diffraction optics auto-stereo display | |
| KR20010093245A (ko) | 3차원 화상촬영장치 및 방법, 3차원 화상표시장치 및방법, 및 3차원 화상표시 위치변환장치 및 방법 | |
| JPH08256359A (ja) | 立体カメラ、立体ディスプレイ、及び、立体映像システム | |
| JP2004302121A (ja) | 立体画像表示装置、及び立体画像撮像装置 | |
| JPH09197343A (ja) | 立体画像表示装置 | |
| US11662591B1 (en) | Display systems and imaging systems with dynamically controllable optical path lengths | |
| US20060083437A1 (en) | Three-dimensional image display apparatus | |
| JP2009047952A (ja) | 画像投影用スクリーン及び三次元画像表示装置 | |
| JPH11249071A (ja) | 投射型立体ディスプレイ装置 | |
| JPH11103474A (ja) | 立体映像表示装置 | |
| RU2375840C2 (ru) | Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты) | |
| JP3577577B2 (ja) | 空中立体視装置 | |
| JP2000347132A (ja) | 画像表示装置および画像表示方法 | |
| US20240004215A1 (en) | Full lightfield with monocular and stereoscopic depth control via monocular-to-binocular hybridization | |
| US20240004198A1 (en) | Display and imaging systems with 1d-1d optical surfaces for stereoscopic and monocular depth programming | |
| US20240004195A1 (en) | Wearable device with 1d-1d optical surfaces for stereoscopic and monocular depth programming | |
| JP4049553B2 (ja) | 立体画像送信装置および立体画像受信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050210 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070808 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |