JP4103848B2 - 情報処理装置および方法、記録媒体、プログラム、並びに表示装置 - Google Patents

情報処理装置および方法、記録媒体、プログラム、並びに表示装置 Download PDF

Info

Publication number
JP4103848B2
JP4103848B2 JP2004153017A JP2004153017A JP4103848B2 JP 4103848 B2 JP4103848 B2 JP 4103848B2 JP 2004153017 A JP2004153017 A JP 2004153017A JP 2004153017 A JP2004153017 A JP 2004153017A JP 4103848 B2 JP4103848 B2 JP 4103848B2
Authority
JP
Japan
Prior art keywords
image
display
subject
pixels
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004153017A
Other languages
English (en)
Other versions
JP2005303966A (ja
Inventor
勉 原田
裕利 藤澤
匡平 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004153017A priority Critical patent/JP4103848B2/ja
Priority to US11/074,200 priority patent/US7705886B2/en
Priority to TW094107378A priority patent/TWI271099B/zh
Priority to CN2005100837197A priority patent/CN1717065B/zh
Priority to KR1020050022654A priority patent/KR101197692B1/ko
Publication of JP2005303966A publication Critical patent/JP2005303966A/ja
Application granted granted Critical
Publication of JP4103848B2 publication Critical patent/JP4103848B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06C—FINISHING, DRESSING, TENTERING OR STRETCHING TEXTILE FABRICS
    • D06C3/00—Stretching, tentering or spreading textile fabrics; Producing elasticity in textile fabrics
    • D06C3/06—Stretching, tentering or spreading textile fabrics; Producing elasticity in textile fabrics by rotary disc, roller, or like apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06J—PLEATING, KILTING OR GOFFERING TEXTILE FABRICS OR WEARING APPAREL
    • D06J1/00—Pleating, kilting or goffering textile fabrics or wearing apparel
    • D06J1/12—Forms of pleats or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、情報処理装置および方法、記録媒体、プログラム、並びに表示装置に関し、特に、より自然な形でコミュニケーションをとることができるようにする情報処理装置および方法、記録媒体、プログラム、並びに表示装置に関する。
視点選択が可能な、いわゆるフルパララックス(full parallax)な画像提示システムとして、例えば、IP(Integral Photography)立体画像システムがある。
IP立体画像システムで用いられるIP技術自体は、２０世紀初頭にその原理が既に提案されているものである。
すなわち、IPは、昆虫の複眼のようなレンズアレイを介して撮影を行うことで得られる複数の小さな被写体の像が結像された写真乾板に対して、写真乾板を挟んで被写体の位置と反対の位置から照明を当て、撮影時の被写体から写真乾板に向かう光線と同じ軌跡を辿る逆方向の光線を再生することで、その被写体のあった位置に被写体の三次元の像を再現させることができるものである。
これを、例えば、ディジタルカメラや液晶ディスプレイなどを用いて電子的に実現したものがIP立体画像システムである。従って、IP立体画像システムは、基本的には、被写体の撮像を行う、レンズアレイが前方に設置されたディジタルカメラと、被写体の像の再生を行う、表面にレンズアレイが設置された液晶ディスプレイにより構成される。
ところで、特許文献１には、IPを用いた立体像の撮像表示装置が開示されている。この撮像表示装置は、撮像用光ファイバに入射された被写体からの光を、装置自体を挟んで被写体の方向と反対方向から出射することで立体像を得るものである。光の出射方向には表示用レンズが設けられている。
また、特許文献２には、角柱ミラー群によって反射された被写体からの光線をカメラにより撮像することによって、空間解像度の高い被写体の像を取得する技術が開示されている。このようにして撮像された画像は空間解像度の高い立体像を実時間で提供するために用いられ、これにより、立体表示システムが実現されることも開示されている。
特開２００４−５４１５３号公報 特開２００４−２３２０３号公報
しかしながら、IP立体画像システムを実現するためには、撮影時の被写体からの光線と、再生時の逆方向の光線の軌跡を一致させる必要があることから、ディジタルカメラとレンズアレイの位置関係を、液晶ディスプレイとレンズアレイの位置関係として正確に再現することが要求されるという課題があった。
従って、この要求を満たすシステムを実現するためには、技術的な、或いはコスト的な面での制約がかなりある。
また、当然、ディジタルカメラとレンズアレイからなる撮像系の構成と、液晶ディスプレイとレンズアレイからなる再生系の構成とを別々に用意する必要があることから、コストがかかるだけでなく、システム構成が比較的大きなものになってしまうという課題もあった。
ところで、このようなIP立体画像システムを適用することによっても実現可能なシステムではあるが、近年、携帯電話機などにも搭載され始め、本格的に普及されつつあるコミュニケーションのツールとしてテレビ電話システムがあり、このテレビ電話システムでは、例えば、コミュニケーションを行っている２人のユーザの視線を一致させることができないということが問題視されている。
すなわち、テレビ電話を行うための機器には、その異なる位置にディジタルカメラとディスプレイが設けられていることから、一方のユーザが、自分が持っている機器のディスプレイに表示されている相手の顔を見た場合、その相手の機器のディスプレイには、自分の機器のディスプレイを向いているユーザ（相手）の顔が表示されることになる。
また、一方のユーザが、反対に、相手の顔をきちんと見ているような顔が相手の機器のディスプレイに表示されるように自分の機器のディジタルカメラを向いた場合、当然、そのユーザは、そのとき自分の機器のディスプレイに表示されている相手の顔を見ることができない。
本発明はこのような状況に鑑みてなされたものであり、より自然な形でコミュニケーションをとることができるようにするものである。
本発明の第１の情報処理装置は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する取得手段と、取得手段により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信手段と、他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信手段と、受信手段により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御手段とを備えることを特徴とする。
取得手段は、複数の撮像領域を構成する画素からの出力に基づいて複数の被写体の像のデータを取得するようにすることができる。
表示制御手段は、受信手段により受信された複数の他の被写体の像のデータに基づいて、複数の他の被写体の像のそれぞれを複数の表示領域に表示させるようにすることができる。
撮像領域と表示領域は、表示装置の異なる位置に、それぞれの位置が順次移動するように形成されるようにすることができる。
本発明の第１の情報処理装置は、取得手段により取得された被写体の像を正立の像に変換する変換手段をさらに備えるようにすることができる。この場合、送信手段は、変換手段により変換された正立の被写体の像のデータを他の情報処理装置に送信する。
本発明の第１の情報処理装置は、変換手段により正立の像に変換された被写体の像を拡大または縮小する拡大縮小処理手段をさらに備えるようにすることができる。
本発明の第１の情報処理装置は、受信手段によりデータが受信された他の被写体の像を正立の像に変換する変換手段をさらに備えるようにすることができる。この場合、表示制御手段は、変換手段により変換された正立の他の被写体の像を表示領域に表示させる。
本発明の第１の情報処理装置は、変換手段により正立の像に変換された被写体の像を拡大または縮小する拡大縮小処理手段をさらに備えるようにすることができる。
本発明の第１の情報処理装置は、取得手段により取得された被写体の第１の像のデータを、被写体の第１の像と、基準となる被写体の第２の像との差を用いて圧縮する圧縮手段をさらに備えるようにすることができる。この場合、送信手段は、圧縮手段により圧縮された被写体の第１の像のデータを、被写体の第２の像のデータとともに他の情報処理装置に送信する。
本発明の第１の情報処理装置は、基準となる他の被写体の第１の像のデータと、他の被写体の第１の像との差で表される他の被写体の第２の像のデータが受信手段により受信された場合、他の被写体の第２の像のデータを、他の被写体の第１の像のデータと、他の被写体の第１と第２の像の差に基づいて生成する生成手段をさらに備えるようにすることができる。
本発明の第１の情報処理方法は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置の情報処理方法であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する取得ステップと、取得ステップの処理により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信ステップと、他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信ステップと、受信ステップの処理により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御ステップとを含むことを特徴とする。
本発明の第１の記録媒体は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムが記録されている記録媒体であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、取得ステップの処理により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップと、他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、受信ステップの処理により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御ステップとを含むプログラムが記録されていることを特徴とする。
本発明の第１のプログラムは、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムであって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、取得ステップの処理により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップと、他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、受信ステップの処理により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御ステップとを含むことを特徴とする。
本発明の第２の情報処理装置は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する取得手段と、取得手段により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信手段とを備えることを特徴とする。
本発明の第２の情報処理方法は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置の情報処理方法であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する取得ステップと、取得ステップの処理により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信ステップとを含むことを特徴とする。
本発明の第２の記録媒体は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムが記録されている記録媒体であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、取得ステップの処理により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップとを含むプログラムが記録されていることを特徴とする。
本発明の第２のプログラムは、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムであって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、取得ステップの処理により取得された被写体の像のデータを、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップとを含むことを特徴とする。
本発明の第３の情報処理装置は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置であって、表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信手段と、受信手段により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御手段とを備えることを特徴とする。
本発明の第３の情報処理方法は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置の情報処理方法であって、表示装置と同じ構成を有する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する他の表示装置を制御する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信ステップと、受信ステップの処理により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御ステップとを含むことを特徴とする。
本発明の第３の記録媒体は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムが記録されている記録媒体であって、表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、受信ステップの処理により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御ステップとを含むプログラムが記録されていることを特徴とする。
本発明の第３のプログラムは、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムであって、表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、受信ステップの処理により受信された他の被写体の像のデータに基づいて、他の被写体の像が結像する他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像を表示させる表示制御ステップとを含むことを特徴とする。
本発明の表示装置は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を表す信号を情報処理装置に出力し、情報処理装置による制御に従って、表示動作を行う複数の画素からなる表示領域に所定の画像を表示することを特徴とする。
本発明の第１の情報処理装置および方法、記録媒体、並びにプログラムにおいては、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像が、撮像領域を構成する画素からの出力に基づいて取得され、取得された被写体の像のデータが、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信される。また、他の情報処理装置から送信されてくる、他の被写体の像のデータが受信され、受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像が表示される。
本発明の第２の情報処理装置および方法、記録媒体、並びにプログラムにおいては、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像が、撮像領域を構成する画素からの出力に基づいて取得され、取得された被写体の像のデータが、表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信される。
本発明の第３の情報処理装置および方法、記録媒体、並びにプログラムにおいては、表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータが受信され、受信された他の被写体の像のデータに基づいて、他の被写体の像が結像した他の表示装置の位置に対応する表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に他の被写体の像が表示される。
本発明の表示装置においては、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を表す信号が情報処理装置に出力され、情報処理装置による制御に従って、表示動作を行う複数の画素からなる表示領域に所定の画像が表示される。
本発明によれば、立体像を生じさせることができる。
また、本発明によれば、より自然な形で相手とのコミュニケーションをとることができる。
さらに、本発明によれば、コミュニケーションをとるための機器の小型化を実現することができる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項１に記載の情報処理装置は、印加される電圧に応じて表示動作（例えば、図５の動作）と撮像動作（例えば、図６の動作）の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置（例えば、図１のI/Oディスプレイ１）を制御する情報処理装置（例えば、図１７の情報処理装置３１）であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体（例えば、図１のユーザ＃１）の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得手段（例えば、図１８の個眼像生成部６２）と、前記取得手段により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置（例えば、図１のI/Oディスプレイ２）を制御する他の情報処理装置に送信する送信手段（例えば、図１９のステップＳ６の処理を実行する図１８の送受信制御部６６）と、前記他の情報処理装置から送信されてくる、他の被写体（例えば、図１のユーザ＃２）の像のデータを受信する受信手段（例えば、図２０のステップＳ１１の処理を実行する図１８の送受信制御部６６）と、前記受信手段により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる（例えば、図１３に示すように、I/Oディスプレイ２の領域ａ51で取得されたユーザ＃２の像を、I/Oディスプレイ１の領域Ａ57に表示させる）表示制御手段（例えば、図１８の表示制御部６８）とを備えることを特徴とする。
請求項４に記載の情報処理装置の前記撮像領域と前記表示領域は、前記表示装置の異なる位置に、それぞれの位置が順次移動するように形成される（例えば、図１６に示すように下方向に移動する）ことを特徴とする。
請求項５に記載の情報処理装置（送信側で画像処理を行う場合の情報処理装置）は、前記取得手段により取得された前記被写体の像を正立の像に変換する変換手段（例えば、図３４の反転処理部１１１）をさらに備え、前記送信手段は、前記変換手段により変換された正立の前記被写体の像のデータを前記他の情報処理装置に送信することを特徴とする。
請求項６に記載の情報処理装置は、前記変換手段により正立の像に変換された前記被写体の像を拡大または縮小する拡大縮小処理手段（例えば、図３４の拡大／縮小処理部１１２）をさらに備えることを特徴とする。
請求項７に記載の情報処理装置（受信側で画像処理を行う場合の情報処理装置）は、前記受信手段によりデータが受信された前記他の被写体の像を正立の像に変換する変換手段（例えば、図３６の画像処理部６３に設けられる図３４の反転処理部１１１）をさらに備え、前記表示制御手段は、前記変換手段により変換された正立の前記他の被写体の像を前記表示領域に表示させることを特徴とする。
請求項８に記載の情報処理装置は、前記変換手段により正立の像に変換された前記被写体の像を拡大または縮小する拡大縮小処理手段（例えば、図３６の画像処理部６３に設けられる図３４の拡大／縮小処理部１１２）をさらに備えることを特徴とする。
請求項９に記載の情報処理装置は、前記取得手段により取得された前記被写体の第１の像のデータを、前記被写体の第１の像と、基準となる前記被写体の第２の像との差を用いて圧縮する圧縮手段（例えば、図１９のステップＳ５の処理を実行する図１８の圧縮伸張処理部６５）をさらに備え、前記送信手段は、前記圧縮手段により圧縮された前記被写体の第１の像のデータを、前記被写体の第２の像のデータとともに前記他の情報処理装置に送信することを特徴とする。
請求項１０に記載の情報処理装置は、基準となる前記他の被写体の第１の像のデータと、前記他の被写体の第１の像との差で表される前記他の被写体の第２の像のデータが前記受信手段により受信された場合、前記他の被写体の第２の像のデータを、前記他の被写体の第１の像のデータと、前記他の被写体の第１と第２の像の差に基づいて生成する生成手段（例えば、図２０のステップＳ１２の処理を実行する図１８の圧縮伸張処理部６５）を備えることを特徴とする。
請求項１１に記載の情報処理方法は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置（例えば、図１のI/Oディスプレイ１）を制御する情報処理装置（例えば、図１７の情報処理装置３１）の情報処理方法であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体（例えば、図１のユーザ＃１）の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得ステップ（例えば、図１９のステップＳ３）と、前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置（例えば、図１のI/Oディスプレイ２）を制御する他の情報処理装置に送信する送信ステップ（例えば、図１９のステップＳ６）と、前記他の情報処理装置から送信されてくる、他の被写体（例えば、図１のユーザ＃２）の像のデータを受信する受信ステップ（例えば、図２０のステップＳ１１）と、前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる（例えば、図１３に示すように、I/Oディスプレイ２の領域ａ51で取得されたユーザ＃２の像を、I/Oディスプレイ１の領域Ａ57に表示させる）表示制御ステップ（例えば、図２０のステップＳ１４）とを含むことを特徴とする。
請求項１２に記載の記録媒体に記録されているプログラム、および、請求項１３に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１１に記載の情報処理方法と同様である。
請求項１４に記載の情報処理装置は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置（例えば、図１のI/Oディスプレイ１）を制御する情報処理装置（例えば、図１７の情報処理装置３１）であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体（例えば、図１のユーザ＃１）の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得手段（例えば、図１８の個眼像生成部６２）と、前記取得手段により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置（例えば、図１のI/Oディスプレイ２）を制御する他の情報処理装置に送信する送信手段（例えば、図１９のステップＳ６の処理を実行する図１８の送受信制御部６６）とを備えることを特徴とする。
請求項１５に記載の情報処理方法は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置（例えば、図１のI/Oディスプレイ１）を制御する情報処理装置（例えば、図１７の情報処理装置３１）の情報処理方法であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体（例えば、図１のユーザ＃１）の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得ステップ（例えば、図１９のステップＳ３）と、前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置（例えば、図１のI/Oディスプレイ２）を制御する他の情報処理装置に送信する送信ステップ（例えば、図１９のステップＳ６）とを含むことを特徴とする。
請求項１６に記載の記録媒体に記録されているプログラム、および、請求項１７に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１５に記載の情報処理方法と同様である。
請求項１８に記載の情報処理装置は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置（例えば、図１のI/Oディスプレイ１）を制御する情報処理装置（例えば、図１７の情報処理装置３１）であって、前記表示装置と同じ構成を有する他の表示装置（例えば、図１のI/Oディスプレイ２）を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体（例えば、図１のユーザ＃２）の像のデータを受信する受信手段（例えば、図２０のステップＳ１１の処理を実行する図１８の送受信制御部６６）と、前記受信手段により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる（例えば、図１３に示すように、I/Oディスプレイ２の領域ａ51で取得されたユーザ＃２の像を、I/Oディスプレイ１の領域Ａ57に表示させる）表示制御手段（例えば、図１８の表示制御部６８）とを備えることを特徴とする。
請求項１９に記載の情報処理方法は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置（例えば、図１のI/Oディスプレイ１）を制御する情報処理装置（例えば、図１７の情報処理装置３１）の情報処理方法であって、前記表示装置と同じ構成を有する他の表示装置（例えば、図１のI/Oディスプレイ２）を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体（例えば、図１のユーザ＃２）の像のデータを受信する受信ステップ（例えば、図２０のステップＳ１１）と、前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる前記表示領域に前記他の被写体の像を表示させる（例えば、図１３に示すように、I/Oディスプレイ２の領域ａ51で取得されたユーザ＃２の像を、I/Oディスプレイ１の領域Ａ57に表示させる）表示制御ステップ（例えば、図１８の表示制御部６８）とを含むことを特徴とする。
請求項２０に記載の記録媒体に記録されているプログラム、および、請求項２１に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１９に記載の情報処理方法と同様である。
請求項２２に記載の表示装置は、印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置（例えば、図１のI/Oディスプレイ１）であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を表す信号を情報処理装置（例えば、図１７の情報処理装置３１）に出力し、前記情報処理装置による制御に従って、表示動作を行う複数の画素からなる表示領域に所定の画像を表示することを特徴とする。
以下、本発明の実施の形態について図を参照して説明する。
図１は、本発明を適用したIP立体画像システムの構成例を示す図である。
このIP立体画像システムは、例えば、I/O（IN/OUT）ディスプレイ１および２、並びに、I/Oディスプレイ１とI/Oディスプレイ２を接続する通信路３から構成される。
I/Oディスプレイ１は、例えば、それを利用しているユーザ＃１を撮像することができるとともに（IN機能（撮像機能））、I/Oディスプレイ２から通信路３を介して送信されてくる情報に基づいて、I/Oディスプレイ２を利用しているユーザ＃２を、現実世界において各視点から見ることのできる立体像（三次元の像）として観察者であるユーザ＃１に提示することができる（OUT機能（表示機能））ディスプレイである。
ユーザ＃２の立体像は、ユーザ＃１がI/Oディスプレイ１越しに見ることができる位置に再現される。
同様に、I/Oディスプレイ２は、それを利用しているユーザ＃２を撮像することができるとともに、I/Oディスプレイ１から通信路３を介して送信されてくる情報に基づいて、I/Oディスプレイ１を利用しているユーザ＃１の立体像をユーザ＃２に提示することができるディスプレイである。ユーザ＃１の立体像も、ユーザ＃２がI/Oディスプレイ２越しに見ることができる位置に再現される。
後述するように、I/Oディスプレイ１および２による被写体（ユーザ＃１または＃２）の撮像は、I/Oディスプレイ１および２の表示面を構成するそれぞれの画素を用いて行われる。また、立体像の提示も、I/Oディスプレイ１および２の表示面を構成するそれぞれの画素を用いて行われる。
従って、I/Oディスプレイ１および２により取り込まれたそれぞれの被写体の像のデータを通信相手のディスプレイに送信し、それを立体像としてリアルタイムで再現させるようにすることで、ユーザ＃１と＃２は、リアルタイムでコミュニケーションを図ることができる。
また、被写体の撮像を行う構成と、コミュニケーションの相手の像を再現する構成とが同一の構成により実現されるため、例えば、ユーザ＃１は、I/Oディスプレイ１により再現されるユーザ＃２（立体像）の目を見ながら、自分自身の像の取り込みをI/Oディスプレイ１に行わせることができる。
この場合、I/Oディスプレイ２では、ユーザ＃２の目を見ている状態のユーザ＃１の像が再現されることから、ユーザ＃２は、その再現されるユーザ＃１（立体像）の目を見ながら、ユーザ＃１とコミュニケーションを図ることができる。この、ユーザ＃１の目を見ている状態のユーザ＃２も、I/Oディスプレイ２により撮像され、I/Oディスプレイ１によりユーザ＃２の立体像としてリアルタイムで提示される。
すなわち、ディジタルカメラとディスプレイのように、撮像を行う構成と表示を行う構成とがそれぞれ別々のハードウエアとして用意される場合には実現不可能な、視線を一致させた状態での遠隔地間のコミュニケーションを実現することができる。
また、機器を一体のものとして実現することができることから、撮像を行う構成と表示を行う構成とがそれぞれ別々のハードウエアとして用意される場合に較べて装置の小型化、およびコストの削減を図ることができる。
なお、通信路３は、例えば、インターネットなどよりなるネットワークである。有線、無線のいずれの形態よりなるものであってもよい。また、図示せぬマイクロフォンにより集音された一方のユーザの音声も、他方のユーザのI/Oディスプレイに送信される。
ここで、IN機能（撮像機能）について説明する。以下においては、I/Oディスプレイ１の機能（構成）として主に説明するが、I/Oディスプレイ２も同様の機能を有する。
被写体（例えば、ユーザ＃１）に対向するI/Oディスプレイ１の表面には、図２の平面図と図３の断面図に示すように、多数のマイクロレンズを平面状に配置して構成されるレンズアレイが設けられる。
図３の断面図に示すように、被写体の像が結像する画素の層と、マイクロレンズの層の間には、それぞれのマイクロレンズで集光された光線と、隣のマイクロレンズで集光された光線とが干渉することのないように隔壁の層が設けられる。
また、後述するように、I/Oディスプレイ１では、例えば、撮像動作を行う画素と、表示動作を行う画素が隣接する状態になることもあり、この隔壁の層が設けられることにより、表示動作を行っている一方の画素で出射された光が、撮像動作を行っている他方の画素に入射するといったことも防止される。
このような構成を有していることから、I/Oディスプレイ１では、多数のマイクロレンズそれぞれ越しに見た被写体の画像、いわゆる個眼像が得られる。
図４は、図３の隔壁により囲まれる画素からなる１つの領域の例を示す平面図である。
この１つの領域は、例えば、１５×１５個の画素（RGBの３つのサブ画素を１組とした画素（１５×３×１５個のサブ画素））から構成される。このように、１５×１５個などの画素から構成される１つの領域の前方（被写体側）に１つのマイクロレンズが設けられているから、この１５×１５個の画素の領域に、図４に示すように、光軸を中心として１８０度回転した被写体の像が結像する。
以下、適宜、撮像動作を行っている、被写体の１つの像が結像する所定の数の画素からなる領域を撮像領域という。また、表示動作を行っている、被写体の１つの像を表示する所定の数の画素からなる領域を表示領域という。
なお、図４では、１つの個眼像を１５×１５個の画素を用いて撮像するとしたが、画素数はこれに限定されるものではなく、当然、これ以上の画素数で撮像が行われるようにしてもよい。１つのマイクロレンズに対して割り当てられる画素の数を多くするほど、解像度の高い被写体の像を得ることができる。
上述したように、I/Oディスプレイ１においては、表示だけでなく、撮像、すなわちマイクロレンズにより集光された光の検出もそれぞれの画素により行われる。
図５および図６は、I/Oディスプレイ１を構成する１画素の回路構成の例を示す図である。
例えば、それぞれの画素にはTFT(Thin Film Transistor)１１と液晶１４が設けられる。すなわち、図５および図６に示す構成の画素からなるI/Oディスプレイ１はTFT液晶ディスプレイ（LCD(Liquid Crystal Display)）である。
TFT１１のゲート電極Ｇに正方向の電圧（バイアス電圧）が印加されたとき、図５の実線矢印で示すように、ソース電極Ｓに印加された電圧に応じて、アモルファスシリコンやポリシリコンからなる活性半導体層（チャネル）中を、ソース電極Ｓからドレイン電極Ｄ方向に電流が流れる。
TFT１１のドレイン電極Ｄには液晶１４の一方の電極が接続されており、TFT１１のチャネル中を電流が流れることにより生じる液晶１４の電極間（ドレイン電極Ｄが接続されている電極と対向電極１５の間）の電位差に応じて液晶１４の分子配列が変化し、バックライトからの光が図５の画素の外部に出射される。
バックライトからの光は、図３の隔壁層、マイクロレンズ層を介して、I/Oディスプレイ１の外部に出射される。従って、これにより画像の表示が行われる。
一方、TFT１１のゲート電極Ｇに、０Ｖ近傍かまたは逆方向の電圧が印加された場合、ソース電極Ｓに電圧が印加されているときでもチャネル中を電流が流れない。
この状態で、マイクロレンズにより集光された外部からの光が、図６の白抜き矢印で示すようにTFT１１を照射したとき、TFT１１のチャネルの光伝導性により、微量ではあるがドレイン電極Ｄからソース電極Ｓ方向にリーク電流（オフ電流）が発生する。
このことから、０Ｖ近傍かまたは逆方向の電圧を印加した画素（TFT１１）が発生するリーク電流を増幅してその有無を検出することによって、その画素に対して外部から光が照射されているのか否かを識別することが可能になる。また、そのリーク電流の量によって、光の量も識別することが可能になる。
RGBのそれぞれの画素によりRGBそれぞれの光が識別されることになるから、図４の撮像領域を構成する全ての画素の出力を合成することによって、カラーの被写体（ユーザ＃１）の個眼像が得られる。
以上から、印加する電圧を制御することにより、１つの画素（TFT１１）に表示動作と撮像動作を選択的に行わせることができることがわかる。
なお、図５においては、説明の便宜上、白抜き矢印で示するように液晶１４から右方向に光が出射されているが、実際には、液晶１４の電極が透明電極により構成され、その透明電極を透過してバックライトからの光が外部に出射される。
図７は、光が照射されている場合と、照射されていない場合のTFT１１のドレイン電流Idの値の測定例を示す図である。縦軸はドレイン電流Idを表し、横軸はゲート電圧Vgを表す。
図７に示すように、正方向のゲート電圧Vgが印加されている場合は、光が照射されているときでも照射されていないときでも、同じような値のドレイン電流Idが検出される。
一方、０Ｖ近傍かまたは逆方向の電圧が印加されている状態で光が照射された場合、照射されていない場合と較べて大きい値のドレイン電流Idが検出される。
このように、正方向の電圧が印加されているときと、０Ｖ近傍かまたは逆方向の電圧が印加されているときとで、光の有無によって検出される電流値が異なるものとなることから、外部からの光の有無の検出が可能になる。
なお、正方向の電圧が印加されているときに光の有無によって検出される電流値に差が生じないのは、電圧を印加することにより流れる電流が、光を照射することによって流れる（発生する）電流に対して十分大きいためである。
図８および図９は、I/Oディスプレイ１を構成する１画素の他の回路構成の例を示す図である。図５および図６と同じ構成には同じ符号を付してある。
図８および図９の例においては、それぞれの画素には、図５、図６の液晶１４に替えてEL(Electroluminescence)素子２１が設けられる。すなわち、図８および図９に示す構成の画素からなるI/Oディスプレイ１は自発光型のELディスプレイである。
TFT１１のゲート電極Ｇに正方向の電圧が印加されたとき、図８の実線矢印で示すように、ソース電極Ｓに印加された電圧に応じて、ソース電極Ｓからドレイン電極Ｄ方向にチャネル中を電流が流れる。
TFT１１のドレイン電極ＤにはEL素子２１のアノード電極が接続されており、TFT１１のチャネル中を電流が流れることにより生じるアノード−カソード電極間の電位差に応じて、図８の白抜き矢印で示すようにEL素子２１が発光する。
EL素子２１からの光は、図３の隔壁層、マイクロレンズ層を介して、I/Oディスプレイ１の外部に出射される。従って、これにより画像の表示が行われる。
一方、TFT１１のゲート電極Ｇに、０Ｖ近傍かまたは逆方向の電圧が印加された場合、ソース電極Ｓに電圧が印加されているときでもチャネル中を電流が流れず、EL素子２１のアノード−カソード電極間には電位差が生じないから発光しない。
この状態で、マイクロレンズにより集光された外部からの光が、白抜き矢印で示すように図９の画素を照射したとき、上述したように、TFT１１のチャネルの光伝導性により、微量ではあるがドレイン電極Ｄからソース電極Ｓ方向にリーク電流（オフ電流）が発生する。また、同様に、EL素子２１においてもリーク電流が発生する。
このことから、０Ｖ近傍かまたは逆方向の電圧を印加した画素（TFT１１、EL素子２１）が発生するリーク電流を増幅してその有無を検出することによって、その画素に対して外部から光が照射されているのか否かを識別することが可能になる。また、そのリーク電流の量によって、光の量も識別することが可能になる。
RGBのそれぞれの画素（Ｒを発光するEL素子２１が設けられている画素、Ｇを発光するEL素子２１が設けられている画素、Ｂを発光するEL素子２１が設けられている画素）によりRGBそれぞれの光の有無と量が識別されることになるから、図４の撮像領域を構成する全ての画素の出力を合成することによって、カラーの被写体の個眼像が得られる。
なお、図８および図９の構成の画素は、例えば、０Ｖ近傍の電圧が印加された状態で外部から光が照射された場合、TFT１１に加えて、EL素子２１が発生するリーク電流も検出されるから、図５および図６の構成の画素からなるTFT液晶ディスプレイよりも、TFTが各画素に配置されたELディスプレイの方が外部からの光に対して感度が高いことになる。
図１０は、図８および図９に示す画素で生じた電流の測定値の例を示す図である。縦軸は画素中の電流を表し、横軸はゲート電極Ｇに印加した電圧を表す。
計測結果を表す線Ｌ1は、正方向の電圧が印加された状態で光が照射されたときに画素から検出される電流（TFT１１のチャネル中を流れる電流と、EL素子２１中を流れる電流）の値を示しており、線Ｌ2は、正方向の電圧が印加された状態で光が照射されていないときに画素で発生された電流の値を示している。
この線Ｌ1およびＬ2により、正方向の電圧が印加されている場合は、外部からの光の有無に関わらず、検出される電流値には差がみられない。
一方、図１０の線Ｌ3は、逆方向の電圧が印加されている状態で外部から光が照射されたときに、その画素が発生した電流の値を表しており、線Ｌ4は、逆方向の電圧が印加されている状態で外部から光が照射されていないときに、その画素が発生した電流の値を表している。
線Ｌ3と線Ｌ4を比較してわかるように、逆方向の電圧が印加されている場合、外部から光が照射されたときと、照射されていないときとで、その画素が発生する電流に差が生じている。例えば、約−５ボルトの電圧（逆方向の電圧）が印加されている状態において、外部から所定の光量の光が照射された場合、「１Ｅ−８（Ａ）」程度の電流（TFTの活性半導体層中において発生した電流と、EL素子が発生した電流）が発生する。
図１０においては、外部から光が照射されていない場合であっても、「１Ｅ−１０（Ａ）」程度の微小な電流が発生していることが線Ｌ4により示されているが、これは計測中のノイズによるものである。なお、RGBのうちのいずれの色を発光するEL素子であっても、図１０に示すものとほぼ同様の計測結果が得られる。
図１１は、図１０の０Ｖ近傍を拡大して示す図である。
図１１の線Ｌ3と線Ｌ4により示すように、０Ｖ近傍の電圧が印加されている状態でも、光が照射されている場合と、照射されていない場合とで、その電流値に差が検出される。
従って、０Ｖ近傍の電圧が印加されている状態でも、発生した電流を増幅させることで、この差、すなわち、光が照射されているか否かの検出が可能となる。
このことから、意識的に逆方向の電圧を印加することなく、ゲート電圧が０Ｖ近傍の値になるように制御することで、ある画素に撮像動作を行わせることができる。
ゲート電圧が０Ｖ近傍の値になるように制御して撮像動作を行わせるようにすることにより、逆方向の電圧を印加してその動作を行わせる場合に較べて、逆方向の電圧の分だけ消費電力を抑えることができる。
また、制御する電圧の数が少なくなるため、その制御、さらにはシステム構成が容易になる。すなわち、ゲート電圧が０Ｖ近傍の値になるように制御することは、正方向の電圧が印加されないように制御することでもあるから、正方向の電圧が印加されるようにゲート電圧を制御する制御線や電源回路だけをもって実現することができる（逆方向の電圧が印加されるようにゲート電圧を制御する制御線を別に設ける必要がない）。
これにより、I/Oディスプレイ１の駆動基板やシステム基板上から電源回路の構成を簡略化することができ、低消費電力化を実現することができるだけでなく、それらの基板上の限られたスペースの効率的な利用も実現することができる。
さらに、逆方向の電圧を印加しないようにすることにより、逆方向の電圧を印加したときに生じることのあるTFT１１やEL素子２１の破壊を回避することができる。例えば、チャネル長（Ｌ長）を長くすることでTFT１１の耐電圧性を高めることができるが、この場合、ON時（導通時）の電流が下がってしまい、十分な電流を確保するためには、チャネル幅（Ｗ長）を大きくする必要がある。
この結果、TFT１１を流れる電流値を変えることなく耐電圧性を高めるためには、１つのTFT１１のサイズを大きくする必要があり、各画素のサイズが小さい高精細なディスプレイの各画素に、そのTFT１１を配置することが困難となる。
従って、逆方向の電圧をなくすことで、TFT１１やEL素子２１の耐圧設計が容易になり、かつ、TFT１１やEL素子２１そのもののサイズを小さくすることができ、これにより、高精細なディスプレイを実現することが可能になる。
以上のように、I/Oディスプレイ１を構成する各画素に少なくともTFT１１が設けられている場合、０Ｖ近傍か、それより逆方向の電圧を印加することによって、画素を用いて撮像を行うことが可能になる。
例えば、I/Oディスプレイ１の全ての画素に撮像動作を行わせることによって、マイクロレンズの数だけ（撮像領域の数だけ）、それぞれの位置を視点としたときの被写体（ユーザ＃１）の像が得られる。
次に、OUT機能（表示機能）について説明する。
図１２は、ユーザ＃１の立体像の再現を模式的に示す図である。
図１２の左側は、I/Oディスプレイ１によりユーザ＃１の個眼像Ｐ1乃至Ｐ6が撮像されている様子を示している。また、図１２の右側は、I/Oディスプレイ２によりユーザ＃１の像である個眼像Ｐ1乃至Ｐ6が表示されている様子を示している。
なお、図１２においては、説明の便宜上、個眼像Ｐ1乃至Ｐ6をそれぞれ同じ像として示しているが、１つの被写体に対する撮像の位置が異なるから、実際には、それぞれの位置に応じて若干異なる像になる。また、図３の隔壁の層は省略している。
I/Oディスプレイ１に設けられるそれぞれのマイクロレンズにより結像され、I/Oディスプレイ１により得られた個眼像は、例えば、光軸を中心とした反転処理等の所定の画像処理がI/Oディスプレイ１により施され、I/Oディスプレイ２に送信される。
I/Oディスプレイ２においては、I/Oディスプレイ１で撮像された個眼像が、それぞれ対応する位置にある領域（表示領域）に表示される。図１２の例においては、個眼像Ｐ1乃至Ｐ6が上から順にそれぞれの表示領域に表示されている。
図１３は、個眼像の撮像位置と表示位置の例について示す図である。
図１３においては、I/Oディスプレイ１とI/Oディスプレイ２には、図４の領域が５×７個形成されている。実際には、マイクロレンズの数だけ、さらに多くの領域が形成される。
いま、I/Oディスプレイ１の領域を、左上の領域を基準として領域Ａij（ｉ行目、ｊ列目の領域）で表し、I/Oディスプレイ２の領域を、左上の領域を基準として領域ａijで表すこととすると、I/Oディスプレイ１の領域Ａ11（撮像領域）で撮像された個眼像は、その位置に対応する位置にあるI/Oディスプレイ２の領域ａ17（表示領域）に表示される。
すなわち、ユーザ＃１とユーザ＃２がI/Oディスプレイを挟んで対向した状態を再現しようとしているから、I/Oディスプレイ１に対向している被写体のユーザ＃１をI/Oディスプレイ１の領域Ａ11で撮像した個眼像が、I/Oディスプレイ２の右上の領域ａ17に表示されることで、撮像時に、ユーザ＃１からその撮像位置に向かう光線を、ユーザ＃２に向かう光線としてI/Oディスプレイ２により再現することが可能になる。
この撮像時の光線を再現することのできる位置にあるI/Oディスプレイ２の領域ａijが、I/Oディスプレイ１の領域Ａijに対応する領域となる。
同様に、領域Ａ12で撮像された個眼像は領域ａ16に表示され、領域Ａ13で撮像された個眼像は領域ａ15に表示され、領域Ａ14で撮像された個眼像は領域ａ14に表示される。I/Oディスプレイ１の他の領域Ａijで撮像された個眼像も、I/Oディスプレイ２の対応する領域ａklに表示される。
また、I/Oディスプレイ２の領域ａ51（撮像領域）で撮像された個眼像は、その位置に対応する位置にあるI/Oディスプレイ１の領域Ａ57（表示領域）に表示される。
同様に、領域ａ52で撮像された個眼像は領域Ａ56に表示され、領域ａ53で撮像された個眼像は領域Ａ55に表示され、領域ａ54で撮像された個眼像は領域Ａ54に表示される。I/Oディスプレイ２の他の領域ａijで撮像された個眼像も、I/Oディスプレイ１の対応する領域Ａklに表示される。
このように、I/Oディスプレイ１とI/Oディスプレイ２の対応する領域を構成する画素同士は、例えば、画像の送受信にかかる時間、画像の再生等の処理にかかる時間を無視することができるものとすると、反転した動作を行うことになる。
すなわち、I/Oディスプレイ１の１つの領域で撮像が行われている場合、それに対応する位置にあるI/Oディスプレイ２の領域では表示が行われ、反対に、I/Oディスプレイ１の他の１つの領域で表示が行われている場合、それに対応する位置にあるI/Oディスプレイ２の領域では撮像が行われることで、被写体の撮像と、立体像の再現がリアルタイムで行われることになる。
図１２の説明に戻り、ユーザ＃２は、このようにしてI/Oディスプレイ２に表示された複数の個眼像をレンズアレイ越しに見る。これにより、ユーザは、その視点から見た被写体（ユーザ＃１）の立体像を見ることができる。
ここで、現実世界においてユーザが見ることのできるものと同様の被写体の立体像が得られる原理について説明する。
上述したように、例えば、I/Oディスプレイ１では、複数の視点（それぞれの領域）から撮像されたユーザ＃１の個眼像のデータが取得されている。このことは、図１４に示すように、I/Oディスプレイ１の表面の平面Ω上の複数の点を視点として、被写体を撮像した画像データが取得されていると見ることができる。
いま、図１５に示すように、平面Ωの、被写体と反対側のある位置に視点Ｐを設定し、その視点Ｐから被写体を見た場合の視覚に映る画像を考える。
なお、視点Ｐは、その視点Ｐと、被写体上の任意の点とを結ぶ直線が、平面Ωと交わる位置にとるものとする。
また、ここでは、説明を簡単にするために、平面Ω上の任意の全ての点を視点として、被写体を撮像した画像データがI/Oディスプレイ１により取得されているものとするとともに、観察者が被写体を観測しようとする空間（媒質）内において、光線は直進し、減衰しないものとする。
視点Ｐから被写体を見たときの光線の軌跡（被写体から視点Ｐに入射する光線の軌跡）は、視点Ｐとマイクロレンズの光軸を通り、被写体上の各点とを結ぶ直線（図１５の点線矢印）によって表現することができる。この光線は、必ず、平面Ωと交わるから、その光線と一致する軌跡の光線に対応する画素値（視点Ｐから被写体を見た場合の光線情報と同一の光線情報）が、I/Oディスプレイ１により必ず取得されている。
すなわち、いま、視点Ｐと被写体上のある点Ｒiとを結ぶ直線Ｌiに注目し、その直線Ｌiと平面Ωとの交点をＱiと表す。いまの場合、平面Ω上の任意の点を視点として、被写体を撮像した画像データがI/Oディスプレイ１により取得されているから、点Ｑiを視点として被写体を撮像した画像データは、I/Oディスプレイ１により取得されている。
さらに、いまの場合、光線は直進し、かつ減衰しないから、被写体上の点Ｒiから、平面Ω上の点Ｑiに入射する光線と、視点Ｐに入射する光線とは同一である。
従って、視点Ｐから被写体を見た場合、その被写体上の点Ｒiから視点Ｐに向かう光線に対応する画素値は、被写体上の点Ｒiから平面Ω上の点Ｑiに向かう光線に対応する画素値に一致し、この点Ｒiから点Ｑiに向かう光線に対応する画素値は、I/Oディスプレイ１により取得されている。
以上から、視点Ｐから、被写体上の点Ｒiを見たときの画素値は、平面Ω上の点Ｑiを視点として撮像された画像データから得ることができる。
視点Ｐから、被写体上の他の点を見たときの画素値も、同様に、平面Ω上の点を視点として撮像された画像データから得ることができるから、結果として、平面Ω上の任意の点を視点として撮像された画像データが存在すれば、その画像データを構成する画素の画素値から、視点Ｐと被写体とを結ぶ光線情報と同一の光線情報の光線に対応する画素値を選択することにより、視点Ｐから被写体を見た画像データが得られることになる。
また、視点Ｐをユーザ＃２の視点とし、I/Oディスプレイ１からI/Oディスプレイ２に送信されてくる画像データに基づいて、その画像データを構成する各画素の画素値から、視点Ｐと被写体（I/Oディスプレイ１側の空間においてユーザ＃１がいる位置）とを結ぶ光線情報と同一の光線情報の光線に対応する画素値を選択してI/Oディスプレイ２上で再現（表示）することにより、I/Oディスプレイ１側の空間で視点Ｐからユーザ＃１を見たときと同様に、I/Oディスプレイ２側の空間でもユーザ＃１の立体像が得られることになる。
図１６は、各画素の動作の例について示す図である。
例えば、１フレーム内の、所定の数の行の画素全体により撮像動作が行われ、撮像動作を行っている画素と異なる、所定の数の行の画素全体により表示動作が行われるように、各画素の動作が制御される。従って、１フレームの表示（撮像）時間を見た場合、撮像と表示が同時に行われることになる。
図１２の例においては、第Ｙ1行目から第Ｙ1−ｙ1行目までの画素全体により表示動作が行われ、第Ｙ2行目から第Ｙ2−ｙ2行目までの画素全体により撮像動作が行われている。
また、撮像動作、表示動作を行わせる対象の行が、１フレーム毎に、第Ｙ行目、第Ｙ＋１行目、第Ｙ＋２行目、・・・といったようにI/Oディスプレイ１の上から下に順次切り替えられ、I/Oディスプレイ１の下端の行にきたとき、上端の行からその切り替えを繰り返させることによって、所定のフレーム数の表示（撮像）期間を見た場合、I/Oディスプレイ１を構成する全ての画素により撮像と表示が行われることになる。
これにより、マイクロレンズの数だけ、それぞれの位置を視点としたときの被写体（ユーザ＃１）の像が得られる。
また、ユーザ＃１の撮像とともに、マイクロレンズの数だけ、ユーザ＃２の個眼像を表示することができ、ユーザ＃２の立体像の再現が行われる。
I/Oディスプレイ１の上端から下端までを、例えば、３０Hz，６０Hzなどの周期で撮像を行う画素の行と表示を行う画素の行を切り替えることによって、画像を表示しない、撮像動作する画素の存在をユーザ＃１に認識させることなく、ユーザ＃１の撮像を行うことができる。
以上のようにして、I/Oディスプレイ１とI/Oディスプレイ２のそれぞれにより、被写体の撮像（IN）と、通信相手から送信されてきた画像に基づく立体像の再現（OUT）が行われる。
図１７は、I/Oディスプレイ１に設けられる情報処理装置３１の構成例を示すブロック図である。I/Oディスプレイ２にも同様の構成の装置が設けられる。
なお、情報処理装置３１は、I/Oディスプレイ１と一体的に形成されるようにしてもよいし、別筐体のものとして形成されるようにしてもよい。
CPU(Central Processing Unit)４１は、ROM(Read Only Memory)４２に記憶されているプログラム、または、記憶部４８からRAM(Random Access Memory)４３にロードされたプログラムに従って各種の処理を実行する。RAM４３にはまた、CPU４１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU４１、ROM４２、およびRAM４３は、バス４４を介して相互に接続されている。このバス４４にはまた、入出力インタフェース４５も接続されている。
入出力インタフェース４５には、I/Oディスプレイ１、キーボード、マウスなどよりなる入力部４６、スピーカなどよりなる出力部４７、ハードディスクなどより構成される記憶部４８、通信路３を介しての通信を行う通信部４９が接続されている。
入出力インタフェース４５にはまた、必要に応じてドライブ５０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどからなるリムーバブルメディア５１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部４８にインストールされる。
図１８は、情報処理装置３１の機能的な構成例を示すブロック図である。図１８に示す構成の少なくとも一部は、図１７のCPU４１により所定のプログラムが実行されることで実現される。
検出部６１は、I/Oディスプレイ１の画素のうち、撮像動作を行っている画素からの出力を検出し、それぞれの画素に対して外部から光が照射されているか否か、および光の量を検出する。検出部６１による検出結果（画素値）は個眼像生成部６２に出力される。
検出部６１の撮像領域設定部８１は、I/Oディスプレイ１の画素の駆動を制御し、撮像領域を設定する。すなわち、撮像領域設定部８１は、撮像を行わせる画素に対して例えば０Ｖ近傍の電圧を印加し、その画素により撮像領域を形成させる。
個眼像生成部６２は、検出部６１から供給されてくる検出結果に基づいて、各画素の画素値を合成することで個眼像を生成する。個眼像生成部６２により生成された個眼像の画像データは、画像処理部６３に出力される。
画像処理部６３は、個眼像生成部６２から供給されてくる画像データに基づいて、それぞれの個眼像の画像処理を行い、処理を施して得られる画像データをバッファ６４に記憶させる。
例えば、画像処理部６３は、撮像された個眼像をそのまま表示した場合、再現される立体像は、その奥行き、すなわち、凹凸が逆転した像になることから、それを正立像に変換する処理を行う。なお、凹凸が逆転した像になるのは、被写体の右側から撮像した像を、左側から観察者が観察することになるからである。
バッファ６４に所定の数の個眼像の画像データが記憶された場合、圧縮伸張処理部６５は、それらの個眼像の画像データを圧縮し、圧縮して得られるデータを送受信制御部６６に出力する。
それぞれの個眼像は非常に似通ったものであることから、圧縮伸張処理部６５は、例えば、ある位置で取得された基準となる１つの個眼像を中心として、周りの位置で取得された５×５個などの所定の数の個眼像を１つのグループとし、その基準となる個眼像については、JPEG(Joint Photographic Expert Group)方式などで圧縮された１つの画像全体の画像データが送信され、他の２４個の個眼像については、基準となる個眼像との差分のデータのみが送信されるようにして画像データの圧縮を行う。
また、圧縮伸張処理部６５は、I/Oディスプレイ２で撮像された画像データが送受信制御部６６から供給されてきたとき、それを伸張し、伸張して得られる画像データをバッファ６７に記憶させる。バッファ６７に記憶される画像データは、例えば、ユーザ＃２の個眼像のデータである。
送受信制御部６６は、図１７の通信部４９、通信路３を介してI/Oディスプレイ２との間で行われる通信を制御する。送受信制御部６６は、圧縮伸張処理部６５から供給されてきた画像データをI/Oディスプレイ２（I/Oディスプレイ２の情報処理装置３１）に送信するとともに、I/Oディスプレイ２から送信されてきた画像データを圧縮伸張処理部６５に出力する。
表示制御部６８は、バッファ６７に記憶されている、I/Oディスプレイ２により撮像された個眼像の画像データに基づいて表示動作を行っている画素に個眼像を表示させる。表示制御部６８により個眼像が表示される領域は、その個眼像の撮像が行われたI/Oディスプレイ２の領域に対応する位置にある領域である。
表示制御部６８の表示領域設定部９１は、I/Oディスプレイ１の画素の駆動を制御し、表示領域を設定する。すなわち、表示領域設定部９１は、表示を行わせる画素に対して正方向の電圧を印加し、その画素により表示領域を形成させる。
次に、図１９および図２０のフローチャートを参照して、情報処理装置３１の動作について説明する。なお、図１９の撮像処理と、図２０の表示処理は並列的に行われるものである。
始めに、図１９のフローチャートを参照して、情報処理装置３１の撮像処理について説明する。
ステップＳ１において、検出部６１の撮像領域設定部８１は、撮像を動作を行わせるI/Oディスプレイ１の画素に対して例えば０Ｖ近傍の電圧を印加し、撮像領域を設定する。
ステップＳ２において、検出部６１は被写体の撮像を行う。すなわち、I/Oディスプレイ１の画素のうち、撮像動作を行っている画素からの出力を検出し、その画素に対して外部から光が照射されているか否か、および光の量を検出する。検出部６１による検出結果である画素値は個眼像生成部６２に出力される。
ステップＳ３において、個眼像生成部６２は、検出部６１から供給されてくる検出結果に基づいて個眼像を生成する。生成された個眼像の画像データは画像処理部６３に出力される。
ステップＳ４において、画像処理部６３は、個眼像生成部６２から供給されてくる画像データに基づいて、それぞれの個眼像に対して所定の画像処理を行い、処理を施して得られる画像データをバッファ６４に記憶させる。画像処理の詳細については、図３５を参照して説明する。
バッファ６４に所定の数の個眼像の画像データが記憶されたとき、圧縮伸張処理部６５は、ステップＳ５において、それらの個眼像の画像データを圧縮し、圧縮して得られるデータを送受信制御部６６に出力する。上述したように、ここでの圧縮は、基準となる１つの個眼像を中心として５×５個（２５個）などの所定の数の個眼像を１つのグループとし、その基準となる個眼像については、全体の画像データが送信され、他の２４個の個眼像については、基準となる個眼像との差分のデータのみが送信されるようにして画像データの圧縮が行われる。
ステップＳ６において、送受信制御部６６は、図１７の通信部４９を制御し、通信路３を介して、圧縮されたユーザ＃１の個眼像の画像データをI/Oディスプレイ２に送信し、処理を終了させる。
以上の処理が繰り返され、撮像領域を構成する画素が順次切り替えられることで、I/Oディスプレイ１（情報処理装置３１）により、I/Oディスプレイ１上の複数の点を視点としたユーザ＃１の個眼像が得られる。
次に、図２０のフローチャートを参照して、立体像を再現する情報処理装置３１の表示処理について説明する。
ステップＳ１１において、送受信制御部６６は、I/Oディスプレイ２から送信されてきた画像データを受信し、受信した画像データを圧縮伸張処理部６５に出力する。
ステップＳ１２において、圧縮伸張処理部６５は、I/Oディスプレイ２から送信されてきた画像データを伸張し、伸張して得られる画像データをバッファ６７に記憶させる。
表示制御部６８の表示領域設定部９１は、ステップＳ１３において、表示を動作を行わせるI/Oディスプレイ１の画素に対して正方向の電圧を印加し、表示領域を設定する。表示領域は、図１９のステップＳ１で設定される撮像領域と異なる位置に設定される。
表示制御部６８は、バッファ６７に記憶されている画像データに基づいて、表示領域を構成する画素に個眼像を表示させる。表示制御部６８により個眼像が表示される領域は、その個眼像の撮像が行われたI/Oディスプレイ２の領域に対応する位置にある領域である。
以上の処理が繰り返され、表示領域を構成する画素が順次切り替えられることで、I/Oディスプレイ１により、ユーザ＃２の立体像が再現される。
以上の図１９および図２０の処理がI/Oディスプレイ２においても行われることで、I/Oディスプレイ２を利用するユーザ＃２も、ユーザ＃１の立体像をリアルタイムで見ることができ、コミュニケーションをとることができる。
また、撮像と表示が１つのI/Oディスプレイにより行われることから、視線を一致させた状態で、すなわち、ユーザ＃１はI/Oディスプレイ１により再現されるユーザ＃２の目を見ながら、一方、ユーザ＃２はI/Oディスプレイ２により再現されるユーザ＃１の目を見ながら、コミュニケーションをとることができ、遠隔地間でのコミュニケーションにおいて問題視されていた視線の不一致の問題を解消することができる。
なお、視線の不一致の問題を解消させるという観点からすれば、I/Oディスプレイにより再現される相手の像は立体像であることに限られない。
図２１は、本発明を適用した通信システムの構成例を示す図である。構成自体は、図１のシステムと同様である。
すなわち、I/Oディスプレイ１に、I/Oディスプレイ２により撮像されたユーザ＃２の画像（平面像）がリアルタイムで表示されることで、ユーザ＃１は、I/Oディスプレイ１に表示されるユーザ＃２の目を見ながらユーザ＃２とコミュニケーションをとることができる。
また、上述したようにして、表示されるユーザ＃２の目を見ているユーザ＃１の像も、I/Oディスプレイ１により撮像され、それがI/Oディスプレイ２において再現されるから、ユーザ＃２も、I/Oディスプレイ２に表示される、ユーザ＃２の目を見ているユーザ＃１の目を見ながら、ユーザ＃１とコミュニケーションをとることができる。
このように、立体像が再現されるのではなく、単に、一方のI/Oディスプレイにより撮像された被写体の画像が、他方のI/Oディスプレイに表示されることによっても、視線の不一致を解消することができる。
なお、この場合、マイクロレンズアレイは不要となり、I/Oディスプレイに１つのレンズが設けられ、１つの像を得ることができればよい。
なお、以上においては、TFTが各画素に設けられるとしたが、外部からの光を受光することに応じてリーク電流を発生し、かつ、そのオン／オフにより画素の動作を切り替えることができるものであれば、どのようなトランジスタが設けられるようにしてもよい。
また、以上においては、撮像された個眼像を正立の像に変換する処理は、I/Oディスプレイ１で撮像されたものあればI/Oディスプレイ１の情報処理装置３１で、または、I/Oディスプレイ２で撮像されたものあればI/Oディスプレイ２の情報処理装置３１で、すなわち、撮像側の装置で行われるとしたが、この処理は個眼像を受信した表示側の装置で行われるようにしてもよい。
この場合、I/Oディスプレイ１により撮像されたユーザ＃１の個眼像は、倒立した状態のままI/Oディスプレイ２の情報処理装置３１に送信され、I/Oディスプレイ２の情報処理装置３１で正立に変換する処理が行われ、表示されることになる。反対に、I/Oディスプレイ２により撮像されたユーザ＃２の個眼像は、倒立した状態のままI/Oディスプレイ１の情報処理装置３１に送信され、I/Oディスプレイ１の情報処理装置３１で正立に変換する処理が行われ、表示されることになる。
さらに、このようにして撮像側または表示側で行われる画像処理は、倒立の像を正立の像に変換する処理に限られるものではなく、拡大／縮小等の他の処理が行われるようにすることも可能である。
始めに、撮像された個眼像を拡大／縮小することによって得られた個眼像を、立体像を再現させるために用いる場合について説明する。拡大／縮小することによって大きさが調整された個眼像を立体像の再現時に用いることによって、立体像の再現位置を調整することが可能になる。
図２２乃至図２４は、立体像の再現時に１つの表示領域に表示される個眼像の大きさの例を示す図である。
図２２乃至図２４の表示領域にはユーザ＃１の個眼像が表示されているから、この表示領域が形成されているディスプレイはI/Oディスプレイ２である。
図２２の個眼像は、図２３の個眼像よりも大きく、図２４の個眼像よりも小さい像である。マイクロレンズにより撮像領域に結像する被写体の像は、撮像領域（I/Oディスプレイ表面）から被写体までの距離等によって変わってくるが、この図２２の個眼像は、例えば、撮像されたままの像、すなわち、拡大／縮小処理が行われていない像である。
図２３の個眼像は、図２２乃至図２４の個眼像の中で最も小さい像であり、図２２の個眼像を縮小して得られるものである。図２４の個眼像は、図２２乃至図２４の個眼像の中で最も大きい像であり、図２２の個眼像を拡大して得られるものである。
例えば、撮像側のディスプレイであるI/Oディスプレイ１で撮像されたユーザ＃１の個眼像（図２２の大きさの個眼像）は、正立の像に変換され、必要に応じて、さらに、図２３に示すような大きさに調整するように縮小処理が施された後、或いは、図２４に示すような大きさに調整するように拡大処理が施された後、表示側のディスプレイであるI/Oディスプレイ２のそれぞれの表示領域に表示される。
図２５は、図２２の個眼像が表示側のディスプレイであるI/Oディスプレイ２に表示されることによって再現されるユーザ＃１の立体像を示す図である。I/Oディスプレイ１で撮像されたユーザ＃１の個眼像に対して拡大／縮小処理は施されていない。
図１２を参照して説明したように、I/Oディスプレイ２のそれぞれの表示領域に、対応するI/Oディスプレイ１の撮像領域で撮像され、反転された個眼像が表示されることによって、観察者であるユーザ＃２は、I/Oディスプレイ２越しに、ユーザ＃１の立体像が再現されているように観察することができる（図２５の点線で示すユーザ＃１の立体像の位置からユーザ＃２に向かう光線がI/Oディスプレイ２により再現される）。
ここで、図２２の個眼像がそれぞれの表示領域に表示されることによって再現されるユーザ＃１の立体像と、I/Oディスプレイ２の間の距離を図２５に示すように距離Ｌ1とする。
図２６は、図２５に示すように、I/Oディスプレイ２から距離Ｌ1の位置にユーザ＃１の立体像が再現されている場合のI/Oディスプレイ２の表示例（ユーザ＃２の見え方）を示す図である。
図２６に示すように、距離Ｌ1に応じた大きさのユーザ＃１の立体像をユーザ＃２は観察することができる。図２６のユーザ＃１の絵は立体像を表す。また、図２６の像の例えば上下方向の長さは、図２５のユーザ＃１の立体像の上端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点から、立体像の下端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点までの長さに相当するものである。
図２７は、図２３の個眼像（小さい個眼像）がI/Oディスプレイ２に表示されることによって再現されるユーザ＃１の立体像を示す図である。
I/Oディスプレイ２に形成されるそれぞれの表示領域に、対応するI/Oディスプレイ１の撮像領域で撮像され、反転処理と縮小処理が施された個眼像が表示されることによって、観察者であるユーザ＃２は、I/Oディスプレイ２越しに、図２２の個眼像により再現される位置よりも遠い位置にユーザ＃１の立体像が再現されているように観察することができる（図２７の点線で示すユーザ＃１の立体像の位置からユーザ＃２に向かう光線がI/Oディスプレイ２により再現される）。
すなわち、図２３の個眼像がそれぞれの表示領域に表示された場合に再現されるユーザ＃１の立体像とI/Oディスプレイ２の間の距離は、図２７に示すように、図２５の距離Ｌ1より長い距離である距離Ｌ2となる。なお、図２７において、ユーザ＃１の立体像とI/Oディスプレイ２の間に示す点線の円は、個眼像の縮小を行わなければ立体像が再現される本来の位置、すなわち図２５のユーザ＃１の立体像の位置を示す。
図２８は、図２７に示すように、I/Oディスプレイ２から距離Ｌ2の位置にユーザ＃１の立体像が再現されている場合のI/Oディスプレイ２の表示例を示す図である。
この場合、図２６のときより遠くに立体像が再現されているのだから、図２８に示すように、図２６の立体像より小さい立体像をユーザ＃２は観察することができる。図２８のユーザ＃１の絵も立体像を表す。また、図２８の像の上下方向の長さは、図２７のユーザ＃１の立体像の上端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点から、立体像の下端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点までの長さに相当するものである。
図２９は、図２４の個眼像（大きい個眼像）がI/Oディスプレイ２に表示されることによって再現されるユーザ＃１の立体像を示す図である。
I/Oディスプレイ２に形成されるそれぞれの表示領域に、対応するI/Oディスプレイ１の撮像領域で撮像され、反転処理と拡大処理が施された個眼像が表示されることによって、観察者であるユーザ＃２は、I/Oディスプレイ２越しに、図２２の個眼像により再現される位置よりも近い位置にユーザ＃１の立体像が再現されているように観察することができる（図２９の点線で示すユーザ＃１の立体像の位置からユーザ＃２に向かう光線がI/Oディスプレイ２により再現される）。
すなわち、図２４の個眼像がそれぞれの表示領域に表示された場合に再現されるユーザ＃１の立体像とI/Oディスプレイ２の間の距離は、図２５の距離Ｌ1より短い距離である距離Ｌ3となる。なお、図２９において、ユーザ＃１の立体像から、さらにI/Oディスプレイ２から離れた位置に示す点線の円は、個眼像の拡大を行わなければ再現される本来の位置、すなわち図２５のユーザ＃１の立体像の位置を示す。
図３０は、図２９に示すように、I/Oディスプレイ２から距離Ｌ3の位置にユーザ＃１の立体像が再現されている場合のI/Oディスプレイ２の表示例を示す図である。
この場合、図２６のときより近くに立体像が再現されているのだから、図３０に示すように、図２６の立体像より大きい立体像をユーザ＃２は観察することができる。図３０のユーザ＃１の絵も立体像を表す。また、図３０の像の上下方向の長さは、図２９のユーザ＃１の立体像の上端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点から、立体像の下端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点までの長さに相当するものである。
以上のように、表示領域に表示される個眼像の大きさを調整することによって、立体像の再現位置を調整することができる。
この立体像の再現位置を調整することは、例えば、立体像を再現するI/Oディスプレイが小さい場合などに用いられる。
上述したように、例えば、図２５に示すように距離Ｌ1だけI/Oディスプレイ２から離れた位置に再現されるユーザ＃１の立体像（顔付近）全体をユーザ＃２が見るためには、ユーザ＃２が位置を変えないとすると、I/Oディスプレイ２の縦方向の長さは、少なくとも、ユーザ＃１の立体像の上端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点から、立体像の下端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点までの長さだけ確保する必要がある。
また、I/Oディスプレイ２の横方向の長さは、少なくとも、ユーザ＃１の立体像の左端（ユーザ＃２から見たユーザ＃１の立体像の左端）からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点から、立体像の右端からユーザ＃２の目に向かう直線がI/Oディスプレイ２と交わる点までの長さだけ確保する必要がある。
このことから、ユーザ＃１の立体像を再現するI/Oディスプレイが、図３１に示すように最低限確保する必要のある範囲より小さい表示範囲しかないI/Oディスプレイ１０１である場合、個眼像の縮小処理が行われないとすると、このI/Oディスプレイ１０１を利用するユーザ＃２は、再現されるユーザ＃１の立体像の全体を見ることができないことになる。すなわち、相手の目を見ながらコミュニケーションをとるということが困難になることがある。
図３１において、点線の直線はI/Oディスプレイ２の大きさを示す。また、ユーザ＃１の立体像のうち、実線で示す範囲はI/Oディスプレイ１０１を用いてユーザ＃２が見ることのできる範囲を表し、点線で示す範囲はユーザ＃２が見ることのできない範囲を表す。I/Oディスプレイ１０１は、I/Oディスプレイ１および２と同様の構成を有するディスプレイであり、これを利用するユーザ＃２の個眼像を撮像し、I/Oディスプレイ１に送信することができるとともに、I/Oディスプレイ１から送信されてきたデータに基づいてユーザ＃１の立体像を再現することができるものである。
従って、このように、観察者であるユーザ＃２が、再現されるユーザ＃１の立体像の顔付近の全体を見ることができない場合、ユーザ＃２がその全体を見ることができる位置になるように、立体像の再現位置が、図２７を参照して説明したようにしてI/Oディスプレイ１０１から離れるように調整される。
図３２は、ユーザ＃１の立体像の再現位置が、I/Oディスプレイ１０１から離れた位置になるように調整された場合のI/Oディスプレイ１０１の表示例を示す図である。図３２において、図３１に点線で示していたI/Oディスプレイ２は省略している。
このように、図２４で示す個眼像がI/Oディスプレイ１０１のそれぞれの表示領域に表示されることによって、表示できる個眼像の数が減るため、立体像の解像度が下がり、また、見ることのできる角度も制限されるものの、図２８の立体像と同じ、I/Oディスプレイ１０１でもユーザ＃２がその全体を見ることのできる大きさの立体像が再現されることになる。従って、ユーザ＃２は、ユーザ＃１の顔全体を見ながら、ユーザ＃１とコミュニケーションをとることができる。
一方、I/Oディスプレイ２より小さいI/Oディスプレイ１０１であっても、ユーザ＃２の個眼像を取得させ、それをI/Oディスプレイ１の情報処理装置３１に送信させることが可能であり、これにより、ユーザ＃１は、I/Oディスプレイ１により再現されるユーザ＃２の立体像を見ることができる。
なお、個眼像を拡大させて、立体像の再現位置を観察者寄りに移動させることは、例えば、ディスプレイの大きさに対して、観察者が見ることができる立体像が小さい場合、それを大きくさせるためなどに用いられるようにしてもよい。また、撮像時には、それぞれのマイクロレンズの位置から、すなわち複数の視点から撮像が行われるから、撮像されたそれぞれの個眼像に基づいて撮像側のI/Oディスプレイから被写体までの距離が測定され、その距離の情報にも基づいて立体像の再現位置が調整されるようにしてもよい。
ここで、立体像の再現位置を調整できることの原理について図３３を参照して説明する。
図３３においては、説明の便宜上、表示領域は１つのマイクロレンズに対して十分広いものとする。また、個眼像と、再現される立体像を三角形で示す。
色が付された三角形である三角形＃１および＃２は、反転処理のみが施された個眼像を表し、三角形＃３は、三角形＃１および＃２により再現される（再現されているように観察者が見える）立体像を表す。三角形＃１および＃２は同じ大きさである。
斜線が付された三角形である三角形＃１１および＃１２は、反転処理に加えてさらに縮小処理（５０％に縮小）も施された個眼像を表し、三角形＃１３は、三角形＃１１および＃１２により再現される立体像を表す。三角形＃１１および＃１２は同じ大きさである。
図３３では、レンズアレイ面からI/Oディスプレイ２の表示面（画素面）までの距離はｆで表され、マイクロレンズ＃２１，＃２２を介して、観察者であるユーザ＃２の目に届く光線を考えるものとする。また、マイクロレンズ＃２１と＃２２の距離はＢである。
三角形＃１の底辺をマイクロレンズ＃２１の光軸上、三角形＃２の底辺をマイクロレンズ＃２２の光軸からＤ２だけ離れた位置とし、それぞれの三角形の高さをＤ１とすると、これらの三角形＃１および＃２がI/Oディスプレイ２に表示されることによってマイクロレンズ＃２１および＃２２をそれぞれ介してユーザ＃２の目に届く光線は、仮想的に、レンズアレイ面から距離Ｌ１だけ離れた位置にある三角形＃３から出る光線と同じものになる。
従って、ユーザ＃２は、仮想的に、レンズアレイ面から距離Ｌ１だけ離れた位置にある三角形＃３を見ることができる。この三角形＃３の高さは、マイクロレンズ＃２１の光軸を基準としてＡである。
一方、三角形＃１を縮小して得られる三角形＃１１の底辺をマイクロレンズ＃２１の光軸上、三角形＃２を縮小して得られる三角形＃１２の底辺をマイクロレンズ＃２２の光軸からＤ２ａだけ離れた位置とし、それぞれの三角形の高さをＤ１ａとすると、これらの三角形＃１１および＃１２がI/Oディスプレイ２に表示されることによってマイクロレンズ＃２１および＃２２をそれぞれ介してユーザ＃２の目に届く光線は、仮想的に、レンズアレイ面から距離Ｌ１ａ（Ｌ１ａ＞Ｌ１）だけ離れた位置にある三角形＃１３から出る光線と同じものになる。例えば、三角形＃１１が表示されることによって、三角形＃１３の点Ｐ11からユーザ＃２の目に届く光線が、三角形＃１１の点Ｐ1から届く光線により再現されることになる。この距離Ｌ１ａは、三角形＃１３の高さとして三角形＃３と同じ高さＡを確保する場合に定まる距離である。
これにより、ユーザ＃２は、仮想的に、レンズアレイ面から距離Ｌ１ａだけ離れた位置にある三角形＃１３を見ることができる。
以上より、下式（１）、（２）が成り立つ。
Figure 0004103848
Figure 0004103848
式（１）、（２）より下式（３）が成り立つ。
Figure 0004103848
また、下式（４）、（５）が成り立つ。
Figure 0004103848
Figure 0004103848
式（４）、（５）より下式（６）が成り立つ。
Figure 0004103848
以上より、どの個眼像においても、各マイクロレンズの光軸を中心として拡大／縮小させることによって、立体像の再現位置を変更することができることがわかる。
なお、I/Oディスプレイ２から離れた位置に再現されるように見える像である程、奥行きが感じられる像になる。図３３においては、三角形＃３の底辺の長さより、三角形＃１３の底辺の長さの方が長い。
次に、以上のような画像処理を行う画像処理部６３（図１８）の構成について説明する。
図３４は、画像処理部６３の構成例を示すブロック図である。
画像処理部６３は、反転処理部１１１と拡大／縮小処理部１１２から構成される。このうちの反転処理部１１１は、個眼像生成部６２から供給されてきた個眼像に対してマイクロレンズの光軸を中心とした反転処理を施し、得られた個眼像を拡大／縮小処理部１１２に出力する。
拡大／縮小処理部１１２は、反転処理部１１１から供給されてきた個眼像を、外部から入力される制御信号に従って拡大／縮小し、得られた個眼像をバッファ６４に記憶させる。拡大／縮小処理部１１２に対して入力される制御信号は、例えば、被写体との距離、立体像を再現する表示側のI/Oディスプレイの大きさ等に基づいて、どの大きさの個眼像とするかを決定する図示せぬ機能部から供給されてくるものである。
バッファ６４に記憶された個眼像は、図１８の圧縮伸張処理部６５により圧縮された後、他のI/Oディスプレイを制御する情報処理装置に送信される。すなわち、図３４は、撮像側のI/Oディスプレイを制御する情報処理装置３１において、個眼像の反転処理および拡大／縮小処理が行われる場合の例を示している。
次に、図３５のフローチャートを参照して、図１９のステップＳ４において行われる画像処理について説明する。
個眼像生成部６２により個眼像が生成された後、ステップＳ２１において、画像処理部６３の反転処理部１１１は、個眼像生成部６２から供給されてきた個眼像に対して、それぞれの個眼像を表示領域に結像させたマイクロレンズの光軸を中心に反転処理を施し、得られた個眼像を拡大／縮小処理部１１２に出力する。
拡大／縮小処理部１１２は、ステップＳ２２において、反転処理部１１１から供給されてきた個眼像を、外部から入力される制御信号に従って拡大／縮小し、得られた個眼像をバッファ６４に記憶させる。その後、処理は図１９のステップＳ４に戻り、それ以降の処理が行われる。
以上においては、図３４に示す構成は、撮像側の情報処理装置３１に設けられ、図３５に示す処理が行われるとしたが、画像処理が表示の際に行われる場合、その情報処理装置３１の構成は図３６に示すものとなる。
図３６においては、図１８と同じ構成に同じ符号を付してある。図３６に示すように、画像処理が表示の際に行われる場合、図１８では個眼像生成部６２とバッファ６４の間に設けられていた画像処理部６３が、圧縮伸張処理部６５とバッファ６７の間に設けられている。
この画像処理部６３は、図３４に示す構成と同様の構成を有しており、圧縮伸張処理部６５により伸張され、供給されてきた個眼像に対して反転処理と拡大／縮小処理を施し、得られた個眼像をバッファ６７に記憶させる。
このような構成により、個眼像の表示の際に、個眼像の受信側の情報処理装置３１により画像処理が行われるようにすることが可能になる。
また、以上においては、反転処理の他に行われる画像処理が拡大／縮小処理である場合について説明したが、個眼像自体の形を変形させることにより、或いは、個眼像の表示位置を移動させることにより、観察者であるユーザに、それらの処理を行わないときとは異なる見え方のする立体像を提供することができる。
図３７は、立体像の再現位置を移動させることのできる原理について示す図である。
図３７において、図３３に対応する部分には同じ符号を付してある。すなわち、色が付された三角形である三角形＃１は反転処理のみが施された個眼像を表し、三角形＃２は、反転処理に加えてさらに変形処理も施された個眼像を表す。三角形＃３は三角形＃１および＃２により再現される（再現されているように観察者が見える）立体像を表す。
斜線が付された三角形である三角形＃１１および＃１２は、反転処理に加えてさらに、変形処理も施された個眼像を表し、三角形＃１３は三角形＃１１および＃１２により再現される立体像を表す。
この場合、図３７に示すように、所定の変形処理を施した三角形＃１１と＃１２を、それぞれ三角形＃１と＃２の位置より上の位置に表示することにより、マイクロレンズ＃２１および＃２２をそれぞれ介してユーザ＃２の目に届く光線は、仮想的に、本来の再現位置から距離Ｍだけ上に移動した位置にある三角形＃１３から出る光線と同じものになる。例えば、三角形＃１１が表示されることによって、三角形＃１３の点Ｐ11からユーザ＃２の目に届く光線が、三角形＃１１の点Ｐ1から届く光線により再現されることになる。従って、ユーザ＃２は、仮想的に、この再現位置が移動された三角形＃１３を見ることができる。
なお、再現位置を移動させる前の三角形＃３の高さと、移動した後の三角形＃１３の高さはともにＡである。このような立体像の再現は、再現しようとする立体像の位置、大きさ、形状を想定し、変形しない個眼像を表示させた場合に再現される立体像（本来の立体像）と較べて、立体像自体の大きさや形を変えることなく、その位置に立体像を再現するためにはそれぞれの個眼像をどのように変形し、それらをどの画素により表示すればよいかが演算により求められることによって実現される。
図３８は、本来の立体像の再現位置と同じ位置に、拡大させた立体像を再現させる場合の原理について示す図である。
図３８において、図３３に対応する部分には同じ符号を付してある。すなわち、色が付された三角形＃１および＃２は反転処理のみが施された個眼像を表し、三角形＃３は三角形＃１および＃２により再現される（再現されているように観察者が見える）立体像を表す。三角形＃１および＃２は同じ大きさである。
斜線が付された三角形＃１１および＃１２は、反転処理に加えてさらに、変形処理も施された個眼像を表し、三角形＃１３は三角形＃１１および＃１２により再現される立体像を表す。この例においては、三角形＃１１は、三角形＃１の底辺の長さと高さのいずれもが長くなるように変形されたものであり、三角形＃１２は、三角形＃２の底辺の長さはほぼそのままに、高さが長くなるように変形されたものである。
図３８においても、レンズアレイ面からI/Oディスプレイ２の表示面までの距離はｆで表され、マイクロレンズ＃２１，＃２２を介して、観察者であるユーザ＃２の目に届く光線を考えるものとする。
図３８に示すように、三角形＃１１と＃１２を表示することにより、マイクロレンズ＃２１および＃２２をそれぞれ介してユーザ＃２の目に届く光線は、仮想的に、本来再現される立体像である三角形＃３を拡大させたものとほぼ等しい、三角形＃１３から出る光線と同じものになる。例えば、三角形＃１１が表示されることによって、三角形＃１３の点Ｐ11からユーザ＃２の目に届く光線が、三角形＃１１の点Ｐ1から届く光線により再現されることになる。従って、ユーザ＃２は、仮想的に、この拡大された三角形＃１３を見ることができる。
同様に、所定の変形処理を施すことによって得られた個眼像を表示することにより、本来再現される立体像である三角形＃３を縮小させた三角形をユーザ＃２に提示することも可能である。
このように、それぞれの個眼像に変形処理等も施すことにより、観察者であるユーザに対して、本来の再現位置とは異なる位置に再現された立体像を提示することができ（図３７）、また、本来の再現位置と同じ位置に、拡大または縮小された立体像を提示することもできる（図３８）。
これらの画像処理も、撮像側または表示側のいずれかの情報処理装置において行われる。当然、複数の画像処理のうちの一部の処理は撮像側で、残りの処理は表示側でそれぞれ処理が行われるようにすることも可能である。
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図１７に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４２や、記憶部４８に含まれるハードディスクなどで構成される。
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明を適用したIP立体画像システムの構成例を示す図である。 図１のI/Oディスプレイの平面図である。 図１のI/Oディスプレイの断面図である。 図３の隔壁により囲まれる１つの領域を示す図である。 I/Oディスプレイを構成する１画素の回路構成の例を示す図である。 I/Oディスプレイを構成する１画素の回路構成の例を示す図である。 TFTのドレイン電流の値の測定例を示す図である。 I/Oディスプレイを構成する１画素の他の回路構成の例を示す図である。 I/Oディスプレイを構成する１画素の他の回路構成の例を示す図である。 図８および図９の画素において検出される電流の測定値の例を示す図である。 図１０の０Ｖ近傍を拡大して示す図である。 立体像の再現を模式的に示す図である。 個眼像の撮像位置と表示位置について示す図である。 立体像が得られる原理について示す図である。 立体像が得られる原理について示す他の図である。 表示領域と撮像領域の移動の例について示す図である。 情報処理装置の構成例を示すブロック図である。 情報処理装置の機能的な構成例を示すブロック図である。 情報処理装置の撮像処理について説明するフローチャートである。 情報処理装置の表示処理について説明するフローチャートである。 本発明を適用した通信システムの構成例を示すブロック図である。 表示領域に表示される個眼像の例を示す図である。 表示領域に表示される個眼像の他の例を示す図である。 表示領域に表示される個眼像のさらに他の例を示す図である。 図２２の個眼像が表示されることによって再現される立体像の例を示す図である。 立体像の見え方の例を示す図である。 図２３の個眼像が表示されることによって再現される立体像の例を示す図である。 立体像の見え方の他の例を示す図である。 図２４の個眼像が表示されることによって再現される立体像の例を示す図である。 立体像の見え方のさらに他の例を示す図である。 I/Oディスプレイが小さい場合の立体像の見え方の例を示す図である。 I/Oディスプレイが小さい場合の立体像の他の見え方の例を示す図である。 立体像の再現位置を調整できることの原理について示す図である。 図１８の画像処理部の構成例を示すブロック図である。 図１９のステップＳ４において行われる画像処理について説明するフローチャートである。 情報処理装置の他の機能的な構成例を示すブロック図である。 立体像の再現例の原理について示す図である。 立体像の再現例の原理について示す他の図である。
符号の説明
１，２ I/Oディスプレイ， ３ 通信路， １１ TFT， ２１ EL素子， ６１ 検出部， ６２ 個眼像生成部， ６３ 画像処理部， ６４ バッファ， ６５ 圧縮伸張処理部， ６６ 送受信制御部， ６７ バッファ， ６８ 表示制御部， ８１ 撮像領域設定部， ９１ 表示領域設定部， １１１ 反転処理部， １１２ 拡大／縮小処理部

Claims (22)

  1. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置において、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得手段と、
    前記取得手段により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信手段と、
    前記他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信手段と、
    前記受信手段により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御手段と
    を備えることを特徴とする情報処理装置。
  2. 前記取得手段は、複数の前記撮像領域を構成する画素からの出力に基づいて複数の前記被写体の像のデータを取得する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記表示制御手段は、前記受信手段により受信された複数の前記他の被写体の像のデータに基づいて、複数の前記他の被写体の像のそれぞれを複数の前記表示領域に表示させる
    ことを特徴とする請求項１に記載の情報処理装置。
  4. 前記撮像領域と前記表示領域は、前記表示装置の異なる位置に、それぞれの位置が順次移動するように形成される
    ことを特徴とする請求項１に記載の情報処理装置。
  5. 前記取得手段により取得された前記被写体の像を正立の像に変換する変換手段をさらに備え、
    前記送信手段は、前記変換手段により変換された正立の前記被写体の像のデータを前記他の情報処理装置に送信する
    ことを特徴とする請求項１に記載の情報処理装置。
  6. 前記変換手段により正立の像に変換された前記被写体の像を拡大または縮小する拡大縮小処理手段をさらに備える
    ことを特徴とする請求項５に記載の情報処理装置。
  7. 前記受信手段によりデータが受信された前記他の被写体の像を正立の像に変換する変換手段をさらに備え、
    前記表示制御手段は、前記変換手段により変換された正立の前記他の被写体の像を前記表示領域に表示させる
    ことを特徴とする請求項１に記載の情報処理装置。
  8. 前記変換手段により正立の像に変換された前記被写体の像を拡大または縮小する拡大縮小処理手段をさらに備える
    ことを特徴とする請求項７に記載の情報処理装置。
  9. 前記取得手段により取得された前記被写体の第１の像のデータを、前記被写体の第１の像と、基準となる前記被写体の第２の像との差を用いて圧縮する圧縮手段をさらに備え、
    前記送信手段は、前記圧縮手段により圧縮された前記被写体の第１の像のデータを、前記被写体の第２の像のデータとともに前記他の情報処理装置に送信する
    ことを特徴とする請求項１に記載の情報処理装置。
  10. 基準となる前記他の被写体の第１の像のデータと、前記他の被写体の第１の像との差で表される前記他の被写体の第２の像のデータが前記受信手段により受信された場合、前記他の被写体の第２の像のデータを、前記他の被写体の第１の像のデータと、前記他の被写体の第１と第２の像の差に基づいて生成する生成手段をさらに備える
    ことを特徴とする請求項１に記載の情報処理装置。
  11. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置の情報処理方法において、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得ステップと、
    前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信ステップと、
    前記他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信ステップと、
    前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御ステップと
    を含むことを特徴とする情報処理方法。
  12. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、
    前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップと、
    前記他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、
    前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前
    記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御ステップと
    を含むことを特徴とするプログラムが記録されている記録媒体。
  13. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムにおいて、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、
    前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップと、
    前記他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、
    前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御ステップと
    を含むことを特徴とするプログラム。
  14. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置において、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得手段と、
    前記取得手段により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信手段と
    を備えることを特徴とする情報処理装置。
  15. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置の情報処理方法において、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する取得ステップと、
    前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信する送信ステップと
    を含むことを特徴とする情報処理方法。
  16. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、
    前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップと
    を含むことを特徴とするプログラムが記録されている記録媒体。
  17. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムにおいて、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得させる取得ステップと、
    前記取得ステップの処理により取得された前記被写体の像のデータを、前記表示装置と同じ構成を有する他の表示装置を制御する他の情報処理装置に送信させる送信ステップと
    を含むことを特徴とするプログラム。
  18. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置において、
    前記表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信手段と、
    前記受信手段により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御手段と
    を備えることを特徴とする情報処理装置。
  19. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する情報処理装置の情報処理方法において、
    前記表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信する受信ステップと、
    前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御ステップと
    を含むことを特徴とする情報処理方法。
  20. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
    前記表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、
    前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像した前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御ステップと
    を含むことを特徴とするプログラムが記録されている記録媒体。
  21. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置を制御する処理をコンピュータに実行させるプログラムにおいて、
    前記表示装置と同じ構成を有する他の表示装置を制御する装置であって、マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を、前記撮像領域を構成する画素からの出力に基づいて取得する他の情報処理装置から送信されてくる、他の被写体の像のデータを受信させる受信ステップと、
    前記受信ステップの処理により受信された前記他の被写体の像のデータに基づいて、前記他の被写体の像が結像する前記他の表示装置の位置に対応する前記表示装置の位置に形成される、表示動作を行う複数の画素からなる表示領域に前記他の被写体の像を表示させる表示制御ステップと
    を含むことを特徴とするプログラム。
  22. 印加される電圧に応じて表示動作と撮像動作の切り替えが可能な画素からなり、複数の画素からなるそれぞれの領域に割り当てられたマイクロレンズから構成されるレンズアレイが表面に設けられる表示装置であって、
    前記マイクロレンズによって集光され、撮像動作を行う複数の画素からなる撮像領域に結像した被写体の像を表す信号を情報処理装置に出力し、
    前記情報処理装置による制御に従って、表示動作を行う複数の画素からなる表示領域に所定の画像を表示する
    ことを特徴とする表示装置。
JP2004153017A 2004-03-19 2004-05-24 情報処理装置および方法、記録媒体、プログラム、並びに表示装置 Expired - Fee Related JP4103848B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004153017A JP4103848B2 (ja) 2004-03-19 2004-05-24 情報処理装置および方法、記録媒体、プログラム、並びに表示装置
US11/074,200 US7705886B2 (en) 2004-03-19 2005-03-08 Information processing apparatus and method, recording medium, program, and display device
TW094107378A TWI271099B (en) 2004-03-19 2005-03-10 Information processing equipment, its method and recording medium, program and display device
CN2005100837197A CN1717065B (zh) 2004-03-19 2005-03-18 信息处理设备和方法以及显示装置
KR1020050022654A KR101197692B1 (ko) 2004-03-19 2005-03-18 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004080031 2004-03-19
JP2004153017A JP4103848B2 (ja) 2004-03-19 2004-05-24 情報処理装置および方法、記録媒体、プログラム、並びに表示装置

Publications (2)

Publication Number Publication Date
JP2005303966A JP2005303966A (ja) 2005-10-27
JP4103848B2 true JP4103848B2 (ja) 2008-06-18

Family

ID=35060507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004153017A Expired - Fee Related JP4103848B2 (ja) 2004-03-19 2004-05-24 情報処理装置および方法、記録媒体、プログラム、並びに表示装置

Country Status (5)

Country Link
US (1) US7705886B2 (ja)
JP (1) JP4103848B2 (ja)
KR (1) KR101197692B1 (ja)
CN (1) CN1717065B (ja)
TW (1) TWI271099B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820187B2 (ja) * 2006-03-02 2011-11-24 日本放送協会 立体画像撮像表示システム、立体画像撮像装置および立体画像生成装置
JP2016001326A (ja) * 2010-06-16 2016-01-07 株式会社ニコン 画像表示装置
JP6149339B2 (ja) 2010-06-16 2017-06-21 株式会社ニコン 表示装置
US9124881B2 (en) * 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images
CN103188512B (zh) * 2011-12-28 2015-05-27 华晶科技股份有限公司 三维影像产生装置
JP6031260B2 (ja) * 2012-05-31 2016-11-24 日本放送協会 画像符号化装置および画像復号装置
JP5774550B2 (ja) * 2012-06-27 2015-09-09 日立マクセル株式会社 ピンホールアレイ並びにそれを用いた表示装置
CN104685423B (zh) 2012-10-23 2017-07-28 李阳 动态立体与全息显示器
US8947563B2 (en) 2013-03-15 2015-02-03 Hewlett-Packard Development Company, L.P. Reducing crosstalk
JP6313569B2 (ja) * 2013-11-07 2018-04-18 日本放送協会 立体映像生成装置、そのプログラム及び立体映像表示装置
CN104599649A (zh) * 2014-12-30 2015-05-06 西安乾易企业管理咨询有限公司 一种液晶屏
JP6907616B2 (ja) * 2017-03-14 2021-07-21 株式会社リコー 立体画像の撮像・表示兼用装置及びヘッドマウント装置
JP7307031B2 (ja) * 2020-05-29 2023-07-11 株式会社日立エルジーデータストレージ 虚像投射装置
WO2023052914A1 (ja) * 2021-09-30 2023-04-06 株式会社半導体エネルギー研究所 表示装置、電子機器、及び発光装置の動作方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712210B2 (ja) * 1982-06-02 1995-02-08 株式会社日立製作所 撮像表示装置
JP2761829B2 (ja) 1992-11-25 1998-06-04 株式会社日鉄エレックス 三次元立体像表示装置
US5519205A (en) * 1992-09-30 1996-05-21 Lsi Logic Corporation Color electronic camera including photosensor array having binary diffractive lens elements
JP3194258B2 (ja) 1992-11-12 2001-07-30 日本電気株式会社 画像の符号化方式
JP3653790B2 (ja) 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
GB9600804D0 (en) * 1996-01-17 1996-03-20 Robb Garry D Multiphone
US5696371A (en) * 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
JP4135040B2 (ja) 1997-12-10 2008-08-20 ソニー株式会社 撮像装置、表示装置、撮像／表示装置およびそれらを使用した３次元画像表示システム
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
GB9806945D0 (en) * 1998-03-31 1998-06-03 British Telecomm Signalling
US6148149A (en) * 1998-05-26 2000-11-14 Microsoft Corporation Automatic image rotation in digital cameras
JP3668651B2 (ja) * 1999-10-01 2005-07-06 ローム株式会社 不揮発性メモリを用いた光−電気変換装置、およびこれを利用した画像装置
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
GB2357650A (en) * 1999-12-23 2001-06-27 Mitsubishi Electric Inf Tech Method for tracking an area of interest in a video image, and for transmitting said area
JP2002094955A (ja) * 2000-02-22 2002-03-29 Philips Japan Ltd 画像表示撮像装置
JP2002218505A (ja) 2001-01-17 2002-08-02 Fuji Xerox Co Ltd ３次元画像撮像装置
US20060256436A1 (en) * 2002-01-23 2006-11-16 The University Of Connecticut Integral three-dimensional imaging with digital reconstruction
US7196728B2 (en) * 2002-03-27 2007-03-27 Ericsson, Inc. Method and apparatus for displaying images in combination with taking images
JP4178089B2 (ja) 2003-09-18 2008-11-12 富士フイルム株式会社 撮像表示装置
JP4616559B2 (ja) 2004-01-15 2011-01-19 大日本印刷株式会社 表示装置及び表示システム

Also Published As

Publication number Publication date
US20050226319A1 (en) 2005-10-13
CN1717065B (zh) 2011-06-15
US7705886B2 (en) 2010-04-27
JP2005303966A (ja) 2005-10-27
TWI271099B (en) 2007-01-11
TW200618611A (en) 2006-06-01
KR101197692B1 (ko) 2012-11-05
CN1717065A (zh) 2006-01-04
KR20060044400A (ko) 2006-05-16

Similar Documents

Publication Publication Date Title
KR101197692B1 (ko) 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치
CN104246578B (zh) 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
JP4616559B2 (ja) 表示装置及び表示システム
TWI786150B (zh) 電子顯示器及其控制方法
JP3846572B2 (ja) 固体撮像装置
US8373617B2 (en) Barrier device and stereoscopic image display using the same
JP4538766B2 (ja) 撮像装置、表示装置および画像処理装置
US20150281678A1 (en) Image generating device, 3d image display system having the same and control methods thereof
US20140085190A1 (en) Display, Imaging System and Controller for Eyewear Display Device
US20100238184A1 (en) Method and apparatus for three-dimensional visualization in mobile devices
CN105474273A (zh) 后期重投影
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
JP2006333493A (ja) 固体撮像装置及びその制御方法
CN105227828B (zh) 拍摄装置和方法
US20150145904A1 (en) Image display method and display system
US8125555B2 (en) Image display device
JP2007108626A (ja) 立体映像生成システム
JP2013186254A (ja) 映像提示装置および映像提示プログラム
KR100928332B1 (ko) 동적 핀홀 어레이를 이용한 입체 영상 시스템 및 그 영상표시 방법
JP2007208819A (ja) 撮像表示装置
JP2002027419A (ja) 画像端末装置及びそれを用いる通信システム
KR100761075B1 (ko) 3ｄ용 카메라를 구비하는 액정표시장치
US20130082921A1 (en) Barrier panel, and 3d image display device and method using the same
JPH05191838A (ja) 三次元情報記録再生装置
WO2023136072A1 (ja) キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070725

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080317

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees