JP5434624B2 - 撮像装置付き画像表示装置 - Google Patents

Description

本発明は、撮像装置付き画像表示装置に関し、より具体的には、画像表示部の背面側に撮像装置が配置された画像表示装置に関する。

近年、フラットパネル表示装置（ＦＰ表示装置）として、有機エレクトロルミネッセンス表示装置（以下、単に、『有機ＥＬ表示装置』と略称する場合がある）に関心が高まっている。現在、ＦＰ表示装置として液晶表示装置（ＬＣＤ）が主流を占めているが、自発光デバイスではなく、バックライトや偏光板等の部材を必要とする。それ故、ＦＰ表示装置の厚さが増す、輝度が不足するなどの問題点がある。一方、有機ＥＬ表示装置は自発光デバイスであり、バックライト等の部材が原理的に不要であり、薄型化、高輝度であるなど、ＬＣＤと比較して多数の利点を有する。特に、各画素にスイッチング素子を配したアクティブマトリクス型有機ＥＬ表示装置は、各画素をホールド点灯させることで消費電流を低く抑えることができ、しかも、大画面化及び高精細化が比較的容易に行えることから、各社で開発が進められており、次世代ＦＰ表示装置の主流になると期待されている。

近年、所謂３次元画像表示装置の開発も進められている。３次元画像表示方式は、眼鏡等の付属機器を利用した方式と付属機器を利用しない裸眼３次元画像表示方式とに大別される。そして、裸眼３次元画像表示方式として、視差バリアを用いて観測者の左右の目に視差画像を見せて観測者に３次元画像を知覚させる視差バリア方式と、画像表示装置の画像表示面にカマボコ型のレンズ（レンチキュラーレンズ）を取り付けて３次元画像表示を行うレンチキュラー方式の２つの方式を挙げることができる。

また、近年では、画像表示装置と撮像装置を少なくとも２組用いて、通信回線やネットワークを介してこれらを接続することで、遠隔地間で互いの顔を見ながら会話するテレビジョン電話会議システム（テレビ電話装置）が普及し始めている。そして、ウェブカメラと呼ばれる低価格の撮像装置とパーソナルコンピュータ及びソフトウェアを用いることで、ＴＶ電話機能を簡単に実現できるようになってきている。

特開平２−０４４９９５

視差バリア方式、レンチキュラー方式の両方式共、所謂両眼視差を利用した３次元画像表示方式であり、画像表示面からの距離等に応じて観察者が３次元画像を観測できる範囲（空間）が限定される。これを解決する技術として、例えば、特開平２−０４４９９５には、３次元画像表示装置の光指向制御方法が開示されている。この特許公開公報に開示された技術にあっては、３次元画像表示装置の外部に設置したカメラによって観察者の両眼の位置を検出して、３次元画像表示装置の前面に位置するレンチキュラーレンズを水平方向に移動させることで、立体視領域を拡大している。しかしながら、このような方法では、観察者がカメラを意識してしまうため、３次元画像表示装置よりもカメラに視線が向くことが多く、観察者は３次元画像が見づらい。また、レンチキュラーレンズの移動量を、画像表示装置における画素ピッチと同程度に正確に制御することは難しい。

また、上述したＴＶ電話システムでは、一方の側の使用者の顔を撮像装置で撮影し、得られた画像を他方の側の画像表示装置に表示し、他方の側の使用者の顔を撮像装置で撮影し、得られた画像を一方の側の画像表示装置に表示して会話を行う。そして、どちら側においても、使用者は、自分の画像表示装置に表示された相手の顔を見ながら会話するため、視線及び顔は自分の画像表示装置に向く。従来のＴＶ電話システムでは撮像装置は画像表示装置の表示領域外に置かれているため、視線は撮像装置に向いていない。それ故、画像表示装置に映し出される相手側の使用者の顔は、自分の方を見ていないことになり、かなりの違和感を覚える。この相手を直視していない違和感が、ＴＶ電話の普及を遅らせている要因の１つとなっている。

従って、本発明の目的は、観察者が３次元画像を容易に、違和感無く観察できることを可能とする撮像装置付き画像表示装置を提供することにある。

上記の目的を達成するための本発明の撮像装置付き画像表示装置は、
発光素子を含む画素を複数配置して成り、３次元画像を表示する画像表示部、
画像表示部に設けられた光透過領域、
画像表示部の背面側に配置された撮像装置、
光透過領域を通過した光を撮像装置に集光する集光手段、並びに、
撮像装置を介して取得された画像データに基づき、観察者の位置情報を求める位置検出手段、
を有する。

本発明の撮像装置付き画像表示装置にあっては、光透過領域を通過した光が集光手段によって撮像装置に集光され、撮像装置を介して取得された画像データに基づき位置検出手段によって観察者の位置情報が求められる。従って、観察者が３次元画像を容易に、違和感無く観察できるように、最適な３次元画像観察位置を観察者に指示し、あるいは又、最適な３次元画像観察位置に観察者を誘導し、あるいは観察者の位置に応じて最適な３次元画像を提供することが可能となる。しかも、画像表示部の背面側に撮像装置が配置されているので、画像表示部に正対している使用者の顔、目、動作等を撮像装置によって正確に撮像することができるし、観察者が撮像装置を意識することもない。

図１の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置付き画像表示装置を正面及び側面から眺めた模式図であり、図１の（Ｃ）は、画像表示部を構成する複数の画素の配置を模式的に示す図である。 図２は、実施例の撮像装置付き画像表示装置の模式的な一部断面図である。 図３の（Ａ）及び（Ｂ）は、実施例１の撮像装置付き画像表示装置、及び、撮像装置が画像表示部の外側に固定された画像表示装置の概念図である。 図４は、実施例１の撮像装置付き画像表示装置において、撮像装置から観察者までの距離（Ｄ）及び観察者の瞳孔間距離（Ｒ）を求める方法を説明するための概念図である。 図５は、スリットによる回折現象を説明する模式図である。 図６の（Ａ）及び（Ｂ）は、それぞれ、撮像装置の手前に透明なガラス板を配置して撮影して得られた画像、及び、撮像装置の手前に或る形状、大きさ、分布を有する光透過部の集合体である光透過領域を設けた透明なガラス板を配置して撮影して得られた画像である。 図７は、実施例２の撮像装置付き画像表示装置のブロック図である。 図８の（Ａ）及び（Ｂ）は、実施例２における光透過領域を構成する光透過部の形状を模式的に示す図である。 図９は、実施例２における光透過領域を構成する光透過部の別の形状を模式的に示す図である。 図１０は、実施例３の撮像装置付き画像表示装置のブロック図である。 図１１の（Ａ）及び（Ｂ）は、実施例５における光透過領域を構成する光透過部の形状を模式的に示す図である。 図１２の（Ａ）及び（Ｂ）は、それぞれ、ノート型パーソナルコンピュータ及び携帯電話の模式図である。

以下、図面を参照して、実施例に基づき本発明を説明するが、本発明は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本発明の撮像装置付き画像表示装置、全般に関する説明
２．実施例１（本発明の撮像装置付き画像表示装置及び本発明の第４の構成）
３．実施例２（実施例１の変形、本発明の第１の構成）
４．実施例３（実施例２の変形、本発明の第２の構成）
５．実施例４（実施例１の変形、本発明の第３の構成）
６．実施例５（実施例１の変形、本発明の第５の構成）、その他

［本発明の撮像装置付き画像表示装置、全般に関する説明］
本発明の撮像装置付き画像表示装置は、光透過領域、撮像装置及び集光手段を複数有し、各集光手段は、各光透過領域を通過した光を各撮像装置に集光する形態とすることができる。

上記の好ましい形態を含む本発明の撮像装置付き画像表示装置において、位置検出手段は、複数の撮像装置を介して撮像された画像データに基づき観察者の位置情報を求める構成とすることができる。

上記の好ましい形態、構成を含む本発明の撮像装置付き画像表示装置において、観察者の位置情報を、観察者の両眼の位置データとすることができるし、あるいは又、画像表示部から観察者までの距離データとすることもできる。また、観察者の位置情報を、複数の撮像装置を介して撮像された画像データの観察者の両眼に基づき求めることができる。

これらの好ましい形態を含む本発明の撮像装置付き画像表示装置においては、観察者の位置情報を画像表示部に表示する構成とすることができ、これによって、観察者が３次元画像を容易に観察できるように、最適な３次元画像観察位置を観察者に明確に指示し、あるいは又、最適な３次元画像観察位置に観察者を誘導することができる。あるいは又、これらの好ましい形態を含む本発明の撮像装置付き画像表示装置においては、画像表示部に表示する画像を観察者の位置情報に基づいて最適化する構成とすることができる。

光透過領域が複数の光透過部から構成されており、各光透過部が画素に設けられている場合、光透過領域を構成する光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、あるいは又、鮮明さに欠ける場合がある。このような場合には、撮像装置を介して取得された画像データや、撮像装置を介して取得された、画像表示部に表示すべきその他の画像情報（例えば、撮像装置によって使用者等を撮影して得られた、画像表示部に表示すべき画像情報であり、このようなその他の画像情報を、単に、『画像情報』と呼ぶ場合がある）に対して、光透過領域を構成する光透過部において生じる回折の補正を施す回折補正手段を更に備えている構成とすることが好ましい。尚、このような構成を、便宜上、『本発明の第１の構成』と呼ぶ。

そして、本発明の第１の構成において、光透過領域を構成する光透過部の一部又は全部は、画像表示部の第１の方向及び第２の方向に沿って周期的に設けられており、
第１の方向に沿った光透過部の長さをＬ_tr-1、第１の方向に沿った画素のピッチをＰ_px-1としたとき、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1は、
Ｌ_tr-1／Ｐ_px-1≧０．５
好ましくは、Ｌ_tr-1／Ｐ_px-1≧０．８
を満足することが好ましい。更には、第２の方向に沿った光透過部の長さをＬ_tr-2、第２の方向に沿った画素のピッチをＰ_px-2としたとき、第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2は、
Ｌ_tr-2／Ｐ_px-2≧０．５
好ましくは、Ｌ_tr-2／Ｐ_px-2≧０．８
を満足することが好ましい。尚、第１の方向と第２の方向とは、直交している場合もあるし、場合によっては、９０度以外の角度で交わっている場合もある。後者の場合、光透過部の一部又は全部は、画像表示部の第１の方向及び第２の方向だけでなく、第３の方向、第４の方向・・・に沿って周期的に設けられている場合もあり、このような場合には、各方向の内の少なくとも２方向に沿った光透過部の長さと、これらの少なくとも２方向に沿った画素のピッチとが、上記の関係（具体的には、０．５倍以上）を満足していることが好ましい。線開口率Ｌ_tr-1／Ｐ_px-1、Ｌ_tr-2／Ｐ_px-2の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第１の方向に沿った光透過部の長さＬ_tr-1は、第１の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第１の方向に沿った画素のピッチＰ_px-1は、第１の方向に沿った画素の１周期当たりの長さを意味する。同様に、第２の方向に沿った光透過部の長さＬ_tr-2は、第２の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第２の方向に沿った画素のピッチＰ_px-2は、第２の方向に沿った画素の１周期当たりの長さを意味する。

本発明の第１の構成において、具体的には、光透過部の形状、大きさ、分布に基づき（場合によっては、更に、外光の波長に基づき）算出されるＭＴＦ（Moduration Transfer Function）逆変換処理を、画像データや画像情報に対して施すことが好ましい。光透過部の形状、大きさ、分布は、回折補正手段に予め記憶しておけばよい。回折補正手段は、例えば、入出力部を有するＣＰＵとメモリから構成された回路とすることができるし、場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータから回折補正手段を構成することもできる。外光の波長を考慮することで、外光（外部照明環境）に依らず、最適な画像を得ることができる。

以上の好ましい形態、構成を含む本発明の撮像装置付き画像表示装置においては、外光の波長分布を測定する波長分布測定手段を更に備えている構成とすることができる。尚、このような構成を、便宜上、『本発明の第２の構成』と呼ぶ。このような構成を採用することで、撮像装置を介して取得された画像データや画像情報の精度の向上（例えば、色情報の精度向上）を図ることができるし、ＭＴＦ逆変換処理の精度向上を図ることができる。波長分布測定手段は、例えば、ホトセンサ等の受光装置から構成することができる。波長分布測定手段の制御は、撮像装置付き画像表示装置によって行えばよいし、場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータによって行うこともできる。

更には、本発明の第１の構成、本発明の第２の構成、以上の好ましい形態、構成を含む本発明の撮像装置付き画像表示装置においては、
撮像装置を介して取得された、画像表示部に表示すべき画像情報を送出する情報送出手段、及び、
外部から入力された、画像表示部に表示すべき画像情報に基づく画像を画像表示部に表示する表示手段、
を更に備えており、
撮像装置を介して取得された、画像表示部に表示すべき画像情報を情報送出手段によって外部に送出し、
外部から入力された、画像表示部に表示すべき画像情報に基づく画像を表示手段によって画像表示部に表示する構成とすることができる。尚、このような構成を、便宜上、『本発明の第３の構成』と呼ぶ。このような撮像装置付き画像表示装置を複数台（２台以上）、通信回線やネットワーク等を介して結ぶことで、所謂、テレビジョン電話会議システム（テレビ電話装置）を構築することができる。

ここで、撮像装置を介して取得された、画像表示部に表示すべき画像情報を送出する情報送出手段、及び、外部から入力された、画像表示部に表示すべき画像情報に基づく画像を画像表示部に表示する表示手段は、例えば、テレビジョン電話会議システム（テレビ電話装置）にて用いられている周知の手段を用いればよい。撮像装置付き画像表示装置（あるいは画像表示部）に、操作用のスイッチやボタン、キーボード等を配置することが好ましい。場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータから情報送出手段及び表示手段を構成することもでき、この場合には、パーソナルコンピュータを通信回線やネットワーク等に接続すればよい。

以上に説明した各種の好ましい形態、構成を含む本発明の撮像装置付き画像表示装置において、発光素子は自発光型の発光素子であることが望ましく、有機エレクトロルミネッセンス素子（有機ＥＬ素子）から成る形態とすることがより好ましい。尚、液晶表示装置を構成する液晶表示素子は、外部からの光（バックライトからの光あるいは外光）の通過を制御するものであり、画素が発光素子を含むものではない。発光素子を有機ＥＬ素子から構成する場合、有機ＥＬ素子を構成する有機層（発光部）は有機発光材料から成る発光層を備えているが、具体的には、例えば、正孔輸送層と発光層と電子輸送層との積層構造、正孔輸送層と電子輸送層を兼ねた発光層との積層構造、正孔注入層と正孔輸送層と発光層と電子輸送層と電子注入層との積層構造から構成することができる。また、電子輸送層、発光層、正孔輸送層及び正孔注入層を『タンデムユニット』とする場合、有機層は、第１のタンデムユニット、接続層、及び、第２のタンデムユニットが積層された２段のタンデム構造も有していてもよく、更には、３つ以上のタンデムユニットが積層された３段以上のタンデム構造も有していてもよく、これらの場合、発光色を赤色、緑色、青色と各タンデムユニットで変えることで、全体として白色を発光する有機層を得ることができる。

有機層の厚さの最適化を図ることで、例えば、第１電極と第２電極との間で発光層において発光した光を共振させ、この光の一部を第２電極を介して外部に出射する構成とすることもできる。

更には、以上に説明した各種の好ましい形態、構成を含む本発明の撮像装置付き画像表示装置において、画像表示部は、
（ａ）第１基板、
（ｂ）第１基板上に設けられた駆動回路、
（ｃ）駆動回路を覆う層間絶縁層、
（ｄ）層間絶縁層上に設けられた発光部、
（ｅ）発光部上に設けられた保護層、
（ｆ）保護層上に設けられた遮光層、及び、
（ｇ）保護層及び遮光層を覆う第２基板、
を備えており、
各画素は、該駆動回路及び該発光部を備えており、
遮光層には、開口部が設けられており、
開口部、並びに、開口部の下方に位置する保護層の部分及び層間絶縁層の部分によって光透過領域を構成する光透過部が構成されており、
第２基板と対向しない第１基板の面の側に、集光手段及び撮像装置が配置されている形態とすることができる。発光部で発光した光は、保護層及び第２基板を介して外部に出射される。光透過部は画素に設けられている。

ここで、画素の配列として、例えば、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタングル配列を挙げることができる。また、第１基板として、あるいは又、第２基板として、高歪点ガラス基板、ソーダガラス（Ｎａ₂Ｏ・ＣａＯ・ＳｉＯ₂）基板、硼珪酸ガラス（Ｎａ₂Ｏ・Ｂ₂Ｏ₃・ＳｉＯ₂）基板、フォルステライト（２ＭｇＯ・ＳｉＯ₂）基板、鉛ガラス（Ｎａ₂Ｏ・ＰｂＯ・ＳｉＯ₂）基板、表面に絶縁膜が形成された各種ガラス基板、石英基板、表面に絶縁膜が形成された石英基板、表面に絶縁膜が形成されたシリコン基板、ポリメチルメタクリレート（ポリメタクリル酸メチル，ＰＭＭＡ）やポリビニルアルコール（ＰＶＡ）、ポリビニルフェノール（ＰＶＰ）、ポリエーテルスルホン（ＰＥＳ）、ポリイミド、ポリカーボネート、ポリエチレンテレフタレート（ＰＥＴ）に例示される有機ポリマー（高分子材料から構成された可撓性を有するプラスチック・フィルムやプラスチック・シート、プラスチック基板といった高分子材料の形態を有する）を挙げることができる。駆動回路は、例えば、１又は複数の薄膜トランジスタ（ＴＦＴ）等から構成すればよい。層間絶縁層の構成材料として、ＳｉＯ₂、ＢＰＳＧ、ＰＳＧ、ＢＳＧ、ＡｓＳＧ、ＰｂＳＧ、ＳｉＯＮ、ＳＯＧ（スピンオングラス）、低融点ガラス、ガラスペーストといったＳｉＯ₂系材料；ＳｉＮ系材料；ポリイミド等の絶縁性樹脂を、単独あるいは適宜組み合わせて使用することができる。画素を有機ＥＬ素子から構成する場合、発光部は上述したとおりである。保護膜を構成する材料として、発光部で発光した光に対して透明であり、緻密で、水分を透過させない材料を用いることが好ましく、具体的には、例えば、アモルファスシリコン（α−Ｓｉ）、アモルファス炭化シリコン（α−ＳｉＣ）、アモルファス窒化シリコン（α−Ｓｉ_1-xＮ_x）、アモルファス酸化シリコン（α−Ｓｉ_1-yＯ_y）、アモルファスカーボン（α−Ｃ）、アモルファス酸化・窒化シリコン（α−ＳｉＯＮ）、Ａｌ₂Ｏ₃を挙げることができる。遮光膜（ブラックマトリクス）は周知の材料から構成すればよい。必要に応じて、カラーフィルターを設けてもよい。

以上に説明した各種の好ましい形態、構成を含む本発明の撮像装置付き画像表示装置（以下、これらを総称して、単に、『本発明』と呼ぶ場合がある）において、位置検出手段は、例えば、入出力部を有するＣＰＵとメモリから構成された回路とすることができるし、場合によっては、撮像装置付き画像表示装置に備えられたパーソナルコンピュータから位置検出手段を構成することもできる。撮像装置によって得られた信号（データ）は、位置検出手段に送られ、位置検出手段において処理されるが、係る処理は周知の方法（周知のアルゴリズムやソフトウエア）に基づいて行えばよい。本発明における３次元画像の表示方式として、例えば、周知の視差バリア（パララックス）方式、レンチキュラー方式及びインテグラル方式を挙げることができるが、これらの方式に限られるものではない。

本発明において、画像表示部は、発光素子を含む画素ユニットを複数配置して成るが、ここで、画素ユニットの数を（Ｍ，Ｎ）で表したとき、ＶＧＡ（６４０，４８０）、Ｓ−ＶＧＡ（８００，６００）、ＸＧＡ（１０２４，７６８）、ＡＰＲＣ（１１５２，９００）、Ｓ−ＸＧＡ（１２８０，１０２４）、Ｕ−ＸＧＡ（１６００，１２００）、ＨＤ−ＴＶ（１９２０，１０８０）、Ｑ−ＸＧＡ（２０４８，１５３６）の他、（１９２０，１０３５）、（７２０，４８０）、（８５４，４８０）、（１２８０，９６０）等、画像表示用解像度の幾つかを例示することができるが、これらの値に限定するものではない。尚、カラー表示を行う画像表示部において、１つの画素ユニットは、例えば、赤色を発光する赤色発光画素、緑色を発光する緑色発光画素、及び、青色を発光する青色発光画素の３種の画素から構成され、あるいはまた、これらの３種の画素に加え、輝度向上のために白色光を発光する画素、色再現範囲を拡大するために補色を発光する画素、色再現範囲を拡大するためにイエローを発光する画素、色再現範囲を拡大するためにイエロー及びシアンを発光する画素等、４種、あるいはそれ以上の画素から構成することもできる。

本発明において、光透過領域は、複数の画素に設けられている構成とすることができる。尚、このような構成を、便宜上、『本発明の第４の構成』と呼ぶ。あるいは又、光透過領域は、少なくとも１つ以上（好ましくは、少なくとも２つ以上）の画素の周囲に設けられている構成とすることもでき、この場合、光透過領域は、画素の全ての周囲に設けられていてもよいし、画素の周囲の一部に（具体的には、画素の境界に相当する辺の内の連続する２辺以上に）設けられていてもよいが、後者の場合、画素の全周の１／４倍以上の長さ（連続する２辺にあっては、各一辺の長さの１／２倍以上）に亙り光透過領域が設けられていることが好ましい。尚、このような構成を、便宜上、『本発明の第５の構成』と呼ぶ。これらの本発明の第４の構成あるいは本発明の第５の構成にあっては、複数の画素に設けられた光透過領域を通過した光が撮像装置に集光され、あるいは又、少なくとも１つ以上の画素の周囲に設けられた光透過領域を通過した光が撮像装置に集光される。従って、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。

本発明の第４の構成において、光透過領域は複数の画素に設けられているが、ここで、具体的には、例えば、限定するものではないが、３個以上の画素に設けられていることが望ましく、光透過領域を構成する光透過部の外形形状は、本質的には任意であり、長方形や正方形といった四角形を挙げることができる。また、本発明の第５の構成において、光透過領域は、少なくとも１つ以上の画素の周囲に設けられているが、ここで、具体的には、例えば、限定するものではないが、３個以上の画素の周囲に設けられていることが望ましく、光透過領域の外形形状は、本質的には任意であり、「Ｌ」字形状（光透過領域が、画素の境界に相当する辺の内の連続する２辺に設けられている形態）、「コ」の字形状（光透過領域が、画素の境界に相当する辺の内の連続する３辺に設けられている形態）、「ロ」の字形状（光透過領域が、画素の境界に相当する辺の全てに設けられている形態）、井桁状の形状（光透過領域が、画素の境界に相当する辺の全てに設けられており、しかも、隣接する画素の間に共通して設けられている形態）を例示することができる。あるいは又、光透過領域を、撮像装置に備えられたレンズの射影像が含まれる画素群に設け、係る画素群の周囲に設ける構成とすることが好ましい。

本発明において、撮像装置は、画像表示部の背面側に配置されていればよいが、画像表示部の中央部に配置されていることが好ましい。撮像装置は、１個であってもよいし、複数個であってもよい。撮像装置は、例えば、ＣＣＤ素子やＣＭＯＳセンサを備えた周知、市販の固体撮像素子を用いればよい。尚、周知、市販のビデオカメラやウェブカメラといった固体撮像装置を用いることもでき、これらの場合には、集光手段と撮像装置が一体化している。

光透過領域を通過した光を撮像装置に集光する集光手段として、周知のレンズを挙げることができる。レンズとして、具体的には、両凸レンズ、平凸レンズ、メニスカス凸レンズのいずれかから構成することができるし、反射鏡やフレネルレンズから構成してもよいし、これらの各種の凸レンズを組み合わせて構成することもできるし、更には、凹レンズとこれらの各種の凸レンズとを組み合わせて構成することもできる。

本発明において、画像表示部に入射し、光透過領域を通過し、画像表示部から出射し、集光手段に入射する光の光路には、カラーフィルターを配置しないことが好ましく、また、マイクロレンズ等の結像系を配置しないことが好ましい。

本発明は、例えば、パーソナルコンピュータを構成するモニター装置の代替として使用することができるし、ノート型パーソナルコンピュータに組み込まれたモニター装置の代替として使用することができるし、携帯電話やＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニター装置、従来のテレビジョン受像機の代替として使用することができる。

実施例１は、本発明の撮像装置付き画像表示装置に関し、更には、第４の構成に関する。実施例１の撮像装置付き画像表示装置を正面及び側面から眺めた概念図を図１の（Ａ）及び（Ｂ）に示し、画像表示部を構成する複数の画素の配置を模式的に図１の（Ｃ）に示し、撮像装置付き画像表示装置の模式的な一部断面図を図２に示す。

実施例１の撮像装置付き画像表示装置は、
（Ａ）発光素子を含む画素１１（１１Ｒ，１１Ｇ，１１Ｂ）を複数配置して成り、３次元画像を表示する画像表示部１０、
（Ｂ）画像表示部１０に設けられた光透過領域３０、
（Ｃ）画像表示部１０の背面側に配置された撮像装置２０、
（Ｄ）光透過領域３０を通過した光を撮像装置２０に集光する集光手段２１、並びに、
（Ｅ）撮像装置２０を介して取得された画像データに基づき、観察者の位置情報を求める位置検出手段７１、
を有する。

ここで、実施例１にあっては、具体的には、光透過領域３０は、複数の画素１１に設けられている。即ち、光透過領域３０は、複数の画素１１に設けられた光透過部３１の集合体から成る。また、実施例１の撮像装置付き画像表示装置は、具体的には、光透過領域３０、撮像装置２０及び集光手段２１を複数有し（より具体的には、それぞれ、２つ有し）、各集光手段２１は、各光透過領域３０を通過した光を各撮像装置２０Ａ，２０Ｂに集光する。画像表示部１０における３次元画像の表示方式として、周知の視差バリア（パララックス）方式、レンチキュラー方式あるいはインテグラル方式を挙げることができる。尚、図２や、図１の（Ａ）、（Ｂ）において、第２基板６７や画像表示面の上あるいは上方には、例えば、パララックスバリアやレンチキュラーレンズ等が配置されているが、これらの図示は省略した。

実施例１あるいは後述する実施例２〜実施例５において、発光素子は、自発光型の発光素子、具体的には、有機ＥＬ素子から成り、画像表示部１０は、カラー表示のＸＧＡタイプの有機ＥＬ表示装置から成る。即ち、画素ユニットの数を（Ｍ，Ｎ）で表したとき、（１０２４，７６８）である。また、１つの画素ユニットは、赤色を発光する赤色発光画素１１Ｒ、緑色を発光する緑色発光画素１１Ｇ、及び、青色を発光する青色発光画素１１Ｂの３つの画素から構成されている。尚、図１の（Ｃ）、図８の（Ａ）、（Ｂ）、図９、図１１の（Ａ）、（Ｂ）においては、画素の外縁を点線で示した。撮像装置２０Ａ，２０Ｂは、画像表示部１０の背面側、より具体的には、画像表示部１０の背面側の中央部に配置されており、備えられた撮像装置は２つである。ここで、撮像装置２０及び集光手段２１は、これらが一体化された、即ち、ＣＣＤ素子を備えた周知、市販のウェブカメラから成る。実施例１の撮像装置付き画像表示装置は、パーソナルコンピュータを構成するモニター装置の代替として使用される。また、実施例１の撮像装置付き画像表示装置には、パーソナルコンピュータ７０が備えられている。パーソナルコンピュータ７０と画像表示部１０及び撮像装置２０とはケーブル７２，７３で接続されている。

光透過領域３０は、複数（具体的には２つ）の撮像装置２０Ａ，２０Ｂに対応して、２箇所に設けられている。そして、各光透過領域３０は、限定するものではないが、６×３＝１８個の画素１１に設けられている。１つの画素１１に１つの光透過部３１が設けられている。そして、集光手段２１は、光透過領域３０（具体的には、これらの６×３＝１８個の画素１１における光透過部３１の集合体）を通過した光を撮像装置２０に集光する。各画素１１に設けられた光透過部３１の形状は長方形である。

実施例１あるいは後述する実施例２〜実施例５において、画像表示部１０には、各走査線を駆動する走査信号供給ＩＣ、及び、映像信号を供給する映像信号供給ＩＣが配されている。そして、走査信号供給ＩＣには走査線制御回路が、映像信号供給ＩＣには信号線制御回路が、それぞれ、接続されている。画像表示部１０に入射し、光透過領域３０を通過し、画像表示部１０から出射し、集光手段２１に入射する光の光路には、カラーフィルターは配置されていないし、マイクロレンズ等の結像系も配置されていない。

実施例１あるいは後述する実施例２〜実施例５において、具体的には、画像表示部１０は、
（ａ）第１基板４０、
（ｂ）第１基板４０上に設けられた駆動回路、
（ｃ）駆動回路を覆う層間絶縁層４１、
（ｄ）層間絶縁層４１上に設けられた発光部（有機層６３）、
（ｅ）発光部（有機層６３）上に設けられた保護層６４、
（ｆ）保護層６４上に設けられた遮光層６５、及び、
（ｇ）保護層６４及び遮光層６５を覆う第２基板６７、
を備えている。

そして、各画素１１は、駆動回路及び発光部を備えており、遮光層６５には、開口部６５Ａが設けられており、開口部６５Ａ、並びに、開口部６５Ａの下方に位置する保護層６４の部分、第２電極６２の部分、及び、層間絶縁層４１の部分等によって光透過領域３０を構成する光透過部３１が構成されている。集光手段２１及び撮像装置２０は、第２基板６７と対向しない第１基板４０の面の側に配置されている。

より具体的には、ソーダガラスから成る第１基板４０上には駆動回路が設けられている。駆動回路は、複数のＴＦＴから構成されている。ＴＦＴは、第１基板４０上に形成されたゲート電極５１、第１基板４０及びゲート電極５１上に形成されたゲート絶縁膜５２、ゲート絶縁膜５２上に形成された半導体層に設けられたソース／ドレイン領域５３、並びに、ソース／ドレイン領域５３の間であって、ゲート電極５１の上方に位置する半導体層の部分が相当するチャネル形成領域５４から構成されている。図示した例にあっては、ＴＦＴをボトムゲート型としたが、トップゲート型であってもよい。ＴＦＴのゲート電極５１は、走査線（図示せず）に接続されている。そして、層間絶縁層４１（４１Ａ，４１Ｂ）が、第１基板４０及び駆動回路を覆っている。また、有機ＥＬ素子を構成する第１電極６１は、ＳｉＯ_XやＳｉＮ_Y、ポリイミド樹脂等から成る層間絶縁層４１Ｂ上に設けられている。ＴＦＴと第１電極６１とは、層間絶縁層４１Ａに設けられたコンタクトプラグ４２、配線４３、コンタクトプラグ４４を介して電気的に接続されている。図面においては、１つの有機ＥＬ素子駆動部につき、１つのＴＦＴを図示した。

層間絶縁層４１上には、開口４６を有し、開口４６の底部に第１電極６１が露出した絶縁層４５が形成されている。絶縁層４５は、平坦性に優れ、しかも、有機層６３の水分による劣化を防止して発光輝度を維持するために吸水率の低い絶縁材料、具体的には、ポリイミド樹脂から構成されている。開口４６の底部に露出した第１電極６１の部分の上から、開口４６を取り囲む絶縁層４５の部分に亙り設けられ、有機発光材料から成る発光層を備えた有機層６３が形成されている。有機層６３は、例えば、正孔輸送層、及び、電子輸送層を兼ねた発光層の積層構造から構成されているが、図面では１層で表す。第２電極６２上には、有機層６３への水分の到達防止を目的として、プラズマＣＶＤ法に基づき、アモルファス窒化シリコン（α−Ｓｉ_1-xＮ_x）から成る絶縁性の保護層６４が設けられている。保護層６４の上には、黒色のポリイミド樹脂から成る遮光層６５が形成されており、保護層６４及び遮光層６５上にはソーダガラスから成る第２基板６７が配されている。保護層６４及び遮光層６５と第２基板６７とは、アクリル系接着剤から成る接着層６６によって接着されている。第１電極６１をアノード電極として用い、第２電極６２をカソード電極として用いる。具体的には、第１電極６１は、厚さ０．２μｍ〜０．５μｍのアルミニウム（Ａｌ）、銀（Ａｇ）、あるいは、これらの合金で構成される光反射材料から成り、第２電極６２は、厚さ０．１μｍのＩＴＯやＩＺＯといった透明導電材料や、厚さ５ｎｍ程度の銀（Ａｇ）、マグネシウム（Ｍｇ）等の光を或る程度透過する金属薄膜（半透明金属薄膜）から成る。第２電極６２はパターニングされておらず、１枚のシート状に形成されている。場合によっては、有機層６３と第２電極６２との間に、厚さ０．３ｎｍのＬｉＦから成る電子注入層（図示せず）を形成してもよい。

以上、纏めると、実施例１あるいは後述する実施例２〜実施例５の発光素子の詳しい構成は、以下の表１のとおりである。

［表１］
第２基板６７ ：ソーダガラス
接着層６６ ：アクリル系接着剤
遮光層６５ ：黒色のポリイミド樹脂
保護層６４ ：ＳｉＮ_x層（厚さ：５μｍ）
第２電極（カソード電極）６２：ＩＴＯ層（厚さ：０．１μｍ）あるいは半透明金属薄膜
電子注入層 ：ＬｉＦ層（厚さ：０．３ｎｍ）
有機層６３ ：上述したとおり
第１電極（アノード電極）６１：Ａｌ−Ｎｄ層（厚さ：０．２μｍ）
層間絶縁層４１ ：ＳｉＯ₂層
ＴＦＴ ：駆動回路を構成
第１基板４０ ：ソーダガラス

図３の（Ａ）及び（Ｂ）は、実施例１の撮像装置付き画像表示装置、及び、撮像装置が画像表示部の外側に固定された画像表示装置の概念図である。図３の（Ｂ）に示すように、撮像装置が画像表示部の外側に固定されている場合、撮像装置は画像表示装置の使用者を斜めから撮影することになり、係る画像を画像表示部にて表示したとき、画像表示部には、斜めから撮影された使用者の画像が表示される。従って、使用者の顔を正確に表示することができないし、画像表示部のどこを使用者が注視しているかを正確に判別することもできない。更には、使用者が画像表示部に近づいた場合には、撮像範囲外になってしまう可能性が大である。一方、実施例１の撮像装置付き画像表示装置にあっては、図３の（Ａ）に示すように、撮像装置が画像表示部の背面側の中央部に配置されているので、撮像装置付き画像表示装置の使用者を、撮像装置は正面から撮影することができ、係る画像を画像表示部にて表示したとき、画像表示部には、正面から撮影された使用者の画像が表示される。従って、使用者の顔を正確に表示することができるし、画像表示部のどこを使用者が注視しているかを容易に、しかも、正確に判別することができる。また、使用者が画像表示部に近づいた場合でも、使用者の撮像を行うことができる。

位置検出手段７１は、撮像装置付き画像表示装置に備えられたパーソナルコンピュータ７０からを構成されており、複数の撮像装置２０Ａ，２０Ｂによって得られた信号（データ）は、位置検出手段７１に送られ、位置検出手段７１において処理される。ここで、係る処理は周知の方法（周知のアルゴリズムやソフトウエア）に基づいて行われる。即ち、２つの撮像装置２０Ａ，２０Ｂを介して取得された画像データに基づき、観察者の位置情報が位置検出手段７１によって求められるが、具体的には、観察者の位置情報を、観察者の両眼の位置データとすることができるし、あるいは又、画像表示部から観察者までの距離データとすることもできる。２つの撮像装置２０Ａ，２０Ｂを介して取得された観察者の両眼の位置の解析、あるいは又、画像表示部から観察者までの距離（例えば、観察者の顔までの距離）の解析は、パーソナルコンピュータ７０の備えられた周知のアルゴリズムやソフトウエアに基づき行うことができる。

図４に示すように、観察者が画像表示装置の正面に位置しているとする。また、画像表示装置の中心から水平方向距離ｄのところに、２つの撮像装置２０Ａ，２０Ｂが配置されているとする。そして、一方の撮像装置２０Ａで撮影したとき、画像における観察者の右目眼球（瞳孔）が角度θ₁の方向にあったとする。また、他方の撮像装置２０Ｂで撮影したとき、画像における観察者の右目眼球（瞳孔）が角度θ₂の方向にあったとする。すると、撮像装置から観察者までの距離（視距離、Ｄ）は、以下の式（ＩＩ）で求めることができる。ここで、「Ｃ」は、水平方向に沿った一方の撮像装置２０Ａから右目眼球までの距離である。

ｔａｎ（θ₁）＝Ｃ／Ｄ （Ｉ−１）
ｔａｎ（θ₂）＝（Ｃ−２ｄ）／Ｄ （Ｉ−２）

式（Ｉ−１）及び式（Ｉ−２）から、以下の式（ＩＩ）を導くことができる。

Ｄ＝２ｄ／｛ｔａｎ（θ₁）−ｔａｎ（θ₂）｝ （ＩＩ）

尚、撮像装置から観察者までの距離（Ｄ）が判れば、観察者の瞳孔間距離（Ｒ）の算出することができる。図４に示すように、一方の撮像装置２０Ａで観察者を撮影したとき、画像における観察者の右目眼球（瞳孔）が角度θ₁の方向にあり、左目眼球（瞳孔）が角度θ₃の方向にあったとする。すると、以下の式（Ｉ−３）が成り立つ。ここで、「Ｅ」は、水平方向に沿った一方の撮像装置２０Ａから左眼球までの距離である。尚、角度θ₁，θ₂，θ₃は、撮像装置２０Ａ，２０Ｂによって得られた画像から周知の方法で求めることができる。

ｔａｎ（θ₃）＝Ｅ／Ｄ （Ｉ−３）

従って、式（Ｉ−１）及び式（Ｉ−３）、並びに、
Ｒ＝Ｃ−Ｅ
から、以下の式（ＩＩＩ）が導かれる。尚、他方の撮像装置２０Ｂからも、同様にして、観察者の瞳孔間距離（Ｒ）を求めることができる。

Ｒ＝Ｄ｛ｔａｎ（θ₁）−ｔａｎ（θ₃）｝ （ＩＩＩ）

このように、実施例１の撮像装置付き画像表示装置では、光透過領域３０を通過した光が集光手段２１によって複数の撮像装置２０Ａ，２０Ｂに集光され、複数の撮像装置２０Ａ，２０Ｂを介して取得された画像データに基づき位置検出手段７１によって観察者の位置情報が求められる。即ち、２つの撮像装置２０Ａ，２０Ｂを用いることで、撮像装置から観察者までの距離（Ｄ）及び瞳孔間距離（Ｒ）を求めることができる。それ故、観察者を最適な立体視領域まで正確に誘導することが可能となる。具体的には、観察者の位置情報を画像表示部に表示し、例えば、観察者が左右、前後に移動するように画像表示部に表示することで、観察者が３次元画像を容易に、違和感無く、観察できるように、最適な３次元画像観察位置を観察者に明確に指示し、あるいは又、最適な３次元画像観察位置に観察者を誘導することができる。あるいは又、音声に基づき、最適な３次元画像観察位置を観察者に明確に指示し、あるいは又、最適な３次元画像観察位置に観察者を誘導することができ、あるいは又、観察者の位置情報に応じて、例えばレンチキュラー方式やパララックス方式等で生じる逆視を防ぐために画像をシフトするといった、違和感のない３次元画像を提供するために表示画像を最適化することができる。しかも、画像表示部１０の背面側に撮像装置２０Ａ，２０Ｂが配置されているので、画像表示部１０に正対している使用者の顔、目、動作等を撮像装置２０Ａ，２０Ｂによって正確に撮像することができるし、観察者が撮像装置２０Ａ，２０Ｂを意識することもない。尚、実施例１では、観察者の瞳孔間距離に基づき観察者の位置情報を求める方法を説明したが、例えば口、耳、手など、その他の観察者の特定の部位を検出して位置情報を求めてもよい。

そして、実施例１の撮像装置付き画像表示装置にあっては、画像表示部１０に設けられた光透過領域３０（複数の光透過部３１）を通過した光が撮像装置２０に集光される。従って、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。また、手やペン等の向きから画像表示部の対応する指示点を特定することが可能となるので、所謂ポインタ機能を撮像装置付き画像表示装置に容易に付加することができる。更には、ポインタ機能以外にも、使用者の顔や目、手の動き、周辺の明るさなども撮像画像から分かるので、様々の情報を撮像装置付き画像表示装置から得て、種々のシステムに送出することが可能となり、撮像装置付き画像表示装置の付加価値を高めることができる。

実施例２は、実施例１の変形であり、本発明の第１の構成に関する。実施例２にあっては、一層高品質な撮像画像を得るために撮像画像に処理を行う。

一般に、微小な光透過部３１を光が通過するとき、光透過部３１において所謂回折現象が発生する。スリットによる回折現象を説明する模式図を図５に示す。ここで、光透過部３１がスリットとして作用し、回折現象によって、画像「Ｃ」と同じ画像が等ピッチで画像「Ａ」及び画像「Ｂ」として出現する結果、画像にボケが生じる。撮像装置２０の手前に透明なガラス板を配置して撮影して得られた画像を図６の（Ａ）に示し、撮像装置２０の手前に或る形状、大きさ、分布を有する光透過部を設けた透明なガラス板を配置して撮影して得られた画像を図６の（Ｂ）に示す。図６の（Ｂ）に示す画像にはボケが認められる。一方、図６の（Ａ）に示す画像にはボケが認められない。回折光の強度と分布は、光透過部３１の形状、大きさ、分布、並びに、入射光（外光）の波長に依存する。回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行う必要は無いが、高品質な撮像画像を必要とする場合には、回折光による影響を補正（補償）する必要がある。

実施例２の撮像装置付き画像表示装置は、撮像装置２０を介して取得された画像データ及び画像情報に対して、光透過部３１において生じる回折の補正（補償）を施す回折補正手段１００を更に備えている。

回折分布Ｐ_diffは、光透過部３１のパターン形状、大きさ、分布、並びに、入射光（外光）の波長が決定している場合、式（１）で算出することが可能である。尚、二重積分においては、ｘ及びｙに関して−∞から＋∞まで積分する。

Ｐ_diff（ｋ_x，ｋ_y）＝∬Ｐ_at（ｘ，ｙ）・ｅｘｐ［−ｊ（ｋ_x・ｘ＋ｋ_y・ｙ）］ｄｘｄｙ
（１）
但し、
ｋ_x＝（２π／λ）ｓｉｎ（θ_x）
ｋ_y＝（２π／λ）ｓｉｎ（θ_y）

ここで、Ｐ_at（ｘ，ｙ）は光透過部３１のｘｙ平面での２次元パターンであり、λは入射光（外光）の波長であり、θ_x，θ_yはｘ方向及びｙ方向の回折角である。実施例２にあっては、計算を簡素化するために入射光（外光）の波長λの値を５２５ｎｍ一定とした。

式（１）は、Ｐ_at（ｘ，ｙ）の２次元フーリエ変換であるので、高速フーリエ変換（以下、『ＦＦＴ』と略す）を用いることで高速に算出することが可能である。尚、Ｐ_diff（ｋ_x，ｋ_y）は位相情報を含んでいるが、実際には、撮像装置では回折光強度Ｈ_diff（ｋ_x，ｋ_y）を検出する。回折光強度Ｈ_diff（ｋ_x，ｋ_y）は、Ｐ_diff（ｋ_x，ｋ_y）の絶対値の二乗に等しい。

Ｈ_diff（ｋ_x，ｋ_y）＝｜Ｐ_diff（ｋ_x，ｋ_y）｜² （２）

ここで、回折光により撮像装置の空間解像度に変調が加えられたとして、以下の式（３）からＭＴＦ（Moduration Transfer Function）を算出する。尚、『ＦＦＴ［ ］』は、高速フーリエ変換を実行することを意味し、『ＩＦＦＴ［ ］』は、高速逆フーリエ変換を実行することを意味する。

ＭＴＦ（ｆ_x，ｆ_y）＝｜ＦＦＴ［Ｈ_diff（ｋ_x，ｋ_y）］｜² （３）

ここで、ｆ_x，ｆ_yは、撮像装置を構成する各々の撮像素子におけるｘ方向及びｙ方向の空間周波数を表す。そして、撮像装置２０上での光透過部３１を通した画像Ｉ_cam(x,y)と、光透過部３１を通さないとしたときの原画像Ｉ_ral(x,y)との間には、以下の関係が成立する。

ＦＦＴ［Ｉ_cam(x,y)］＝ＦＦＴ［Ｉ_ral(x,y)］×ＭＴＦ（ｆ_x，ｆ_y） （４）

即ち、空間周波数領域において、画像Ｉ_cam(x,y)は、原画像Ｉ_ral(x,y)とＭＴＦの積となる。よって、画像Ｉ_cam(x,y)から原画像Ｉ_ral(x,y)を得るには、以下の式（５）に基づいた処理を行えばよい。云い換えれば、光透過部３１の形状、大きさ、分布、並びに、入射光（外光）の波長に基づき算出されるＭＴＦ逆変換処理を、画像データ及び画像情報に対して施せばよい。

Ｉ_ral(x,y)＝ＩＦＦＴ［ＦＦＴ［Ｉ_cam(x,y)］／ＭＴＦ（ｆ_x，ｆ_y）］ （５）

ここで、ＭＴＦは、光透過部３１の大きさ、形状、分布が決まれば、光透過部３１の２次元パターンをフーリエ変換したものを入射光（外光）の波長によりスケーリングすればよいので、容易に求めることができ、式（５）で示した関係から、原画像を容易に復元することができる。

実施例２の撮像装置付き画像表示装置のブロック図を図７に示す。撮像装置２０を介して取得された画像データ及び画像情報が、回折補正手段１００を構成するＭＴＦ逆変換部に送られ、ＭＴＦ逆変換部では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）毎の外光の波長（但し、実施例２にあっては、計算の簡素化のために、上述した１種類の波長）と２次元ＦＦＴにて得られている光透過部３１のＭＴＦ形状データを用いて、ＭＦＴ逆変換を行い、原画像に復元し、制御部１２に送出する。制御部１２では、この復元画像から、例えば、使用者の視線検出、使用者の手の動作の検出等、多様な検出を行い、表示画像部に反映させる。尚、制御部１２は位置検出手段７１を兼ねている。光透過部３１の大きさ、形状、分布といったＭＴＦ形状データは、回折補正手段１００を構成するＭＦＴ形状記憶部に記憶されている。制御部１２は、撮像装置付き画像表示装置（あるいは画像表示部）に備えられ、あるいは又、撮像装置付き画像表示装置に備えられたパーソナルコンピュータ７０から構成されている。回折補正手段１００も、撮像装置付き画像表示装置（あるいは画像表示部）に備えられ、あるいは又、撮像装置付き画像表示装置に備えられたパーソナルコンピュータ７０から構成されている。

画像表示部１０における画像表示は、制御部１２の制御によって行われる。即ち、制御部１２から表示データ及びタイミング信号等が表示用タイミングコントローラ１３に送られ、表示用タイミングコントローラ１３から表示データ及び水平タイミング信号が信号線制御回路（図示せず）に送られ、一方、垂直タイミング信号が走査線制御回路（図示せず）に送られる。そして、画像表示部１０において、周知の方法に基づき画像表示がなされる。一方、制御部１２から、撮像タイミング信号、シャッター制御信号、ゲイン制御信号等が撮像用タイミングコントローラ１４に送られ、撮像用タイミングコントローラ１４から、これらの信号が撮像装置２０に送られ、撮像装置２０の動作が制御される。

光透過部３１の形状を、図８の（Ａ）、（Ｂ）及び図９に例示する。光透過部３１の一部又は全部は、画像表示部の第１の方向（水平方向）及び第２の方向（垂直方向）に沿って周期的に設けられている。ここで、図８の（Ａ）に示す例にあっては、画素の下部を第１の方向（水平方向）に沿って延びる光透過部３１Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられており、第２の方向（垂直方向）に沿って延びる光透過部３１Ｖは、各画素１１Ｒ，１１Ｇ，１１Ｂに設けられ、しかも、画素と画素との間に設けられている。図８の（Ｂ）に示す例にあっては、光透過部３１Ｈと光透過部３１とが繋がっている。図９に示す例にあっては、光透過部３１Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられているが、図８の（Ａ）とは異なり、２つの部分から構成されている。第１の方向に沿った光透過部３１の長さをＬ_tr-1、第１の方向に沿った画素１１のピッチをＰ_px-1としたとき、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1は、
Ｌ_tr-1／Ｐ_px-1≧０．５
を満足し、第２の方向に沿った光透過部３１の長さをＬ_tr-2、第２の方向に沿った画素１１のピッチをＰ_px-2としたとき、第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2は、
Ｌ_tr-2／Ｐ_px-2≧０．５
を満足する。これは、ＭＴＦの定義から説明できる。

ＭＴＦは、式（２）及び式（３）から導かれる以下の式（６）に示すように、光透過部３１のｘｙ平面での２次元パターンＰ_at（ｘ，ｙ）から得られる回折分布を二乗したものを高速フーリエ変換し、その結果を更に二乗したものとして得られる。

ＭＴＦ（ｆ_x，ｆ_y）＝｜ＦＦＴ［｜Ｐ_diff（ｋ_x，ｋ_y）｜²］｜² （６）

そして、所謂ウィナー・キンチンの定理から、自己相関関数のフーリエ変換はパワースペクトラムに等しいので、ＭＴＦは、光透過部３１で生ずる回折分布の自己相関関数の絶対値の二乗に等しい。自己相関関数が、空間周波数領域において所謂無相関である点（即ち、０になる点）が存在しない条件は、
Ｌ_tr-1／Ｐ_px-1≧０．５
Ｌ_tr-2／Ｐ_px-2≧０．５
である。ＭＴＦが０になる点を持たない場合、式（５）は特異点を持たないので、原画像の再現が容易になる。それ故、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1及び第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2の値は０．５以上であるといった要請を満足することが好ましい。

実施例３は、実施例２の変形であり、本発明の第２の構成に関する。実施例２において説明したように、光透過部３１のｘｙ平面での回折分布Ｐ_diff（ｋ_x，ｋ_y）を求める式（１）には、入射光（外光）の波長λが含まれている。従って、外光の波長分布を測定することで、各波長のＭＴＦを外部環境に応じて適合させることが可能となり、一層正確に回折に対する補正、補償を行うことができ、より高品質な撮像画像を得ることができる。

実施例３の撮像装置付き画像表示装置のブロック図を図１０に示す。実施例３にあっては、外光の波長分布を測定する波長分布測定手段１１０を更に備えている。具体的には、波長分布測定手段１１０は、赤色フィルターが取り付けられたホトセンサ、緑色フィルターが取り付けられたホトセンサ、及び、青色フィルターが取り付けられたホトセンサの組から構成されている。このような波長分布測定手段１１０を設けることで、外光の波長分布（光のスペクトル）を得ることができる。そして、得られた外光の波長分布と撮像装置の分光スペクトルを掛け合わせることで、撮像画像の各原色（赤色、緑色、青色）毎の波長分布を得ることができる。そして、各波長毎にＭＴＦ逆変換処理した画像を撮像画像の波長分布で重み付けすることで、一層正確に回折に対する補正、補償を行なうことができる。

実施例３にあっては、このような構成を採用することで、一層正確に回折に対する補正、補償を行うことができるだけでなく、撮像装置２０を介して取得された画像データ及び画像情報の精度の向上（例えば、色情報の精度向上）を図ることができる。尚、回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行う必要は無いが、このような場合にあっても、外光の波長分布を測定する波長分布測定手段１１０を更に備えることで、撮像装置２０を介して取得された画像データ及び画像情報の精度の向上を図ることができる。

実施例４も、実施例１〜実施例３の変形であり、本発明の第３の構成に関する。実施例４の撮像装置付き画像表示装置においては、
撮像装置２０を介して取得された、画像表示部に表示すべき画像情報（以下、画像情報と略称し、例えば、使用者の３次元画像を画像表示部に表示するための視差画像情報である）を送出する情報送出手段（図示せず）、及び、
外部から入力された画像情報に基づく画像を画像表示部１０に表示する表示手段（図示せず）、
を更に備えている。そして、撮像装置２０を介して取得された画像情報を情報送出手段によって外部に送出し、外部から入力された画像情報に基づく画像を表示手段によって画像表示部１０に表示する。

ここで、撮像装置２０を介して取得された画像情報を送出する情報送出手段、及び、外部から入力された画像情報に基づく画像を画像表示部１０に表示する表示手段は、テレビジョン電話会議システム（テレビ電話装置）にて用いられている周知の手段を用いればよい。尚、情報送出手段及び表示手段は、例えば、制御部１２に組み込まれている。

このような撮像装置付き画像表示装置を複数台、通信回線やネットワーク等を介して結ぶことで、所謂、テレビジョン電話会議システム（テレビ電話装置）を構築することができる。そして、撮像装置が画像表示部の背面側に配置されているので、画像表示部正面に位置する使用者の顔を撮像することができ、画像表示部に映し出される相手側の使用者の顔が自分の方を向いているため、従来のＴＶ電話システムにあった互いの視線が合わないといった違和感を与えることがない。

実施例５は、実施例１の変形であるが、本発明の第５の構成に関する。図１１の（Ａ）あるいは（Ｂ）に、実施例５の撮像装置付き画像表示装置における画像表示部を構成する複数の画素１１（１１Ｒ，１１Ｇ，１１Ｂ）の配置を模式的に示すように、実施例５の撮像装置付き画像表示装置は、
（Ａ）発光素子を含む画素１１（１１Ｒ，１１Ｇ，１１Ｂ）を複数配置して成り、３次元画像を表示する画像表示部１０、
（Ｂ）少なくとも１つ以上の画素１１の周囲に設けられた、複数の光透過領域５３０、
（Ｃ）画像表示部１０の背面側に配置された複数の撮像装置２０、
（Ｄ）各光透過領域５３０を通過した光を各撮像装置２０Ａ，２０Ｂに集光する集光手段２１、並びに、
（Ｅ）複数の撮像装置２０Ａ，２０Ｂを介して取得された画像データに基づき、観察者の位置情報を求める位置検出手段７１、
を有する。

図１１の（Ａ）に示す例にあっては、光透過領域５３０は、画素１１の全ての周囲に設けられており、井桁状の形状を有する。また、図１１の（Ｂ）に示す例にあっては、光透過領域５３０は、画素１１の周囲の一部に設けられており、「Ｌ」字形状を有する。実施例５の撮像装置付き画像表示装置において、光透過領域５３０は、少なくとも１つ以上の画素１１の周囲に設けられているが、具体的には、６×３＝１８個の画素１１の周囲に設けられている。

以上の点を除き、撮像装置付き画像表示装置は、実施例１〜実施例４の撮像装置付き画像表示装置と同様の構成、構造とすることができるので、詳細な説明は省略する。

このように、実施例５の撮像装置付き画像表示装置にあっても、少なくとも１つ以上の画素１１の周囲に設けられた光透過領域５３０を通過した光が撮像装置２０に集光される。従って、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。

以上、本発明を好ましい実施例に基づき説明したが、本発明はこれらの実施例に限定するものではない。実施例において説明した撮像装置付き画像表示装置の構成、構造は例示であり、適宜、変更することができる。撮像装置を２つ備えた画像表示装置に基づき実施例を説明したが、本発明の撮像装置付き画像表示装置における撮像装置の数は、２つに限定されるものではなく、１つ、あるいは、３つ以上とすることができる。撮像装置の数を２つとすれば、画像表示部に表示すべき画像情報に基づき、３次元画像を画像表示部において表示することが可能となる。本発明の撮像装置付き画像表示装置は、ノート型パーソナルコンピュータ（図１２の（Ａ）参照）に組み込まれたモニター装置の代替として使用することができるし、携帯電話（図１２の（Ｂ）参照）やＰＤＡ、ゲーム機器に組み込まれたモニター装置、従来のテレビジョン受像機の代替として使用することができる。あるいは又、１つの画素ユニットを、３種の画素１１Ｒ，１１Ｇ，１１Ｂに加え、輝度向上のために白色光を発光する画素、色再現範囲を拡大するために補色を発光する画素、色再現範囲を拡大するためにイエローを発光する画素、色再現範囲を拡大するためにイエロー及びシアンを発光する画素等、４種、あるいはそれ以上の画素から構成することもできる。

光透過領域が複数の光透過部から構成されており、各光透過部が画素に設けられている場合、光透過領域を構成する光透過部において回折現象が生じることを抑制するために、各実施例において、
［ケースＡ］複数の光透過部の大きさをランダムとする。
［ケースＢ］複数の光透過部の形状をランダムとする。
［ケースＣ］複数の光透過部の配置ピッチをランダムとする。
といった３種の形態の内、少なくとも１種の形態を採用してもよい。即ち、［ケースＡ］を単独で採用してもよいし、［ケースＢ］を単独で採用してもよいし、［ケースＣ］を単独で採用してもよいし、［ケースＡ］と［ケースＢ］を組み合わせて採用してもよいし、［ケースＡ］と［ケースＣ］を組み合わせて採用してもよいし、［ケースＢ］と［ケースＣ］を組み合わせて採用してもよいし、［ケースＡ］と［ケースＢ］と［ケースＣ］を組み合わせて採用してもよい。更には、実施例２において説明した回折補正手段１００との組合せを採用してもよい。光透過部の大きさの最小値や最小形状は、光透過部を設けるためのフォトリソグラフィ技術やエッチング技術における最小加工寸法（例えば、０．５μｍ）に依存する。

尚、複数の光透過部の大きさをランダムとするが、具体的には、１つの光透過部（便宜上、『光透過部Ａ』と呼ぶ）に隣接する少なくとも２つの光透過部（便宜上、『光透過部Ｂ、光透過部Ｃ』と呼ぶ）、好ましくは、水平方向に配置された２つの光透過部、より好ましくは、光透過部Ａに隣接する３つの光透過部（便宜上、『光透過部Ｂ、光透過部Ｃ、光透過部Ｄ』と呼ぶ）、より一層好ましくは、光透過部Ａに隣接する４つの光透過部（便宜上、『光透過部Ｂ、光透過部Ｃ、光透過部Ｄ、光透過部Ｅ』と呼ぶ）の大きさを異ならせることが望ましい。即ち、光透過部Ａと光透過部Ｂの大きさを異ならせ、また、光透過部Ａと光透過部Ｃの大きさを異ならせ、また、光透過部Ａと光透過部Ｄの大きさを異ならせ、また、光透過部Ａと光透過部Ｅの大きさを異ならせる。同様に、複数の光透過部の形状をランダムとするが、具体的には、１つの光透過部（光透過部Ａ）に隣接する少なくとも２つの光透過部（光透過部Ｂ、光透過部Ｃ）、好ましくは、水平方向に配置された２つの光透過部、より好ましくは、光透過部Ａに隣接する３つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ）、より一層好ましくは、光透過部Ａに隣接する４つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ、光透過部Ｅ）の形状を異ならせることが望ましい。即ち、光透過部Ａと光透過部Ｂの形状を異ならせ、また、光透過部Ａと光透過部Ｃの形状を異ならせ、また、光透過部Ａと光透過部Ｄの形状を異ならせ、また、光透過部Ａと光透過部Ｅの形状を異ならせる。同様に、複数の光透過部の配置ピッチをランダムとするが、具体的には、１つの光透過部（光透過部Ａ）に隣接する少なくとも２つの光透過部（光透過部Ｂ、光透過部Ｃ）、好ましくは、水平方向に配置された２つの光透過部、より好ましくは、光透過部Ａに隣接する３つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ）、より一層好ましくは、光透過部Ａに隣接する４つの光透過部（光透過部Ｂ、光透過部Ｃ、光透過部Ｄ、光透過部Ｅ）の配置ピッチを異ならせることが望ましい。即ち、光透過部Ａと光透過部Ｂの配置ピッチを異ならせ、また、光透過部Ａと光透過部Ｃの配置ピッチを異ならせ、また、光透過部Ａと光透過部Ｄの配置ピッチを異ならせ、また、光透過部Ａと光透過部Ｅの配置ピッチを異ならせる。

あるいは又、光透過領域が複数の光透過部から構成されており、各光透過部が画素に設けられている場合、光透過領域を構成する光透過部において回折現象が生じることを抑制するために、各実施例において、光透過部を二重環状構造（二重中抜き構造）としてもよい。具体的には、光透過部を第１光透過部と第２光透過部から構成し、第１光透過部を取り囲むように第２光透過部を配置する構造を採用してもよい。第１光透過部及び第２光透過部の大きさ、形状、配置状態、第１光透過部と第２光透過部との位置関係の最適化を図ることで、回折現象が生じることを確実に抑制することができる。更には、実施例２において説明した回折補正手段１００との組合せを採用してもよい。

１０・・・画像表示部、１１，１１Ｒ，１１Ｇ，１１Ｂ・・・画素、１２・・・制御部、１３・・・表示用タイミングコントローラ、１４・・・撮像用タイミングコントローラ、２０・・・撮像装置、２１・・・集光手段、３０，５３０・・・光透過領域、３１・・・光透過部、４０・・・第１基板、４１・・・層間絶縁層、４２，４４・・・コンタクトプラグ、４３・・・配線、４５・・・絶縁層、４６・・・開口、５１・・・ゲート電極、５２・・・ゲート絶縁膜、５３・・・ソース／ドレイン領域、５４・・・チャネル形成領域、６１・・・第１電極、６２・・・第２電極、６３・・・有機層、６４・・・保護層、６５・・・遮光層、６５Ａ・・・開口部、６６・・・接着層、６７・・・第２基板、７０・・・パーソナルコンピュータ、７１・・・位置検出手段、７２，．７３・・・ケーブル、１００・・・回折補正手段、１１０・・・波長分布測定手段

Claims (18)

1. 発光素子を含む画素を複数配置して成り、３次元画像を表示する画像表示部、
   画像表示部に設けられた光透過領域、
   画像表示部の背面側に配置された撮像装置、
   光透過領域を通過した光を撮像装置に集光する集光手段、並びに、
   撮像装置を介して取得された画像データに基づき、観察者の位置情報を求める位置検出手段、
   を有し、
   光透過領域は複数の光透過部から構成されており、
   光透過部の各々は、各画素に対応して設けられている撮像装置付き画像表示装置。
2. 画像表示部は、
   （ａ）第１基板、
   （ｂ）第１基板上に設けられた駆動回路、
   （ｃ）駆動回路を覆う層間絶縁層、及び、
   （ｄ）層間絶縁層上に設けられた発光部、
   を備えており、
   各画素は、該駆動回路及び該発光部を備えている請求項１に記載の撮像装置付き画像表示装置。
3. 画像表示部は、更に、
   （ｅ）発光部の光出射側に設けられた遮光層、
   を備えており、
   遮光層には、開口部が設けられており、
   開口部、並びに、開口部に対応した層間絶縁層の部分によって光透過領域を構成する光透過部が構成されており、
   第１基板の、発光部の光出射側とは反対側に、集光手段及び撮像装置が配置されている請求項２に記載の撮像装置付き画像表示装置。
4. 画像表示部は、更に、
   （ｆ）発光部と遮光部との間に設けられた保護層、及び、
   （ｇ）保護層及び遮光層を覆う第２基板、
   を備えており、
   開口部、並びに、開口部の下方に位置する保護層の部分及び層間絶縁層の部分によって光透過領域を構成する光透過部が構成されている請求項３に記載の撮像装置付き画像表示装置。
5. 撮像装置を介して取得された画像データに対して、光透過部において生じる回折の補正を施す回折補正手段を更に備えている請求項１乃至請求項４のいずれか１項に記載の撮像装置付き画像表示装置。
6. 外光の波長分布を測定する波長分布測定手段を更に備えている請求項１乃至請求項５のいずれか１項に記載の撮像装置付き画像表示装置。
7. 発光素子を含む画素を複数配置して成り、３次元画像を表示する画像表示部、
   画像表示部に設けられた光透過領域、
   画像表示部の背面側に配置された撮像装置、
   光透過領域を通過した光を撮像装置に集光する集光手段、並びに、
   撮像装置を介して取得された画像データに基づき、観察者の位置情報を求める位置検出手段、
   を有し、
   光透過領域は複数の光透過部から構成されており、
   各光透過部は画素に設けられており、
   撮像装置を介して取得された画像データに対して、光透過部において生じる回折の補正を施す回折補正手段を更に備えている撮像装置付き画像表示装置。
8. 発光素子を含む画素を複数配置して成り、３次元画像を表示する画像表示部、
   画像表示部に設けられた光透過領域、
   画像表示部の背面側に配置された撮像装置、
   光透過領域を通過した光を撮像装置に集光する集光手段、並びに、
   撮像装置を介して取得された画像データに基づき、観察者の位置情報を求める位置検出手段、
   を有し、
   外光の波長分布を測定する波長分布測定手段を更に備えている撮像装置付き画像表示装置。
9. 発光素子を含む画素を複数配置して成り、３次元画像を表示する画像表示部、
   画像表示部に設けられた光透過領域、
   画像表示部の背面側に配置された撮像装置、
   光透過領域を通過した光を撮像装置に集光する集光手段、並びに、
   撮像装置を介して取得された画像データに基づき、観察者の位置情報を求める位置検出手段、
   を有し、
   画像表示部は、
   （ａ）第１基板、
   （ｂ）第１基板上に設けられた駆動回路、
   （ｃ）駆動回路を覆う層間絶縁層、
   （ｄ）層間絶縁層上に設けられた発光部、
   （ｅ）発光部上に設けられた保護層、
   （ｆ）保護層上に設けられた遮光層、及び、
   （ｇ）保護層及び遮光層を覆う第２基板、
   を備えており、
   各画素は、該駆動回路及び該発光部を備えており、
   遮光層には、開口部が設けられており、
   開口部、並びに、開口部の下方に位置する保護層の部分及び層間絶縁層の部分によって光透過領域を構成する光透過部が構成されており、
   第２基板と対向しない第１基板の面の側に、集光手段及び撮像装置が配置されている撮像装置付き画像表示装置。
10. 光透過領域、撮像装置及び集光手段を複数有し、
    各集光手段は、各光透過領域を通過した光を各撮像装置に集光する請求項１乃至請求項９のいずれか１項に記載の撮像装置付き画像表示装置。
11. 位置検出手段は、複数の撮像装置を介して撮像された画像データに基づき観察者の位置情報を求める請求項１０に記載の撮像装置付き画像表示装置。
12. 観察者の位置情報は、観察者の両眼の位置データである請求項１乃至請求項１１のいずれか１項に記載の撮像装置付き画像表示装置。
13. 観察者の位置情報は、画像表示部から観察者までの距離データである請求項１乃至請求項１１のいずれか１項に記載の撮像装置付き画像表示装置。
14. 観察者の位置情報を、複数の撮像装置を介して撮像された画像データの観察者の両眼に基づき求める請求項１０に記載の撮像装置付き画像表示装置。
15. 観察者の位置情報を画像表示部に表示する請求項１乃至請求項１４のいずれか１項に記載の撮像装置付き画像表示装置。
16. 画像表示部に表示する画像を観察者の位置情報に基づいて最適化する請求項１乃至請求項１５のいずれか１項に記載の撮像装置付き画像表示装置。
17. 撮像装置を介して取得された画像に基づく情報を送出する情報送出手段、及び、
    入力された画像情報に基づく画像を画像表示部に表示する表示手段、
    を更に備えており、
    撮像装置を介して取得された画像に基づく情報を情報送出手段によって送出し、
    入力された画像情報に基づく画像を画像表示部に表示する請求項１乃至請求項１６のいずれか１項に記載の撮像装置付き画像表示装置。
18. 発光素子は、有機エレクトロルミネッセンス素子から成る請求項１乃至請求項１７のいずれか１項に記載の撮像装置付き画像表示装置。