JP4886162B2 - 撮像装置付き表示装置 - Google Patents

撮像装置付き表示装置 Download PDF

Info

Publication number
JP4886162B2
JP4886162B2 JP2003173735A JP2003173735A JP4886162B2 JP 4886162 B2 JP4886162 B2 JP 4886162B2 JP 2003173735 A JP2003173735 A JP 2003173735A JP 2003173735 A JP2003173735 A JP 2003173735A JP 4886162 B2 JP4886162 B2 JP 4886162B2
Authority
JP
Japan
Prior art keywords
display
imaging
display device
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003173735A
Other languages
English (en)
Other versions
JP2005010407A (ja
Inventor
亮 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003173735A priority Critical patent/JP4886162B2/ja
Priority to US10/869,717 priority patent/US7420608B2/en
Priority to CNB2004100597381A priority patent/CN100533268C/zh
Publication of JP2005010407A publication Critical patent/JP2005010407A/ja
Application granted granted Critical
Publication of JP4886162B2 publication Critical patent/JP4886162B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14623Optical shielding
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65OLEDs integrated with inorganic image sensors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0421Structural details of the set of electrodes
    • G09G2300/0426Layout of electrodes and connections
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00Organic light-emitting devices
    • H10K50/80Constructional details
    • H10K50/84Passivation; Containers; Encapsulations
    • H10K50/842Containers
    • H10K50/8428Vertical spacers, e.g. arranged between the sealing arrangement and the OLED
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00Organic light-emitting devices
    • H10K50/80Constructional details
    • H10K50/84Passivation; Containers; Encapsulations
    • H10K50/844Encapsulations
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00Organic light-emitting devices
    • H10K50/80Constructional details
    • H10K50/86Arrangements for improving contrast, e.g. preventing reflection of ambient light
    • H10K50/865Arrangements for improving contrast, e.g. preventing reflection of ambient light comprising light absorbing layers, e.g. light-blocking layers
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/10OLED displays
    • H10K59/12Active-matrix OLED [AMOLED] displays
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/10OLED displays
    • H10K59/17Passive-matrix OLED displays

Description

【0001】
【発明の属する技術分野】
本発明は、有機EL、液晶、プラズマ方式など比較的薄型の表示機器に一体的に撮像機器が備えたられた撮像装置付き表示装置に関する。さらに詳しくは、テレビ電話などのリアルタイム双方向通信などに好適な撮像装置付き表示装置に関する。
【0002】
【従来の技術】
近年、通信網の目覚しい発展によりテレビ電話などのリアルタイム双方向通信が可能となった。テレビ電話は被写体像を電気的な画像信号に変換する撮像手段と電気的な画像信号を光信号に変換して表示する表示手段とから構成されている。テレビ電話のユーザーは、表示手段の画面に映された相手の顔を見ながら会話をし、同時にユーザーの顔は、撮像手段により撮影され電気信号に変換されたのち相手側へ送られる。しかしながら、従来のテレビ電話など双方向通信に用いられる機器では、撮像手段は表示手段の隣りまたは別の独立した装置として設けられており、表示手段を見ている受信者を斜め方向から撮影することになる。そのため、表示手段に映った相手の顔は視線が別のところを向いており、相互に話していてもぎこちなく面と向かって話をするばあいと比較して違和感があるという問題がある。また撮像装置と表示装置とを別々に製造して組み立てたり、別個の装置としなければならず、製造コストが高くなるという問題がある。
【0003】
そこで、特開平10−70713号公報(特許文献1)では、表示手段の表示領域内に撮像手段を設けた構成が開示されている。図33、34、35はこの従来例を示す図であり、図33は全体斜視図、図34は図33におけるA−A’断面における拡大図、図35は被写体の撮像原理を示す。図33、34に示すように透過型撮像装置一体型表示装置は表示装置1と透過型撮像装置2とからなる。表示装置1は透過型の液晶表示装置で、背後より照明光5で照明される。透過型撮像装置2は格子状に配列された窓部3と、窓と窓の交点に配置されたマイクロレンズ4からなる。照射光5で照らされた表示装置1の映像は透過型撮像装置2の窓部3を通して観察される。そして、透過型撮像装置のマイクロレンズ4、フォトダイオード26などは、表示装置1のTFT10上部に設けられている。したがって、撮像と表示の両立が可能となっている。そして、1つのマイクロレンズ4、フォトダイオード26により1つの撮像信号が得られる構成となっている。
【0004】
次に、このような複眼方式撮像素子による被写体の撮像原理について図35を用いて説明する。図35は透過型撮像装置2の垂直断面図で、透明ガラス基板21の上にフォトダイオード26が一定間隔で配置されてフォトダイオードアレー38を形成し、個々のフォトダイオード26はそれぞれ遮光層30で覆われており、遮光層30にはピンホール31が開けられている。フォトダイオードアレー38の前には個々のフォトダイオード26に対応したマイクロレンズ4からなるマイクロレンズアレー35が配置されている。マイクロレンズアレー35の前方には被写体39が位置しており、被写体39からの外光37が個々のフォトダイオード26に入射されている様子を示す。ここでマイクロレンズアレー35は遮光層30からマイクロレンズ4の焦点距離fだけ離れた位置に配置されている。したがってフォトダイオード26にはピンホール31とマイクロレンズ4の光学中心を結ぶ特定方向の光37のみが入射される。そして、マイクロレンズアレー35を通過する外光37を全て相互に平行とするならば、透過型撮像装置2の前方に位置する被写体39は撮像装置2の大きさ程度に撮影される。
【0005】
以上のような構成で、表示手段を見ながらの撮像ができ、かつ表示手段に表示される相手と視線を一致させることが可能となる。また、表示手段前面に薄型の撮像手段を設けたことによって装置全体が大型化することもない。
【0006】
【特許文献1】
特開平10−70713号公報。
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来例においては以下のような問題点がある。
(1)撮影画像の画素数は表示装置の画素数とほぼ同等であり、表示画素数以上に高画素化することができない。
(2)表示装置のような大判の基板サイズで製造歩留まりの悪いフォトダイオードを形成するため、1枚の基板上に形成可能な数が少なくコストが高くなる。
(3)窓部を形成するため光電変換部が離散的に設けられておりモワレ縞が発生してしまう。
【0008】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置付き表示装置において、簡単な構成で視線を一致させることを可能とすると共に、高画素化、低コスト化、薄型化を実現することである。
【0009】
さらには、モワレ縞のない高品位な画像を得ることができるようにすることである。
【0010】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置付き表示装置は、透明絶縁基板と、遮光部材としての絶縁性を有し第1の領域及び第2の領域において開口部を有する遮光膜から成る部材であって、前記透明絶縁基板上に設けられた遮光部材と、前記第1の領域に設けられた開口部に対応する位置に配置された表示画素と、前記第2の領域に設けられた開口部に対応する位置に結像手段が設けられた基部層と、前記第2の領域に設けられた開口部及び前記基部層に設けられた結像手段を通過した光を撮像する、前記第2の領域に設けられた1つの前記開口部に対して複数設けられた画素部を有するとともに、前記表示画素の背部に配置された撮像素子ユニットとを具備し、前記結像手段は、前記基部層の前記撮像素子ユニット側に設けられているとともに、前記表示画素は、前記基部層により封止されていることを特徴としている。
【0011】
【発明の実施の形態】
以下、本発明の好適な実施形態について説明する。
【0012】
まず、本発明の実施形態の概要について説明する。
【0013】
実施形態の撮像装置付き表示装置は、複数の表示画素と該複数の表示画素の各表示画素間に配置された遮光部材とを備えた表示手段と、該表示手段の背部に配置された撮像手段とを具備し、前記遮光部材は一部に前記撮像手段に光を導くための開口部を備え、前記撮像手段は、前記開口部に対応した位置に結像手段を備えることを特徴とする。
【0014】
また、他の実施形態の撮像装置付き表示装置は、複数の表示画素と該複数の表示画素の各表示画素間に配置された遮光部材とを備えた表示手段と、該表示手段の背部に配置された複数の撮像手段とを具備し、前記遮光部材は一部に前記撮像手段に光を導くための複数の開口部を備え、前記複数の開口部は前記表示画素の整数倍ピッチで配設されていることを特徴とする。
【0015】
また、この実施形態の撮像装置付き表示装置において、前記開口部近傍の前記表示画素は一部が切り欠かれていることを特徴とする。
【0016】
また、この実施形態の撮像装置付き表示装置において、前記複数の撮像手段は所定距離の被写体において画素ずらし撮影を行うことを特徴とする。
【0017】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0018】
(第1の実施形態)
第1の実施形態は、表示手段として有機EL(EL:Electro Luminescence)素子を用いた例である。有機EL素子は自発光型の素子であり、表示装置に用いた場合、(1)発光効率が高い、(2) 駆動電圧が低い、(3) 発光材料を選択することで様々な色(緑、赤、青、黄など)を表示可能、(4)バックライトが不要、(5) 面発光であり視野角依存性が無い、(6) 薄型で軽量、などの優れた特徴がある。そこで、近年、CRTやLCDに代わる表示装置として、有機EL素子を用いた表示装置が注目されている。以下、本実施形態について説明する前にまずは有機EL表示装置について説明する。
【0019】
マトリックスに配置された点(ドット)で表示を行うドットマトリックスの有機EL表示装置には、単純マトリックス方式とアクティブマトリックス方式とがある。
【0020】
単純マトリックス方式は、表示パネル上にマトリックスに配置された各画素の有機EL素子を走査信号に同期して外部から直接駆動する方式であり、有機EL素子だけで表示装置の表示パネルが構成されている。そのため、走査線数が増大すると1つの画素に割り当てられる駆動時間(デューティ)が少なくなり、コントラストが低下するという問題があるが、製造プロセスが簡略化でき低コスト化できるというメリットがある。
【0021】
図1乃至図3に単純マトリックス方式の有機EL表示装置を示す。図1は、単純マトリックス方式の有機EL表示装置101の一部断面図である。
【0022】
ガラスや合成樹脂などから成る透明絶縁基板102上に、ITO(Indium Tin Oxide)などの透明電極から成る複数の陽極103、第1ホール輸送層104、第2ホール輸送層105、発光層106、電子輸送層107、マグネシウム・インジウム合金から成る複数の陰極108がこの順番で積層形成されている。このように、各層104〜107は有機化合物から成り、その各層104〜107と陽極103および陰極108とによって有機EL素子109が構成されている。
【0023】
また、各陽極103の間から露出した透明絶縁基板102上に、遮光部材としての絶縁性を有した遮光膜から成るブラックマトリックス110が形成されている。つまり、ブラックマトリックス110は、各陽極103の間に埋め込まれた状態に形成されている。ブラックマトリックス110の材質としては、遮光性を有した微粒子(カーボンブラックなど)を含有した塗布絶縁膜(シリコン系樹脂膜、ポリイミド系樹脂膜、SOG(Spin On Glass)膜など)や、遮光性を有した高分子フィルムなどがあり、陽極103に対して悪影響を及ぼさないものであればどのような材質であってもよい。
【0024】
有機EL素子109においては、陽極103から注入されたホールと、陰極108から注入された電子とが発光層106の内部で再結合し、発光層106を形成する有機分子を励起して励起子が生じる。この励起子が放射失活する過程で発光層106から光が放たれ、矢印γに示すように、この光が透明な陽極103から透明絶縁基板102を介して外部へ放出される。
【0025】
ここで、各ホール輸送層104,105は、陽極103からホールを注入させ易くする機能と、陰極108から注入された電子をブロックする機能とを有する。また、電子輸送層107は、陰極108から電子を注入させ易くする機能を有する。
【0026】
このように構成された有機EL表示装置101によれば、発光効率の高い単色発光の有機EL素子109を得ることが可能になり、有機EL表示装置101の輝度を向上させることができる。
【0027】
そして、フルカラーの有機EL表示装置101を実現するには、以下のような5つの方式が提案されている。(1)白色発光する有機EL素子をRGBのカラーフィルタと組み合わせる。(2)B(青)色発光有機EL素子をCCM(Color Changing Media)色変換層でRGB発光に変換させる。(3)シャドウマスクを用いてRGB各有機層を選択的に成膜する。(4)RGB各有機EL素子を垂直方向に積層してそれぞれを独立に発光させる。(5)高分子有機層をインクジェット印刷で塗り分けRGB発光させる。
【0028】
図2は、有機EL表示装置101を陽極103側から見た平面図である。なお、図2において、陽極103および陰極108の他の部材については省略してある。各陽極103はそれぞれ平行に配置され、各陰極108もそれぞれ平行に配置されている。そして、各陽極103と各陰極108とはそれぞれ直交するように配置されている。
【0029】
有機EL素子109において、交差した各陽極103(103a〜103c)と各陰極108(108a〜108c)との間にそれぞれ挟まれた領域、すなわち図中斜線部で示す領域に各発光領域Aが形成され、その発光領域Aが前記した作用によって発光する。つまり、マトリックスに配置された各発光領域Aが有機EL表示装置101の各表示画素となる。
【0030】
単純マトリックス方式では、発光させたい発光領域Aに対応する陽極103に駆動電源のプラス側を接続し、その発光領域Aに対応する陰極108に駆動電源のマイナス側を接続して、その陽極103および陰極108に通電する。
【0031】
例えば、陽極103と陰極108aとの交差点に位置する発光領域Aを発光させたい場合には、陽極103をプラス側、陰極108aをマイナス側として通電する。すると、矢印αに示すように順方向電流が流れる。
【0032】
図3は有機EL表示装置101を陰極108側から見た図で、ブラックマトリックス110および陽極103以外は省略してある。そして、陽極103a〜103cはブッラクマトリックス110の下側に設けられているので、図中点線で示している。ブラックマトリックス110には図2における発光領域Aに対応した領域が開口領域Bとして形成されている。そして、各発光領域A以外の領域は遮光するよう構成され光の漏れこみを防ぐ役割を果たしている。
【0033】
このように本実施形態の有機EL表示装置はブラックマトリックス110を備えているため、EL素子のリーク電流特性による光学的クロストークやEL素子の構造に起因する光散乱による光学的クロストークは発生し難い。したがって、有機EL表示装置101のコントラストが良好になって解像度が向上するため、高精細な画像を得ることができる。そして、フルカラーの有機EL表示装置に適用した場合には、色の「にじみ」が少ない鮮やかな画像を得ることができる。
【0034】
以上が有機EL表示装置の構成である。本実施形態ではこのような有機EL表示装置を表示手段として用いる。
【0035】
図4は第1の実施形態に係わる撮像装置付き表示装置の一部分を拡大した概略断面図である。
【0036】
図4において、111は撮像手段112と表示手段113からなる撮像装置付き表示装置である。表示手段113には、図1の有機EL表示装置101を用いており、同様にガラスや合成樹脂などから成る透明絶縁基板102上に、ITO(Indium Tin Oxide)などの透明電極から成る複数の陽極103が形成され、各陽極103間にはブラックマトリックス110が形成される。114は陽極103、ブラックマトリックス110上面に積層された有機層で、図1における第1ホール輸送層104、第2ホール輸送層105、発光層106、電子輸送層107からなる。そして、有機層114の上面にはマグネシウム・インジウム合金から成る複数の陰極108が積層形成されている。以上が表示手段113の構成であり、図1乃至図3を用いて説明した有機EL表示装置101と同様である。
【0037】
次に、撮像手段112の構成について説明する。陰極108上面にはレンズ部115aを一体的に備えたレプリカ層115が積層されている。レプリカ層115は一般的に紫外線硬化型の樹脂などを用いた金型成形で作製され、結像レンズなど高精度な面、球面・非球面形状、さらには密に配列したレンズアレイとすることも容易に実現可能である。なお、結像レンズにはアクリル系の樹脂を用いるのが一般的に好適である。
【0038】
ところで、有機EL素子109は、ごく僅かな酸素や水分によって容易に電極が酸化されてしまい、酸化ダークスポットと呼ばれる非発光部が形成され、時間の経過とともに拡大し、発光しなくなる現象が問題になっている。本実施形態においては透明絶縁基板102とレプリカ層115で陽極103、有機層114、陰極108からなる有機EL素子109を完全封止する構成としている。したがって、レプリカ層115はレンズ部115aを形成するためだけではなく、封止という役割も果たしている。なお、レプリカ層115は樹脂であるため、外気から完全封止するためにはある程度の厚みが求められるが、レプリカ層115だけでは封止が不完全な場合、レプリカ層115にコーティングを行う、レンズ部115a以外を金属膜でコーティングする、装置全体を封止するなどの対策を施せばよい。
【0039】
図4に戻って、レンズ部115aは非球面形状からなる結像レンズで、L1はレンズ部115aの光軸を示す。そして、光軸L1と交差するブラックマトリックス110には開口部110aが設けられている。この開口部110aはレンズ部115aの開口絞りの役目を果たしている。
【0040】
このようにして透明絶縁基板102、開口部110a、有機層114を通過した光線がレンズ部115aによって結像する。なお、有機層114は薄膜であり可視光線は透過することが多いが、そうでない場合有機層114にも開口部を設ければよい。本実施形態ではできるだけ製造プロセスの煩雑さを無くすため有機層114には開口部を設けない構成とした。
【0041】
次に、図5は図4における表示手段113を陽極103側から見た平面図である。なお、図5において、陽極103および陰極108以外の他の部材については省略してある。図において点線で示す円はレンズ部115aに対応し、陽極103a、103b、陰極108a、108bで挟まれた領域に光軸L1を中心として形成されている。そして、陽極103a〜103cと陰極108a〜108cが重なる斜線部領域Aが発光領域として機能する。つまり、マトリックスに配置された各発光領域Aが表示手段113の各表示画素となる。
【0042】
同様に、図6は図4における表示手段113を陰極108側から見た平面図である。なお、図6において、陽極103およびブラックマトリックス110以外の他の部材については省略してある。ブラックマトリックス110は発光領域Aに対応した領域が開口領域Bとして形成され、その他の領域は遮光された構成となっている。そして、点線で示すレンズ部115aに対応した光軸L1を中心とする位置に円形の開口部110aが形成されている。ここで、図4は、図5および図6における水平方向の断面図であるあることがわかる。
【0043】
このように、レンズ部105aに対応した位置におけるブラックマトリックス110には各発光領域A間の表示に不要な領域を利用して円形の開口部110aが形成されている。したがって、表示の品位を低下させることはない。
【0044】
ところで、陰極108は金属膜であるため光を透過しない。本実施形態においては、陰極108a、108b間の金属膜が存在しない領域にレンズ部115aおよび開口部110aを設けたので金属膜に開口部を形成する必要はないが、この領域に陰極などの光遮光性部材がある場合は適宜開口部を設ける必要があり、遮光部材に該当することは言うまでもない。本実施形態ではプロセスの煩雑さを無くすために金属膜が存在しない領域にレンズ部115aの光軸L1が位置するようにした。さらに、開口部110aは円形であるためこのように4つの表示画素中心に光軸L1を設定することで開口部110aの径についてもより大きくすることが可能となる。したがって、Fナンバーについての設計自由度を高めることができる。
【0045】
撮像手段112側の光学性能としては、図5に示す開口部110a以外、例えば開口部110a近傍の開口領域Bを通過した光線がレンズ部115aで形成される被写体像に進入し、ゴースト、フレアとして像性能を悪化させることが懸念される。本実施形態では、開口領域Bには金属膜から成る陰極108が存在するためこのような光線は完全に遮光される構成となっているが、陰極108は有機層114で発光した光を効率よく表示面側に取り出すために反射率の高い金属膜で形成されることが多く、これもゴースト、フレアを引き起こす可能性がある。この場合、ブラックマトリックス110を有機層114が完全に分断するように厚く形成すればよい。さらには、陰極108のレプリカ層115側で、かつ撮像手段112の近傍には低反射率膜を形成し、陰極108のレプリカ層115側における光の反射を極力なくす。なお、陰極108のレプリカ層115側は表示の光量には無関係であるため、こうのような構成としても問題ない。
【0046】
図4に戻って、レンズ部115aの結像位置近傍には撮像素子116、配線基板117、カバーガラス118からなる撮像素子パッケージユニット119が接着剤層120を介して設けられている。そして、カバーガラス118の入射面側には赤外カット層121が多層膜コーティングにより形成され、撮像に悪影響を及ぼす赤外光を遮断している。
【0047】
図7は撮像素子116をレンズ部115a側から見た平面図である。撮像素子116上には受光画素116aが格子状に多数個形成されており、レンズ部115aで結像される被写体像をこの多数個の受光画素116aにて光電変換する。そして、受光画素116aにはそれぞれ1画素ごとにカラーフィルタ(不図示)、マイクロレンズ(不図示)が備えられ、カラーフィルタの配列として、例えば公知のベイヤー配列を用いることでカラー画像を撮像することが可能となる。そして、116bはタイミング発生部、A/D変換部などからなるオンチップ周辺回路部で、撮像素子116上に受光画素116aと一体的に設けられている。さらに、これらの周辺部には電極パッド116cが円環状に形成される。電極パッド116c上には金バンプ(不図示)が形成され、配線基板117の電極部(不図示)と異方性導電ペーストや熱および超音波接合により電気的に接続される。そして、配線基板117を介して撮像信号を読み出すことが可能となっている。
【0048】
図8は撮像素子116に配線基板117を接合した状態を斜め上方からみた斜視図である。配線基板117には開口部117aが設けられ受光画素116aが被写体像を光電変換できるよう剥き出しとなっている。そして、この配線基板117の撮像素子116と対向する側には開口部117aを介してカバーガラス118が配置される。したがって、撮像素子116の受光画素116aとカバーガラス118間にはわずかな空気層が存在し、受光画素116a上に形成されたマイクロレンズ(不図示)による光学効果が発揮される。なお、各部材の境界面には紫外線および熱硬化型の接着封止剤層が形成され、機械的強度を保つと共に、異方性導電ペーストと併せて撮像素子116の受光面を外気から遮断した密封構造となっている。
【0049】
ところで、このような撮像素子パッケージユニット119の詳細な構成については、特許第3207319号公報に開示されており、本実施形態ではこの撮像素子パッケージを使用する。このようなパッケージの特徴としては、撮像信号を取り出すための配線基板117を受光画素116aとレンズ部115a間、すなわち撮像光学系の光路中に設けているため、より薄型の撮像装置を実現することができる。
【0050】
そして、撮像素子パッケージユニット119は、レンズ部115aにより形成される被写体像が撮像素子116の受光面上に結像するよう傾斜、回転などの位置調整を経た後に接着剤層120により固定される。
【0051】
以上のように、開口部110a、レンズ部115a、撮像素子パッケージユニット119で撮像手段112は構成される。そして、図中C、Dで示す線が撮像素子106の受光領域端部に結像する光線を示し、所定画角の被写体を撮像可能となっている。
【0052】
一例として、撮像手段112まわりの寸法を計算してみる。図9は図4に示す撮像手段112の光学系を単純モデル化した図で、この図を用いて計算する。
【0053】
図9において、102’は透明絶縁基板102に、115’はレプリカ層115に対応している。そして球面レンズ部115a’はレンズ部115aに対応し、計算を簡単にするため球面とし、102’と115’の境界面に中心点Eを有した半径rの球面である。また、dは開口部110aに相当する球面レンズ部115a’の絞り開口径とし、102’、115’の屈折率は一律にnとする。さらに、Hは撮像素子116の受光画素116aが形成されている領域の対角寸法で、光線C’、D’はHの端部に結像し中心点Eを通過する光線である。したがって、光線C’、D’は102’の入射面のみで屈折し、その他の境界面では屈折しない。
【0054】
このように、入射面のパワーを弱く、射出面のパワーを強く、すなわち平凸構成の光学系において球面の半径r中心に絞りを配置することで、像面の湾曲を少なくすることができる。なお、実際は球面を非球面とすることで、より良好に湾曲収差、色収差などの諸収差を補正する。
【0055】
θは光線C’、D’のなす角、すなわち撮影画角で、θ’は光学系による屈折後の撮影画角である。
【0056】
いま、撮像素子116の画素数を例えば320×240のQVGAサイズで、画素ピッチを0.003mmとすると、対角寸法Hは以下のようになる。
【0057】
H=0.003×√(3202+2402)=1.20mm …(1)
撮影画角θは任意に設定することができるが、本実施例においては表示装置とユーザーの距離はある程度近いため広角とする方が望ましく、θ=60°とし、屈折率n=1.5とすると、Snellの法則よりθ’は以下のようになる。
【0058】
θ’=2×asin(sin(θ/2)/n)=38.94° …(2)
したがって、中心点EからHまでの距離lは以下のようになる。
【0059】
l=(H/2)/tan(θ’/2)=1.70mm …(3)
そして、透明絶縁基板102の厚みは一般的に0.7mmで、撮像素子116もウエハ標準サイズであると0.7mm程度であるので、全体の厚みとしては約3.10mmの厚みとなる。
【0060】
一方、球面レンズ部115a’の焦点距離をfとすると、被写体位置が焦点距離に比較して十分に遠く、ほぼ無限遠と近似でき、かつ屈折率がn=1.5の場合、f=2r、l=3rとなるので、f=1.13mm、r=0.57mmと計算することができる。そして、球面レンズ部115a’のFナンバーをF8.0とすると絞り開口径d=0.14mmとなる。
【0061】
なお、図9の単純モデルにおいては、陽極103、有機層114、陰極108については省略して説明した。これらの層は薄膜であり、総厚でも数μm程度であるため省略して考えても差し支えないからである。また、レンズ部115aについては諸収差を無視した球面レンズとして考えたが、このように概略寸法を計算する上では問題ない。
【0062】
一方、表示手段113の表示パネルの対角を15インチとすると、水平長12インチ(304.8mm)、垂直長9インチ(228.6mm)となる。そして、表示画素数を640×480画素のVGA対応表示装置とすると、表示画素ピッチは水平垂直ともに0.476mmである。表示画素の開口率を60%とするとブッラクマトリックス110の幅は以下のように計算される。
【0063】
Figure 0004886162
そして、このブラックマトリックス対角寸法が図6における寸法Fとなり、0.14mmの絞り開口径を形成することは十分に可能である。なお、絞り開口径を極端に絞り込むと回折による影響で高周波域のコントラストが低下する。これは絞り開口の縁から発する周辺波による回折縞の強度が増すためである。回折縞を減らすには、中央部が透明で周辺に行くにしたがって濃度が大きくなるフィルターを絞り開口部に付加すればよい。この手法はアポダイゼイションと呼ばれ、インコネル、クロメル、クローム等の薄膜を蒸着またはスパッタリングすることによって形成可能である。
【0064】
以上のようにブラックマトッリクス110にわずか開口径0.14mmの穴を形成することで、厚さ3.10mmの超薄型撮像装置付き表示装置を実現することが可能となる。
【0065】
図10はこのような撮像装置付き表示装置111の外観斜視図を示す。
【0066】
130は表示手段113の表示パネルで、ユーザーはこの表示パネル130に表示される情報を目視する。そして、撮像手段112が図中点線で示すように表示パネル130の中央付近に埋め込まれている。なお撮像手段112の開口部110aは微小であるため表示パネル130側からの目視は困難であり、図中も省略してある。131は本実施形態の撮像装置付き表示装置111を支える筐体である。
【0067】
図11は本実施形態の撮像装置付き表示装置111でリアルタイム双方向画像通信を実現するシステムを示すブロック図である。本実施形態においては、撮像装置付き表示装置111をPC(パーソナルコンピュータ)などの情報処理装置141に接続し、情報処理装置にて制御を行うことで実現する例を説明する。
【0068】
140は撮像装置付き表示装置111を含む情報端末で、撮像装置付き表示装置111と情報処理装置141からなる。
【0069】
情報処理装置141は、公知の構成であるが、中央演算処理部142、メモリ143、例えばハードディスクなどの大容量記憶媒体144を備える。大容量記憶媒体144には、OS(オペーレーティングシステム)が格納され、プログラム制御により情報処理装置141の起動を行う。また、大容量記憶媒体144には撮像装置付き表示装置111の各種動作制御を行うアプリケーションソフトも格納され、OSの制御下のもと撮像開始、通信開始などの制御動作を行う。また、情報処理装置141には音声通信を行うためのマイク145、スピーカー146を備えている。さらには、図には示していないがユーザーインタフェースを司る公知のマウス、キーボードも接続されている。
【0070】
情報処理装置141は一般電話回線やLAN回線などを介してネットワーク網147に接続されている。そして、このネットワーク網147を介して複数台の情報端末140a、140b、140cが接続されている。
【0071】
以上のような構成で、リアルタイム双方向画像通信を実現する。
【0072】
図12は撮像装置付き表示装置111の電気的な構成をより詳細に示すブロック図である。
【0073】
撮像装置付き表示装置111には表示手段113と撮像手段112が含まれる。
【0074】
まず、表示手段113において、150は図4における発光領域Aからなる表示画素を多数個そなえた表示部で、151は図11における情報処理装置141などの外部接続機器から表示用信号を受け取る表示用IF部である。そして、152は表示用IF部151を介して送られてきた表示用信号に基づき多数個の表示画素を駆動する表示駆動回路である。
【0075】
次に、撮像手段112において、撮像素子116には図7に示す多数個の受光画素116aからなる受光領域153が備えられ、各受光画素116aにて光電変換されたアナログ信号をデジタル信号に変換するA/D変換部154、A/D変換部154に各種タイミング信号を送るTG(タイミングジェネレータ)部155が撮像素子116と一体的に形成されている。156はA/D変換部でデジタル信号に変換された画像信号に対して、自動露出、ガンマ補正、ホワイトバランス調整、フィルタ演算などの各種画像処理を行い、情報処理装置141上で展開可能な画像フォーマットを生成する画像処理部である。そして、157は画像を情報処理装置141へ送り、撮像タイミング信号を情報処理装置141から受け取る撮像用IF部である。
【0076】
ここで、表示手段113と撮像手段112はそれぞれ独自に情報処理装置141に接続するように構成している。これは、表示手段と情報処理装置の接続インターフェースは標準規格で定めらており、撮像信号を接続する仕様を加えると独自の規格を作ることとなり汎用性に欠けるからである。なお、撮像手段112の接続は公知のUSB、IEEE1394接続など動画像の転送に好適で汎用性のある接続形態を用いればよい。
【0077】
図13は、図10における表示パネル130に双方向通信を行うアプリケーションソフトが表示されている状態を示す概略図である。なお、前述したようにこのアプリケーションソフトは情報処理装置141の大容量記憶媒体144に格納されており、ユーザーの操作により起動する。
【0078】
図において、160はアプリケーションウィンドウで、ユーザーが各種機能の設定や操作を行うコマンドボタンを複数並べたコマンド入力部161、撮像手段112にて撮像された画像や通信にて送信されてくる画像を表示する画像表示ウィンドウ162(図中斜線部)、コマンド入力部161に備えられたボタンのうち撮像や通信に関連した複数のコマンドボタンをユーザーが瞬時に操作しやすいように抜粋し並べた撮像・通信コマンド入力部163を備える。なお、ユーザーのコマンド入力部161、撮像・通信コマンド入力部163における設定、操作については、公知のマウスおよびキーボードにより行われる。
【0079】
164は撮像手段112の存在位置を示す撮像手段位置マークである。この撮像手段位置マークはコマンド入力部161および撮像・通信コマンド入力部163にて、任意に表示/非表示設定可能となっている。このようなマークは、ユーザーが撮像や双方向通信を行う際に表示パネル130のどこを注視すればよいかをユーザーに知らせる役目があり、本実施形態のように開口部110aの開口径が非常に微小で、目視ではほぼ判別不可能な場合に効果がある。
【0080】
さらに、アプリケーションウインドウ160には自画像表示ウインドウ165が備えられ、ユーザー自信がどのように撮影されているかを確認することができる。
【0081】
次に、図14は上記のようなアプリケーションソフトの起動時における動作を示すフローチャートである。
【0082】
まず、STEP1401で情報処理装置141のOS制御下のもとアプリケーションソフトをマウスなどの操作により起動する。
【0083】
次に、STEP1402では、情報処理装置141から表示手段113に表示信号が送られ、表示パネル130にアプリケーションウィンドウ160が表示される。
【0084】
次に、STEP1403では、撮像手段位置マーク表示フラグがONになっているかを判別する。なお、撮像手段位置マーク表示フラグとは、前述したユーザーが任意に設定可能な撮像手段位置マーク164の表示/非表示設定のことで、フラグONが表示を意味している。そして、アプリケーションソフト終了時には、このフラグの状態を格納し、次回起動時に読み出すよう構成している。
【0085】
次に、撮像手段位置マーク表示フラグがONの場合、STEP1404へ進み、情報処理装置141から表示手段113へ表示信号を送り、表示パネル130内の最前面に撮像手段位置マーク164を表示する。したがって、他のアプリケーションソフトが起動されていても、本実施形態のアプリケーションソフトがアクティブな場合、アプリケーションウィンドウ160よりも最前面に撮像手段位置マーク164が表示されるので、ユーザーは容易に撮像手段112の存在位置を認識できる。
【0086】
一方、撮像手段位置マークフラグがONでない場合、撮像手段位置マーク164は表示されず、アプリケーションウィンドウ160のみが表示されることとなる。
【0087】
以上が、アプリケーション起動時おける動作である。なお、撮像や通信に関する動作については公知であるため説明を省略する。
【0088】
以上のような構成で、リアルタイム双方向画像通信を実現する。そして、撮像手段112は表示装置113から突出しない状態で備えられ、さらには撮像手段112の開口部110aも表示画素を欠損することなく設けられ、開口径も微小でありほぼ目視不可能であるため表示の品位も通常の表示装置と同等である。
【0089】
なお、本実施形態においは、撮像手段112にローパスフィルタを設けない構成とした。ローパスフィルタは薄型化すると非常に高価であり、厚いものを挿入すると薄型の特徴を生かすことができないことから省略したが、ローパスフィルタを設けてもよい。そのときは、カバーガラス118をローパスフィルタとするのがよい。
【0090】
また、図12に示すように画像処理部156は撮像手段112が備える構成としたが、本実施形態のように情報処理装置141に接続する表示装置においては、画像処理部156における演算処理をアプリケーションソフトが行うようにしてもよい。一般的に情報処理装置141の中央演算処理部142の処理能力は非常に高く、画像処理部156がハードウェアのロジック回路であったとしても情報処理装置141の処理能力は同等以上である。本実施形態では、比較的処理能力の低いモバイル型の端末、例えばノートPC、PDAなどにも使用できる汎用性を持たせるため撮像手段112に画像処理部156を備えた。したがって、情報処理装置141以外の一般的な家電製品などへの接続も比較的容易で、アプリケーションソフトが組み込めない場合は、例えば筐体131に操作釦を設ければよい。
【0091】
さらに、表示手段113と撮像手段112は一体的に構成されているが、動作制御についてはまったく別ものである。したがって、表示と撮像の同期を取る必要がなく、例えば表示は消えているが、撮像だけを行うなどの使い方の幅も広がり、監視カメラなどとしても利用可能である。
【0092】
(第2の実施形態)
第2の実施形態は第1の実施形態の変形例で、表示画素を高密度化して表示の解像度を向上させ、表示画素の開口率をアップしても比較的大きな絞り開口径を確保可能な例を示す。
【0093】
図15、16は、フルカラーの表示手段に撮像手段を備えた場合の一例で、図15は第2の実施形態における表示手段113を陽極103側から見た平面図、図16は第2の実施形態における表示手段113を陰極108側から見た平面図であり、それぞれ第1の実施形態の図5、図6に相当する。なお、図15においては陽極103および陰極108以外の他の部材、図16においてはブラックマトリックス110以外の他の部材についてそれぞれ省略してある。なお、フルカラーの方式については第1の実施形態で説明した5つの方式のうち、すべての方式に本実施形態は適用可能である。
【0094】
図において、陽極103a〜103iと陰極108a〜108bは互いに直交するように配置され、縦長の発光領域A−R1〜A−R6、A−G1〜A−G6、A−B1〜A−B6(図中斜線部)を形成している。そして、これらの記号のうちR、G、Bはそれぞれ赤色、緑色、青色を主波長とした光を発光する発光領域であることを示し、番号1〜6については、同じ番号が符された3つのRGB発光領域で1つの画素を形成することを示す。したがって、例えばA−R1、A−G1、A−B1でRGB3色による1つの画素を形成し、このような画素が多数個配列されることでフルカラー表示を実現している。
【0095】
そして、ブラックマトッリクス110には、上記発光領域に対応して縦長の開口領域B−R1〜B−R6、B−G1〜B−G6、B−B1〜B−B6が形成されている。また、開口領域B−B1、B−R2、B−B4、B−R5間には開口部110aが形成される。L1はレンズ部115aの光軸で開口部110aの中心と一致している。
【0096】
このような開口部110aを形成するために、陽極103c、103d、陰極108a、108bは光軸L1を中心に外側へ逃げるような形状で配線され、そのため一部の発光領域の面積が減少している。同様にブッラクマトリックス110も一部の開口領域の面積が減少している。すなわち、表示画素の一部が切り欠かれた構成となっている。
【0097】
しかしながら、そうすることでより大開口径の開口部110aを形成することが可能となり、また、発光領域が密に配置し表示解像度を向上させても開口部110aを形成することが可能である。開口部110a近傍の表示画素については開口率が多少低下することになるが、完全に表示画素を欠損しているわけではないので、表示に与える影響もごくわずかである。開口率が減少した表示画素については、電気的に発光量を補正すればより表示の品位を向上させることができる。本実施形態においては、開口率の減少はわずかであり、表示に与える影響が少ないことからこのような補正は行わない構成とした。
【0098】
一例として、フルカラー表示装置における開口部110aのサイズについて計算してみる。
【0099】
表示パネル130の対角を15インチとすると、水平長12インチ(304.8mm)、垂直長9インチ(228.6mm)となる。そして、表示画素数を1024×768画素のXGA対応表示装置とすると、表示画素ピッチは水平垂直ともに0.298mmである。1つの表示画素はRGB3つの発光領域から構成されるので1つの発光領域ピッチは、垂直においては表示画素ピッチと同様であるが、水平は0.099mmとなる。ここで、図15に戻ると開口部110aは発光領域ピッチの2倍程度の寸法で形成されており、仮に2倍と仮定すると、開口部110の開口径は0.198mmとなる。
【0100】
第1の実施形態のように撮像画像サイズが320×240画素、撮影画角を60°とした場合の焦点距離はf=1.13mmとなることから、上記のように開口径が0.198mmであると、そのときのFナンバーはF5.71となり、開口径で約1段の光量アップを実現することができる。
【0101】
以上のように、表示画素の一部を切り欠くことで、開口部110aをより大きく形成することができ、例えばXGAタイプのように解像度が高く発光領域が密に配列されている表示装置においても明るいFナンバーを確保することが可能となった。
【0102】
(第3の実施形態)
第3の実施形態は、複眼光学系により画素ずらしを行う撮像装置を用いることによって、装置全体の厚みを増加させることなくより高解像な撮影画像を得られる例を示す。
【0103】
複眼光学系により画素ずらし撮影を行う撮像装置として、特開2002−209226号公報に開示される撮像装置が知られている。この撮像装置は4つのレンズ部により4つの被写体像を形成し、4つの撮像領域で撮像を行う。このとき4つの撮像領域はそれぞれ1/2画素ずれた位置をサンプリングする、いわゆる画素ずらし撮影を行う。そして、4つの撮像領域は異なる波長域の被写体像をサンプリングし、画像を合成すると公知のベイヤー配列と同等の画像を得ることができる。本実施形態ではこの撮像装置を撮像手段112として用いる。
【0104】
図17はこのような撮像装置付き表示装置の一部分を拡大した概略断面図である。
【0105】
撮像手段112は前述したように4つのレンズ部、撮像領域を備えているが、そのうち2つが図17の断面図に表されている。図において、ブッラクマトリックス110には2つの開口部110a、110bが設けられている。そして開口部110a、110bに対応して2つのレンズ部115a、115bが形成され、L1、L2はそれぞれの光軸である。そして、2つのレンズ部115a、115bの結像位置付近には、2つの撮像領域170a、170bを備えた撮像素子116が配置される。撮像素子116には第1の実施形態と同様に配線基板117が接続される。さらに、配線基板117の撮像素子116と対向する側にはスペーサ171が設けられている。スペーサ171にはレンズ部115a、115bにより結像される光束を撮像領域170a、170bに導くために、穴部171a、171bが形成される。配線基板117とスペーサ171は接触面において不図示の接着封止剤層により固定される。ところで、スペーサ171にはレンズ部ごとに穴部が形成され、それぞれの光束通過空間を仕切るための隔壁171eがある。これは、例えば開口部110a、レンズ115aを通過した撮影画角外の光線が隣接する撮像領域170bに混入する光学クロストークを防止するためである。そして、撮像素子116、配線基板117、スペーサ171で撮像素子パッケージユニット119を構成する。撮像素子パッケージユニット119は接着剤層120を介して表示手段113に接着固定される。
【0106】
次に、図18は図17における表示手段113を陽極103側から見た平面図である。なお、図18において、陽極103および陰極108以外の他の部材については省略してある。図において点線で示す円はレンズ部115a、115b、115c、115dを示し、それぞれ2つの陽極と2つの陰極で挟まれた領域に各光軸L1、L2、L3、L4を中心として形成されている。そして、図17は光軸L1、L2を通過する水平方向の断面図であることが分かる。陽極103a〜103g、陰極108a〜108gが重なる斜線部領域Aは発光領域として機能する。
【0107】
同様に、図19は図17における表示手段113を陰極108側から見た平面図である。なお、図19において、陽極103およびブラックマトリックス110以外の他の部材については省略してある。ブラックマトリックス110は発光領域Aに対応した領域が開口領域Bとして形成され、その他の領域は遮光された構成となっている。そして、点線で示すレンズ部115a〜115dに対応した光軸L1〜L4を中心とする位置に円形の開口部110a、110b、110c、110dが形成されている。
【0108】
このように、レンズ部105a〜105dに対応した位置におけるブラックマトリックス110には各発光領域A間の表示に不要な領域を利用して円形の開口部110a〜110dが形成されている。したがって、表示の品位を低下させることなく撮像用の開口部110a〜110dを形成することができる。
【0109】
図20は撮像素子116を表示手段113側から見た平面図である。撮像素子116上にはレンズ105a〜105dに対応した4つの撮像領域170a、170b、170c、170dが備えられている。撮像領域170aには受光画素116aが格子状に多数個形成されており、レンズ部115aで結像される被写体像をこの多数個の受光画素116aにて光電変換する。そして、受光画素116aにはそれぞれ1画素ごとにカラーフィルタ(不図示)、マイクロレンズ(不図示)が備えられている。なお、他の撮像領域170b〜cについても同様の構成であるが、図中受光画素116aは省略してある。
【0110】
116bはTG部、A/D変換部などからなるオンチップ周辺回路部、116cは配線基板117と電気的に接合するための電極パッドである。
【0111】
なお、撮像素子パッケージユニット119は第1の実施形態と異なりカバーガラス118を備えていないが、スペーサ171がカバーガラス118と置き換わっているだけで、電気的な接続方法など第1の実施形態と同様である。
【0112】
ところで、本実施形態の撮像素子116は各撮像領域170a〜170dごとに色別のカラーフィルタを備える。例えば、170aと170dが緑色(G)、170bが青色(B)、170cが赤色(R)のカラーフィルタを備える。そして、各レンズ部115a〜115dの光軸L1〜L4は、特定の被写体距離において、各撮像領域の中心位置に対してそれぞれ内側に1/4画素ずれた位置で各撮像領域170a〜170dと交わるように光軸L1〜L4の間隔が設定される。すなわち、その特定の被写体距離において、1/2画素ずらしを行っていることとなる。
【0113】
そして、画像信号を読み出す際には、例えば、左下の画素を先頭画素として撮像領域170c(R信号)、撮像領域170d(G信号)を交互に読み出し、水平方向1ラインをすべて読み出す。次に、同様に左下の画素を先頭画素として撮像領域170a(G信号)、撮像領域170b(B信号)を交互に読み出し、水平方向1ラインをすべて読み出す。これを繰り返し全画素の画像信号を読み出す。そうすると、公知のベイヤー配列の画像信号を得ることができる。
【0114】
このとき、各撮像領域170a〜170dの各領域内画素数を第1の実施形態と同様に320×240画素のQVGAサイズとすると、各レンズ部115a〜115dの焦点距離は第1の実施形態と同等である。しかしながら、4つの撮像領域170a〜170dの画像信号を合成することで、4倍の画素数である640×480画素のVGAの画像を得ることができる。通常、画素数を4倍にするにはレンズ部の焦点距離を2倍にしなければならないが、上記方法によれば焦点距離を長くする必要がない。さらには、各レンズ部115a〜115dは色別の被写体像を結像するため、色収差をほとんど含まない。また、各撮像領域170a〜170dの各画素は、マイクロレンズ効果による見かけ上の受光部が、画素ずらしで被写体像をサンプリングした際にオーバーラップしているため光学ローパスフィルタを備える必要がない。したがって、この方法によれば撮像手段112の厚みを増加させることなく、より高解像な画像を得ることができる。
【0115】
なお、詳細については特開2002−209226号公報に開示されているので説明を省略する。
【0116】
図21はスペーサ171を表示手段113側から見た平面図である。スペーサ171には、撮像領域170a〜170dに対応した穴部171a、171b、171c、171dが設けられ、レンズ部115a〜115dにより形成される被写体像を撮像素子116上へ導くことが可能となっている。そして、この穴部171a〜171dにより隔壁171eが形成され、前述したように隣接する撮像領域に光が漏れこむ光学クロストークを防ぐ構成となっている。また、171fは接着剤層120を形成するための土手部で、穴部171a〜171dを取り囲むような円環状になっている。したがって、接着剤層120はこの土手部171fに沿うように形成されることとなる。この土手部171fは、図においてスペーサ171の他の部分より手前側に突出した形状となっており、スペーサ171が接着剤層120を介してレプリカ層115と接合する際に、接着剤120が土手部171f以外の領域へはみ出すのを抑止する効果がある。そして、撮像領域170a〜170dは、撮像素子116と配線基板117間、配線基板117とスペーサ171間のそれぞれの接着封止剤層と接着剤層120によって完全密閉されたパッケージング構成となっている。
【0117】
一例として、光軸L1とL2の間隔について算出してみる。図22は図17の光学系まわりを簡略モデル化した図で、図中ダッシュ「’」を付している部材は、ダッシュを付さない同符号の部材にそれぞれ対応している。そして、図中示すようにレンズ部115a’、115b’の光軸L1’、L2’の間隔をLab、撮像領域170a’、170b’の水平方向の画素数をSa、Sb、撮像領域170a’、170b’の間の寸法をSlとし、画素ピッチをSPとすると、画素ずらしを行うためには以下の関係式を導き出すことができる。
【0118】
Lab=SP×{(Sa/2)+(Sb/2)−0.5}+Sl−ΔL
…(7)
ここで、ΔLは有限距離にある被写体に対して画素ずらしを行うための間隔補正量で、被写体が無限遠であればΔL=0となる。
【0119】
ここで、第1、2の実施形態で述べたように開口部110a、110bは4つの表示画素中心に形成するほうが開口径を大きくすることができるので、本実施形態でも4つの開口部110a〜110dはそのような位置に形成した。したがって、表示手段113の表示画素ピッチをDPとすると、Labは以下の関係式で表すこともできる。
【0120】
Lab=n×DP (nは正の整数) …(8)
そして、1つの撮像領域の画素数が320×240画素のQVGAサイズで、第1の実施形態と同様に画素ピッチをSP=0.003mm、表示画素ピッチDP=0.476mmとして、式(8)のnに適当な数値を代入して計算してみると、式(7)においてSlが正の数となるのはn=3以上の場合である。Slが負の数であると、図形的には図22における撮像領域170a’と170b’が互いに干渉している状態を示しており、撮像領域170a’と170b’がレイアウトできないことになる。本実施形態では、各撮像領域170a’〜170d’を低コスト化のため同一チップ上に形成する。そして、チップサイズを小さくするためにはnができるだけ小さいほうが望ましい。また、距離による視差の変化はLabが増大すると大きくなり、撮影可能な被写体距離範囲において視差の変化を小さくするという観点からもnは小さいほうがよい。したがって、n=3とすると、Lab=1.429mm、Sl=0.470mmとなる(ただしΔL=0とする)。
【0121】
上記計算は水平方向の断面において説明したが、垂直方向においても同様である。垂直方向の場合、Sa、Sbが水平方向より小さくなるため、n=2のとき、Lab=0.953mm、Sl=0.234mmとなる。
【0122】
以上のように、4つの結像光学系による画素ずらし技術を応用することで装置全体の厚みを増加させることなくより高解像な画像が得られる構成とした。また、表示画素ピッチに合わせて結像光学系の光軸を設定し、開口部を設けるようにしたので、より明るいFナンバーの被写体像を得ることが可能となる。
【0123】
(第4の実施形態)
第4の実施形態は表示手段としてアクディブマトリックス方式の有機EL表示装置を利用した例である。
【0124】
アクティブマトリックス方式は、マトリックスに配置された各画素に画素駆動素子(アクティブエレメント)を設け、その画素駆動素子を走査信号によってオン・オフ状態が切り替わるスイッチとして機能させる。そして、オン状態にある画素駆動素子を介してデータ信号(表示信号、ビデオ信号)を有機EL素子の陽極に伝達し、そのデータ信号を有機EL素子に書き込むことで、有機EL素子の駆動が行われる。その後、画素駆動素子がオフ状態になると、有機EL素子の陽極に印加されたデータ信号は電荷の状態で有機EL素子に保持され、次に画素駆動素子がオン状態になるまで引き続き有機EL素子の駆動が行われる。そのため、走査線数が増大して1つの画素に割り当てられる駆動時間が少なくなっても、有機EL素子の駆動が影響を受けることはなく、表示パネルに表示される画像のコントラストが低下することもない。従って、アクティブマトリックス方式によれば、単純マトリックス方式に比べてはるかに高画質な表示が可能となる。
【0125】
アクティブマトリックス方式は画素駆動素子の違いにより、トランジスタ型(3端子型)とダイオード型(2端子型)とに大別される。トランジスタ型は、ダイオード型に比べて製造が困難である反面、コントラストや解像度を高くするのが容易でCRTに匹敵する高品位な有機EL表示装置を実現することができるという特徴がある。前記したアクティブマトリックス方式の動作原理の説明は、主にトランジスタ型に対応したものである。
【0126】
図23は撮像装置付き表示装置の一部分を拡大した概略断面図、図24は図23における主要部材を上面側から見た平面図で、図23は図24の一点鎖線X−Xにおける断面図である。
【0127】
各表示画素180には、画素駆動素子としての薄膜トランジスタ(TFT:Thin Film Transistor)181が設けられている。プレーナ型のTFT181は、能動層として多結晶シリコン膜182を用い、LDD(Lightly Doped Drain )構造をとる。多結晶シリコン膜182は透明絶縁基板102上に形成されている。
多結晶シリコン膜182上には、ゲート絶縁膜183を介してゲート電極184が形成されている。各多結晶シリコン膜182には、左側から順に高濃度のソース領域、低濃度のソース領域、低濃度のドレイン領域、高濃度のドレイン領域が存在する。
【0128】
TFT181上には層間絶縁膜185が形成されている。高濃度のソース領域は、層間絶縁膜185に形成されたコンタクトホール186aを介して、ソース電極186と接続されている。高濃度のドレイン領域は、層間絶縁膜185に形成されたコンタクトホール187aを介して、ドレイン電極187と接続されている。
【0129】
各電極186、187および層間絶縁膜185の上には、平坦化絶縁膜188が形成されている。ドレイン電極187は、平坦化絶縁膜188に形成されたコンタクトホール189aを介して、陽極103と接続されている。各陽極103の間から露出した平坦化絶縁膜188上には、ブラックマトリックス110が形成されている。つまり、ブラックマトリックス110は、各陽極103の間に埋め込まれた状態に形成されている。また、ブラックマトリックス110は、多結晶シリコン膜182上を覆うように配置されている。
【0130】
そして、図24に示すように4つの表示画素180の中心近傍にはレンズ部の開口部を形成するための斜線部領域Fを確保する必要がある。したがって、ゲート電極184、ソース電極186はこの領域Fを避けるように配線され、さらに左上の表示画素180については陽極103が切り欠かれている。領域Fの積層構造は、透明絶縁基板102側からゲート絶縁膜183、層間絶縁膜185、平坦化絶縁膜188という順で積層され、これらの部材は可視光の透過率は良好である。
【0131】
図25は図24の上面側に設けられるブラックマトリックス110の平面図である。領域Fに対応した位置には開口部110aが形成されている。そして、発光領域A、すなわち陽極103が形成された部分に対応して開口領域Bが設けられている。
【0132】
そして、これら図23〜25には表されていないが、陰極108は開口部110aに対応した位置において、光を通過させるための開口部を有する。なお、陽極103はITOなどの透明電極であるため領域Fの部分に形成しても問題ないが、本実施形態では形成しない構成とした。
【0133】
なお、本実施形態においては、図24、25に示すように開口部110cが4つの表示画素中心とは左上にずらした位置に形成されている。これは、図24における右下の表示画素180のTFT181を避けるためであり、そうすることでプロセスの煩雑さをなくすことができる。したがって、図23において、レンズ部115aの光軸L1は2つの表示画素180の中心からずれた位置に形成されている。なお、上記図において、撮像手段については第1の実施形態と同様であるため図および説明を省略する。
【0134】
図26は、表示手段113の電気的構成を示すブロック図である。有機EL表示装置41は、表示パネル130、ゲートドライバ190、ソースドライバ(データドライバ)191から構成されている。
【0135】
表示パネル130には各ゲート配線(走査線)G1…Gn,Gn+1…Gm と各ソース配線(データ線)S1…Sn,Sn+1…Sm とが配置されている。各ゲート配線G1〜Gm と各ソース配線S1〜Smとはそれぞれ直交し、その直交部分にそれぞれ表示画素180が設けられている。つまり、マトリックス状に配置された各表示画素180によって表示パネル130が形成されている。
【0136】
そして、各ゲート配線G1〜Gm はゲートドライバ190に接続され、ゲート信号(走査信号)が印加されるようになっている。また、各ソース配線S1〜Smはソースドライバ191に接続され、データ信号が印加されるようになっている。これらのドライバ190、191によって周辺駆動回路192が構成されている。ここで、各ゲート配線G1 〜Gm は、TFT181のゲート電極184によって形成されている。また、各ソース配線S1〜Sm は、TFT181のソース電極186によって形成されている。
【0137】
図27に、ゲート配線Gn とソース配線Sn との直交部分に設けられている表示画素180の等価回路を示す。有機EL素子109の陰極108には定電圧Vcomが印加されている。
【0138】
表示画素180において、ゲート配線Gn を正電圧にしてTFT181のゲート電極184に正電圧を印加すると、TFT181がオン状態となる。すると、ソース配線Sn に印加されたデータ信号で、有機EL素子109の静電容量が充電され、表示画素180にデータ信号が書き込まれる。そのデータ信号によって有機EL素子109の駆動が行われる。反対に、ゲート配線Gn を負電圧にしてTFT181のゲート電極184に負電圧を印加すると、TFT181がオフ状態となり、その時点でソース配線Sn に印加されていたデータ信号は、電荷の状態で有機EL素子109の静電容量によって保持される。このように、表示画素180へ書き込みたいデータ信号を各ソース配線S1〜Sm に与えて、各ゲート配線G1〜Gm の電圧を制御することにより、各表示画素180に任意のデータ信号を保持させておくことができる。そして、次に、TFT181がオン状態になるまで、引き続き有機EL素子109の駆動が行われる。
【0139】
したがって、ゲート配線数(走査線数)が増大して1つの画素180に割り当てられる駆動時間が少なくなっても、有機EL素子109の駆動が影響を受けることはなく、表示パネル130に表示される画像のコントラストが低下することもない。従って、アクティブマトリックス方式の表示手段113によれば、第1の実施形態の単純マトリックス方式の表示手段113に比べてはるかに高画質な表示が可能となるとともに、撮像手段については第1、第2の実施形態と同様であるため、表示の品位を低下させることなく視線が一致した撮像を実現できる。
【0140】
(第5の実施形態)
第5の実施形態は、第1の実施形態の変形例で、撮像手段のレンズ面を増やすことにより撮影画像の品質を向上させる例である。
【0141】
図28は、撮像装置付き表示装置の一部分を拡大した概略断面図である。
【0142】
図において、透明絶縁基板102上には、レンズ部115aと対向する側にレプリカ層200が形成され、さらに光軸L1と共通な軸を有するレンズ部200aが形成されている。レンズ部200aはレンズ部115aと同様に非球面からなる光学レンズ面である。レンズ部200aとレンズ部115aの間には開口部110aが設けられ、レンズ部200aおよび115aの2面の光学面によって被写体像が結像される。
【0143】
このように、結像に寄与する光学面を1面から2面に増やすことで、結像される被写体像の光学性能を向上させることができる。特に、本実施形態のように両凸面の間に開口絞りを配置した場合、開口絞りの中心付近を通過する光線は、凸面においてほとんど屈折しないため歪曲収差を良好に補正することが可能となる。
【0144】
ここで、表示手段113の表示パネル側に形成されるレンズ部200aは、レンズ径がブラックマトリックス110の領域より大きいため、開口部110a近傍の表示画素については、レンズ部200aを通してユーザーは表示画素を目視することとなる。しかしながら、レンズ部200aは透明体であり表示パネル130の大きさに対して十分に小さいため表示に与える影響は少ない。また、このような影響を極力なくすためレンズ部200aの径が小さくなるように光学設計を行うことも有効である。
【0145】
(第6の実施形態)
第6の実施形態は、第1の実施形態における撮像手段を多数個備える撮像装置付き表示装置である。多数個備えることによって、表示手段が大型化した際にも視線の一致した対話型のリアルタイム双方向通信を実現できる。
【0146】
図29は多数個の撮像手段が備えられた撮像装置付き表示装置の表示パネル130を示す平面図である。図中点線で示す3つの四角が撮像手段112a、112b、112cで、第1の実施形態で説明したように背面側に一体的に備えられている。なおこれらの撮像手段の開口部は第3の実施形態で説明したように、開口径の設計自由度が高まることから表示画素の整数倍で形成している。
【0147】
図30は表示パネル130に双方向通信を行うアプリケーションソフトが表示されている状態を示す概略図である。アプリケーション160には第1の実施形態と同様に画像の表示部、操作部などのユーザーインターフェースを備えている。本実施形態においては3つの撮像手段を備えているため、撮像手段位置マーク164a、164b、164cの3つが対応した位置に表示される。そして、これらの撮像手段位置マーク164a〜164cのうち、現在使用中である撮像手段に対応した撮像手段位置マークのみが表示されるようになっており、現在は撮像手段112aに対応した撮像手段位置マーク164aのみが表示されている。
図中点線で表される撮像手段位置マーク164b、164cは現在非表示状態であることを示す。
【0148】
このように、複数の撮像手段のうち、現在使用中である撮像手段が表示パネルを目視することによって容易に認識可能となっている。なお、これらの撮像手段位置マーク164a〜164cは第1の実施形態と同様にユーザーの設定により任意に表示・非表示を切り替えることができる。
【0149】
また、これら3つの撮像手段112a〜112cのうちどの撮像手段を使用するかはユーザーが任意に指定可能である。例えば、近年実用化が実現された公知の顔認識技術を利用して、ユーザーの顔を追従して撮像手段112a〜112cの切り替えを自動で行えば、より使い勝手が向上する。
【0150】
次に、特に表示手段113が大型化した際に、複数個の撮像手段112を備えることがどのように有効であるかを図31、32を用いて説明する。
【0151】
図31は図29における表示パネル130を側面側から見た平面図で、表示パネル130と撮影画角の関係を示す図である。図において、一点鎖線は撮像手段112a〜112cの光軸、210は被写体面を表し、光軸と表示パネル130の交点と被写体面210を結ぶ線分が垂直方向の撮影最外光線を示している。そして、3つの撮像手段112a〜112cの各光軸、撮影最外光線は側面図において互いに重なっているため図のように表される。そして、垂直撮影画角をθv、各部材の寸法を図のようにDv、Ov、Loと定める。
【0152】
同様に図32は図29における表示パネル130を上面もしくは底面側から見た平面図で、表示パネル130と撮影画角の関係を示す図である。図において、一点鎖線は撮像手段112a〜112cの光軸、210は被写体面を表し、光軸と表示パネル130の交点と被写体面210を結ぶ線分が水平方向の撮影最外光線を示している。そして、3つの撮像手段112a〜112cの撮影最外光線は図のように隣接する撮像手段で交わり、これはすなわち撮影範囲がオーバーラップしていることとなる。そして、中央の撮像手段の水平撮影画角をθh、各部材の寸法を図のようにDh、Oh、Loと定める。なお、他の撮像手段についても同様である。
【0153】
一例として、表示パネル130のサイズが対角長30インチの大型ディスプレイで、表示パネルのアスペクト比が標準規格の4:3であると、Dh=609.60mm、Dv=457.20mmとなる。
【0154】
一方、被写体面サイズ、すなわち撮影範囲サイズについては、テレビ電話を目的とすることを考慮すると、人物の胸から上が収まる程度のサイズがよい。そこで、Ov=500.00mmとし、アスペクト比を4:3の縦長とすると、Oh=375.00mmとなる。ここで、撮影範囲を縦長とした理由は、人物は縦長であることと、本実施形態においては水平方向に3つの撮像手段112a〜112cを設けたため垂直方向により広い画角を設定したほうが、全体として使い勝手がよい画角を得ることができるからである。
【0155】
そして、Loについては表示パネル130のサイズが大型であるので、Lo=800mmとする。
【0156】
以上のような条件で、三角関数を用いて画角を算出するとθv=34.71°、θh=26.38°となる。そして、対角方向の画角、いわゆる撮影画角は42.67°となる。したがって第1の実施形態と比較して表示パネルのサイズが大型化した場合、画角がテレ側にシフトする必要があることが分かる。
【0157】
ところで、このような大型の表示装置において撮像手段112が中央部にしかない場合、Dvに対するOv、Dhに対するOhの割合から考えてユーザーは画面の中央部付近に留まっていなければならい。しかしながら、本実施形態のように複数の撮像手段を配置することによって、より広範囲を適した画角で撮影することが可能となる。
【0158】
以上のように、本実施形態では複数個の撮像手段を設けることによって人物の撮影に適した画角でより広範囲を撮影可能となった。さらに、複数個のうちどの撮像手段が使用中であるか表示するように構成したので容易に視線を一致させることができる。そして、一例として表示パネル130のアスペクト比が標準規格の4:3としたが、ワイド規格の16:9であると、本実施形態はより効果的である。
【0159】
なお、上記実施形態では、撮像手段112a〜112cを別個に使用する場合を説明したが、複数個を同時に使用してもよい。その際、撮像手段位置マーク164a〜164cを複数個同時に表示し、オーバーラップした撮影画像を画像処理によって繋ぎ合わせて合成すれば、より撮影画角の大きい1つの画像を得られる。これは、テレビ会議などの多人数を撮影する際には有効である。
【0160】
以上のように上記の実施形態では、複数の表示画素と、前記複数の表示画素の各表示画素間に遮光部材を備えた表示手段と、撮像手段を備えた撮像装置付き表示装置において、前記遮光部材は一部に前記撮像手段に光を導くための開口部を備え、前記開口部に対応した位置に結像手段を一体的に備える構成とした。したがって、表示と撮像を両立しながら視線を一致させ、低コストで薄型の撮像装置付き表示装置を実現できた。
【0161】
また、複数の表示画素と、前記複数の表示画素の各表示画素間に遮光部材を備えた表示手段と、複数の撮像手段を備えた撮像装置付き表示装置において、前記遮光部材は一部に前記撮像手段に光を導くための複数の開口部を備え、前記複数の開口部は前記表示画素の整数倍ピッチで備えられる構成とした。したがって、表示と撮像を両立しながら視線を一致させ、低コストで薄型の撮像装置付き表示装置を実現できた。
【0162】
さらには、前記開口部近傍の前記表示画素は一部が切り欠かれている、前記複数の撮像手段は所定距離の被写体において画素ずらし撮影を行う構成とした。したがって、安価な構成で高画素化を実現すると共に、モワレ縞のない高画質な画像を得ることが可能となった。
【0163】
【発明の効果】
以上説明したように、本発明によれば、撮像装置付き表示装置において、簡単な構成で視線を一致させることを可能とすると共に、高画素化、低コスト化、薄型化を実現することが可能となる。
【0164】
また、モワレ縞のない高品位な画像を得ることが可能となる。
【図面の簡単な説明】
【図1】単純マトリックス方式の有機EL表示装置の一部断面図である。
【図2】有機EL表示装置を陽極側から見た平面図である。
【図3】有機EL表示装置を陰極側から見た平面図である。
【図4】第1の実施形態における撮像装置付き表示装置の一部分を拡大した概略断面図である。
【図5】図4における表示手段を陽極側から見た平面図である。
【図6】図4における表示手段を陰極側から見た平面図である。
【図7】撮像素子をレンズ部側から見た平面図である。
【図8】撮像素子に配線基板を接合した状態を斜め上方からみた斜視図である。
【図9】図4に示す撮像手段の光学系を単純モデル化した図である。
【図10】撮像装置付き表示装置の外観斜視図である。
【図11】リアルタイム双方向画像通信を実現するシステムを示すブロック図である。
【図12】撮像装置付き表示装置の電気的な構成をより詳細に示すブロック図である。
【図13】表示パネルにアプリケーションソフトが表示されている状態を示す概略図である。
【図14】アプリケーションソフトの起動時における動作を示すフローチャートである。
【図15】第2の実施形態における表示手段を陽極側から見た平面図である。
【図16】第2の実施形態における表示手段を陰極側から見た平面図である。
【図17】第3の実施形態における撮像装置付き表示装置の一部分を拡大した概略断面図である。
【図18】図17における表示手段を陽極側から見た平面図である。
【図19】図17における表示手段を陰極側から見た平面図である。
【図20】第3の実施形態における撮像素子を表示手段側から見た平面図である。
【図21】スペーサを表示手段側から見た平面図である。
【図22】図16の光学系まわりを簡略モデル化した図である。
【図23】第4の実施形態における撮像装置付き表示装置の一部分を拡大した概略断面図である。
【図24】図23における主要部材を上面側から見た平面図である。
【図25】ブラックマトリックスの平面図である。
【図26】表示手段の電気的構成を示すブロック図である。
【図27】表示画素の等価回路を示す図である。
【図28】第5の実施形態における撮像装置付き表示装置の一部分を拡大した概略断面図である。
【図29】多数個の撮像手段が備えられた撮像装置付き表示装置の表示パネルを示す平面図である
【図30】表示パネルにアプリケーションソフトが表示されている状態を示す概略図である。
【図31】図29における表示パネルを側面側から見た平面図である。
【図32】図29における表示パネルを上面もしくは底面側から見た平面図である。
【図33】従来例における撮像装置付き表示装置の全体斜視図である。
【図34】図33におけるA−A’断面における拡大図である。
【図35】従来例における被写体の撮像原理を示す図である。
【符号の説明】
101 有機EL表示装置
102 透明絶縁基板
103 陽極
108 陰極
110 ブラックマトリックス
111 撮像装置付き表示装置
112 撮像手段
113 表示手段
114 有機層
115 レプリカ層
116 撮像素子

Claims (3)

  1. 透明絶縁基板と、
    遮光部材としての絶縁性を有し第1の領域及び第2の領域において開口部を有する遮光膜から成る部材であって、前記透明絶縁基板上に設けられた遮光部材と、
    前記第1の領域に設けられた開口部に対応する位置に配置された表示画素と、
    前記第2の領域に設けられた開口部に対応する位置に結像手段が設けられた基部層と、
    前記第2の領域に設けられた開口部及び前記基部層に設けられた結像手段を通過した光を撮像する、前記第2の領域に設けられた1つの前記開口部に対して複数設けられた画素部を有するとともに、前記表示画素の背部に配置された撮像素子ユニットとを具備し、
    前記結像手段は、前記基部層の前記撮像素子ユニット側に設けられているとともに、前記表示画素は、前記基部層により封止されていることを特徴とする撮像装置付き表示装置。
  2. 前記第2の領域に設けられた開口部近傍の前記表示画素は一部が切り欠かれていることを特徴とする請求項1に記載の撮像装置付き表示装置。
  3. 前記基部層と前記撮像素子ユニットとの間には接着剤層が介されていることを特徴とする請求項1または2に記載の撮像装置付き表示装置。
JP2003173735A 2003-06-18 2003-06-18 撮像装置付き表示装置 Expired - Fee Related JP4886162B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003173735A JP4886162B2 (ja) 2003-06-18 2003-06-18 撮像装置付き表示装置
US10/869,717 US7420608B2 (en) 2003-06-18 2004-06-16 Display device with image sensing device
CNB2004100597381A CN100533268C (zh) 2003-06-18 2004-06-18 带摄像装置的显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003173735A JP4886162B2 (ja) 2003-06-18 2003-06-18 撮像装置付き表示装置

Publications (2)

Publication Number Publication Date
JP2005010407A JP2005010407A (ja) 2005-01-13
JP4886162B2 true JP4886162B2 (ja) 2012-02-29

Family

ID=33534731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003173735A Expired - Fee Related JP4886162B2 (ja) 2003-06-18 2003-06-18 撮像装置付き表示装置

Country Status (3)

Country Link
US (1) US7420608B2 (ja)
JP (1) JP4886162B2 (ja)
CN (1) CN100533268C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10770522B2 (en) 2017-07-10 2020-09-08 Sharp Kabushiki Kaisha EL device, manufacturing method for EL device, and manufacturing apparatus for EL device

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2318395C (en) * 1998-01-27 2005-03-22 Collaboration Properties, Inc. Multifunction video communication service device
US7288420B1 (en) * 1999-06-04 2007-10-30 Semiconductor Energy Laboratory Co., Ltd. Method for manufacturing an electro-optical device
JP4411059B2 (ja) * 2003-12-12 2010-02-10 キヤノン株式会社 カメラ付きディスプレイ装置、通信装置および通信システム
JP4843911B2 (ja) * 2004-06-14 2011-12-21 ソニー株式会社 撮像素子およびカメラ
US20070013802A1 (en) * 2005-06-13 2007-01-18 Hsiang-Yuan Yang Chen Display Panel Structure with Camera Function
JP2007033789A (ja) * 2005-07-26 2007-02-08 Sony Corp 表示装置
KR101230303B1 (ko) * 2005-08-29 2013-02-06 삼성디스플레이 주식회사 접촉 감지 기능이 있는 표시 장치
JP2007279093A (ja) * 2006-04-03 2007-10-25 Epson Imaging Devices Corp 液晶表示装置
KR101174015B1 (ko) * 2006-09-14 2012-08-16 엘지전자 주식회사 평판 표시장치 및 그 제조 방법
JP2008116921A (ja) * 2006-10-10 2008-05-22 Sony Corp 表示装置および情報処理装置
TW200819792A (en) * 2006-10-16 2008-05-01 Ind Tech Res Inst Liquid-control optical element and manuacturing method therefor and device therewith
US7714923B2 (en) * 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US7697053B2 (en) * 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
US20090086021A1 (en) * 2007-09-27 2009-04-02 Rockwell Automation Technologies, Inc. Dynamically generating real-time visualizations in industrial automation environment as a function of contect and state information
JP5144217B2 (ja) * 2007-10-31 2013-02-13 株式会社日立製作所 撮像装置、撮像装置の製造方法及び撮像装置を搭載した装置
TW200939754A (en) * 2008-03-04 2009-09-16 Qisda Corp Display device
TWI412980B (zh) * 2008-03-14 2013-10-21 Innolux Corp 影像顯示系統
US8125559B2 (en) * 2008-05-25 2012-02-28 Avistar Communications Corporation Image formation for large photosensor array surfaces
KR100953655B1 (ko) 2008-07-08 2010-04-20 삼성모바일디스플레이주식회사 유기발광 표시장치
US8456586B2 (en) * 2009-06-11 2013-06-04 Apple Inc. Portable computer display structures
JP5533039B2 (ja) * 2009-11-02 2014-06-25 ソニー株式会社 撮像装置付き画像表示装置
US8502756B2 (en) 2009-11-02 2013-08-06 Sony Corporation Image display device with imaging unit
US8408780B2 (en) * 2009-11-03 2013-04-02 Apple Inc. Portable computer housing with integral display
US8743309B2 (en) 2009-11-10 2014-06-03 Apple Inc. Methods for fabricating display structures
US20110181587A1 (en) * 2010-01-22 2011-07-28 Sony Corporation Image display device having imaging device
JP2011150583A (ja) * 2010-01-22 2011-08-04 Sony Corp 撮像装置付き画像表示装置
JP2011242616A (ja) 2010-05-19 2011-12-01 Sony Corp 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
JP5569156B2 (ja) 2010-06-07 2014-08-13 ソニー株式会社 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
US8467177B2 (en) 2010-10-29 2013-06-18 Apple Inc. Displays with polarizer windows and opaque masking layers for electronic devices
US9143668B2 (en) * 2010-10-29 2015-09-22 Apple Inc. Camera lens structures and display structures for electronic devices
KR20120080845A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 oled 디스플레이 장치
TWI581267B (zh) * 2011-11-02 2017-05-01 諾瓦晶片加拿大公司 快閃記憶體模組及記憶體子系統
US9437132B2 (en) 2011-11-30 2016-09-06 Apple Inc. Devices and methods for providing access to internal component
TWI430012B (zh) * 2011-12-05 2014-03-11 Hannspree Inc 影像擷取觸控顯示器
US8884902B2 (en) * 2012-08-10 2014-11-11 Htc Corporation Decorative structure for touch sensing device and fabrication method thereof
GB2506631A (en) * 2012-10-04 2014-04-09 Sony Comp Entertainment Europe Combined image display and sensing device
JP5963637B2 (ja) 2012-10-10 2016-08-03 キヤノン株式会社 撮像装置付き表示装置
CN103246071B (zh) * 2013-04-28 2015-10-14 京东方科技集团股份有限公司 一种3d显示装置
JP2015062173A (ja) * 2013-08-20 2015-04-02 株式会社半導体エネルギー研究所 発光装置、カメラ
CN104752445B (zh) * 2013-12-25 2018-08-17 昆山工研院新型平板显示技术中心有限公司 交互式电子装置
JP6340793B2 (ja) 2013-12-27 2018-06-13 セイコーエプソン株式会社 光学装置
US20160241760A1 (en) * 2013-12-27 2016-08-18 Intel Corporation Display having an integrated camera
JP6535340B2 (ja) * 2014-02-19 2019-06-26 ピーエー コット ファミリー ホールディング ゲーエムベーハーPA.COTTE Family Holding GmbH 表示装置
JP2016115862A (ja) * 2014-12-17 2016-06-23 セイコーエプソン株式会社 画像取得装置、生体情報取得装置、電子機器
EP3043345B1 (en) 2015-01-07 2020-09-09 Samsung Electronics Co., Ltd. Display device and operating method thereof
CN104539833A (zh) * 2015-01-07 2015-04-22 京东方科技集团股份有限公司 电子设备
US9941918B2 (en) 2015-01-07 2018-04-10 Samsung Electronics Co., Ltd. Bendable user terminal device and method for displaying contents based on bending status thereof
KR102418520B1 (ko) * 2015-09-04 2022-07-08 삼성디스플레이 주식회사 표시 장치
US9749562B2 (en) * 2015-11-13 2017-08-29 Omnivision Technologies, Inc. Liquid crystal display and infrared image sensor on silicon
US10295837B2 (en) * 2015-11-23 2019-05-21 Vg Smartglass, Llc Variable transmission window with blackout bars
KR101765102B1 (ko) * 2015-11-30 2017-08-04 엘지디스플레이 주식회사 유기 발광 표시 장치 및 그의 제조방법
US10229316B2 (en) 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
KR102548931B1 (ko) * 2016-03-22 2023-06-30 삼성디스플레이 주식회사 표시 장치
KR20170113066A (ko) * 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이를 가진 전자 장치 및 그의 이미지 표시 방법
EP4246503A3 (en) 2016-03-24 2023-11-01 Samsung Electronics Co., Ltd. Electronic device having display
US9735185B1 (en) * 2016-06-10 2017-08-15 Essential Products, Inc. Hollowed electronic display
JP2018037722A (ja) * 2016-08-29 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US20180079370A1 (en) * 2016-09-22 2018-03-22 Delphi Technologies, Inc. Reconfigurable display with camera aperture therethrough
CN106409153A (zh) * 2016-09-27 2017-02-15 昆山工研院新型平板显示技术中心有限公司 一种显示装置及其制备方法
KR20180050473A (ko) 2016-11-04 2018-05-15 삼성디스플레이 주식회사 표시 장치
EP3537207B1 (en) * 2016-11-07 2020-09-30 Kyocera Corporation Image display device
US10055637B2 (en) 2016-12-07 2018-08-21 Synaptics Incorporated Optical sensor with substrate light filter
CN108630113B (zh) * 2017-03-22 2020-06-30 京东方科技集团股份有限公司 显示装置
CN106971173B (zh) * 2017-04-13 2021-01-26 京东方科技集团股份有限公司 触控基板及显示面板
CN107277196A (zh) * 2017-05-22 2017-10-20 广东欧珀移动通信有限公司 显示模组及其应用的移动终端
CN110024366B (zh) 2017-07-07 2020-08-14 华为技术有限公司 一种具有摄像头的终端和拍摄方法
CN107479760B (zh) * 2017-09-22 2021-09-24 京东方科技集团股份有限公司 阵列基板及其制作方法、显示面板和显示系统
CN108461060A (zh) 2018-04-08 2018-08-28 北京小米移动软件有限公司 显示面板、光电检测方法、装置及计算机可读存储介质
CN111937058B (zh) * 2018-04-10 2022-04-29 夏普株式会社 显示设备
US11063091B2 (en) 2018-08-10 2021-07-13 Au Optronics Corporation Display panel
CN109164648B (zh) * 2018-09-30 2021-11-19 厦门天马微电子有限公司 一种显示面板及显示装置
US11121280B2 (en) 2018-10-03 2021-09-14 Innolux Corporation Display device with image sensor
JP6929265B2 (ja) * 2018-12-13 2021-09-01 キヤノン株式会社 有機発光装置とその製造方法、照明装置、移動体、撮像装置、電子機器
CN111723621B (zh) * 2019-03-21 2023-11-03 上海耕岩智能科技有限公司 图像采集装置及电子设备
CN109830495B (zh) * 2019-03-21 2021-10-08 京东方科技集团股份有限公司 阵列基板及其制备方法、显示装置及其成像方法
WO2020191555A1 (zh) * 2019-03-22 2020-10-01 Oppo广东移动通信有限公司 电子设备、显示装置及像素结构
WO2020192338A1 (zh) 2019-03-28 2020-10-01 宁波舜宇光电信息有限公司 屏下摄像组件及相应的终端设备
US10777609B1 (en) * 2019-04-01 2020-09-15 Visera Technologies Company Limited Optical devices with light collection elements formed in pixels
JP7006654B2 (ja) * 2019-05-09 2022-01-24 セイコーエプソン株式会社 表示装置、および電子機器
CN110111712B (zh) * 2019-05-30 2021-12-17 合肥鑫晟光电科技有限公司 阈值电压漂移检测方法和阈值电压漂移检测装置
KR20220046551A (ko) 2019-06-26 2022-04-14 오티아이 루미오닉스 인크. 광 회절 특성을 갖는 광 투과 영역을 포함하는 광전자 디바이스
US10999482B2 (en) * 2019-07-04 2021-05-04 Asia Vital Components Co., Ltd. Image capturing device
CN110412794B (zh) * 2019-08-01 2022-05-27 京东方科技集团股份有限公司 一种显示基板和显示面板
CN110769099B (zh) * 2019-10-30 2021-06-15 Oppo广东移动通信有限公司 电子设备
US11637919B2 (en) 2019-12-03 2023-04-25 Apple Inc. Handheld electronic device
US11503143B2 (en) 2019-12-03 2022-11-15 Apple Inc. Handheld electronic device
CN110910781B (zh) * 2019-12-31 2022-08-30 武汉天马微电子有限公司 显示面板及显示装置
JP2023159473A (ja) * 2020-09-03 2023-11-01 ソニーセミコンダクタソリューションズ株式会社 画像表示装置及び電子機器
JP2023156540A (ja) * 2020-09-03 2023-10-25 ソニーセミコンダクタソリューションズ株式会社 画像表示装置及び電子機器
CN112882279B (zh) * 2021-03-11 2022-09-09 武汉华星光电技术有限公司 一种液晶显示面板以及显示装置
US20220345604A1 (en) * 2021-04-27 2022-10-27 Apple Inc. Camera integration for portable electronic devices
CN113611225B (zh) * 2021-08-19 2023-03-21 业成科技(成都)有限公司 光学显示器结构

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2751112B2 (ja) * 1988-01-14 1998-05-18 日本電信電話株式会社 撮像表示装置
JPH0412771U (ja) * 1990-05-19 1992-01-31
JP2943940B2 (ja) * 1990-10-29 1999-08-30 日本電信電話株式会社 表示・撮像装置
WO1993011455A1 (en) * 1991-11-29 1993-06-10 Seiko Epson Corporation Liquid crystal display and method of manufacturing same
JP2837578B2 (ja) * 1992-05-20 1998-12-16 シャープ株式会社 画像入出力装置および方法
US5519205A (en) * 1992-09-30 1996-05-21 Lsi Logic Corporation Color electronic camera including photosensor array having binary diffractive lens elements
GB9301405D0 (en) * 1993-01-25 1993-03-17 Philips Electronics Uk Ltd An image sensor
JP3207319B2 (ja) 1993-05-28 2001-09-10 株式会社東芝 光電変換装置及びその製造方法
JPH0943627A (ja) * 1995-05-19 1997-02-14 Sharp Corp 液晶表示装置およびその製造方法
US5777665A (en) * 1995-09-20 1998-07-07 Videotronic Systems Image blocking teleconferencing eye contact terminal
JPH1070713A (ja) 1996-08-29 1998-03-10 Hitachi Ltd 透過型撮像装置および透過型撮像装置一体型表示装置
JP2000341591A (ja) * 1999-05-27 2000-12-08 Matsushita Electric Ind Co Ltd 光電変換装置付き液晶表示装置
US7042486B2 (en) * 1999-11-30 2006-05-09 Eastman Kodak Company Image capture and display device
JP2001338755A (ja) * 2000-03-21 2001-12-07 Seiko Epson Corp 有機el素子およびその製造方法
TW510131B (en) * 2000-05-24 2002-11-11 Chi Mei Electronic Corp Image input/output device
KR20020064290A (ko) * 2000-07-31 2002-08-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 감지 디스플레이 디바이스
US7034866B1 (en) * 2000-11-22 2006-04-25 Koninklijke Philips Electronics N.V. Combined display-camera for an image processing system
JP2002209226A (ja) 2000-12-28 2002-07-26 Canon Inc 撮像装置
JP3758512B2 (ja) * 2001-03-02 2006-03-22 セイコーエプソン株式会社 電子機器
JP2002314899A (ja) 2001-04-13 2002-10-25 Sharp Corp 撮像機能一体型表示装置
US7196728B2 (en) * 2002-03-27 2007-03-27 Ericsson, Inc. Method and apparatus for displaying images in combination with taking images
US6771303B2 (en) * 2002-04-23 2004-08-03 Microsoft Corporation Video-teleconferencing system with eye-gaze correction
US20040140973A1 (en) * 2003-01-16 2004-07-22 Zanaty Farouk M. System and method of a video capture monitor concurrently displaying and capturing video images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10770522B2 (en) 2017-07-10 2020-09-08 Sharp Kabushiki Kaisha EL device, manufacturing method for EL device, and manufacturing apparatus for EL device

Also Published As

Publication number Publication date
US20040263670A1 (en) 2004-12-30
CN100533268C (zh) 2009-08-26
CN1573531A (zh) 2005-02-02
US7420608B2 (en) 2008-09-02
JP2005010407A (ja) 2005-01-13

Similar Documents

Publication Publication Date Title
JP4886162B2 (ja) 撮像装置付き表示装置
US7821561B2 (en) Display apparatus with camera and communication apparatus
US11545649B2 (en) Display device and electronic apparatus with relative misalignment between pixel and color filter
US8847860B2 (en) Image display device with imaging unit
JP5644928B2 (ja) 撮像装置付き画像表示装置
JP2020516006A (ja) 表示パネルおよびその製造方法、並びに表示装置
US11605801B2 (en) Organic light emitting apparatus, display apparatus, image pickup apparatus, electronic device, illumination apparatus, and moving object
US10025135B2 (en) Lens array substrate, optoelectronic device, and electronic apparatus
CN111081741B (zh) 显示装置
US20210014393A1 (en) Light emitting device, exposure system, imaging display device, imaging device, electronic device, and lighting device
JP2005130001A (ja) 撮像装置付き表示システム
KR20220056788A (ko) 발광장치, 표시장치, 촬상장치, 및 전자기기
JP2022063741A (ja) 表示装置
JP2021152599A (ja) 表示装置および電子装置
WO2000033130A1 (fr) Dispositif a cristaux liquides et systeme de projection l'utilisant
JP2005031480A (ja) 撮像機能具備型表示装置
JP2010054769A (ja) 表示装置、表示装置の製造方法、投射型表示装置および電子機器
KR20230154987A (ko) 화상관찰 장치
JP2004234017A (ja) 液晶装置および投射型表示装置
JP2002148617A (ja) 液晶表示装置
JP2022080974A (ja) 表示装置、光電変換装置、および電子機器
CN114497167A (zh) 显示面板和显示装置
CN117939961A (en) Display screen and electronic equipment
CN114374750A (zh) 电子设备
CN115561958A (zh) 微投影显示与摄像光学模组一体化的层叠式光学引擎结构

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100817

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100827

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4886162

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees