JP4515161B2 - Display device with imaging function and bidirectional communication system - Google Patents
Display device with imaging function and bidirectional communication system Download PDFInfo
- Publication number
- JP4515161B2 JP4515161B2 JP2004175315A JP2004175315A JP4515161B2 JP 4515161 B2 JP4515161 B2 JP 4515161B2 JP 2004175315 A JP2004175315 A JP 2004175315A JP 2004175315 A JP2004175315 A JP 2004175315A JP 4515161 B2 JP4515161 B2 JP 4515161B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- imaging
- display
- transmitting
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 137
- 230000007175 bidirectional communication Effects 0.000 title claims description 13
- 239000000126 substance Substances 0.000 claims description 24
- 230000006854 communication Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 22
- 239000000758 substrate Substances 0.000 claims description 21
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 239000007769 metal material Substances 0.000 claims description 10
- 238000002834 transmittance Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000005401 electroluminescence Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 description 40
- 150000002894 organic compounds Chemical class 0.000 description 29
- 230000006870 function Effects 0.000 description 28
- 239000010408 film Substances 0.000 description 27
- 229910052751 metal Inorganic materials 0.000 description 17
- 239000002184 metal Substances 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 14
- 239000000463 material Substances 0.000 description 13
- 239000004973 liquid crystal related substance Substances 0.000 description 9
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 8
- 229910045601 alloy Inorganic materials 0.000 description 7
- 239000000956 alloy Substances 0.000 description 7
- XCJYREBRNVKWGJ-UHFFFAOYSA-N copper(II) phthalocyanine Chemical compound [Cu+2].C12=CC=CC=C2C(N=C2[N-]C(C3=CC=CC=C32)=N2)=NC1=NC([C]1C=CC=CC1=1)=NC=1N=C1[C]3C=CC=CC3=C2[N-]1 XCJYREBRNVKWGJ-UHFFFAOYSA-N 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- IBHBKWKFFTZAHE-UHFFFAOYSA-N n-[4-[4-(n-naphthalen-1-ylanilino)phenyl]phenyl]-n-phenylnaphthalen-1-amine Chemical compound C1=CC=CC=C1N(C=1C2=CC=CC=C2C=CC=1)C1=CC=C(C=2C=CC(=CC=2)N(C=2C=CC=CC=2)C=2C3=CC=CC=C3C=CC=2)C=C1 IBHBKWKFFTZAHE-UHFFFAOYSA-N 0.000 description 6
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 5
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 5
- 238000002347 injection Methods 0.000 description 5
- 239000007924 injection Substances 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000007789 sealing Methods 0.000 description 5
- 229910052757 nitrogen Inorganic materials 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- KDLHZDBZIXYQEI-UHFFFAOYSA-N Palladium Chemical compound [Pd] KDLHZDBZIXYQEI-UHFFFAOYSA-N 0.000 description 3
- 229910052783 alkali metal Inorganic materials 0.000 description 3
- 150000001340 alkali metals Chemical class 0.000 description 3
- 229910052784 alkaline earth metal Inorganic materials 0.000 description 3
- 150000001342 alkaline earth metals Chemical class 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 239000002274 desiccant Substances 0.000 description 3
- 238000001704 evaporation Methods 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 150000002739 metals Chemical class 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 238000002161 passivation Methods 0.000 description 3
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 229910004261 CaF 2 Inorganic materials 0.000 description 2
- -1 Li and Cs Chemical class 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- NRTOMJZYCJJWKI-UHFFFAOYSA-N Titanium nitride Chemical compound [Ti]#N NRTOMJZYCJJWKI-UHFFFAOYSA-N 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 239000010405 anode material Substances 0.000 description 2
- 239000010406 cathode material Substances 0.000 description 2
- 239000011651 chromium Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000002425 crystallisation Methods 0.000 description 2
- 230000008025 crystallization Effects 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 229910003437 indium oxide Inorganic materials 0.000 description 2
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 229910052759 nickel Inorganic materials 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 238000004544 sputter deposition Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 239000010936 titanium Substances 0.000 description 2
- 229910052719 titanium Inorganic materials 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 238000007740 vapor deposition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011701 zinc Substances 0.000 description 2
- 239000011787 zinc oxide Substances 0.000 description 2
- ZNJRONVKWRHYBF-UHFFFAOYSA-N 2-[2-[2-(1-azatricyclo[7.3.1.05,13]trideca-5,7,9(13)-trien-7-yl)ethenyl]-6-methylpyran-4-ylidene]propanedinitrile Chemical compound O1C(C)=CC(=C(C#N)C#N)C=C1C=CC1=CC(CCCN2CCC3)=C2C3=C1 ZNJRONVKWRHYBF-UHFFFAOYSA-N 0.000 description 1
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical compound [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 1
- MSDMPJCOOXURQD-UHFFFAOYSA-N C545T Chemical compound C1=CC=C2SC(C3=CC=4C=C5C6=C(C=4OC3=O)C(C)(C)CCN6CCC5(C)C)=NC2=C1 MSDMPJCOOXURQD-UHFFFAOYSA-N 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 229920001609 Poly(3,4-ethylenedioxythiophene) Polymers 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910052796 boron Inorganic materials 0.000 description 1
- 229910052792 caesium Inorganic materials 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000003197 catalytic effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005229 chemical vapour deposition Methods 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 229910017052 cobalt Inorganic materials 0.000 description 1
- 239000010941 cobalt Substances 0.000 description 1
- GUTLYIVDDKVIGB-UHFFFAOYSA-N cobalt atom Chemical compound [Co] GUTLYIVDDKVIGB-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002019 doping agent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000005525 hole transport Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 229910052763 palladium Inorganic materials 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 125000001997 phenyl group Chemical group [H]C1=C([H])C([H])=C(*)C([H])=C1[H] 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052761 rare earth metal Inorganic materials 0.000 description 1
- 150000002910 rare earth metals Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- YYMBJDOZVAITBP-UHFFFAOYSA-N rubrene Chemical compound C1=CC=CC=C1C(C1=C(C=2C=CC=CC=2)C2=CC=CC=C2C(C=2C=CC=CC=2)=C11)=C(C=CC=C2)C2=C1C1=CC=CC=C1 YYMBJDOZVAITBP-UHFFFAOYSA-N 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 229910052712 strontium Inorganic materials 0.000 description 1
- XOLBLPGZBRYERU-UHFFFAOYSA-N tin dioxide Chemical compound O=[Sn]=O XOLBLPGZBRYERU-UHFFFAOYSA-N 0.000 description 1
- 229910001887 tin oxide Inorganic materials 0.000 description 1
- 229910052723 transition metal Inorganic materials 0.000 description 1
- 150000003624 transition metals Chemical class 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- YVTHLONGBIQYBO-UHFFFAOYSA-N zinc indium(3+) oxygen(2-) Chemical compound [O--].[Zn++].[In+3] YVTHLONGBIQYBO-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Set Structure (AREA)
Description
本発明は、画像の表示と被写体の撮像を同時に行うことにできる撮像機能付き表示装置に係り、特に、被写体として利用者の撮像と表示を同時に行うことのできる撮像機能付き表示装置に関する。また、本発明は、被写体として利用者の撮像を行いながら、対話する相手の撮像画面を見ることのできる双方向コミュニケーションシステムに関する。 The present invention relates to a display device with an imaging function capable of simultaneously displaying an image and capturing a subject, and more particularly to a display device with an imaging function capable of simultaneously capturing and displaying a user as a subject. The present invention also relates to a two-way communication system that allows a user to view an imaging screen of a conversation partner while imaging a user as a subject.
近年、通信ネットワークの高速化によって、テレビ電話システムや、テレビ会議システムのように、通信者間で互いに画像を見ながら会話などを行う所謂双方向対話型システムの開発が進められている。 In recent years, with the speeding up of communication networks, so-called interactive interactive systems have been developed, such as videophone systems and videoconferencing systems, in which conversations are made while communicating with each other while viewing images.
双方向対話型システムにおいては、使用者(被写体)の撮像と画像の表示を同時に行う仕組みが工夫されている。 In a two-way interactive system, a mechanism for simultaneously capturing a user (subject) and displaying an image has been devised.
例えば、光の入射角度によって透明、不透明になる特殊なスクリーンと、そのスクリーンの後方に撮像装置と、投射型表示装置とを備えた表示・撮像装置が開示されている(例えば、特許文献1参照。)。この表示・撮像装置では、スクリーンの不透明な視野方向に投射型表示装置を配置して投射像を表示することで、対話者同士の視線の一致を可能としている。 For example, a display / imaging device including a special screen that becomes transparent and opaque depending on an incident angle of light, an imaging device and a projection display device behind the screen is disclosed (for example, see Patent Document 1). .) In this display / imaging device, the projection display device is arranged in the direction of the opaque field of view of the screen to display the projected image, thereby enabling the line of sight of the interlocutors to be matched.
しかしながら、同特許文献によれば、特殊なスクリーンを必要とし、撮像装置と投射型表示装置を用いる必要があり、装置の大型化、重量化を避けることはできず、例えば、このような構成を携帯型の電子機器に応用することはできなかった。 However, according to the patent document, a special screen is required, and it is necessary to use an imaging device and a projection display device, and it is not possible to avoid an increase in size and weight of the device. It could not be applied to portable electronic devices.
また、対話者との視線一致させる双方向対話型システムが開示されている(例えば、特許文献2参照。)。この双方向対話型システムは、対話する相手の像を表示するモニタを備えた表示手段と、モニタ画面に対し対話者自身の位置を規定する位置規定手段と、対話者自身を撮像する撮像部及び該撮像部を対話者とモニタとの間の所定位置に設定するための支持機構とが備えられている。特に撮像部は、位置特定手段によって特定される位置及び対話者間の視線が一致したと判断される視差角によって定義される視線一致領域内であって、相手のモニタ画像の一部を遮る位置といった特定の設置されている。 In addition, a bidirectional interactive system that matches the line of sight with a conversation person is disclosed (for example, see Patent Document 2). This interactive interactive system includes a display means having a monitor for displaying an image of a partner to interact with, a position defining means for defining the position of the conversation person with respect to the monitor screen, an imaging unit for imaging the conversation person itself, A support mechanism for setting the imaging unit at a predetermined position between the conversation person and the monitor is provided. In particular, the imaging unit is located within the line-of-sight matching region defined by the position specified by the position specifying unit and the parallax angle at which the lines of sight between the interrogators are determined to match, and blocks a part of the partner monitor image. There are certain installations.
しかしながら、同特許文献の双方向対話型システムでは、モニタ(表示画面)の全面に、突き出た形で撮像部としてのカメラが配置されるので、利用者は常にカメラの存在を意識することになり、またモニタ画像の一部をカメラが遮ることにより、画面の一部が見えなくなってしまう。 However, in the two-way interactive system of the patent document, a camera as an image pickup unit is arranged on the entire surface of the monitor (display screen) so that the user is always aware of the presence of the camera. In addition, when the camera blocks a part of the monitor image, a part of the screen becomes invisible.
また、表示画像を見る被写体の視線を外すことなく、表示と同時に被写体を撮像することができる撮像機能付きの表示装置が開示されている(例えば、特許文献3参照。)。この表示装置は、表示画面を有する表示手段と、表示画面上に穿設されたピンホール部と、該ピンホール部を光路を視線とする撮像部とで構成されたものである。この構成により、表示画面上に画像を表示しながら、同時に表示画面を見る利用者を撮像することを可能としている。 In addition, a display device with an imaging function that can image a subject simultaneously with display without removing the line of sight of the subject viewing the display image is disclosed (for example, see Patent Document 3). This display device is composed of display means having a display screen, a pinhole portion drilled on the display screen, and an imaging unit having the pinhole portion as a line of sight of the optical path. With this configuration, it is possible to capture an image of a user who is simultaneously viewing the display screen while displaying an image on the display screen.
しかしながら、同特許文献の撮像機能付きの表示装置では、ピンホールを開けることにより、それが小径であっても、表示画面の一部が欠損してしまうので、高精細で高品質な画像を表示することができない。また、ピンホールの径を小さくするには限界があるので、携帯型電話機のように表示画面が小さい場合には、ピンホールによる画素の欠損部が相対的に大きくなってしまう。そのため、利用者にとって違和感を完全に払拭することはできないこととなる。
そこで本発明は、装置を小型化及び軽量化が可能であり、表示画面上に画像を遮るカメラを配設したり、ピンホール部を穿設して画像の一部を欠損させりことで画質を低下させることなく、被写体として利用者の撮像と画像の表示を同時に行うこことのできる撮像機能付き表示装置及び双方向コミュニケーションシステムを提供することを目的とする。 Therefore, the present invention can reduce the size and weight of the device, and can provide a picture quality by disposing a camera on the display screen to block the image, or by piercing a pinhole portion so that a part of the image is lost. It is an object of the present invention to provide a display device with an imaging function and a bidirectional communication system capable of simultaneously capturing a user and displaying an image as a subject without lowering the image quality.
また、本発明は、装置を小型化及び軽量化が可能であり、表示画像を見る被写体の視線を外すことなく、画像の表示と撮像を同時に行うことができる撮像機能付き表示装置及び双方向コミュニケーションシステムを提供することを目的とする。 In addition, the present invention can reduce the size and weight of the device, and can display the image and capture the image at the same time without removing the line of sight of the subject viewing the display image, and bidirectional communication. The purpose is to provide a system.
本発明は、少なくとも可視光を透過可能であり、電圧または電流によって制御可能な自発光型の画素を配列させて形成される表示手段と、撮像手段を備えた撮像機能付きの表示装置である。 The present invention is a display device with an imaging function including a display unit formed by arranging self-luminous pixels that can transmit at least visible light and can be controlled by voltage or current, and an imaging unit.
表示手段は使用者が視認できるように各画素の発光を制御して、静止画、動画など様々な画像を表示することが可能である。この画素の好ましい形態としては、電圧または電流により、輝度や点灯時間など、その発光を制御することが可能な素子で形成されるものである。より好ましくは、一対の透光性電極間に発光性物質を介在させた発光素子を用いて画素を形成する形態が推奨される。この発光性物質は、エレクトロルミネセンスを発現する物質であることが好ましく、この物質に加え他の関連する物質が一対の電極間に介在していることを妨げない。 The display means can display various images such as still images and moving images by controlling the light emission of each pixel so that the user can visually recognize the images. As a preferable form of this pixel, it is formed of an element capable of controlling light emission such as luminance and lighting time by voltage or current. More preferably, a mode in which a pixel is formed using a light-emitting element in which a light-emitting substance is interposed between a pair of translucent electrodes is recommended. This light-emitting substance is preferably a substance that exhibits electroluminescence, and does not prevent other related substances in addition to this substance from intervening between the pair of electrodes.
本発明に適用する表示手段として、一対の電極間に発光性物質を介在させた発光素子を、少なくとも可視光を透過可能な透光性の平板基板上に、マトリクス状に配列させて表示手段を形成することが好ましい。平板基板上に表示手段を形成することにより薄型化、軽量化を実現することができる。 As a display means applied to the present invention, a light emitting element in which a luminescent substance is interposed between a pair of electrodes is arranged in a matrix on a light-transmitting flat plate capable of transmitting at least visible light. It is preferable to form. By forming the display means on the flat substrate, it is possible to reduce the thickness and weight.
画素が放射する光は、可視光帯域の光を含み、同一の発光色で光を放射する画素を配列させて表示手段を形成しても良いし、特定の領域に特定の発光色の画素を配列させた所謂エリアカラー型の表示手段を形成しても良いし、複数の異なる発光色の画素を配列させて多色表示を実現可能な表示手段としても良い。また、白色発光の画素を配列させて表示手段を形成しても良い。さらに上記表示手段の構成において、使用者が着色層(カラーフィルター)を通して画素の発光を視認できるような構成としても良い。 The light emitted from the pixels includes light in the visible light band, and pixels that emit light in the same emission color may be arranged to form display means, or pixels of a specific emission color may be formed in specific areas. So-called area color type display means arranged may be formed, or display means capable of realizing multicolor display by arranging a plurality of pixels having different emission colors. Further, the display means may be formed by arranging white light emitting pixels. Further, in the configuration of the display means, the user may be able to visually recognize the light emission of the pixel through the colored layer (color filter).
発光素子の構成要素である一対の電極と、その間に介在させる発光性物質を含む層とは、透光性を有する材料、または透光性を保持できる程度の厚さで形成することが好ましい。例えば、一対の電極を形成する材料として、酸化インジウム、酸化亜鉛、または酸化スズを含む透光性導電膜材料(ITO、ITSO、IZO、ZnO)、アルカリ金属またはアルカリ土類金属を含むアルミニウム、銀、その他金属材料、アルカリ金属またはアルカリ土類金属を含む有機化合物材料が選択される。一対の電極はこれらの材料を用い、可視光を透過可能な程度に薄膜化(金属材料にあっては、100nm以下、好ましくは20〜50nm程度の厚さ)して形成することが好ましい。 The pair of electrodes that are constituent elements of the light-emitting element and the layer containing a light-emitting substance interposed therebetween are preferably formed using a light-transmitting material or a thickness that can maintain the light-transmitting property. For example, as a material for forming a pair of electrodes, a light-transmitting conductive film material (ITO, ITSO, IZO, ZnO) containing indium oxide, zinc oxide, or tin oxide, aluminum containing alkali metal or alkaline earth metal, silver In addition, organic compound materials containing other metal materials, alkali metals or alkaline earth metals are selected. The pair of electrodes is preferably formed using these materials and thinned to such an extent that the visible light can be transmitted (in the case of a metal material, the thickness is 100 nm or less, preferably about 20 to 50 nm).
本発明において、発光素子を構成する一対の電極の一方を透明導電膜材料を用いて形成し、他方を前記した金属材料で形成しその膜厚を制御することで、発光性物質が発光した時の光を外部に放射する割合を異ならせることができる。すなわち、透明導電膜材料を用いて形成される一方の電極側の方が、金属材料で形成される他方の電極側よりも放射光強度の割合を高めることができる。 In the present invention, when one of the pair of electrodes constituting the light-emitting element is formed using a transparent conductive film material and the other is formed of the above-described metal material and the film thickness is controlled, the light-emitting substance emits light. It is possible to vary the rate at which the light is emitted to the outside. That is, the ratio of the emitted light intensity can be increased on the one electrode side formed using the transparent conductive film material than on the other electrode side formed of the metal material.
本発明は、このような透光性を有する発光素子を、透光性を有する基板上に形成することで、表示手段を自発光性を有し且つ可視光を透過可能な構成としている。 In the present invention, a light-emitting element having such a light-transmitting property is formed over a substrate having a light-transmitting property, so that the display means has a self-luminous property and can transmit visible light.
本発明において、撮像手段は表示手段の背面に配置され、利用者からは直接視認できない位置に配置されている。撮像手段は表示手段を通して被写体の撮像が可能である。すなわち、撮像手段は、表示手段、または表示手段とそれが配置されている基板とを透過した光を受光して被写体を撮像するように配置されている。 In the present invention, the imaging means is disposed on the back surface of the display means and is disposed at a position that cannot be directly recognized by the user. The imaging means can image a subject through the display means. In other words, the imaging unit is arranged to receive the light transmitted through the display unit or the display unit and the substrate on which the display unit is disposed, and image the subject.
撮像手段としては、受光部をCCD(CCD:charge coupled device)型またはCMOS(Complementary MOS)型の光センサで形成したカメラを用いることが好ましい。撮像手段は表示手段の背面に配置されるものであるが、その場合に、受光部の光センサが被写体である利用者と正対している必要性は必ずしもなく、レンズ、ミラーなどの光学系を介して光センサに外光が入射する構成としても良い。 As the image pickup means, it is preferable to use a camera in which the light receiving part is formed by a CCD (CCD: charge coupled device) type or CMOS (Complementary MOS) type photosensor. The imaging means is arranged on the back of the display means. In this case, the optical sensor of the light receiving unit does not necessarily have to face the user who is the subject, and an optical system such as a lens and a mirror is not necessary. Alternatively, external light may enter the optical sensor.
本発明において、表示手段を自発光型の発光素子で形成し、且つ透光性を有する構成とすることで、該発光素子からの発光は、利用者が視認する一方の面側のみでなく、撮像手段が配置される側にも放射されていても良い。その場合、表示手段の透過率に応じた輝度補正と、表示手段からの発光による映り込みを差し引く補正を行う補正手段が、撮像手段に備えられていることが好ましい。 In the present invention, the display means is formed of a self-luminous light-emitting element and has a translucent structure, so that light emission from the light-emitting element is not only on one surface side visually recognized by the user, It may be radiated also to the side where the imaging means is arranged. In that case, it is preferable that the imaging unit is provided with a correction unit that performs a luminance correction according to the transmittance of the display unit and a correction that subtracts the reflection due to light emission from the display unit.
上記した発光素子を構成する一対の電極の一方を透明導電膜材料を用いて形成し、他方を前記した金属材料で形成しその膜厚を制御することで、発光性物質が発光した時の光を外部に放射する割合を異ならせるように構成した表示手段を用いる場合、撮像手段は金属材料で形成した電極側に配置することが好ましい。 When one of the pair of electrodes constituting the light-emitting element is formed using a transparent conductive film material and the other is formed of the above-described metal material and the film thickness is controlled, light when the light-emitting substance emits light In the case of using display means configured to vary the ratio of radiating to the outside, the imaging means is preferably arranged on the electrode side formed of a metal material.
上記構成によって、利用者が表示画面に相対することで、被写体である利用者の撮像と、表示された画像の視認を同時に行うことができる。すなわち、表示画像を見る被写体である利用者の視線を外すことなく、画像の表示と撮像を同時に行うことができる。特に、対話者と相手が同様の本発明の双方向対話型装置を用いることで、相手と視線を合わせた状態でコミュニケーションを取ることができる。 With the above configuration, when the user is opposed to the display screen, it is possible to simultaneously perform imaging of the user who is the subject and visual recognition of the displayed image. That is, it is possible to simultaneously display and capture an image without removing the line of sight of the user who is the subject viewing the display image. In particular, by using the same interactive interactive apparatus of the present invention for a conversation person and a partner, it is possible to communicate with the partner and the line of sight.
本発明は、表示手段の後方であって、対話者の視線上に撮像手段を配置する。そして、対話者は表示装置に表示された映像を見ながら、同時に自分の視線を撮像装置に合わせた状態で撮影を行うことができる。ここで、視線上とは、視線の方向と同一ベクトル線上であることを含み、視線を合わせるとは視線上の光が反射又は屈折等の光学的変換を経た後に視線が合うことも含む。例えば、反射体により光を反射させ、対話者と相手の視線を合わせることを含む。 In the present invention, the image pickup means is arranged behind the display means and on the line of sight of the conversation person. Then, the conversation person can take a picture while viewing his / her video displayed on the display device and simultaneously aligning his / her line of sight with the imaging device. Here, on the line of sight includes being on the same vector line as the direction of the line of sight, and matching the line of sight includes matching the line of sight after the light on the line of sight undergoes optical conversion such as reflection or refraction. For example, the method includes reflecting light by a reflector and matching the line of sight between the conversation person and the other party.
本発明の双方向コミュニケーションシステムは、上記した本発明の撮像可能な表示装置を備え、通話先の画像を表示手段に表示すると同時に、被写体である利用者を撮像可能としている。 The two-way communication system of the present invention includes the above-described displayable image display device of the present invention, and displays a call destination image on a display means, and at the same time, can capture a user who is a subject.
本発明の双方向コミュニケーションシステムは、双方の送受信者が、互いに相手側の画像を表示画面上で視認しながら、有線または無線による通信ができる双方向コミュニケーションシステムであって、上記した本発明の撮像可能な表示装置を備え、通話先の画像を表示手段に表示すると同時に、被写体である利用者を撮像可能である撮像機能付き表示装置が、少なくとも一方の送受信者側に備えられていることを特徴とするものである。なお、表示画面上には、相手側の画像と、文字、図形、及び記号を表示可能とすることができる。 The two-way communication system of the present invention is a two-way communication system in which both senders and receivers can communicate by wire or wireless while viewing images of the other party on the display screen. And a display device with an imaging function capable of capturing an image of a user who is a subject at the same time as displaying an image of a called party on a display means. It is what. It is possible to display the image of the other party and characters, figures, and symbols on the display screen.
本発明により、両面出射型表示パネル及び撮像手段を搭載することにより、複雑な光学系や光路の長い光学系を用いることなく、小型化及び軽量化が可能な撮像機能付き表示装置を提供することができる。すなわち、本発明の構成によって、利用者が表示画面に相対することで、被写体である利用者の撮像と、表示された画像の視認を同時に行うことができる。そして、表示画像を見る被写体の視線を外すことなく、画像の表示と撮像を同時に行うことができる。特に、対話者と相手が同様の本発明の双方向対話型装置を用いることで、相手と視線を合わせた状態でコミュニケーションを取ることができる。また、本発明により、表示画像を見る被写体の視線を外すことなく、画像の表示と撮像を同時に行うことができる撮像機能付き表示装置及び双方向コミュニケーションシステムを提供することができる。 According to the present invention, there is provided a display device with an imaging function that can be reduced in size and weight without using a complicated optical system or an optical system having a long optical path by mounting a dual emission display panel and an imaging unit. Can do. That is, according to the configuration of the present invention, when the user faces the display screen, it is possible to simultaneously perform imaging of the user who is the subject and visual recognition of the displayed image. Then, it is possible to simultaneously display and capture an image without removing the line of sight of the subject viewing the display image. In particular, by using the same interactive interactive apparatus of the present invention for a conversation person and a partner, it is possible to communicate with the partner and the line of sight. In addition, according to the present invention, it is possible to provide a display device with an imaging function and a bidirectional communication system that can simultaneously display and capture an image without removing the line of sight of a subject viewing the display image.
以下に、本発明の実施の形態を図面に基づいて説明する。但し、本発明は多くの異なる態様で実施することが可能であり、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態を説明するために用いる図面において、同一部分又は同様な機能を有する部分には、異なる図面間で同一の符号を付し重複する説明は省略する。 Embodiments of the present invention will be described below with reference to the drawings. However, the present invention can be implemented in many different modes, and those skilled in the art can easily understand that the modes and details can be variously changed without departing from the spirit and scope of the present invention. Is done. Therefore, the present invention is not construed as being limited to the description of this embodiment mode. Note that in the drawings used for describing the embodiments, the same portions or portions having similar functions are denoted by the same reference numerals in different drawings, and redundant description is omitted.
(実施の形態1)
本実施の形態では、撮像機能付きの表示装置の一態様としてテレビ電話装置について説明する。
(Embodiment 1)
In this embodiment, a videophone device is described as one mode of a display device with an imaging function.
図1(A)には、テレビ電話装置の斜視図を示し、表示手段(両面出射型パネル)10、表示手段10の後方に配置された撮像装置(撮像手段)11を有する。表示手段の第1の表示面12には、相手の映像が表示されている。表示手段10の表示面は第1の表示面12、及びその反対面の第2の表示面を用いることができるが、本実施の形態では第1の表示面12で相手の映像を表示する。例えば、第2の表示面で相手の映像を表示する場合、映像を反転するための回路を備えるとよい。 FIG. 1A is a perspective view of a videophone device, which includes a display unit (double-sided emission type panel) 10 and an imaging device (imaging unit) 11 arranged behind the display unit 10. An image of the other party is displayed on the first display surface 12 of the display means. As the display surface of the display means 10, the first display surface 12 and the second display surface opposite to the first display surface 12 can be used. In the present embodiment, the image of the other party is displayed on the first display surface 12. For example, when displaying the other party's image on the second display surface, a circuit for inverting the image may be provided.
対話者13は、第1の表示面12側に居て、相手の映像の視線と合うように第1の表示面を視認する。さらに撮像手段11において、具体的には撮影レンズ14が、対話者13の視線上となるように配置されている。このとき撮像手段11は、対話者13の撮像が可能な距離の範囲であって、焦点を対話者に合わせて配置する必要がある。 The conversation person 13 is on the first display surface 12 side and visually recognizes the first display surface so as to match the line of sight of the other party's video. Further, in the imaging means 11, specifically, the photographing lens 14 is arranged so as to be on the line of sight of the conversation person 13. At this time, the image pickup means 11 is in a range of a distance that allows the conversation person 13 to pick up an image, and needs to be focused on the conversation person.
図1(B)には、テレビ電話装置の上面図を示し、表示手段10、撮像手段11、第1の表示面12を示す。対話者13が第1の表示面12の前に相対することにより、撮像手段11が撮像する画像で、他方の対話者は、対話者13の視線と合わせることができる。 FIG. 1B shows a top view of the videophone device, and shows a display means 10, an imaging means 11, and a first display surface 12. When the conversation person 13 faces the front of the first display surface 12, the other conversation person can match the line of sight of the conversation person 13 in the image captured by the imaging unit 11.
このようなテレビ電話装置を用いることで対話者は相手と視線を合わせた状態で会話をすることができる。また、表示手段を見ながら会話などをする対話者は、表示手段の前面に撮像手段がないため、視野の中に撮像手段を認識しなくても済み、相手と自然な形で視線を合わせて充実した会話をすることができる。特に、テレビ電話装置の表示手段を大型化しても、撮像手段を表示画面の前方に配置する必要がなく、対話者と相手の視線が合うように撮像手段を配置することができる。 By using such a videophone device, a conversation person can have a conversation with his / her line of sight. In addition, since a conversation person who has a conversation while looking at the display means does not have an image pickup means in front of the display means, it is not necessary to recognize the image pickup means in the field of view. You can have a good conversation. In particular, even if the display means of the videophone device is enlarged, it is not necessary to arrange the image pickup means in front of the display screen, and the image pickup means can be arranged so that the line of sight of the interlocutor and the other party is matched.
本実施の形態の撮像機能付きの表示装置において、透光性であって且つ自発光型画素を配列させて形成される表示手段、または一対の電極間に発光物質を介在させ、少なくとも一方の電極から光を放射することができ、外光を透過可能な発光素子を透光性の基板上に配列させて形成された表示手段を用いることにより、従来技術と比較して、軽量化、薄型化を図ることができる。具体的には、一対の電極間に発光性物質を介在させた発光素子を少なくとも可視光を透過可能な透光性の平板基板上に、マトリクス状に配列させて形成された表示手段を用いると良い。 In the display device with an imaging function of this embodiment mode, display means that is light-transmitting and formed by arranging self-luminous pixels, or a light-emitting substance is interposed between a pair of electrodes, and at least one electrode By using a display means that is formed by arranging light-emitting elements that can radiate light from the outside and can transmit external light on a light-transmitting substrate, it is lighter and thinner than conventional technologies. Can be achieved. Specifically, when a display unit is used in which light-emitting elements having a light-emitting substance interposed between a pair of electrodes are arranged in a matrix on a light-transmitting flat plate capable of transmitting at least visible light. good.
このように表示手段と撮像手段とを分離したテレビ電話装置の場合、対話者の利用形態に応じて撮像手段の配置を自由に設計することができる。 In the case of a videophone device in which the display means and the image pickup means are separated as described above, the arrangement of the image pickup means can be freely designed according to the use form of the conversation person.
本実施の形態では、表示手段と撮像手段とを分けたテレビ電話装置を示したが、一体型としたテレビ電話装置を構成することもできる。 In the present embodiment, the videophone device in which the display unit and the imaging unit are separated is shown, but an integrated videophone device can also be configured.
また、このようなテレビ電話装置を対話者側と、相手側とに設置して、有線または無線の通信回線で結ぶことで、双方向コミュニケーションシステムを構築することが出来る。 Also, a bidirectional communication system can be constructed by installing such a videophone device on the conversation party side and the other party side and connecting them with a wired or wireless communication line.
なお、本実施の形態において、必ずしも撮像手段における撮影レンズが対話者の視線上に配置される必要はなく、対話者の視線上11の光線が反射や屈折等の光学変換を経た状態で視線が合うように配置されていても良い。例えば、ミラー等の反射体を表示手段と撮像手段との間に配置することで、対話者と、相手とが視線を合わせて会話をすることができる。 In the present embodiment, it is not always necessary that the photographing lens in the image pickup means is arranged on the line of sight of the conversation person. You may arrange | position so that it may fit. For example, by arranging a reflector such as a mirror between the display means and the imaging means, the conversation person and the other party can talk with each other in line of sight.
(実施の形態2)
本実施の形態では、撮像機能付きの表示装置の一態様として携帯電話機について説明する。
(Embodiment 2)
In this embodiment, a mobile phone is described as one embodiment of a display device with an imaging function.
図2(A)は表示手段(表示パネル)の拡大図、図2(B)は携帯電話機の斜視図、図2(C)は携帯電話機の全体図を示す。 2A is an enlarged view of the display means (display panel), FIG. 2B is a perspective view of the mobile phone, and FIG. 2C is an overall view of the mobile phone.
図2(A)の表示パネル100は、画素部101、駆動回路部である信号線駆動回路部102、走査線駆動回路部103を一体形成している。信号線駆動回路部102や走査線駆動回路部103は接続端子105、例えば異方導電性フィルム(ACF:Anisotropic Conductive Film)又はフレキシブルプリント基板106(FPC:Flexible printed circuit)を介して外部回路と接続され、信号が入力される。外部回路は、電源回路やコントローラ等を有している。
In the
表示パネル100は、アクティブマトリクス型及びパッシブマトリクス型のいずれかを用いることができる。パッシブマトリクス型の場合、アクティブマトリクス型と比較して、開口率を高めることが容易であり、高い透光性を有することができる。
The
表示パネルは、一対の電極として備えられる、第1の電極及び第2の電極(発光素子の陰極及び陽極に相当)が透光性を有するため、外光の反射が低減される。そのため、外光の散乱を防止するための円偏光板を設けない構成とすることができる。なお表示パネルの構成によっては、外光の反射を防止する必要がある。その場合、適宜円偏光板を設ければよい。 In the display panel, a first electrode and a second electrode (corresponding to a cathode and an anode of a light-emitting element) provided as a pair of electrodes have a light-transmitting property, so that reflection of external light is reduced. Therefore, it can be set as the structure which does not provide the circularly-polarizing plate for preventing scattering of external light. Depending on the structure of the display panel, it is necessary to prevent reflection of external light. In that case, a circularly polarizing plate may be provided as appropriate.
表示パネルは、黒表示(オフの信号を入力する場合)をする場合でも、本実施の形態のように携帯電話機の筐体に保持することにより、表示パネルの背面は黒色またはそれに近い色調にすることができるため、コントラストの高いきれいな黒表示を行うことができる。 Even when the display panel performs black display (when an OFF signal is input), the display panel is held in the case of the mobile phone as in this embodiment, so that the back surface of the display panel is black or has a similar color tone. Therefore, a clear black display with high contrast can be performed.
また、必要に応じて表示パネルに偏光板を設けても良い。例えば、直線偏光の偏光板を用いる場合、表示パネルの両面にクロスニコルの状態で配置すると、裏側のもの(例えば、第三者)をみることが不可能となるが、クロスニコスの状態から光軸をずらした状態で配置するとその不具合は解消される。より好ましい形態としては、この一対の偏光板の角度を可変可能とする手段を設け、撮像を行わない時は偏光板をクロスニコルの位置に調整し、撮像を行う場合には必要に応じて、クロスニコスの状態から光軸をずらすようにするとよい。また、両面出射型パネルの両面又は一方の面に偏光板、又は円偏光板を配置してもよい。 Moreover, you may provide a polarizing plate in a display panel as needed. For example, when using a linearly polarized polarizing plate, if it is placed in a crossed Nicols state on both sides of the display panel, it will be impossible to see the back side (for example, a third party). The problem is solved if the axes are arranged with the axes shifted. As a more preferable form, a means for making the angle of the pair of polarizing plates variable is provided, and when imaging is not performed, the polarizing plate is adjusted to a crossed Nicol position, and when imaging is performed, if necessary, It is recommended to shift the optical axis from the cross Nicos state. Moreover, you may arrange | position a polarizing plate or a circularly-polarizing plate on both surfaces or one side of a double emission panel.
さらに表面の凹凸により反射光を拡散し、映り込みを低減できるアンチグレア処理を施したり、加熱処理を施すアンチリフレクション処理を施す等により反射防止膜を設けてもよい。それに加え、外部衝撃から保護するためハードコート処理を施すとよい。 Further, an antireflection film may be provided by performing an antiglare treatment that diffuses reflected light by unevenness on the surface and reduces reflection, or an antireflection treatment that performs a heat treatment. In addition, a hard coat treatment may be applied to protect from external impacts.
図2(B)には、図2(A)に示すような表示パネル100の後方であって、対話者の視線上となりうる位置に撮像手段111を配置する形態を示している。
FIG. 2B shows a mode in which the
第1の筐体112の所定の位置に撮像手段111を設置する。撮像手段111は、例えばCCD型又はCMOS型のカメラを用いればよい。第1の筐体112又は第3の筐体115に設置される配線基板(プリント基板など回路を形成する基板)上には撮像手段を制御する集積回路部品やチップ部品(抵抗、コンデンサ、コイルなど)が実装されている。さらに配線基板上には、映像処理回路等が設けられ、さらに表示パネルを駆動するための外部回路が設けられている。映像処理回路は、表示の色や輝度ずれを補正する回路を有し、映像から透過ずれ成分を差し引くような補正を行う。具体的には、実施の形態7で説明する手段を参照して補正を行うことができる。
The
表示パネル100の一形態として、信号線駆動回路と走査線駆動回路とを基板上に一体形成することが可能であるが、配線基板上にICチップを実装し、信号線駆動回路や走査線駆動回路を外付けとしてもよい。
As one mode of the
第1の筐体112と、表示パネル100とを、第2の筐体114で挟み筐体内に固定する。第2の筐体114側には、音声出力部113が設けられている。
The
図2(C)に示すように第3の筐体115は、操作ボタン116、音声入力部117等を有し、ヒンジ(蝶番)を介して表示パネル側の第1及び第2の筐体112、114と連結されている。
As shown in FIG. 2C, the
本実施の形態で示す携帯電話機は、撮像装置が表示パネルの背面側であって、利用者(対話者及び相手)が表示パネルに相対したときに撮像レンズが対話者の視線上となるように配置されている。その結果、対話者の視線と、相手の視線とを合わせた状態で会話などをすることができる。勿論、撮像手段の構成として、レンズやミラーなどの光学部品を適宜組み合わせて光学系を構成しても良い。 In the mobile phone shown in this embodiment mode, the imaging device is on the back side of the display panel, and the imaging lens is on the conversation person's line of sight when the user (dialogue and partner) faces the display panel. Has been placed. As a result, a conversation or the like can be performed in a state where the line of sight of the conversation person and the line of sight of the other party are matched. Of course, as the configuration of the imaging means, an optical system may be configured by appropriately combining optical components such as lenses and mirrors.
(実施の形態3)
本実施の形態では、両面出射型表示パネル及び撮像手段を搭載した携帯電話機の一態様について説明する。
(Embodiment 3)
In this embodiment, one mode of a mobile phone including a dual emission display panel and an imaging unit will be described.
図3は、本実施の形態の携帯電話機における第1の筐体図、及びA−A’に相当する断面図を示す。 FIG. 3 shows a first housing diagram and a cross-sectional view corresponding to A-A ′ in the mobile phone according to the present embodiment.
図3(A)は、第1の筐体112に、透光性の画素が備えられた両面出射型表示パネル100と、そのパネルの背面側にミラー120と撮像手段111、ICなどの部品を実装した配線基板(回路基板)123が備えられた形態を示している。
すなわち、配線基板上に撮像手段111が設けられ、当該撮像手段111のレンズ部は、ミラーに向いており、当該ミラー120は表示パネル100を介した利用者等の映像を映している。すなわち、ミラー120は、撮像手段111の撮像範囲と、両面出射型表示パネルを介した利用者等の範囲を写す必要がある。そのため、ミラー120の配置は撮像手段111のレンズ部の延長線と、利用者等の延長線、例えば目線の延長線との交差部であって、レンズ部の延長線から30〜80度をなすようにする。このとき、利用者の映像はレンズ等により集光した状態で、ミラー120に映すとよい。その結果、ミラー120の配置を両面出射型表示パネル100に近づけることができ、携帯電話機の小型化を達成することができる。
FIG. 3A illustrates a dual
That is, the
ミラー120は回動自在に取り付けられているとよい。すなわち、ミラー120は、回路基板123上に備えられる切り換え回路により制御され、機械的又は電磁的な制御手段により、撮像手段111の光路を切り換えている。これは、利用者が筐体表面に設けられた切り換えボタンにより切り換えることで行うこともできる。
The
ミラー120は、少なくとも両面出射型表示パネル100を透過した光を受光し、撮像手段へ光を送ることができるような角度で回動すればよい。角度は、例えば、両面出射型表示パネル100に対して45度の状態、且つ撮像手段111の直線上から45度の状態となるようにすればよい。このように配置されたミラーにより、両面出射型表示パネル100からの光を反射させ、撮像手段111が映像を読み込むことができる。このうような、両面出射型表示パネル100、ミラー120、撮像手段111を有する携帯電話機を用いることより、お互いの画像を見ながらコミュニケーションを図ることができる。
The
図3(B)には、切り換えボタンによりミラー120の向きが切り換わった状態を示す。この状態は主に、相手の表示を行う双方向通信ではなく撮影を行うため、デジタルカメラモードと表記する。デジタルカメラモードの場合、撮像面121から撮影を行うことができる。このときミラー120は撮像面121に対して例えば45度の状態となっている、つまりレンズ部の延長線から45度をなしている。
FIG. 3B shows a state in which the direction of the
なお本発明において、両面出射型表示パネル100を撮像面として撮影を行っても構わない。
In the present invention, photographing may be performed using the dual
このように、透光性の画素を設けた両面出射型表示パネルを用いることにより、お互いの画像を見ながらコミュニケーションを図ることが出来、撮像するときの光路を切り換える手段を組み入れることで、第1の筐体112側からも、第2の兄弟114側からも撮影可能であって、静止画及び動画撮影可能なカメラ付き携帯電話機として用いることができる。
Thus, by using a dual emission display panel provided with translucent pixels, communication can be achieved while looking at each other's images, and by incorporating means for switching the optical path during imaging, the first is achieved. The camera can be photographed from both the
(実施の形態4)
本実施の形態では、両面出射型表示パネルを搭載し、実施の形態3とは異なる機能を有する携帯電話機について説明する。
(Embodiment 4)
In this embodiment mode, a mobile phone which has a dual emission display panel and has a function different from that of Embodiment Mode 3 will be described.
図4は、バーコード等の情報の読み取り手段として、読み取り手段(バーコードリーダ)を搭載する携帯電話機を示す。図4(A)は、携帯電話機の背面を示す。第1の筐体112に設けられた両面出射型表示パネル100の後方に配置された撮像手段111と、ヒンジ(蝶番)を介して連結された第3の筐体115を有する。携帯電話機は、読み取る対象物、例えばバーコード150の情報を入力する読み取り手段を搭載している。この場合、両面出射パネルの一部、又は全体を光源とし、表示面にバーコード150をかざし、撮像手段111により情報を読み取る。両面出射型パネル100は透光性を有するため、撮像手段111により情報を入力することができる。
FIG. 4 shows a mobile phone equipped with reading means (barcode reader) as means for reading information such as a barcode. FIG. 4A shows the back of the mobile phone. The
読み取り対象は、バーコードに限定されず、光学的に読み取り可能な文字、記号、図形、暗号、模様で種々の情報を識別する標識であっても良い。また図4(B)に示すように、指紋または掌紋などの生体情報151等を読み取っても構わない。図4(B)には携帯電話機の前面を示し、第1の筐体112及び第2の筐体114に設けられた両面出射型表示パネル100と、当該パネル100の後方に配置された撮像手段111と、ヒンジ(蝶番)を介して連結された第3の筐体115を有し、第3の筐体115には操作ボタン116、音声入力部117等を有する。両面出射型表示パネル100の表示面に、指紋または掌紋などの生体情報151をかざし、撮像手段111により情報を読み取る。このとき、両面出射型表示パネルの一部又は全体を光源とすることができ、暗いところであっても読み取りを行うことができる。
The reading target is not limited to a bar code, and may be a sign that identifies various types of information using optically readable characters, symbols, figures, codes, and patterns. Further, as shown in FIG. 4B,
このように携帯電話機に、情報を読み取る機能を備えることにより、セキュリティーを高め、ユーザ以外の不正使用を防止することができる。またパスワード等により本人認識を行う場合と比較し、本人認識の精度を高めることができる。本実施の形態の携帯電話機にキャッシュ機能をさせる場合、そのセキュリティー性や信頼性を高めることができる。 Thus, by providing the mobile phone with a function of reading information, security can be improved and unauthorized use by users other than users can be prevented. In addition, the accuracy of identity recognition can be increased compared to the case where identity recognition is performed using a password or the like. When the cellular phone of this embodiment is provided with a cache function, security and reliability can be improved.
(実施の形態5)
本実施の形態では、実施の形態1乃至4に適用可能な両面出射型表示パネルの構成について説明する。
(Embodiment 5)
In this embodiment mode, a structure of a dual emission display panel applicable to Embodiment Modes 1 to 4 will be described.
図5は、両面出射型表示パネルの画素部における断面図を示す。なお本実施の形態において説明する駆動用トランジスタは、絶縁基板上に形成された多結晶シリコン膜を有する薄膜トランジスタ(TFT)を用いる例で説明するが、非晶質シリコン膜を有する薄膜トランジスタ、単結晶シリコンを有するMOS型トランジスタを用いてもよい。また、駆動用TFTの極性をpチャネル型の場合で説明するが、nチャネル型でもよいことは言うまでもない。 FIG. 5 is a cross-sectional view of a pixel portion of a dual emission display panel. Note that the driving transistor described in this embodiment mode is described using an example in which a thin film transistor (TFT) including a polycrystalline silicon film formed over an insulating substrate is used; however, a thin film transistor including an amorphous silicon film and single crystal silicon are described. A MOS transistor having the above may be used. Further, although the polarity of the driving TFT is described in the case of the p-channel type, it is needless to say that the n-channel type may be used.
図5に示すように、絶縁表面を有する基板300に設けられた駆動用TFT301は、ボロン等の不純物元素を半導体膜に添加して形成されたソース領域及びドレイン領域となる不純物領域を有する。半導体膜は、レーザ照射や加熱による結晶化処理、或いはニッケル、チタンなどの金属元素の触媒作用を用いて結晶化処理が行われたものが用いられている。半導体膜上にはゲート絶縁膜を介してゲート電極及びゲート線(走査線)が設けられていて、その部分がチャネル形成領域となるように構成されている。ゲート電極を覆うように第1の絶縁膜が設けられており、第1の絶縁膜には不純物領域上にコンタクトホールが形成されている。コンタクトホールに形成される配線は、ソース配線(信号線)及びドレイン配線として機能している。信号線には、ビデオ信号が入力され、それに応じた輝度で発光素子から光が射出される。ドレイン電極と電気的に接続するように、第1の電極311が設けられる。そして、第1の電極311を覆うように第2の絶縁膜が設けられ、第2の絶縁膜であって第1の電極311上に開口部を形成する。開口部には、有機化合物を有する層(以下、有機化合物層(EL層)と表記する)312が設けられ、有機化合物層312を覆うように第2の電極313が設けられる。第1の電極311及び第2の電極313に、電圧または電流を印加することによって制御可能な自発光型の画素を形成することができる。
As shown in FIG. 5, the driving
有機化合物層312は、陽極側から順に、HIL(ホール注入層)、HTL(ホール輸送層)、EML(発光層)、ETL(電子輸送層)、EIL(電子注入層)の順に積層されている。代表的には、HILとしてCuPc、HTLとしてα−NPD、ETLとしてBCP、EILとしてBCP:Liをそれぞれ用いる。
The
また、フルカラー表示とする場合、有機化合物層312として、赤色(R)、緑色(G)、青色(B)の発光を示す材料を、それぞれ蒸着マスクを用いた蒸着法、またはインクジェット法などによって選択的に形成すればよい。具体的には、HILとしてCuPcやPEDOT、HTLとしてα−NPD、ETLとしてBCPやAlq3、EILとしてBCP:LiやCaF2をそれぞれ用いる。また例えばEMLは、R、G、Bのそれぞれの発光色に対応したドーパント(Rの場合DCM等、Gの場合DMQD等)をドープしたAlq3を用いればよい。なお、上記有機化合物層の積層構造に限定されない。
In the case of full color display, a material that emits red (R), green (G), and blue (B) light is selected as the
より具体的な有機化合物層の積層構造は、赤色の発光を示す有機化合物層312を形成する場合、例えば、CuPcを30nm形成し、α-NPDを60nm形成した後、同一のマスクを用いて、赤色の発光層としてDCM2及びルブレンが添加されたAlq3を40nm形成し、電子輸送層としてBCPを40nm形成し、電子注入層としてLiが添加されたBCPを1nm形成する。また、緑色の発光を示す有機化合物層312を形成する場合、例えば、CuPcを30nm形成し、α―NPDを60nm形成した後、同一の蒸着マスクを用いて、緑色の発光層としてクマリン545Tが添加されたAlq3を40nm形成し、電子輸送層としてBCPを40nm形成し、電子注入層としてLiが添加されたBCPを1nm形成する。また、青色の発光を示す有機化合物層312を形成する場合、例えば、CuPcを30nm形成し、α-NPDを60nm形成した後、同一のマスクを用いて発光層としてビス[2−(2−ヒドロキシフェニル)ベンゾオキサゾラト]亜鉛:Zn(PBO)2を10nm形成し、電子輸送層としてBCPを40nm形成し、電子注入層としてLiが添加されたBCPを1nm形成する。
More specifically, in the case of forming the
以上、各色の有機化合物層312のうち、共通しているCuPcやα-NPDは、画素部全面に形成することができる。またマスクは、各色で共有することもでき、例えば、赤色の有機化合物層を形成後、マスクをずらして、緑色の有機化合物層、再度マスクをずらして青色の有機化合物層を形成することができる。形成する各色の有機化合物層の順序は適宜設定すればよい。 As described above, among the organic compound layers 312 of the respective colors, common CuPc and α-NPD can be formed on the entire surface of the pixel portion. The mask can also be shared by each color. For example, after forming the red organic compound layer, the mask can be shifted to form the green organic compound layer, and the mask can be shifted again to form the blue organic compound layer. . What is necessary is just to set the order of the organic compound layer of each color to form suitably.
また白色発光の場合、カラーフィルター、又はカラーフィルター及び色変換層などを別途設けることによってフルカラー表示を行ってもよい。カラーフィルターや色変換層は、第2の基板に設けた後、張り合わせればよい。 In the case of white light emission, a full color display may be performed by separately providing a color filter or a color filter and a color conversion layer. The color filter and the color conversion layer may be attached after being provided over the second substrate.
第1の電極や第2の電極は、透光性を有する材料で形成すればよい。また第1の電極や第2の電極は仕事関数を考慮して材料を選択する。例えば、第1の電極を陽極とし、第2の電極を陰極とする場合で説明する。 The first electrode and the second electrode may be formed using a light-transmitting material. The materials for the first electrode and the second electrode are selected in consideration of the work function. For example, the case where the first electrode is an anode and the second electrode is a cathode will be described.
陽極材料としては、仕事関数の大きい(仕事関数4.0eV以上)金属、合金、電気伝導性化合物、およびこれらの混合物などを用いることが好ましい。陽極材料の具体例としては、ITO(indium tin oxide)、酸化インジウムに2〜20%の酸化亜鉛(ZnO)を混合したIZO(indium zinc oxide)の他、金(Au)、白金(Pt)、ニッケル(Ni)、タングステン(W)、クロム(Cr)、モリブデン(Mo)、鉄(Fe)、コバルト(Co)、銅(Cu)、パラジウム(Pd)、または金属材料の窒化物(TiN)等を用いることができる。 As the anode material, it is preferable to use a metal, an alloy, an electrically conductive compound, a mixture thereof, or the like having a high work function (work function of 4.0 eV or more). Specific examples of the anode material include ITO (indium tin oxide), IZO (indium zinc oxide) in which 2 to 20% zinc oxide (ZnO) is mixed with indium oxide, gold (Au), platinum (Pt), Nickel (Ni), tungsten (W), chromium (Cr), molybdenum (Mo), iron (Fe), cobalt (Co), copper (Cu), palladium (Pd), or metal nitride (TiN), etc. Can be used.
一方、陰極材料としては、仕事関数の小さい(仕事関数3.8eV以下)金属、合金、電気伝導性化合物、およびこれらの混合物などを用いることが好ましい。陰極材料の具体例としては、元素周期律の1族または2族に属する元素、すなわちLiやCs等のアルカリ金属、およびMg、Ca、Sr等のアルカリ土類金属、およびこれらを含む合金(Mg:Ag、Al:Li)や化合物(LiF、CsF、CaF2)の他、希土類金属を含む遷移金属を用いて形成することができる。但し、陽極及び陰極は透光性を有する必要があるため、これら金属、又はこれら金属を含む合金を非常に薄く形成し、ITO等の金属(合金を含む)との積層により形成する。これら陽極、及び陰極は蒸着法、スパッタリング法等により形成することができる。 On the other hand, it is preferable to use a metal, an alloy, an electrically conductive compound, a mixture thereof, or the like having a low work function (work function of 3.8 eV or less) as the cathode material. Specific examples of the cathode material include elements belonging to Group 1 or Group 2 of the element periodic rule, that is, alkali metals such as Li and Cs, and alkaline earth metals such as Mg, Ca, and Sr, and alloys containing these (Mg : Ag, Al: Li) and compounds (LiF, CsF, CaF 2 ), as well as transition metals including rare earth metals. However, since the anode and the cathode need to have a light-transmitting property, these metals or an alloy containing these metals are formed very thin, and are formed by lamination with a metal (including an alloy) such as ITO. These anode and cathode can be formed by vapor deposition, sputtering, or the like.
画素構成により、第1の電極及び第2の電極のいずれも陽極、又は陰極となりうる。例えば、駆動用TFT301の極性をnチャネル型とし、第1の電極311を陰極、第2の電極313を陽極とすることができる。
Depending on the pixel configuration, either the first electrode or the second electrode can be an anode or a cathode. For example, the polarity of the driving
その後、窒素を含むパッシベーション膜314をスパッタリング法やCVD法により形成し、水分や酸素の侵入を防止する。このとき形成される空間には、窒素を封入し、さらに乾燥剤を配置してもよい。さらに第1の電極、第2の電極、その他の電極により、表示手段の側面を覆ってもよい。その後、封止基板315を張り合わせる。
After that, a
さらにきれいな黒表示を行う場合、偏光板又は円偏光板を設けるとよい。但し、撮像装置が対話者を認識できる程度に透光性を有する必要があるため、例えば、両面出射型表示パネルの一方の表示面のみに偏光板、又は円偏光板を設けてもよい。または、両面出射型表示パネルの両表示面側にそれぞれ第1の偏光板、及び第2の偏光板を設けることも可能であるが、このとき、撮像装置が対話者を認識できる程度に透光性を有することと、黒表示を行うことを両立させるため、第1の偏光板と、第2の偏光板とはクロスニコル状態から、光軸(それぞれの吸収軸又は透過軸)を多少ずらすとよい。 In order to display a more beautiful black display, a polarizing plate or a circular polarizing plate is preferably provided. However, since it is necessary for the imaging apparatus to have a light-transmitting property that can recognize a conversation person, for example, a polarizing plate or a circularly polarizing plate may be provided only on one display surface of a dual emission display panel. Alternatively, a first polarizing plate and a second polarizing plate can be provided on both display surface sides of the dual emission display panel, respectively. If the optical axis (respective absorption axis or transmission axis) is slightly shifted from the crossed Nicols state, the first polarizing plate and the second polarizing plate are made to be compatible with each other and having a black display. Good.
このように形成された本発明の両面出射型表示パネルは、第1の電極311及び第2の電極313が透光性を有している。撮像手段は、両面出射型表示パネルを介した対話者の視線上に配置する。対話者と、撮像手段は、両面出射型表示パネルを介して配置すればよく、両面出射型表示パネルの第1の表示手段(表示面)側、または第2の表示手段(表示面)側のいずれに撮像手段を配置しても良い。その結果、視線を合わせた状態でコミュニケーションをとるこができる。また両面出射型表示パネルの表示を行いながら、撮像手段により撮影することが可能となる。
In the dual emission display panel of the present invention thus formed, the
また図5に示す画素構成では、発光層を介して両方向(第1の表示面及び第2の表示面)に光が射出される。そのため、両面出射型表示パネルの第1の表示面側に撮像手段を配置し、第2の表示面側に対話者を配置しても、第1の表示面側に対話者を配置し、第2の表示面側に撮像手段を配置してもよい。本実施の形態において、第2の表示面側に対話者を配置する場合、表示される映像を反転する回路を備えるとよい。このとき、対話者と、相手との視線が合うように撮像手段を配置すればよく、必ずしも両面出射型表示パネルを介して対話者の視線上に撮像手段を配置する必要はない。例えば、ミラー等の反射体を配置し、対話者と、相手との視線が合うようにすればよい。 In the pixel structure shown in FIG. 5, light is emitted in both directions (first display surface and second display surface) through the light emitting layer. Therefore, even if the imaging means is arranged on the first display surface side of the dual emission display panel and the dialogue person is arranged on the second display surface side, the conversation person is arranged on the first display surface side, The image pickup means may be arranged on the display surface side of 2. In this embodiment mode, when a conversation person is arranged on the second display surface side, a circuit that inverts a displayed image may be provided. At this time, it is only necessary to arrange the imaging means so that the line of sight of the interlocutor and the other party matches, and it is not always necessary to arrange the imaging means on the line of sight of the interlocutor via the dual emission display panel. For example, a reflector such as a mirror may be arranged so that the line of sight of the interlocutor and the other party is matched.
また両方向に光が射出するため、色や輝度がずれ、撮像手段が撮影する対話者の細かな表情等が認識できない場合が考えられる。その場合、両面出射型表示パネルに表示される映像情報を引いた情報を撮像手段へ入力するようにすればよい。両面出射型表示パネルの映像情報は、ビデオメモリに保持されているため、撮像手段の入力メモリから両面出射型表示パネルの映像情報を差し引くように補正すればよい。例えば、以下に示す実施の形態7のように補正を行えばよい。 In addition, since light is emitted in both directions, the color and brightness may be shifted, and it may be impossible to recognize the detailed facial expression of the conversation person captured by the imaging means. In that case, information obtained by subtracting the video information displayed on the dual emission display panel may be input to the imaging means. Since the video information of the dual emission display panel is held in the video memory, correction may be made so that the video information of the dual emission display panel is subtracted from the input memory of the imaging means. For example, the correction may be performed as in Embodiment 7 shown below.
このような両面出射型表示パネルを有する撮像可能な表示装置を用いることにより相手との視線を合わせた状態で対話をすることができる。また、このような撮像可能な表示装置を用いることにより双方向コミュニケーションシステムを提供することができる。 By using such a display device having a dual emission type display panel that can be imaged, it is possible to have a conversation with the line of sight of the other party. Moreover, a bidirectional communication system can be provided by using such a display device capable of imaging.
(実施の形態6)
本実施の形態では、実施の形態5と異なる両面出射型表示パネルの構成ついて、図6を用いて説明する。
(Embodiment 6)
In this embodiment mode, a structure of a dual emission display panel which is different from that in Embodiment Mode 5 will be described with reference to FIGS.
図6(A)には、一画素、すなわち第2の絶縁膜の開口部において、発光層を設ける第1の領域と、発光層を設けない第2の領域が形成された両面出射型表示パネルの画素構成を示す。 FIG. 6A illustrates a dual emission display panel in which a first region where a light emitting layer is provided and a second region where no light emitting layer is provided are formed in one pixel, that is, an opening of a second insulating film. The pixel configuration is shown.
第1の領域に設けられた発光層を含む有機化合物層404に接する透光性を有する第1の電極403は、絶縁表面400上に形成されたpチャネル型の駆動用TFT401に電気的に接続されている。有機化合物層404上には、透光性を有する第2の電極405が設けられ、第1の電極403と、第2の電極405との間に電流が流れ、有機化合物層404から矢印の方向(両方向)に光が射出する。
The
このように、両方向に発光させる場合、実施の形態5で述べたように、第1の電極や第2の電極は、ITO等の透光性導電膜、又は金属、又はこれら金属を含む合金であって、透光性を有する程度の薄さとなるように形成した膜を用いることができる。 Thus, when light is emitted in both directions, as described in Embodiment 5, the first electrode and the second electrode are made of a light-transmitting conductive film such as ITO, a metal, or an alloy containing these metals. Thus, a film formed so as to be thin enough to transmit light can be used.
水分や酸素から有機化合物層を保護するためにパッシベーション膜406を設け、空間を窒素で充填したり、乾燥剤を設けるとよい。その後、封止基板407により封止を行う。
In order to protect the organic compound layer from moisture and oxygen, a
有機化合物層、駆動用TFT、第1の電極403、及び第2の電極405等は実施の形態5と同様に作製することができる。第1の電極403は透光性を有するために、第1の領域及び第2の領域に渡って形成しても構わないが、少なくとも、第1の電極403が第1の領域に形成されていればよい。一方、有機化合物層は有色であるため、第1の領域の第1の電極403上のみに形成する。例えば、蒸着法により有機化合物層を形成する場合、第1の電極403上のみに有機化合物層が蒸着されるようにメタルマスクの開口部のサイズを設定する。
The organic compound layer, the driving TFT, the
図6(A)に示す画素構成において、第1の領域を発光領域、第2の領域を透過領域とするが、第1の領域を透過領域、第2の領域を発光領域とすることもできる。 In the pixel structure illustrated in FIG. 6A, the first region is a light-emitting region and the second region is a transmissive region; however, the first region can be a transmissive region and the second region can be a light-emitting region. .
また第1の電極の仕事関数を、第2の電極の仕事関数のより小さくすることにより、駆動用TFT401の極性をnチャネル型とすることができる。この場合においても、第1の電極や第2の電極は透光性を有する必要がある。
In addition, by making the work function of the first electrode smaller than that of the second electrode, the polarity of the driving
図6(B)には、図6(A)とは異なり、上方へ光が出射する画素構成を示す。第1の領域に設けられた発光層を有する有機化合物層504は、絶縁表面500上に形成されたpチャネル型の駆動用TFT501に接続された第1の電極503に接続されている。上方へ光が射出するため、第1の電極503は透光性を有する必要はなく、駆動用TFTのソース配線、又はドレイン配線と共有することができる。第1の電極503を駆動用TFTのソース配線、又はドレイン配線と共有する場合、チタンを含む第1の金属層と、窒化チタンまたは窒化タングステンを含む第2の金属層と、アルミニウムを含む第3の金属層と、窒化チタンを含む第4の金属層とが積層したものを用いるとよい。
FIG. 6B shows a pixel structure in which light is emitted upward unlike FIG. 6A. An
第1の電極503は非透光性を有するため、第1の領域のみに形成する。発光層を含む有機化合物層504は、当該第1の電極503上にのみ形成する。その後、透光性を有する第2の電極505を形成する。
Since the
水分や酸素から有機化合物層を保護するためにパッシベーション膜506を設け、空間を窒素で充填したり、乾燥剤を設けるとよい。その後、封止基板507により封止を行う。
In order to protect the organic compound layer from moisture and oxygen, a
第1の電極503と、第2の電極505との間に電流が流れ、有機化合物層504から発光する。このとき、金属材料を有する第1の電極503は光を反射し、第2の電極505は光を透過するため、第2の領域では第2の電極方向に光が出射され、第1の領域では光が出射されず透光性を有する。
A current flows between the
第1の電極503、有機化合物層504、及び第2の電極505は、実施の形態5と同様に作製することができる。但し、図6(B)に示す画素構成では、第2の電極が透光性を有する必要がある。そのため、透光性材料、または金属、若しくはそれらの合金を薄く形成し、その上に透光性材料を積層する構成とする。また第2の電極側へ光が射出するため、第1の電極の透過率は、第2の電極の透過率ほど小さくしなくてもすむ。
The
図6(B)に示す画素構成において、第1の領域を発光領域、第2の領域を透光領域として説明したが、第1の領域を透光領域、第2の領域を発光領域とすることもできる。また駆動用TFT401の極性をnチャネル型とし、第1の電極の仕事関数を第2の電極の仕事関数のより大きくすることによって、光の射出方向を反転させることができる。この場合、第1の電極は透光性を有するため、第2の領域に形成しても構わない。
In the pixel structure illustrated in FIG. 6B, the first region is described as a light-emitting region and the second region is a light-transmitting region, but the first region is a light-transmitting region and the second region is a light-emitting region. You can also. Further, by making the polarity of the driving
図6(B)の画素構成は、有機化合物層504から射出された光が撮像装置に入らず、色ずれや輝度ずれが生じにくい。
In the pixel configuration in FIG. 6B, light emitted from the
図6(C)には、本実施の形態の画素構成を有する画素部の拡大図を示す。図6(A)、(B)に示す画素構成は発光領域と、透過領域とが形成される。発光領域と、透過領域とは、赤(R)、緑(G)、青(B)の列毎に揃うように配置しても構わないが、図6(C)に示すように発光領域と、透過領域を交互に配置すると好ましい。 FIG. 6C is an enlarged view of a pixel portion having the pixel structure of this embodiment mode. In the pixel configuration shown in FIGS. 6A and 6B, a light emitting region and a transmissive region are formed. The light emitting region and the transmissive region may be arranged so as to be aligned for each row of red (R), green (G), and blue (B). However, as shown in FIG. It is preferable to arrange the transmission regions alternately.
実施の形態5と比較すると、図6(B)では第1の領域から光の射出方向が一方のみであり、当該第1の領域を用いて表示を行い、他の領域から光は射出されない。そのため、図6(C)に示すように発光面積が半減してしまうことが懸念される。そこで発光領域には、光の射出方向と対向する位置に、金属を有する反射膜、又は有色な樹脂を有する膜を設けてもよい。特に、反射膜に凹凸形状を形成し、光を有効利用するとよい。 Compared with Embodiment Mode 5, in FIG. 6B, there is only one light emission direction from the first region, display is performed using the first region, and no light is emitted from the other regions. Therefore, there is a concern that the light emitting area is halved as shown in FIG. Therefore, a reflective film having a metal or a film having a colored resin may be provided in the light emitting region at a position facing the light emission direction. In particular, it is preferable to form a concavo-convex shape in the reflective film to effectively use light.
本実施の形態は、光が射出されず透光性の高い第2の領域を用いて撮像手段により撮影を行うことができる、撮像手段による対話者の認識精度が向上する。 In the present embodiment, it is possible to perform shooting by the imaging unit using the second region that is not light-emitted and has high translucency, and the recognition accuracy of the conversation by the imaging unit is improved.
(実施の形態7)
本実施の形態では、実施の形態1乃至6で説明した撮像手段における映像の補正方法について図7を用いて説明する。
(Embodiment 7)
In this embodiment, a video correction method in the imaging unit described in Embodiments 1 to 6 will be described with reference to FIG.
図7(A)には撮像装置701、パネル(例えば、両面出射型パネル)705、対話者を示し、パネルの透過率に応じた色合いや輝度の補正:Aと、パネルの自発光による映り込みを差し引く補正:Bを行う。 FIG. 7A shows an imaging device 701, a panel (for example, a dual emission panel) 705, and a conversation person. Correction of color and luminance according to the transmittance of the panel: A and reflection by self-light emission of the panel Correction: Subtract B.
図7(B)には、対話者と相手との双方向対話型システムのフローチャートを示す。以下、対話者と、相手とが同等の双方向対話型装置を有する場合で説明する。 FIG. 7B shows a flowchart of a bidirectional interactive system between a conversation person and a partner. Hereinafter, a case where the conversation person and the other party have equivalent interactive apparatuses will be described.
双方向コミュニケーションは、撮像装置701a、701bと、通信回路702a、702bと、映像処理回路706a、706bと、パネル外部回路704a、704bと、パネル705a、705bを有し、通信回路702aと702bとを介して対話者と相手のコミュニケーションが行われる。映像処理回路706a、706bは、補正:Aを行う機能、補正:Bを行う機能、を有し、パネル外部回路704a、704bにより制御される。
The bidirectional communication includes imaging devices 701a and 701b,
撮像装置701a、701bはそれぞれ、パネル705a、705bを介して対話者と相手を撮影する。このとき、パネルの透過率に応じた色ずれや輝度ずれを補正する補正:Aが行われる。また、対話者及び相手の映像に対してパネル705a、705bからの自発光の成分を差し引く補正Bが行われる。その結果、補正された対話者の映像と、補正された相手の映像となる。補正Aと、補正Bを行う順序はどちらが先であっても、同時に行ってもよい。また補正Aと補正Bとを同一の補正回路を用いて行ってもよい。補正Aを行うための回路は、通信回路702a、702bとパネル外部回路704a、704bとの間、又はパネル外部回路とパネルとの間に設けてもよい。さらに、レンズや焦点に応じた画像処理機能を、補正Bを行う機能に加え、パネル705a、705bからの自発光の成分に縮小やぼかしなどのフィルタ処理を行ってから差し引くとよい。
The imaging devices 701a and 701b capture the conversation person and the other party through the panels 705a and 705b, respectively. At this time, a correction A for correcting a color shift or luminance shift according to the transmittance of the panel is performed. In addition, correction B is performed to subtract the self-luminous component from the panels 705a and 705b on the images of the conversation person and the other party. As a result, the corrected video of the conversation person and the corrected video of the other party are obtained. The order in which correction A and correction B are performed may be performed at the same time, whichever comes first. Further, the correction A and the correction B may be performed using the same correction circuit. A circuit for performing the correction A may be provided between the
このような補正された映像が、通信回路702a、702bを介して送受信される。
Such corrected video is transmitted / received via the
通信回路702a、702bから受信された映像は、それぞれパネル外部回路704a、704bへ入力され、パネル705a、705bで表示が行われる。具体的には、パネル705a、705bに設けられた信号線へ補正された映像a、映像bのビデオ信号が入力される。
Images received from the
以上のように補正された映像を用いて、高精度な双方向コミュニケーションを行うことができる。 Using the video corrected as described above, high-precision bidirectional communication can be performed.
本実施の形態の映像の補正方法は、実施の形態1乃至6のいずれとも組み合わせることができる。 The video correction method of this embodiment can be combined with any of Embodiments 1 to 6.
(実施の形態8)
上記実施の形態では、自発光型画素を有する表示パネルを用いて説明したが、本発明は透光性を有する表示パネルであればよい。そのため例えば、透光性を有する液晶表示パネルを用いることができる。なお透光性を有する液晶表示パネルとしては、透過型液晶表示パネル、半透過型液晶表示パネルを用いることができる。
(Embodiment 8)
In the above embodiment mode, the display panel having self-luminous pixels has been described. However, the present invention may be any display panel having translucency. Therefore, for example, a light-transmitting liquid crystal display panel can be used. Note that a transmissive liquid crystal display panel or a transflective liquid crystal display panel can be used as the light-transmitting liquid crystal display panel.
より高い透光性を確保するため、パネルには偏光板等を実装しない、又は開口部を有する偏光板等を実装する。偏光板に設けられた開口部は、画素の一部に形成したり、画素全体にドット状に設けることができる。半透明型液晶パネルにおいては、画素電極の開口部に合わせて、偏光板の開口部を形成してもよい。
そして例えば図3において、両面出射型表示パネル100としては、開口部を有する偏光板等を実装した透光性を有する液晶表示パネルを用い、撮像面121としては偏光板等を実装しない透光性を有する液晶表示パネルを用いることができる。
In order to ensure higher translucency, a polarizing plate or the like is not mounted on the panel or a polarizing plate having an opening is mounted on the panel. The opening provided in the polarizing plate can be formed in part of the pixel or in a dot shape over the entire pixel. In the translucent liquid crystal panel, the opening of the polarizing plate may be formed in accordance with the opening of the pixel electrode.
For example, in FIG. 3, a translucent liquid crystal display panel in which a polarizing plate having an opening is mounted as the dual
またこのような透光性を有する液晶表示パネルと、両面出射型表示パネルとを組み合わせて用いてもよい。例えば図3において、両面出射型表示パネル100と、撮像面121として偏光板等を実装しない透光性を有する液晶表示パネルとを実装した携帯電話機とすることができる。
Further, a liquid crystal display panel having such translucency and a dual emission display panel may be used in combination. For example, in FIG. 3, a mobile phone in which a dual
Claims (18)
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の透光性電極を有し、且つ透光性を有する自発光型画素を、透光性基板上に隣接配置してなり、
前記撮像手段は、前記透光性を有する自発光型画素を通して被写体の撮像が可能であることを特徴とする撮像機能付き表示装置。 And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a pair of translucent electrodes, and self-luminous pixels having translucency are arranged adjacent to each other on a translucent substrate,
The display device with an imaging function, wherein the imaging means is capable of imaging a subject through the light-transmitting self-luminous pixel .
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の透光性電極間に発光性物質を介在させ、且つ透光性を有する発光素子を、透光性基板上に隣接配置してなり、
前記撮像手段は、前記透光性を有する発光素子を通して被写体の撮像が可能であることを特徴とする撮像機能付き表示装置。 And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a light-emitting substance interposed between a pair of light-transmitting electrodes, and a light-emitting element having a light-transmitting property is disposed adjacent to the light-transmitting substrate .
The display device with an imaging function, wherein the imaging means is capable of imaging a subject through the light-emitting element having translucency .
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の電極間に発光性物質を介在させ、且つ外光を透過可能な発光素子を、透光性基板上に隣接配置してなり、
前記一対の電極のうち、一方の電極は透光性を有し、他方の電極は可視光を透光可能な厚さの金属材料を有し、
前記撮像手段は、前記外光を透過可能な発光素子を通して被写体の撮像が可能であることを特徴とする撮像機能付き表示装置。 And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a light emitting element interposed between a pair of electrodes and a light emitting element capable of transmitting external light adjacent to the light transmitting substrate.
Of the pair of electrodes, one electrode has a light-transmitting property, and the other electrode has a metal material having a thickness capable of transmitting visible light,
The display device with an imaging function, wherein the imaging means is capable of imaging a subject through a light emitting element capable of transmitting the external light .
前記発光性物質は、エレクトロルミネセンスを発現する物質であることを特徴とする撮像機能付き表示装置。 In claim 2 or 3,
The display device with an imaging function, wherein the light-emitting substance is a substance that exhibits electroluminescence.
前記表示手段の透過率に応じた輝度補正と、前記表示手段からの発光による映り込みを差し引く補正とを行う補正手段が、前記撮像手段に備えられていることを特徴とする撮像機能付き表示装置。 In any one of Claims 1 thru | or 4,
Wherein the brightness correction according to the transmittance of the display means, said correction means for performing a correction of subtracting the reflection of light emitted from the display unit, the image pickup function-equipped display device, characterized in that provided in the image pickup means .
前記隣接配置された発光素子の一画素は、前記発光性物質が一対の透光性電極間に設けられた発光領域と、前記一対の透光性電極間に発光性物質が設けられていない透過領域とが隣接配置され、One pixel of the adjacent light emitting element includes a light emitting region in which the light emitting substance is provided between a pair of light transmitting electrodes and a light transmission in which no light emitting substance is provided between the pair of light transmitting electrodes. The area is placed adjacent to the
前記撮像手段は、前記透光性を有する発光素子の前記発光領域及び前記透過領域を通して被写体の撮像が可能であることを特徴とする撮像機能付き表示装置。The display unit with an imaging function, wherein the imaging unit is capable of imaging a subject through the light emitting region and the transmission region of the light emitting element having translucency.
前記隣接配置された発光素子の一画素は、前記発光性物質が一対の電極間に設けられた発光領域と、前記一対の電極間に発光性物質が設けられていない透過領域とが隣接配置され、In one pixel of the light emitting element arranged adjacent to each other, a light emitting region in which the light emitting substance is provided between a pair of electrodes and a transmission region in which the light emitting substance is not provided between the pair of electrodes are arranged adjacent to each other. ,
前記撮像手段は、前記外光を透過可能な発光素子の前記発光領域及び前記透過領域を通して被写体の撮像が可能であることを特徴とする撮像機能付き表示装置。The display device with an imaging function, wherein the imaging means is capable of imaging a subject through the light emitting region and the transmissive region of a light emitting element capable of transmitting the external light.
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の透光性電極を有し、且つ透光性を有する自発光型画素を、透光性基板上に隣接配置してなり、
前記撮像手段は、前記透光性を有する自発光型画素を通して被写体の撮像が可能であって、通話先の画像を前記表示手段に表示すると同時に、前記被写体を撮像可能であることを特徴とする双方向コミュニケーションシステム。 And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a pair of translucent electrodes, and self-luminous pixels having translucency are arranged adjacent to each other on a translucent substrate,
The imaging means can image a subject through the light-transmitting self-luminous pixel, and can display the image of the called party on the display means and simultaneously image the subject. Two-way communication system.
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の透光性電極間に発光性物質を介在させ、且つ透光性を有する発光素子を、透光性基板上に隣接配置してなり、
前記撮像手段は、前記透光性を有する発光素子を通して被写体の撮像が可能であって、通話先の画像を前記表示手段に表示すると同時に、前記被写体を撮像可能であることを特徴とする双方向コミュニケーションシステム。 And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a light-emitting substance interposed between a pair of light-transmitting electrodes, and a light-emitting element having a light-transmitting property is disposed adjacent to the light-transmitting substrate .
The bidirectional means characterized in that the imaging means is capable of imaging a subject through the light-emitting element having translucency, and is capable of imaging the subject at the same time as displaying a call destination image on the display means. Communication system.
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の電極間に発光性物質を介在させ、且つ外光を透過可能な発光素子を、透光性基板上に隣接配置してなり、
前記一対の電極のうち、一方の電極は透光性を有し、他方の電極は可視光を透光可能な厚さの金属材料を有し、
前記撮像手段は、前記外光を透過可能な発光素子を通して被写体の撮像が可能であって、通話先の画像を前記表示手段に表示すると同時に、前記被写体を撮像可能であることを特徴とする双方向コミュニケーションシステム。 And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a light emitting element interposed between a pair of electrodes and a light emitting element capable of transmitting external light adjacent to the light transmitting substrate.
Of the pair of electrodes, one electrode has a light-transmitting property, and the other electrode has a metal material having a thickness capable of transmitting visible light,
The imaging means is capable of imaging a subject through a light-emitting element that can transmit the outside light, and can display the image of a call destination on the display means and simultaneously image the subject. Communication system.
前記発光性物質は、エレクトロルミネセンスを発現する物質であることを特徴とする双方向コミュニケーションシステム。 In claim 9 or 10 ,
The two-way communication system, wherein the luminescent substance is a substance that develops electroluminescence.
前記表示手段の透過率に応じた輝度補正と、前記表示手段からの発光による映り込みを差し引く補正とを行う補正手段が、前記撮像手段に備えられていることを特徴とする双方向コミュニケーションシステム。 In any one of Claims 8 thru | or 11 ,
Two-way communication system in which a luminance correction corresponding to the transmittance of the display means, the correction means for performing a correction of subtracting the reflection of light emitted from the display unit, characterized in that provided in the imaging unit.
表示手段と、
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の透光性電極を有し、且つ透光性を有する自発光型画素を、透光性基板上に隣接配置してなり、
前記撮像手段は、前記透光性を有する自発光型画素を通して被写体の撮像が可能であって、通話先の画像を前記表示手段に表示すると同時に、前記被写体を撮像可能である撮像機能付き表示装置が、少なくとも一方の送受信者側に備えられていることを特徴とする双方向コミュニケーションシステム。 A bidirectional communication system in which both senders and receivers can communicate with each other by wired or wireless while viewing images of the other party on the display screen,
And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a pair of translucent electrodes, and self-luminous pixels having translucency are arranged adjacent to each other on a translucent substrate,
The imaging means is capable of imaging a subject through the light-transmitting self-luminous pixel , and displays a call destination image on the display means, and at the same time capable of imaging the subject. Is provided on at least one of the sender and receiver sides.
表示手段と、
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の透光性電極間に発光性物質を介在させ、且つ透光性を有する発光素子を、透光性基板上に隣接配置してなり、
前記撮像手段は、前記透光性を有する発光素子を通して被写体の撮像が可能であって、通話先の画像を前記表示手段に表示すると同時に、前記被写体を撮像可能である撮像機能付き表示装置が、少なくとも一方の送受信者側に備えられていることを特徴とする双方向コミュニケーションシステム。 A bidirectional communication system in which both senders and receivers can communicate with each other by wired or wireless while viewing images of the other party on the display screen,
And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a light-emitting substance interposed between a pair of light-transmitting electrodes, and a light-emitting element having a light-transmitting property is disposed adjacent to the light-transmitting substrate .
The imaging means is capable of imaging a subject through the translucent light emitting element , and displays a call destination image on the display means, and at the same time, a display device with an imaging function capable of imaging the subject. A two-way communication system, which is provided on at least one side of a sender / receiver.
表示手段と、
前記表示手段の一方の側に備えられた撮像手段とを有し、
前記表示手段は、一対の電極間に発光性物質を介在させ、且つ外光を透過可能な発光素子を、透光性基板上に隣接配置してなり、
前記一対の電極のうち、一方の電極は透光性を有し、他方の電極は可視光を透光可能な厚さの金属材料を有し、
前記撮像手段は、前記外光を透過可能な発光素子を通して被写体の撮像が可能であって、通話先の画像を前記表示手段に表示すると同時に、前記被写体を撮像可能である撮像機能付き表示装置が、少なくとも一方の送受信者側に備えられていることを特徴とする双方向コミュニケーションシステム。 A bidirectional communication system in which both senders and receivers can communicate with each other by wired or wireless while viewing images of the other party on the display screen,
And Table shows means,
Imaging means provided on one side of the display means,
The display means includes a light emitting element interposed between a pair of electrodes and a light emitting element capable of transmitting external light adjacent to the light transmitting substrate.
Of the pair of electrodes, one electrode has a light-transmitting property, and the other electrode has a metal material having a thickness capable of transmitting visible light,
The imaging unit is capable of imaging a subject through a light-emitting element that can transmit the external light, and displays a call destination image on the display unit, and at the same time, a display device with an imaging function capable of imaging the subject. The bidirectional communication system is provided on at least one side of the sender / receiver.
前記発光性物質は、エレクトロルミネセンスを発現する物質であることを特徴とする双方向コミュニケーションシステム。 In claim 14 or 15 ,
The two-way communication system, wherein the luminescent substance is a substance that develops electroluminescence.
前記表示手段の透過率に応じた輝度補正と、前記表示手段からの発光による映り込みを差し引く補正とを行う補正手段が、前記撮像手段に備えられていることを特徴とする双方向コミュニケーションシステム。 In any one of Claims 13 thru | or 16 ,
Two-way communication system in which a luminance correction corresponding to the transmittance of the display means, the correction means for performing a correction of subtracting the reflection of light emitted from the display unit, characterized in that provided in the imaging unit.
前記表示画面上には、前記被写体の画像、文字、図形、及び記号を表示可能であることを特徴とする双方向コミュニケーションシステム。 In any one of Claims 13 thru | or 17 ,
An interactive communication system characterized in that an image , characters, figures, and symbols of the subject can be displayed on the display screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004175315A JP4515161B2 (en) | 2003-06-17 | 2004-06-14 | Display device with imaging function and bidirectional communication system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003172477 | 2003-06-17 | ||
JP2004175315A JP4515161B2 (en) | 2003-06-17 | 2004-06-14 | Display device with imaging function and bidirectional communication system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005033784A JP2005033784A (en) | 2005-02-03 |
JP2005033784A5 JP2005033784A5 (en) | 2007-06-14 |
JP4515161B2 true JP4515161B2 (en) | 2010-07-28 |
Family
ID=34219931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004175315A Expired - Fee Related JP4515161B2 (en) | 2003-06-17 | 2004-06-14 | Display device with imaging function and bidirectional communication system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4515161B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4845336B2 (en) | 2003-07-16 | 2011-12-28 | 株式会社半導体エネルギー研究所 | Display device with imaging function and bidirectional communication system |
JP2006237914A (en) * | 2005-02-24 | 2006-09-07 | Kyocera Corp | Mobile terminal device |
WO2007013272A1 (en) * | 2005-07-28 | 2007-02-01 | Sharp Kabushiki Kaisha | Display device and backlight device |
JP4490357B2 (en) * | 2005-09-16 | 2010-06-23 | 日本電信電話株式会社 | Video presentation / imaging device |
US7697053B2 (en) * | 2006-11-02 | 2010-04-13 | Eastman Kodak Company | Integrated display having multiple capture devices |
US9047815B2 (en) | 2009-02-27 | 2015-06-02 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving semiconductor device |
JP5533039B2 (en) * | 2009-11-02 | 2014-06-25 | ソニー株式会社 | Image display device with imaging device |
JP5569156B2 (en) * | 2010-06-07 | 2014-08-13 | ソニー株式会社 | Image display device, electronic device, image display system, image acquisition method, program |
JP5963637B2 (en) * | 2012-10-10 | 2016-08-03 | キヤノン株式会社 | Display device with imaging device |
CN108682295A (en) * | 2018-05-29 | 2018-10-19 | 珠海格力电器股份有限公司 | Display screen device and mobile terminal |
CN111273379A (en) * | 2018-11-19 | 2020-06-12 | 北京小米移动软件有限公司 | Mobile terminal |
KR20210069289A (en) | 2019-12-03 | 2021-06-11 | 엘지디스플레이 주식회사 | Display device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09168141A (en) * | 1995-12-14 | 1997-06-24 | Denso Corp | Display device with image pickup device |
JP2002515693A (en) * | 1998-05-08 | 2002-05-28 | オレンジ パーソナル コミュニケーションズ サーヴィシーズ リミテッド | Mobile communications |
JP2002314899A (en) * | 2001-04-13 | 2002-10-25 | Sharp Corp | Image pickup function integrated type display device |
-
2004
- 2004-06-14 JP JP2004175315A patent/JP4515161B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09168141A (en) * | 1995-12-14 | 1997-06-24 | Denso Corp | Display device with image pickup device |
JP2002515693A (en) * | 1998-05-08 | 2002-05-28 | オレンジ パーソナル コミュニケーションズ サーヴィシーズ リミテッド | Mobile communications |
JP2002314899A (en) * | 2001-04-13 | 2002-10-25 | Sharp Corp | Image pickup function integrated type display device |
Also Published As
Publication number | Publication date |
---|---|
JP2005033784A (en) | 2005-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI605718B (en) | A display device having an image pickup function and a two-way communication system | |
JP4845336B2 (en) | Display device with imaging function and bidirectional communication system | |
JP5471608B2 (en) | Image display device with imaging device | |
JP4515161B2 (en) | Display device with imaging function and bidirectional communication system | |
US11393879B2 (en) | Light-emitting device, display device, photoelectric conversion device, electronic apparatus, illumination device, and mobile body | |
JP2009123404A (en) | Display device | |
US20220255042A1 (en) | Organic device, method of manufacturing the same, display device, photoelectric conversion device, electronic apparatus, illumination device, and moving body | |
JP2002314899A (en) | Image pickup function integrated type display device | |
US20040263660A1 (en) | Electronic device with mirror function and image capture function | |
JP2023165556A (en) | Light emitting device, method for manufacturing light emitting device, display device, photoelectric conversion device, electronic apparatus, illumination device, mobile body, and wearable device | |
JP2007028608A (en) | Display apparatus with imaging function, and interactive communications system | |
JP2024090678A (en) | Light emitting element |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4515161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140521 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |