JP6917820B2 - データ処理システム - Google Patents

データ処理システム Download PDF

Info

Publication number
JP6917820B2
JP6917820B2 JP2017147321A JP2017147321A JP6917820B2 JP 6917820 B2 JP6917820 B2 JP 6917820B2 JP 2017147321 A JP2017147321 A JP 2017147321A JP 2017147321 A JP2017147321 A JP 2017147321A JP 6917820 B2 JP6917820 B2 JP 6917820B2
Authority
JP
Japan
Prior art keywords
display
data
transistor
pixel
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017147321A
Other languages
English (en)
Other versions
JP2018025555A (ja
Inventor
池田　隆之
隆之 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of JP2018025555A publication Critical patent/JP2018025555A/ja
Application granted granted Critical
Publication of JP6917820B2 publication Critical patent/JP6917820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/95—Storage media specially adapted for storing game information, e.g. video game cartridges
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1612—Flat panel monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0421—Structural details of the set of electrodes
    • G09G2300/0426—Layout of electrodes and connections
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/046—Pixel structures with an emissive area and a light-modulating area combined in one pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明の一態様は、データ処理システムに関する。
撮像して得られる撮像データから物体を認識し、仮想空間におけるオブジェクトと組み合わせて表示を行う画像表示システムが提案されている（特許文献１を参照）。特許文献１の構成では、撮像データから予め配置されたマーカーを検出し、仮想空間におけるオブジェクトと組み合わせて表示を行う。
特開２０１２−９４１００号公報
特許文献１のようにマーカーを検出して物体を認識する方法では、認識される物体が限られるため、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；以下ＡＲ）表示を実現するためには機能が限定的となる。
撮像データを携帯端末で画像認識をさせる方法では、演算量が増加するため、消費電力が大きくなるといった問題がある。加えて、画像の表示に遅延が生じるといった問題がある。
撮像データをサーバーに送信してサーバー上で画像認識をさせる方法では、情報通信量の増加といった問題がある。加えて、他人が映りこんだ撮像データをそのままサーバーに送信することになる場合もあるため、プライバシー等の問題も生じる。
本発明の一態様は、利便性に優れたＡＲ表示を実現できる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、消費電力を抑制できる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、画像の表示に遅延を生じにくくできる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、プライバシーの問題を生じにくくできる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、情報通信量を低減できる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、新規なデータ処理システムを提供することを課題の一とする。
本発明の一態様は、携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、携帯端末からネットワークを介してサーバーに位置情報を送信し、サーバーからネットワークを介してデータベースより取得した位置情報に対応する複数の物体データを携帯端末に送信し、携帯端末で取得した撮像データと複数の物体データとを比較し、一致しない物体データがある場合にデータベースに記憶された当該物体データの更新を行うデータ処理システムである。
本発明の一態様は、携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、携帯端末からネットワークを介してサーバーに位置情報を送信し、サーバーからネットワークを介してデータベースより取得した位置情報に対応する複数の物体データを携帯端末に送信し、携帯端末で取得した撮像データと複数の物体データとを比較して、一致する物体データをもとに位置情報を補正し、一致しない物体データがある場合にデータベースに記憶された当該物体データの更新を行うデータ処理システムである。
本発明の一態様において、補正された位置情報を携帯端末からネットワークを介してサーバーに送信し、サーバーからネットワークを介して携帯端末にデータベースより取得した補正された位置情報を送信する、データ処理システムが好ましい。
本発明の一態様において、位置情報は、携帯端末の撮像する方向の情報を有するデータ処理システムが好ましい。
本発明の一態様において、データベースは、ワイヤーフレームモデルで表される３次元のデータを有し、サーバーは、３次元のデータを位置情報に応じた２次元に投影して得られる２次元のデータを、複数の物体データのそれぞれについて生成し、ネットワークを介して携帯端末に送信するデータ処理システムが好ましい。
なおその他の本発明の一態様については、以下で述べる実施の形態における説明、および図面に記載されている。
本発明の一態様は、利便性に優れたＡＲ表示を実現できる、新規なデータ処理システムを提供できる。本発明の一態様は、消費電力を抑制できる、新規なデータ処理システムを提供できる。本発明の一態様は、画像の表示に遅延を生じにくくできる、新規なデータ処理システムを提供できる。本発明の一態様は、プライバシーの問題を生じにくくできる、新規なデータ処理システムを提供できる。本発明の一態様は、情報通信量を低減できる、新規なデータ処理システムを提供できる。本発明の一態様は、新規なデータ処理システムを提供できる。
本発明の一態様を説明する図。 本発明の一態様を説明する図。 本発明の一態様を説明する図。 本発明の一態様を説明する図。 本発明の一態様を説明する図。 本発明の一態様を説明する図。 本発明の一態様を説明する図。 本発明の一態様を説明する図。 本発明の一態様を説明する図。 携帯端末の構成例を示す図。 ディスプレイの構成例を示す図。 ディスプレイの画素の構成例を示す図。 ディスプレイの画素の構成例を示す図。 ディスプレイの画素の構成例を示す図。 ディスプレイの画素の構成例を示す図。 ディスプレイの画素の構成例を示す図。 ディスプレイの断面構造の一例を示す図。 ディスプレイの断面構造の一例を示す図。 ディスプレイの断面構造の一例を示す図。 ディスプレイの外観の一例を示す図。 電子機器の一例を示す図。 電子機器の一例を示す図。
以下では、本発明の実施の形態について図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。
また、本明細書等において、半導体装置とは、半導体特性を利用した装置であり、半導体素子（トランジスタ、ダイオード等）を含む回路、同回路を有する装置等をいう。また、半導体特性を利用することで機能しうる装置全般をいう。例えば、集積回路、集積回路を備えたチップは、半導体装置の一例である。また、記憶装置、表示装置、発光装置、照明装置及び電子機器等は、それ自体が半導体装置である場合があり、又は半導体装置を有している場合がある。
また、本明細書等において、ＸとＹとが接続されている、と明示的に記載されている場合は、ＸとＹとが電気的に接続されている場合と、ＸとＹとが機能的に接続されている場合と、ＸとＹとが直接接続されている場合とが、本明細書等に開示されているものとする。したがって、所定の接続関係、例えば、図または文章に示された接続関係に限定されず、図または文章に示された接続関係以外のものも、図または文章に記載されているものとする。Ｘ、Ｙは、対象物（例えば、装置、素子、回路、配線、電極、端子、導電膜、層、など）であるとする。
トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードである。ソースまたはドレインとして機能する２つの入出力ノードは、トランジスタの型及び各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。また、本明細書等では、ゲート以外の２つの端子を第１端子、第２端子と呼ぶ場合がある。
ノードは、回路構成やデバイス構造等に応じて、端子、配線、電極、導電層、導電体、不純物領域等と言い換えることが可能である。また、端子、配線等をノードと言い換えることが可能である。
電圧は、ある電位と、基準の電位（例えば接地電位（ＧＮＤ）またはソース電位）との電位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。なお、電位とは、相対的なものである。よって、接地電位と記載されていても、必ずしも、０Ｖを意味しない場合もある。
本明細書等において、「膜」という言葉と「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を「導電膜」という用語に変更することが可能な場合がある。例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。
本明細書等において、“第１”、“第２”、“第３”という序数詞は構成要素の混同を避けるために付す場合があり、その場合は数的に限定するものではなく、また順序を限定するものでもない。
図面において、大きさ、層の厚さ、又は領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお図面は、理想的な例を模式的に示したものであり、図面に示す形状又は値などに限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、又は、タイミングのずれによる信号、電圧、若しくは電流のばらつきなどを含むことが可能である。
本明細書等において、「上に」、「下に」などの配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている場合がある。また、構成同士の位置関係は、各構成を描写する方向に応じて適宜変化するものである。従って、明細書で説明した語句に限定されず、状況に応じて適切に言い換えることができる。
図面に記載したブロック図の各回路ブロックの配置は、説明のため位置関係を特定するものであり、異なる回路ブロックで別々の機能を実現するよう示していても、実際の回路ブロックにおいては同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回路ブロックとして示していても、実際の回路ブロックにおいては一つの回路ブロックで行う処理を、複数の回路ブロックで行うよう設けられている場合もある。
本明細書等において、金属酸化物（ｍｅｔａｌ ｏｘｉｄｅ）とは、広い表現での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒまたは単にＯＳともいう）などに分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、及びスイッチング作用の少なくとも１つを有する場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳと呼ぶことができる。また、ＯＳ ＦＥＴと記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
また、本明細書等において、窒素を有する金属酸化物も金属酸化物（ｍｅｔａｌ ｏｘｉｄｅ）と総称する場合がある。また、窒素を有する金属酸化物を、金属酸窒化物（ｍｅｔａｌ ｏｘｙｎｉｔｒｉｄｅ）と呼称してもよい。
また、本明細書等において、ＣＡＡＣ（ｃ−ａｘｉｓ ａｌｉｇｎｅｄ ｃｒｙｓｔａｌ）、及びＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ Ｃｏｍｐｏｓｉｔｅ）と記載する場合がある。なお、ＣＡＡＣは結晶構造の一例を表し、ＣＡＣは機能、または材料の構成の一例を表す。
また、本明細書等において、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅとは、材料の一部では導電性の機能と、材料の一部では絶縁性の機能とを有し、材料の全体では半導体としての機能を有する。なお、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅを、トランジスタの半導体層に用いる場合、導電性の機能は、キャリアとなる電子（またはホール）を流す機能であり、絶縁性の機能は、キャリアとなる電子を流さない機能である。導電性の機能と、絶縁性の機能とを、それぞれ相補的に作用させることで、スイッチングさせる機能（Ｏｎ／Ｏｆｆさせる機能）をＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅに付与することができる。ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅにおいて、それぞれの機能を分離させることで、双方の機能を最大限に高めることができる。
また、本明細書等において、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅは、導電性領域、及び絶縁性領域を有する。導電性領域は、上述の導電性の機能を有し、絶縁性領域は、上述の絶縁性の機能を有する。また、材料中において、導電性領域と、絶縁性領域とは、ナノ粒子レベルで分離している場合がある。また、導電性領域と、絶縁性領域とは、それぞれ材料中に偏在する場合がある。また、導電性領域は、周辺がぼけてクラウド状に連結して観察される場合がある。
また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅにおいて、導電性領域と、絶縁性領域とは、それぞれ０．５ｎｍ以上１０ｎｍ以下、好ましくは０．５ｎｍ以上３ｎｍ以下のサイズで材料中に分散している場合がある。
また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅは、異なるバンドギャップを有する成分により構成される。例えば、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅは、絶縁性領域に起因するワイドギャップを有する成分と、導電性領域に起因するナローギャップを有する成分と、により構成される。当該構成の場合、キャリアを流す際に、ナローギャップを有する成分において、主にキャリアが流れる。また、ナローギャップを有する成分が、ワイドギャップを有する成分に相補的に作用し、ナローギャップを有する成分に連動してワイドギャップを有する成分にもキャリアが流れる。このため、上記ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅをトランジスタのチャネル領域に用いる場合、トランジスタのオン状態において高い電流駆動力、つまり大きなオン電流、及び高い電界効果移動度を得ることができる。
すなわち、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ ｏｘｉｄｅは、マトリックス複合材（ｍａｔｒｉｘ ｃｏｍｐｏｓｉｔｅ）、または金属マトリックス複合材（ｍｅｔａｌ ｍａｔｒｉｘ ｃｏｍｐｏｓｉｔｅ）と呼称することもできる。
（実施の形態１）
本発明の一態様であるデータ処理システムについて説明する。なお、本明細書等において、データ処理システムとは、拡張現実または仮想現実等を実現するための演算処理に適用可能なデータを、サーバーに接続されたデータベースに記憶するためのシステムをいう。
図１は、本発明の一態様であるデータ処理システム１０を説明するための図である。図１に示すデータ処理システム１０では、携帯端末１１、ネットワーク１２、サーバー１３およびデータベース１４を有している。
携帯端末１１は、ディスプレイ１５、位置センサ１６、演算装置１７、および撮像装置１８を有する電子装置である。なお携帯端末１１は、他にも通信装置やバッテリー等の複数の装置を包含する電子装置である。
ディスプレイ１５は、サーバー１３から受信した画像、撮像装置１８で取得した撮像データ等、ユーザーの操作に応じた画像を表示することができる。ディスプレイ１５は、液晶素子および／または発光素子等の表示素子を有する装置であり、表示装置ともいう。
位置センサ１６は、位置情報を取得するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の他、携帯端末１１の向きや傾きの情報を取得するための方位センサ（地磁気センサまたはジャイロセンサ）のことをいう。
演算装置１７は、ＣＰＵまたはＦＰＧＡ等のデータの演算処理を行う装置である。例えば、撮像した撮像データとデータベース１４に記憶されたデータとを比較し、一致または不一致の判定を行うことができる装置である。
撮像装置１８は、電荷結合素子（ＣＣＤ）や相補型金属−酸化物−半導体（ＣＭＯＳ）を利用したイメージセンサなどを用いることができる。なお撮像装置１８としてイメージセンサを用いる場合には、アナログデジタル変換回路等の画像処理回路を有していてもよい。
ネットワーク１２は、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のコンピュータネットワークに相当する。
サーバー１３は、データベース１４に記憶されたデータにアクセスするコンピュータに相当する。サーバー１３は、複数のサーバーがネットワーク１２で互いに接続されていてもよい。具体的にサーバー１３は、拡張現実または仮想現実を構築するためのデータの入出力および演算等を行う。
なおサーバー１３のデータは、データベース１４との間で必要に応じて入出力されている。そのため、サーバー１３からデータベース１４へのデータのアクセスを省略し、データベース１４内のデータであってもサーバー１３のデータであるとして説明する場合がある。
データベース１４は、サーバー１３から出力されたデータを記憶する。またデータベース１４は、サーバー１３のアクセスによって必要なデータを出力する。データベース１４は、大容量のデータを記憶することが求められる。データベース１４は、ハードディスクドライブ（ＨＤＤ）、あるいはフラッシュメモリを用いることができる。特にフラッシュメモリは、静音性、耐衝撃性に優れ、ＨＤＤよりもアクセススピードに優れている点で、好ましい。具体的にデータベース１４は、拡張現実または仮想現実を構築するためのデータを記憶する。
次いでサーバー１３およびデータベース１４内にあるデータについて説明する。
サーバー１３は、位置情報に対応して、物体のデータ（情報、物体データともいう）を有する。物体データの集合をＸ＝｛ｘ０，ｘ１，…，ｘＮ−１｝とする。例えばｘ０は「球体」、ｘ１は「立方体」などを表す。物体データの集合Ｘは、例えば図２に示すような八分木で表される。集合Ｘは、物体データ２１乃至物体データ２４などの複数の領域に分けられる。物体データ２１および物体データ２２はそれ以上分けられない領域を表す。対して、物体データ２３は、さらに複数の物体データに分けられる領域を表している。例えば物体データ２１は、上述したｘ０に相当する。
各物体データは、物体の形状に関する情報を、ワイヤーフレームモデルで表されるデータで表すことができる。ワイヤーフレームモデルデータは、ワイヤーフレームモデルデータ２５で表す。また、各物体データは、物体の形状に関する情報の他、各物体に関連づけることができる情報を有し、図２では関連情報データ２６で表す。関連情報データ２６は、物体の名称、物体に関連する情報等を一例として挙げることができる。
なおワイヤーフレームモデルデータについて、図４（Ａ）、（Ｂ）を用いて具体例を挙げて説明する。例えば図４（Ａ）には現実の任意の領域６０にある物体６１および物体６２を３次元状に図示している。物体６１は説明のため、球体の形状を有する。物体６２は説明のため、大小の立方体を組み合わせた形状を有する。
なお図４（Ａ）、（Ｂ）では、ｘ方向、ｙ方向およびｚ方向を図示している。ｘ方向は水平方向を表し、ｙ方向は垂直方向を表し、ｚ方向は奥行き方向を表している。
図４（Ｂ）は、図４（Ａ）に対応するワイヤーフレームモデルデータを可視化した図である。例えば図４（Ｂ）には、現実の領域６０に対応する仮想空間の領域６０ｖを図示している。領域６０ｖにある物体データ６１ｖおよび物体データ６２ｖは、現実の物体６１および物体６２に対応する物体データである。物体データ６１ｖは、物体６１に対応して、球体の形状を有する。物体データ６２ｖは、物体６２に対応して、大小の立方体を組み合わせた形状を有する。
サーバー１３は、携帯端末１１からネットワーク１２を介して、方位情報を含む位置情報が与えられた時、データベース１４にアクセスして、集合Ｘから２次元のデータを生成する。
なお集合Ｘから生成される２次元のデータについて、図５（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図５（Ａ）には現実の任意の領域６０の座標６７にいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６にかざしているものとする。
なお座標６７は、一例としては、複数のナブスター衛星６３（ＮＡＶＳＴＡＲ：Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ ｗｉｔｈ Ｔｉｍｅ Ａｎｄ Ｒａｎｇｉｎｇ）が発信した信号６４の到達する時間をもとに距離を算出して得られる座標である。方位６６は、携帯端末１１に設けられた方位センサ（地磁気センサやジャイロ）をもとに算出して得られる方位である。
図５（Ｂ）は、図４（Ｂ）に図示したワイヤーフレームモデルデータを可視化した図において、図５（Ａ）の座標６７および方位６６に対応する位置情報のデータが入力された状態を表している。つまり、仮想空間における領域６０ｖ内での座標６７ｖおよび方位６６ｖを図示している。
上述した集合Ｘから生成される２次元のデータは、図５（Ｂ）の座標６７ｖから方位６６ｖを見た物体データ６１ｖおよび物体データ６２ｖを２次元の平面に投影して得られるデータに相当する。つまり集合Ｘから生成される２次元のデータは、図５（Ｃ）に図示するようにｘ方向、ｙ方向で規定される２次元の領域７０ｖにある物体データ７１ｖおよび物体データ７２ｖに相当する。
サーバー１３は、集合Ｘから生成される２次元のデータをもとに、物体データ７１ｖおよび物体データ７２ｖの位置または大きさ等のデータを、ネットワーク１２を介して携帯端末１１に送信する。
携帯端末１１は、集合Ｘから生成される２次元のデータ、すなわち領域７０ｖにある物体データ７１ｖおよび物体データ７２ｖと、携帯端末１１が座標６７から方位６６の方向にある物体６１および物体６２を撮像して得られる撮像データと、を比較する。
なお携帯端末１１が撮像して得られる撮像データについて、図６（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図６（Ａ）には現実の任意の領域６０の座標６７にいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６にかざして、物体６１および物体６２を撮像しているものとする。
図６（Ｂ）は、図６（Ａ）の位置情報で撮像した撮像データを可視化した図である。図６（Ｂ）の２次元のデータである領域７０には、撮像されて得られた物体データ７１および物体データ７２を図示している。
携帯端末１１は、図５（Ｃ）に図示するような２次元のデータの領域７０ｖにある物体データ７１ｖおよび物体データ７２ｖと、図６（Ｂ）に図示するような２次元のデータの領域７０にある物体データ７１および物体データ７２と、比較する。
データの比較は、例えば図７（Ａ）に図示するようにサーバー１３から届いた物体データ７１ｖのある領域７０ｖ＿Ａ、および物体データ７２ｖのある領域７０ｖ＿Ｂを切り出して行うことができる。または図７（Ｂ）に図示するように物体データ７１ｖ、７２ｖを、例えば３２×３２画素の画素に収まるように縮小した物体データ７１ｖ＿Ｓ、物体データ７２ｖ＿Ｓに変換し、２次元のデータの領域７０ｖ＿Ｃとしてもよい。または図７（Ｃ）に図示するように物体データ７１ｖ、７２ｖを、例えば３２×３２画素の画素に収まるように拡大した物体データ７１ｖ＿Ｌ、物体データ７２ｖ＿Ｌに変換し、２次元のデータの領域７０ｖ＿Ｄとしてもよい。
領域７０ｖと領域７０とにある２次元のデータの比較は、各画素の階調データの残差平方和を求め、当該値がしきい値より小さければ一致と判定すればよい。あるいは各画素の階調データの積の和を求め、当該値がしきい値より大きければ一致と判定すればよい。
領域７０ｖと領域７０とにある２次元のデータが一致の判定であれば、物体データ６１ｖおよび６２ｖにある関連情報データ、ここでは文字情報のデータを表示すればよい。つまり図６（Ｃ）に図示するように、物体６１を撮像して得られる物体データ７１に文字情報７３を付与し、物体６２を撮像して得られる物体データ７２に文字情報７４を付与した領域７０の２次元のデータを携帯端末１１に表示させＡＲ表示をすることができる。このＡＲ表示は、携帯端末側１１での演算負荷が小さくできるため、利便性に優れたものとできる。
なお領域７０ｖと領域７０とにある２次元のデータが不一致の判定である場合について、図８（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図８（Ａ）には現実の任意の領域６０の座標６７にいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６にかざして、物体６８を撮像しているものとする。
図８（Ｂ）は、図８（Ａ）の位置情報で撮像した撮像データを可視化した図である。図８（Ｂ）の２次元のデータである領域７０には、撮像されて得られた物体データ７６を図示している。物体データ７６は、図８（Ａ）の物体６８に対応する。
物体データ７６による物体６８の形状は、物体データ７２とは異なる。また物体データ７１に対応する、物体データは領域７０内に存在しない。そのため図８（Ｃ）に可視化して図示するように、サーバー１３にある物体データ６１ｖを削除し、物体データ６２ｖを更新して物体データ６８ｖにする。この場合、物体データの更新は不一致であった部分の携帯端末１１が認識した物体データをネットワーク１２を介してサーバー１３側に送信すればよい。当該構成とすることで、全ての画像データを送信する訳ではないので、通信情報量を削減することができ、加えて通信に要する消費電力を低減することができる。
図８（Ａ）乃至（Ｃ）で説明するサーバー１３に構築された仮想空間の情報の更新は、複数の利用者で共有することができる。頻繁に変化する現実の物体の配置の変化に対応して、更新された仮想空間のデータを更新できるため、ＡＲ表示の利便性を高めることができる。
なお携帯端末１１で一致する物体が見つからなかった場合、または携帯端末１１のバッテリー残量が少ない場合、携帯端末１１は物体データ７６の画像と方角をサーバー１３に送信し、サーバー１３上でデータの一致と不一致の認識を行う構成としてもよい。
位置情報を取得するために用いるＧＰＳやジャイロセンサは、精度に問題がある。そのため、データの比較において比較する領域は、設定した２次元データの位置から上下左右に少し（例えば８画素）ずらして比較してもよい。ずれた場所で一致した場合は、位置や方向といった位置情報を補正する。
もしサーバー１３から２次元のデータが得られなければ、集合Ｘのすべてについて、位置と大きさを変えたテンプレートマッチングを行わなければならず、演算負荷が大きいが、本発明の一態様によれば少ない比較で済むため、消費電力を抑制し、表示の遅延を生じにくくできる。画像の比較をサーバー１３側で行わない構成のため、プライバシーの問題を生じにくくすることができる。
なお携帯端末１１の位置情報がずれていた場合の位置情報の補正について、図９（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図９（Ａ）には現実の任意の領域６０の座標６７ｄにいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６ｄにかざしているものとする。
なお座標６７ｄは、図６（Ａ）で説明した座標６７とは少しずれた位置にある。図９（Ｂ）は、図９（Ａ）に図示した座標６７ｄから方位６６ｄにある物体６１および物体６２を撮像して得られた物体データ７１および物体データ７７を図示している。領域７０にある物体データ７１については一致するものの、物体データ７７は図６（Ｂ）の物体データ７２とはわずかに異なるデータであり不一致となる。つまり一部は一致して一部は不一致である、部分一致となる。
携帯端末１１は物体データ７７の画像と方角をサーバー１３に送信し、サーバー１３上で物体データ６１ｖおよび６２ｖ、並びに物体データ７７をもとに、領域６０のどの座標からユーザー６５が物体６２を撮像しているかを求めることで、より正確なユーザー６５の座標６７ｄを特定することができる。この座標６７ｄをもとに２次元データをサーバー１３で作成し、再度２次元のデータの比較を行うことでより正確な位置に対応したＡＲ表示を行わせることができる。
図３は、以上説明した動作についてのフローチャートである。携帯端末１１は撮像データを取得するステップ３１と、同時に位置情報を取得するステップ３２と、方位情報を取得するステップ３３を行う。
ステップ３４は、位置情報および方向情報を携帯端末１１側からサーバー１３に送信するステップである。
ステップ５１は、サーバー１３側でデータベース１４にある仮想空間からデータを読出すステップである。
ステップ５２は、サーバー１３側で３次元データをもとに、２次元データを生成するステップである。
ステップ３５では、携帯端末１１側で、サーバー１３側から携帯端末１１側に送信された２次元データと、撮像データと、物体データとを比較を行うステップである。撮像データと、物体データとの比較は、対象となる物体の他、周辺にある物体データを含めて行う。
ステップ３６では、ステップ３５での一致、不一致または部分一致の判定を行う。
ステップ３６で一致であれば、ステップ４１で文字情報の表示を行う。
ステップ３６で部分一致、つまり対象となる物体データで一致しないものの周辺にある物体データで一致があれば、ステップ３８で位置情報および方向情報を修正する。そしてステップ３４に戻り、修正した位置情報および方向情報を携帯端末１１側からサーバー１３に送信する。
ステップ３６で不一致の場合、ステップ５３で携帯端末１１側からサーバー１３側に撮像した領域の画像データを送信し、携帯端末１１内のデータとサーバー１３側の物体データを比較する。
ステップ５４は、サーバー１３側でステップ５３の画像データに基づいてデータベース内のデータを更新して仮想空間を構築する。
本発明の一態様は、特に時速数ｋｍといった速度で移動しながら、アプリケーションソフトウェアを利用する際など、数ｍの誤差によって正常にアプリケーションソフトウェアを利用できない場合に特に有効である。例えば特定の位置にある、撮像した物体についてサーバーにアクセスして詳細な情報を取得する場合、位置情報が不正確だと物体の情報が取得できない虞がある。本発明の一態様では、サーバーと携帯端末の間で位置情報の補正を図るとともにサーバー側のデータベースの構築を図ることができるため、位置情報と仮想空間のデータを結びつけたアプリケーションソフトウェアに対して特に有効である。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
（実施の形態２）
図１０に、本発明の一態様に係る携帯端末の構成を表すブロック図を示す。携帯端末１１は、一例として、ＣＰＵ４０２（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ４０３、ＧＰＵ４０４（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ディスプレイコントローラ４０５、ディスプレイ４０６、タッチパネルコントローラ４０７、タッチパネル４０８、イメージセンサコントローラ４０９、イメージセンサ４１０、通信モジュール４１１、電源４４２、入力ボタン４１３、位置センサモジュール４１４、方位センサ４１５、光センサ４１６、外部記憶装置コントローラ４１７、音声コーデック４１８、スピーカ４１９、マイク４２０、外部映像入力コーデック４２１、汎用入出力コントローラ４２２を有する。また携帯端末１１は、ＣＰＵ４０２またはＧＰＵ４０４のコプロセッサとして機能するプログラマブルロジックデバイスまたはアナログ演算モジュール等を有していてもよい。
位置センサモジュール４１４は、位置情報を取得するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を一例として挙げることができる。方位センサ４１５は、地磁気センサまたはジャイロセンサを一例として挙げることができる。
図１で説明したディスプレイ１５は、図１０のディスプレイ４０６に相当する。図１で説明した位置センサ１６は、図１０の位置センサモジュール４１４および方位センサ４１５に相当する。図１で説明した演算装置１７は、図１０のＣＰＵ４０２に相当する。図１で説明した撮像装置１８は、図１０のイメージセンサ４１０に相当する。
図１１に、図１０で示すディスプレイ４０６の構成を表すブロック図を示す。図１１に示すディスプレイ４０６は、液晶素子などの反射型表示素子１０１を有する表示部１０２と、ＥＬ素子などの発光型表示素子１０３を有する表示部１０４とを有する。表示部１０２は表示部１０４と重なる領域を有している。そして、上記重なる領域において、表示部１０４の発光型表示素子１０３から発せられた光が、表示部１０２を通過する構成を有している。或いは、上記重なる領域において、表示部１０４を通過した外光が表示部１０２に入射する構成を有している。
また、図１１に示すディスプレイ４０６は、表示部１０２への画像信号の入力を制御する機能を有する駆動回路（ＳＤ１０５ａ）と、表示部１０４への画像信号の入力を制御する機能を有する駆動回路（ＳＤ１０５ｂ）とを有する。ＳＤ１０５ａにより表示部１０２に入力された画像信号に従って、反射型表示素子１０１は階調が制御される。また、ＳＤ１０５ｂにより表示部１０４に入力された画像信号に従って、発光型表示素子１０３は階調が制御される。
そして、反射型表示素子１０１が階調を制御されることにより、表示部１０２は画像を表示することができる。また、発光型表示素子１０３が階調を制御されることにより、表示部１０４は画像を表示することができる。
図１１に示すディスプレイ４０６では、表示部１０２と表示部１０４のうち、表示部１０２においてのみ画像を表示することができる。表示部１０２では反射型表示素子１０１を用いているため、画像を表示する際に光源として外光を利用することができる。外光を利用する場合、表示部１０２においてのみ画像の表示を行うことで、ディスプレイ４０６の消費電力を抑えることができる。また、表示部１０４では発光型表示素子１０３を用いているため、別途光源を用意する、或いは外光を利用することなく、画像の表示を行うことができる。よって、表示部１０２と表示部１０４のうち、表示部１０４においてのみ画像を表示することで、外光の強度が低い場合でも画像の表示品質を高くすることができる。すなわち、ディスプレイ４０６の使用環境に左右されずに高い表示品質を確保することができる。
また、本発明の一態様に係るディスプレイ４０６では、表示部１０２と表示部１０４の両方を用いて画像を表示することも可能である。上記構成により、ディスプレイ４０６において表示できる画像の階調数を高めることができる。或いは、ディスプレイ４０６において表示できる画像の色域の範囲を広げることができる。
図１１に示すディスプレイ４０６の構成は、特に実施の形態１で説明したように屋外で拡張現実によって加工された画像を視認する携帯端末に用いる場合、表示品質を高める効果を大きくできるため好適である。
また図１１では、ＳＤ１０５ａに供給する画像信号と、ＳＤ１０５ｂに供給する画像信号とを、画像データＶｄａｔａから生成する機能を有するディスプレイコントローラ４０５（ＣＴＬ４０５）を図示している。具体的に、ＣＴＬ４０５は、信号処理により、入力された画像データＶｄａｔａに各種の補正を施す機能も有する。画像データＶｄａｔａに各種の補正を施す機能とは、言い換えると、画像信号Ｖｓｉｇａと画像信号Ｖｓｉｇｂとに各種の補正を施す機能とも言える。ＣＴＬ４０５により生成された画像信号Ｖｓｉｇａは、ＳＤ１０５ａに供給される。また、ＣＴＬ４０５により生成された画像信号Ｖｓｉｇｂは、ＳＤ１０５ｂに供給される。
なお、上記補正として、反射型表示素子１０１の特性に合わせたガンマ補正、発光型表示素子１０３の劣化特性に合わせた輝度補正などを行うことができる。本発明の一態様に係るディスプレイ４０６では、上記補正の他に、ディスプレイ４０６の使用環境における外光の強度、ディスプレイ４０６に入射する外光の入射角、利用者の嗜好などの使用条件に合わせて、色の調整、階調数の調整を行うこともできる。
本発明の一態様に係るディスプレイ４０６は、ＣＴＬ４０５が信号処理回路（ＳＰＣ１０８）と、演算回路（ＡＩＣ１０７）とを有している。ＡＩＣ１０７は、上述したディスプレイ４０６の使用環境における外光の強度、ディスプレイ４０６に入射する外光の入射角、利用者の嗜好などの使用条件を情報として含む信号Ｓｉｇ−ｌｄを用いて、画像信号Ｖｓｉｇａと画像信号Ｖｓｉｇｂに色の調整、階調数の調整を施すためのパラメータを算出する機能を有する。ＳＰＣ１０８は、ＡＩＣ１０７において算出されたパラメータを用いて、画像信号Ｖｓｉｇａと画像信号Ｖｓｉｇｂに色の調整、階調数の調整を施す機能を有する。
なお、上記使用条件などの情報は、アナログデータである場合が多い。本実施の形態では、ＡＩＣ１０７が、ニューロンを基本的な素子とする脳において実行されるアナログデータの情報処理と同様に、アナログデータを用いてアナログ演算処理を行う機能を有する。上記構成により、アナログデータをデジタルデータに変換することなく、或いはアナログデータをデジタルデータに変換する頻度を極力抑えつつ、演算処理を行うことができる。よって、膨大な量の演算処理を実行する必要がなくなり、演算回路の規模を小さく抑えることができ、演算処理に要する時間を抑えることができる。したがって、ＣＴＬ４０５の回路規模を小さく抑え、消費電力を抑えつつ、使用条件に合わせた画像信号の色の調整、階調数の調整を実行することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
（実施の形態３）
本実施の形態では、上記実施の形態２で説明した反射型表示素子と発光型表示素子とを用いたディスプレイの構成例について説明する。なお、本実施の形態では、反射型表示素子として液晶素子を用い、発光型表示素子としてＥＬ材料を用いた発光素子を用いる場合を例に挙げて、ディスプレイの構成例について説明する。
図１２（Ａ）に、本発明の一態様に係るディスプレイ４０６の断面の構造を一例として示す。図１２（Ａ）に示すディスプレイ４０６は、発光素子２０３と、液晶素子２０４と、発光素子２０３への電流の供給を制御する機能を有するトランジスタ２０５と、液晶素子２０４への電圧の供給を制御する機能を有するトランジスタ２０６とを有する。そして、発光素子２０３と、液晶素子２０４と、トランジスタ２０５と、トランジスタ２０６とは、基板２０１と基板２０２の間に位置する。
また、ディスプレイ４０６において液晶素子２０４は、画素電極２０７と、共通電極２０８と、液晶層２０９とを有する。画素電極２０７は、トランジスタ２０６に電気的に接続されている。そして、画素電極２０７と共通電極２０８の間に印加される電圧にしたがって液晶層２０９の配向が制御される。なお、図１２（Ａ）では、画素電極２０７が可視光を反射する機能を有し、共通電極２０８が可視光を透過する機能を有する場合を例示しており、基板２０２側から入射した光が白抜きの矢印で示すように画素電極２０７において反射し、再び基板２０２側から放射される。
また、発光素子２０３は、トランジスタ２０５に電気的に接続されている。発光素子２０３から発せられる光は、基板２０２側に放射される。なお、図１２（Ａ）では、画素電極２０７が可視光を反射する機能を有し、共通電極２０８が可視光を透過する機能を有する場合を例示しているため、発光素子２０３から発せられる光は、白抜きの矢印で示すように画素電極２０７と重ならない領域を通過し、共通電極２０８が位置する領域を通過して、基板２０２側から放射される。
そして、図１２（Ａ）に示すディスプレイ４０６では、トランジスタ２０５とトランジスタ２０６とが同一の層２１０に位置しており、トランジスタ２０５とトランジスタ２０６とが含まれる層２１０は、液晶素子２０４と発光素子２０３の間の領域を有する。なお、少なくとも、トランジスタ２０５が有する半導体層と、トランジスタ２０６が有する半導体層とが同一の絶縁表面上に位置している場合、トランジスタ２０５とトランジスタ２０６とが同一の層２１０に含まれていると言える。
上記構成により、トランジスタ２０５とトランジスタ２０６とを共通の作製工程で作製することができる。
次いで、図１２（Ｂ）に、本発明の一態様に係るディスプレイ４０６の別の構成について、断面の構造を一例として示す。図１２（Ｂ）に示すディスプレイ４０６は、トランジスタ２０５とトランジスタ２０６とが異なる層に含まれている点において、図１２（Ａ）に示すディスプレイ４０６と構成が異なる。
具体的に、図１２（Ｂ）に示すディスプレイ４０６では、トランジスタ２０５が含まれる層２１０ａと、トランジスタ２０６が含まれる層２１０ｂとを有し、層２１０ａと層２１０ｂとは、液晶素子２０４と発光素子２０３の間の領域を有する。そして、図１２（Ｂ）に示すディスプレイ４０６では、層２１０ａが層２１０ｂよりも発光素子２０３側に近い。なお、少なくとも、トランジスタ２０５が有する半導体層と、トランジスタ２０６が有する半導体層とが異なる絶縁表面上に位置している場合、トランジスタ２０５とトランジスタ２０６とが異なる層に含まれていると言える。
上記構成により、トランジスタ２０５と、トランジスタ２０５に電気的に接続される各種配線とを、トランジスタ２０６と、トランジスタ２０６に電気的に接続される各種配線とを、部分的に重ねることができるため、画素のサイズを小さく抑え、ディスプレイ４０６の高精細化を実現することができる。
次いで、図１２（Ｃ）に、本発明の一態様に係るディスプレイ４０６の別の構成について、断面の構造を一例として示す。図１２（Ｃ）に示すディスプレイ４０６は、トランジスタ２０５とトランジスタ２０６とが異なる層に含まれている点において、図１２（Ａ）に示すディスプレイ４０６と構成が異なる。そして、図１２（Ｃ）に示すディスプレイ４０６は、トランジスタ２０５が含まれる層２１０ａが、発光素子２０３よりも基板２０１側に近い点において、図１２（Ｂ）に示すディスプレイ４０６と構成が異なる。
具体的に、図１２（Ｃ）に示すディスプレイ４０６では、トランジスタ２０５が含まれる層２１０ａと、トランジスタ２０６が含まれる層２１０ｂとを有する。そして、層２１０ａは、発光素子２０３と基板２０１との間の領域を有する。また、層２１０ｂは、液晶素子２０４と発光素子２０３の間の領域を有する。
上記構成により、トランジスタ２０５と、トランジスタ２０５に電気的に接続される各種配線とを、トランジスタ２０６と、トランジスタ２０６に電気的に接続される各種配線とを、図１２（Ｂ）の場合よりもより多く重ねることができるため、画素のサイズを小さく抑え、ディスプレイ４０６の高精細化を実現することができる。
なお、図１２では、２つの液晶素子２０４に対して１つの発光素子２０３が対応している断面構造を例示しているが、本発明の一態様に係るディスプレイは、１つの液晶素子２０４に対して１つの発光素子２０３が対応している断面構造を有していても良いし、１つの液晶素子２０４に対して複数の発光素子２０３が対応している断面構造を有していても良い。
また、図１２では、液晶素子２０４が有する画素電極２０７が、可視光を反射する機能を有する場合を例示しているが、画素電極２０７は可視光を透過する機能を有していても良い。この場合、バックライトやフロントライトなどの光源をディスプレイ４０６に設けても良いし、液晶素子２０４を用いて画像を表示する際に発光素子２０３を光源として用いても良い。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
（実施の形態４）
本実施の形態では、反射型表示素子と発光型表示素子とを用いたディスプレイが有する、画素の構成例について説明する。なお、本実施の形態では、反射型表示素子として液晶素子を用い、発光型表示素子としてＥＬ材料を用いた発光素子を用いる場合を例に挙げて、本発明の一態様に係る画素３００の構成例について説明する。
図１３（Ａ）に示す画素３００は、画素３５０と画素３５１とを有する。そして、画素３５０は液晶素子３０１を有し、画素３５１は発光素子３０２を有する。
具体的に、画素３５０は、液晶素子３０１と、液晶素子３０１に印加する電圧を制御する機能を有するトランジスタ３０３と、容量素子３０４とを有する。そして、トランジスタ３０３は、ゲートが配線ＧＬに電気的に接続され、ソース又はドレインの一方が配線ＳＬに電気的に接続され、ソース又はドレインの他方が液晶素子３０１の画素電極に電気的に接続されている。また、液晶素子３０１の共通電極は、所定の電位が供給される配線または電極に電気的に接続されている。また、容量素子３０４は、一方の電極が、液晶素子３０１の画素電極に電気的に接続され、他方の電極が、所定の電位が供給される配線または電極に電気的に接続されている。
また、具体的に、画素３５１は、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、容量素子３０７とを有する。そして、トランジスタ３０６は、ゲートが配線ＧＥに電気的に接続され、ソース又はドレインの一方が配線ＤＬに電気的に接続され、ソース又はドレインの他方がトランジスタ３０５のゲートに電気的に接続されている。トランジスタ３０５は、ソース又はドレインの一方が配線ＡＬに電気的に接続され、ソース又はドレインの他方が発光素子３０２に電気的に接続されている。容量素子３０７は、一方の電極が配線ＡＬに電気的に接続され、他方の電極がトランジスタ３０５のゲートに電気的に接続されている。
図１３（Ａ）に示す画素３００では、液晶素子３０１に対応した画像信号を配線ＳＬに供給し、発光素子３０２に対応した画像信号を配線ＤＬに供給することで、液晶素子３０１によって表示される階調と、発光素子３０２によって表示される階調とを個別に制御することができる。
なお、図１３（Ａ）では、液晶素子３０１を有する画素３５０と、発光素子３０２を有する画素３５１とを一つずつ有する画素３００の構成例を示したが、画素３００が複数の画素３５０を有していても良いし、或いは画素３００が複数の画素３５１を有していても良い。
図１３（Ｂ）に、画素３００が一の画素３５０と、４つの画素３５１を有している場合の、画素３００の構成例を示す。
具体的に図１３（Ｂ）に示す画素３００は、液晶素子３０１を有する画素３５０と、発光素子３０２をそれぞれ有する画素３５１ａ乃至画素３５１ｄとを有する。
図１３（Ｂ）に示す画素３５０の構成については、図１３（Ａ）に示す画素３５０の構成を参照することができる。
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄは、図１３（Ａ）に示す画素３５１と同様に、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、容量素子３０７とをそれぞれ有する。そして、画素３５１ａ乃至画素３５１ｄがそれぞれ有する発光素子３０２から発せられる光が、異なる領域の波長を有することで、ディスプレイにおいてカラーの画像を表示することが可能になる。
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のゲートと、画素３５１ｃの有するトランジスタ３０６のゲートとが、配線ＧＥｂに電気的に接続されている。また、画素３５１ｂの有するトランジスタ３０６のゲートと、画素３５１ｄの有するトランジスタ３０６のゲートとが、配線ＧＥａに電気的に接続されている。
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｂの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｄの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬｂに電気的に接続されている。
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、全てのトランジスタ３０５のソース又はドレインの一方が、配線ＡＬに電気的に接続されている。
上述したように、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａと画素３５１ｃが配線ＧＥｂを共有し、画素３５１ｂと画素３５１ｄが配線ＧＥａを共有しているが、画素３５１ａ乃至画素３５１ｄの全てが一の配線ＧＥを共有していても良い。この場合、画素３５１ａ乃至画素３５１ｄは、互いに異なる４つの配線ＤＬに電気的に接続されるようにすることが望ましい。
次いで、図１４（Ａ）に、図１３（Ａ）とは異なる画素３００の構成例を示す。図１４（Ａ）に示す画素３００は、画素３５１が有するトランジスタ３０５がバックゲートを有する点において、図１３（Ａ）に示す画素３００と構成が異なる。
具体的に、図１４（Ａ）に示す画素３００では、トランジスタ３０５のバックゲートがゲート（フロントゲート）に電気的に接続されている。図１４（Ａ）に示す画素３００は、上記構成を有することにより、トランジスタ３０５の閾値電圧がシフトするのを抑えることができ、トランジスタ３０５の信頼性を高めることができる。また、図１４（Ａ）に示す画素３００は、上記構成を有することにより、トランジスタ３０５のサイズを小さく抑えつつ、トランジスタ３０５のオン電流を高めることができる。
なお、本発明の一態様に係るディスプレイでは、画素３００が、図１４（Ａ）に示す画素３５０を複数有していても良いし、或いは図１４（Ａ）に示す画素３５１を複数有していても良い。具体的には、図１３（Ｂ）に示した画素３００と同様に、図１４（Ａ）に示す１つの画素３５０と、４つの画素３５１とを有していても良い。その場合、各種配線と４つの画素３５１との接続関係は、図１３（Ｂ）に示した画素３００を参照することができる。
次いで、図１４（Ｂ）に、図１３（Ａ）とは異なる画素３００の構成例を示す。図１４（Ｂ）に示す画素３００は、画素３５１が有するトランジスタ３０５がバックゲートを有する点において、図１３（Ａ）に示す画素３００と構成が異なる。そして、図１４（Ｂ）に示す画素３００では、トランジスタ３０５のバックゲートがゲートではなく発光素子３０２に電気的に接続されている点において、図１４（Ａ）に示す画素３００と構成が異なる。
図１４（Ｂ）に示す画素３００は、上記構成を有することにより、トランジスタ３０５の閾値電圧がシフトするのを抑えることができ、トランジスタ３０５の信頼性を高めることができる。
なお、本発明の一態様に係るディスプレイでは、画素３００が、図１４（Ｂ）に示す画素３５０を複数有していても良いし、或いは図１４（Ｂ）に示す画素３５１を複数有していても良い。具体的には、図１３（Ｂ）に示した画素３００と同様に、図１４（Ｂ）に示す１つの画素３５０と、４つの画素３５１とを有していても良い。その場合、各種配線と４つの画素３５１との接続関係は、図１３（Ｂ）に示した画素３００を参照することができる。
次いで、図１５に、図１３（Ａ）とは異なる画素３００の構成例を示す。図１５に示す画素３００は、画素３５０と画素３５１とを有し、画素３５１の構成が図１３（Ａ）とは異なる。
具体的に、図１５に示す画素３５１は、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、発光素子３０２の画素電極に所定の電位を供給する機能を有するトランジスタ３０８と、容量素子３０７とを有する。また、トランジスタ３０５と、トランジスタ３０６と、トランジスタ３０８とは、それぞれバックゲートを有する。
そして、トランジスタ３０６は、ゲート（フロントゲート）が配線ＭＬに電気的に接続され、バックゲートが配線ＧＥに電気的に接続され、ソース又はドレインの一方が配線ＤＬに電気的に接続され、ソース又はドレインの他方がトランジスタ３０５のバックゲート及びフロントゲートに電気的に接続されている。トランジスタ３０５は、ソース又はドレインの一方が配線ＡＬに電気的に接続され、ソース又はドレインの他方が発光素子３０２に電気的に接続されている。
トランジスタ３０８は、ゲート（フロントゲート）が配線ＭＬに電気的に接続され、バックゲートが配線ＧＥに電気的に接続され、ソース又はドレインの一方が配線ＭＬに電気的に接続され、ソース又はドレインの他方が発光素子３０２に電気的に接続されている。容量素子３０７は、一方の電極が配線ＡＬに電気的に接続され、他方の電極がトランジスタ３０５のゲートに電気的に接続されている。
なお、図１５では、液晶素子３０１を有する画素３５０と、発光素子３０２を有する画素３５１とを一つずつ有する画素３００の構成例を示したが、画素３００が複数の画素３５０を有していても良いし、或いは画素３００が複数の画素３５１を有していても良い。
図１６に、画素３００が一の画素３５０と、４つの画素３５１を有している場合の、画素３００の構成例を示す。
具体的に図１６に示す画素３００は、液晶素子３０１を有する画素３５０と、発光素子３０２をそれぞれ有する画素３５１ａ乃至画素３５１ｄとを有する。
図１６に示す画素３５０の構成については、図１５に示す画素３５０の構成を参照することができる。
また、図１６に示す画素３５１ａ乃至画素３５１ｄは、図１５に示す画素３５１と同様に、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、発光素子３０２の画素電極に所定の電位を供給する機能を有するトランジスタ３０８と、容量素子３０７とをそれぞれ有する。そして、画素３５１ａ乃至画素３５１ｄがそれぞれ有する発光素子３０２から発せられる光が、異なる領域の波長を有することで、ディスプレイにおいてカラーの画像を表示することが可能になる。
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のゲートと、画素３５１ｂの有するトランジスタ３０６のゲートとが、配線ＭＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０６のゲートと、画素３５１ｄの有するトランジスタ３０６のゲートとが、配線ＭＬｂに電気的に接続されている。
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のバックゲートと、画素３５１ｃの有するトランジスタ３０６のバックゲートとが、配線ＧＥｂに電気的に接続されている。また、画素３５１ｂの有するトランジスタ３０６のバックゲートと、画素３５１ｄの有するトランジスタ３０６のバックゲートとが、配線ＧＥａに電気的に接続されている。
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｂの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｄの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬｂに電気的に接続されている。
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０８のバックゲートと、画素３５１ｃの有するトランジスタ３０８のバックゲートとが、配線ＧＥｂに電気的に接続されている。また、画素３５１ｂの有するトランジスタ３０８のバックゲートと、画素３５１ｄの有するトランジスタ３０８のバックゲートとが、配線ＧＥａに電気的に接続されている。
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０８のゲートとソース又はドレインの一方とが配線ＭＬａに電気的に接続され、画素３５１ｂの有するトランジスタ３０８のゲートとソース又はドレインの一方とが、配線ＭＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０８のゲートとソース又はドレインの一方とが配線ＭＬｂに電気的に接続され、画素３５１ｂの有するトランジスタ３０８のゲートとソース又はドレインの一方とが、配線ＭＬｂに電気的に接続されている。
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、全てのトランジスタ３０５のソース又はドレインの一方が、配線ＡＬに電気的に接続されている。
上述したように、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａと画素３５１ｃが配線ＧＥｂを共有し、画素３５１ｂと画素３５１ｄが配線ＧＥａを共有しているが、画素３５１ａ乃至画素３５１ｄの全てが一の配線ＧＥを共有していても良い。この場合、画素３５１ａ乃至画素３５１ｄは、互いに異なる４つの配線ＤＬに電気的に接続されるようにすることが望ましい。
なお、画素３５０に、オフ電流が低いトランジスタを用いることで、表示画面を書き換える必要がない場合（すなわち静止画を表示する場合）、一時的に駆動回路を停止することができる（以下、「アイドリングストップ」、もしくは「ＩＤＳ駆動」と呼ぶ。）。ＩＤＳ駆動によって、ディスプレイ４０６の消費電力を低減することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
（実施の形態５）
本実施の形態では、図１２（Ｃ）に示したディスプレイ４０６を例に挙げて、反射型表示素子と発光型表示素子とを用いたディスプレイ４０６の具体的な構成例について、図１７を用いて説明する。なお図１２（Ａ）、図１２（Ｂ）に示したディスプレイ４０６についても、反射型表示素子と発光型表示素子とを用いたディスプレイ４０６の具体的な構成例の断面構造を図１８、図１９に図示しているが、詳細な説明については省略する。なお図１８、図１９においては、図１７と同じ構成について同じ符号を付している。
図１７に、ディスプレイ４０６の断面構造の一例を示す。
図１７に示すディスプレイ４０６は、基板２５０と基板２５１の間に、表示部１０２と、表示部１０４とが積層された構成を有する。具体的に図１７では、表示部１０２と表示部１０４とが接着層２５２により接着されている。
そして、図１７では、表示部１０２の画素が有する発光素子３０２、トランジスタ３０５、及び容量素子３０７と、表示部１０２の駆動回路が有するトランジスタ３０９とを図示している。また、図１７では、表示部１０４の画素が有する液晶素子３０１と、トランジスタ３０３と、容量素子３０４と、表示部１０４の駆動回路が有するトランジスタ３１０とを図示している。
トランジスタ３０５は、バックゲートとしての機能を有する導電層３１１と、導電層３１１上の絶縁層３１２と、絶縁層３１２上において導電層３１１と重なる半導体層３１３と、半導体層３１３上の絶縁層３１６と、絶縁層３１６上に位置し、ゲートとしての機能を有する導電層３１７と、導電層３１７上に位置する絶縁層３１８のさらに上に位置し、半導体層３１３と電気的に接続されている導電層３１４及び導電層３１５と、を有する。
また、導電層３１５は、導電層３１９と電気的に接続され、導電層３１９は導電層３２０に電気的に接続されている。導電層３１９は導電層３１７と同一の層に形成されており、導電層３２０は導電層３１１と同一の層に形成されている。
また、導電層３１１及び導電層３２０と同一の層に、トランジスタ３０６（図示せず）のバックゲートとしての機能を有する導電層３２１が位置している。導電層３２１上には絶縁層３１２が位置し、絶縁層３１２上には導電層３２１と重なる領域を有する半導体層３２２が位置する。半導体層３２２にはトランジスタ３０６（図示せず）のチャネル形成領域が含まれる。半導体層３２２上には絶縁層３１８が位置し、絶縁層３１８上には導電層３２３が位置する。導電層３２３は半導体層３２２に電気的に接続されており、導電層３２３はトランジスタ３０６（図示せず）のソースまたはドレインとしての機能を有する。
トランジスタ３０９は、トランジスタ３０５と同様の構成を有するので、詳細な説明は割愛する。
トランジスタ３０５、導電層３２３、トランジスタ３０９上には、絶縁層３２４が位置し、絶縁層３２４上には絶縁層３２５が位置する。絶縁層３２５上には導電層３２６及び導電層３２７が位置する。導電層３２６は導電層３１４と電気的に接続されており、導電層３２７は導電層３２３と電気的に接続されている。導電層３２６及び導電層３２７上には絶縁層３２８が位置し、絶縁層３２８上には導電層３２９が位置する。導電層３２９は導電層３２６に電気的に接続されており、発光素子３０２の画素電極としての機能を有する。
導電層３２７と絶縁層３２８と導電層３２９とが重なる領域が、容量素子３０７として機能する。
導電層３２９上には絶縁層３３０が位置し、絶縁層３３０上にはＥＬ層３３１が位置し、ＥＬ層３３１上には対向電極としての機能を有する導電層３３２が位置する。導電層３２９とＥＬ層３３１と導電層３３２とは、絶縁層３３０の開口部において電気的に接続されており、導電層３２９とＥＬ層３３１と導電層３３２とが電気的に接続された領域が発光素子３０２として機能する。発光素子３０２は、導電層３３２側から破線の矢印で示す方向に光を放射する、トップエミッション構造を有する。
導電層３２９と導電層３３２とは、一方が陽極として機能し、他方が陰極として機能する。導電層３２９と導電層３３２の間に、発光素子３０２の閾値電圧より高い電圧を印加すると、ＥＬ層３３１に陽極側から正孔が注入され、陰極側から電子が注入される。注入された電子と正孔はＥＬ層３３１において再結合し、ＥＬ層３３１に含まれる発光物質が発光する。
なお、半導体層３１３、３２２に酸化物半導体を用いる場合、ディスプレイの信頼性を高めるには、絶縁層３１８は酸素を含む絶縁材料を用いることが望ましく、絶縁層３２４には水又は水素などの不純物が拡散しにくい材料を用いることが望ましい。
絶縁層３２５または絶縁層３３０として有機材料を用いる場合、絶縁層３２５または絶縁層３３０がディスプレイの端部に露出していると、絶縁層３２５または絶縁層３３０を介して発光素子３０２等にディスプレイの外部から水分等の不純物が侵入する恐れがある。不純物の侵入により、発光素子３０２が劣化すると、ディスプレイの劣化につながる。そのため、図１７に示すように、絶縁層３２５及び絶縁層３３０が、ディスプレイの端部に位置しないことが好ましい。
発光素子３０２は、接着層３３３を介して着色層３３４と重なる。スペーサ３３５は、接着層３３３を介して遮光層３３６と重なる。図１７では、導電層３３２と遮光層３３６との間に隙間がある場合を示しているが、これらが接していてもよい。
着色層３３４は特定の波長帯域の光を透過する有色層である。例えば、赤色、緑色、青色、又は黄色の波長帯域の光を透過するカラーフィルタなどを用いることができる。
なお、本発明の一態様は、カラーフィルタ方式に限られず、塗り分け方式、色変換方式、又は量子ドット方式等を適用してもよい。
表示部１０４において、トランジスタ３０３は、バックゲートとしての機能を有する導電層３４０と、導電層３４０上の絶縁層３４１と、絶縁層３４１上において導電層３４０と重なる半導体層３４２と、半導体層３４２上の絶縁層３４３と、絶縁層３４３上に位置し、ゲートとしての機能を有する導電層３４４と、導電層３４４上に位置する絶縁層３４５のさらに上に位置し、半導体層３４２と電気的に接続されている導電層３４６及び導電層３４７と、を有する。
また、導電層３４０と同一の層に導電層３４８が位置する。導電層３４８上には絶縁層３４１が位置し、絶縁層３４１上には導電層３４８と重なる領域に導電層３４７が位置する。導電層３４７と絶縁層３４１と導電層３４８とが重なる領域が、容量素子３０４として機能する。
トランジスタ３１０は、トランジスタ３０３と同様の構成を有するので、詳細な説明は割愛する。
トランジスタ３０３、容量素子３０４、トランジスタ３１０上には、絶縁層３６０が位置し、絶縁層３６０上には導電層３４９が位置する。導電層３４９は導電層３４７と電気的に接続されており、液晶素子３０１の画素電極としての機能を有する。導電層３４９上には配向膜３６４が位置する。
基板２５１には、共通電極としての機能を有する導電層３６１が位置する。具体的に、図１７では、基板２５１上に接着層３６２を介して絶縁層３６３が接着されており、絶縁層３６３上に導電層３６１が位置する。そして、導電層３６１上には配向膜３６５が位置し、配向膜３６４と配向膜３６５の間には液晶層３６６が位置する。
図１７では、導電層３４９が可視光を反射する機能を有し、導電層３６１が可視光を透過する機能を有することで、破線の矢印で示すように基板２５１側から入射した光を、導電層３４９において反射させ、基板２５１側から放射させることができる。
可視光を透過する導電性材料としては、例えば、インジウム（Ｉｎ）、亜鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材料を用いるとよい。具体的には、酸化インジウム、インジウム錫酸化物（ＩＴＯ：Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｉｄｅ）、インジウム亜鉛酸化物、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、酸化チタンを含むインジウム錫酸化物、酸化シリコンを含むインジウム錫酸化物（ＩＴＳＯ）、酸化亜鉛、ガリウムを含む酸化亜鉛などが挙げられる。なお、グラフェンを含む膜を用いることもできる。グラフェンを含む膜は、例えば膜状に形成された酸化グラフェンを含む膜を還元して形成することができる。
可視光を反射する導電性材料としては、例えば、アルミニウム、銀、またはこれらの金属材料を含む合金等が挙げられる。そのほか、金、白金、ニッケル、タングステン、クロム、モリブデン、鉄、コバルト、銅、もしくはパラジウム等の金属材料、またはこれら金属材料を含む合金を用いることができる。また、上記金属材料または合金に、ランタン、ネオジム、またはゲルマニウム等が添加されていてもよい。アルミニウムとチタンの合金、アルミニウムとニッケルの合金、アルミニウムとネオジムの合金、アルミニウム、ニッケル、及びランタンの合金（Ａｌ−Ｎｉ−Ｌａ）等のアルミニウムを含む合金（アルミニウム合金）、銀と銅の合金、銀とパラジウムと銅の合金（Ａｇ−Ｐｄ−Ｃｕ、ＡＰＣとも記す）、銀とマグネシウムの合金等の銀を含む合金を用いてもよい。
なお、図１７では、バックゲートを有するトップゲート型のトランジスタを用いたディスプレイの構成について説明したが、本発明の一態様に係るディスプレイはバックゲートを有さないトランジスタを用いていても良いし、ボトムゲート型のトランジスタを用いていても良い。
トランジスタに用いる半導体材料の結晶性についても特に限定されず、非晶質半導体、結晶性を有する半導体（微結晶半導体、多結晶半導体、単結晶半導体、又は一部に結晶領域を有する半導体）のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
また、トランジスタに用いる半導体材料としては、酸化物半導体を用いることができる。代表的には、インジウムを含む酸化物半導体などを適用できる。
特にシリコンよりもバンドギャップが広く、且つキャリア密度の小さい半導体材料を用いると、トランジスタのオフ状態における電流を低減できるため好ましい。
半導体層は、例えば少なくともインジウム、亜鉛及びＭ（アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属）を含むＩｎ−Ｍ−Ｚｎ系酸化物で表記される膜を含むことが好ましい。また、該酸化物半導体を用いたトランジスタの電気特性のばらつきを減らすため、それらと共に、スタビライザーを含むことが好ましい。
スタビライザーとしては、上記Ｍで記載の金属（例えば、ガリウム、スズ、ハフニウム、アルミニウム、またはジルコニウム等）がある。また、他のスタビライザーとしては、ランタノイドである、ランタン、セリウム、プラセオジム、ネオジム、サマリウム、ユウロピウム、ガドリニウム、テルビウム、ジスプロシウム、ホルミウム、エルビウム、ツリウム、イッテルビウム、ルテチウム等がある。
半導体層を構成する酸化物半導体として、例えば、Ｉｎ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ａｌ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ｚｎ系酸化物、Ｉｎ−Ｈｆ−Ｚｎ系酸化物、Ｉｎ−Ｌａ−Ｚｎ系酸化物、Ｉｎ−Ｃｅ−Ｚｎ系酸化物、Ｉｎ−Ｐｒ−Ｚｎ系酸化物、Ｉｎ−Ｎｄ−Ｚｎ系酸化物、Ｉｎ−Ｓｍ−Ｚｎ系酸化物、Ｉｎ−Ｅｕ−Ｚｎ系酸化物、Ｉｎ−Ｇｄ−Ｚｎ系酸化物、Ｉｎ−Ｔｂ−Ｚｎ系酸化物、Ｉｎ−Ｄｙ−Ｚｎ系酸化物、Ｉｎ−Ｈｏ−Ｚｎ系酸化物、Ｉｎ−Ｅｒ−Ｚｎ系酸化物、Ｉｎ−Ｔｍ−Ｚｎ系酸化物、Ｉｎ−Ｙｂ−Ｚｎ系酸化物、Ｉｎ−Ｌｕ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ｈｆ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ａｌ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ａｌ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ｈｆ−Ｚｎ系酸化物、Ｉｎ−Ｈｆ−Ａｌ−Ｚｎ系酸化物を用いることができる。
なお、ここで、Ｉｎ−Ｇａ−Ｚｎ系酸化物とは、ＩｎとＧａとＺｎを主成分として有する酸化物という意味であり、ＩｎとＧａとＺｎの比率は問わない。また、ＩｎとＧａとＺｎ以外の金属元素が入っていてもよい。
なお、本実施の形態では、反射型表示素子として液晶素子を用いたディスプレイの構成を例示したが、反射型表示素子として、液晶素子のほかに、シャッター方式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）素子、光干渉方式のＭＥＭＳ素子、マイクロカプセル方式、電気泳動方式、エレクトロウェッティング方式、電子粉流体（登録商標）方式等を適用した表示素子などを用いることができる。
また、発光型表示素子として、例えばＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＱＬＥＤ（Ｑｕａｎｔｕｍ−ｄｏｔ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの自発光性の発光素子を用いることができる。
液晶素子としては、例えば垂直配向（ＶＡ：Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）モードが適用された液晶素子を用いることができる。垂直配向モードとしては、ＭＶＡ（Ｍｕｌｔｉ−Ｄｏｍａｉｎ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）モード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）モード、ＡＳＶ（Ａｄｖａｎｃｅｄ Ｓｕｐｅｒ Ｖｉｅｗ）モードなどを用いることができる。
また、液晶素子には、様々なモードが適用された液晶素子を用いることができる。例えばＶＡモードのほかに、ＴＮ（Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）モード、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ−Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎｇｅ Ｆｉｅｌｄ Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ Ｓｙｍｍｅｔｒｉｃ ａｌｉｇｎｅｄ Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌｌｙ Ｃｏｍｐｅｎｓａｔｅｄ Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）モード等が適用された液晶素子を用いることができる。
なお、液晶素子に用いる液晶としては、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶（ＰＤＬＣ：Ｐｏｌｙｍｅｒ Ｄｉｓｐｅｒｓｅｄ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
また、液晶材料としては、ポジ型の液晶、またはネガ型の液晶のいずれを用いてもよく、適用するモードや設計に応じて最適な液晶材料を用いればよい。
また、液晶の配向を制御するため、配向膜を設けることができる。なお、横電界方式を採用する場合、配向膜を用いないブルー相を示す液晶を用いてもよい。ブルー相は液晶相の一つであり、コレステリック液晶を昇温していくと、コレステリック相から等方相へ転移する直前に発現する相である。ブルー相は狭い温度範囲でしか発現しないため、温度範囲を改善するために数重量％以上のカイラル剤を混合させた液晶組成物を液晶層に用いる。ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、応答速度が短く、光学的等方性である。また、ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、配向処理が不要であり、視野角依存性が小さい。また配向膜を設けなくてもよいのでラビング処理も不要となるため、ラビング処理によって引き起こされる静電破壊を防止することができ、作製工程中の液晶ディスプレイの不良や破損を軽減することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
（実施の形態６）
次いで、図２０（Ａ）に、本発明の一態様に係るディスプレイ４０６の、外観の一例を示す。図２０（Ａ）に示すディスプレイ４０６は、基板５００上に画素部５０１と、反射型表示素子を有する画素用の走査線駆動回路５０２と、発光型表示素子を有する画素用の走査線駆動回路５０３と、を有する。また、ＩＣ５０４は反射型表示素子を有する画素用の信号線駆動回路を有し、配線５０６を介して画素部５０１に電気的に接続されている。また、ＩＣ５０５は発光型表示素子を有する画素用の信号線駆動回路を有し、配線５０７を介して画素部５０１に電気的に接続されている。
また、ＦＰＣ５０８はＩＣ５０４に電気的に接続されており、ＦＰＣ５０９はＩＣ５０５に電気的に接続されている。ＦＰＣ５１０は配線５１１を介して走査線駆動回路５０２に電気的に接続されている。また、ＦＰＣ５１０は配線５１２を介して走査線駆動回路５０３に電気的に接続されている。
次いで、反射型表示素子として液晶素子を用い、発光型表示素子として発光素子を用いる場合を例に挙げて、画素部５０１が有する画素５１３における、液晶素子の表示領域のレイアウトと、発光素子の表示領域のレイアウトとを、図２０（Ｂ）に示す。
具体的に図２０（Ｂ）では、画素５１３が、液晶素子の表示領域５１４と、黄色に対応する発光素子の表示領域５１５と、緑色に対応する発光素子の表示領域５１６と、赤色に対応する発光素子の表示領域５１７と、青色に対応する発光素子の表示領域５１８とを有する。
なお、緑色、青色、赤色、黄色にそれぞれ対応する発光素子を用いて色再現性の良い黒を表示する際、発光素子の面積あたりに流れる電流量は、黄色に対応する発光素子が最も小さいことが求められる。図２０（Ｂ）では、緑色に対応する発光素子の表示領域５１６と、赤色に対応する発光素子の表示領域５１７と、青色に対応する発光素子の表示領域５１８とが、ほぼ同等の面積を有し、それらに対して黄色に対応する発光素子の表示領域５１５の面積はやや小さいため、色再現性の良い黒を表示することが可能である。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
（実施の形態７）
本実施の形態では、本発明の一態様に係るディスプレイを用いた電子機器の一例を示す。
図２１（Ａ）は、タブレット型の携帯端末６２００であり、筐体６２２１、ディスプレイ６２２２、操作ボタン６２２３、スピーカ６２２４を有する。また、本発明の一態様に係るディスプレイ６２２２に、位置入力装置としての機能を付加しても良い。また、位置入力装置としての機能は、ディスプレイにタッチパネルを設けることで付加することができる。あるいは、位置入力装置としての機能は、フォトセンサとも呼ばれる光電変換素子をディスプレイの画素部に設けることでも、付加することができる。また、操作ボタン６２２３に携帯端末６２００を起動する電源スイッチ、携帯端末６２００のアプリケーションを操作するボタン、音量調整ボタン、又はディスプレイ６２２２を点灯、あるいは消灯するスイッチなどのいずれかを備えることができる。また、図２１（Ａ）に示した携帯端末６２００では、操作ボタン６２２３の数を４個示しているが、携帯端末６２００の有する操作ボタンの数及び配置は、これに限定されない。
また、携帯端末６２００は、外光の照度を測定する光センサ６２２５Ｘ及び光センサ６２２５Ｙを有する。光センサ６２２５Ｘ及び光センサ６２２５Ｙは、筐体６２２１のベゼルに配置されている。特に、光センサ６２２５Ｘは、筐体６２２１のベゼルにおいて２つある短辺の一方に配置され、光センサ６２２５Ｙは、筐体６２２１のベゼルにおいて２つある長辺の一方に配置されている。本発明の一態様では、光センサ６２２５Ｘ及び光センサ６２２５Ｙによって外光の照度を測定して、それらのデータを基づいて、ディスプレイ６２２２に表示する表示素子の切り替え等の調整を行うことができる。
また、光センサ６２２５Ｘ及び光センサ６２２５Ｙの配置箇所は、図２１（Ａ）に示した携帯端末６２００に限定されない。例えば、図２１（Ｂ）に示す携帯端末６２０１のように、光センサ６２２５Ｘは、筐体６２２１のベゼルにおいて２つある短辺の両方に配置され、光センサ６２２５Ｙは、筐体６２２１のベゼルにおいて２つある長辺の両方に配置されてもよい。
また、図示していないが、図２１（Ａ）に示した携帯端末６２００は、筐体６２２１の内部にセンサ（力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい又は赤外線などを測定する機能を含むもの）を有する構成であってもよい。特に、ジャイロセンサ、加速度センサなどの傾きを測定するセンサを有する測定装置を設けることで、図２１（Ａ）に示す携帯端末６２００の向き（鉛直方向に対して携帯端末がどの向きに向いているか）を判断して、ディスプレイ６２２２の画面表示を、携帯端末６２００の向きに応じて自動的に切り替えるようにすることができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
（実施の形態８）
図２２に、本発明の一態様に係るディスプレイを有する携帯端末に適用可能な電子機器の具体例を示す。
図２２（Ａ）は携帯型ゲーム機であり、筐体５００１、筐体５００２、本発明の一態様に係るディスプレイ５００３、発明の一態様に係るディスプレイ５００４、マイクロホン５００５、スピーカ５００６、操作キー５００７、スタイラス５００８等を有する。なお、図２２（Ａ）に示した携帯型ゲーム機は、ディスプレイ５００３とディスプレイ５００４とで示す二つのディスプレイを有しているが、携帯型ゲーム機が有するディスプレイの数は、これに限定されない。携帯型ゲーム機に本発明の一態様に係るディスプレイ５００３及びディスプレイ５００４を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５００３及びディスプレイ５００４に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図２２（Ｂ）は腕時計型の携帯端末であり、筐体５２０１、本発明の一態様に係るディスプレイ５２０２、ベルト５２０３、光センサ５２０４、スイッチ５２０５等を有する。腕時計型の携帯端末に本発明の一態様に係るディスプレイ５２０２を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５２０２に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図２２（Ｃ）はタブレット型のパーソナルコンピュータであり、筐体５３０１、筐体５３０２、本発明の一態様に係るディスプレイ５３０３、光センサ５３０４、光センサ５３０５、スイッチ５３０６等を有する。ディスプレイ５３０３は、筐体５３０１及び筐体５３０２によって支持されている。そして、ディスプレイ５３０３は可撓性を有する基板を用いて形成されているため形状をフレキシブルに曲げることができる機能を有する。筐体５３０１と筐体５３０２の間の角度をヒンジ５３０７及び５３０８において変更することで、筐体５３０１と筐体５３０２が重なるように、ディスプレイ５３０３を折りたたむことができる。図示してはいないが、開閉センサを内蔵させ、上記角度の変化をディスプレイ５３０３において使用条件の情報として用いても良い。タブレット型のパーソナルコンピュータに本発明の一態様に係るディスプレイ５３０３を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５３０３に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図２２（Ｄ）はビデオカメラであり、筐体５８０１、筐体５８０２、本発明の一態様に係るディスプレイ５８０３、操作キー５８０４、レンズ５８０５、接続部５８０６等を有する。操作キー５８０４及びレンズ５８０５は筐体５８０１に設けられており、ディスプレイ５８０３は筐体５８０２に設けられている。そして、筐体５８０１と筐体５８０２とは、接続部５８０６により接続されており、筐体５８０１と筐体５８０２の間の角度は、接続部５８０６により変更が可能である。ディスプレイ５８０３における映像を、接続部５８０６における筐体５８０１と筐体５８０２との間の角度に従って切り替える構成としても良い。ビデオカメラに本発明の一態様に係るディスプレイ５８０３を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５８０３に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図２２（Ｅ）は腕時計型の携帯端末であり、曲面を有する筐体５７０１、本発明の一態様に係るディスプレイ５７０２等を有する。本発明の一態様に係るディスプレイ５７０２に可撓性を有する基板を用いることで、曲面を有する筐体５７０１にディスプレイ５７０２を支持させることができ、フレキシブルかつ軽くて使い勝手の良い腕時計型の携帯端末を提供することができる。そして、腕時計型の携帯端末に本発明の一態様に係るディスプレイ５７０２を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５７０２に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図２２（Ｆ）は携帯電話であり、曲面を有する筐体５９０１に、本発明の一態様に係るディスプレイ５９０２、マイク５９０７、スピーカ５９０４、カメラ５９０３、外部接続部５９０６、操作用のボタン５９０５が設けられている。携帯電話に本発明の一態様に係るディスプレイ５９０２を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５９０２に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
１０ データ処理システム
１１ 携帯端末
１２ ネットワーク
１３ サーバー
１４ データベース
１５ ディスプレイ
１６ 位置センサ
１７ 演算装置
１８ 撮像装置
２１ 物体データ
２４ 物体データ
２５ ワイヤーフレームモデルデータ
２６ 関連情報データ
６０ 領域
６０ｖ 領域
６１ 物体
６１ｖ 物体データ
６２ 物体
６２ｖ 物体データ
６３ ナブスター衛星
６４ 信号
６５ ユーザー
６６ 方位
６６ｄ 方位
６６ｖ 方位
６７ 座標
６７ｄ 座標
６７ｖ 座標
６８ 物体
６８ｖ 物体データ
７０ 領域
７０ｖ 領域
７０ｖ＿Ａ 領域
７０ｖ＿Ｃ 領域
７０ｖ＿Ｄ 領域
７０ｖＢ 領域
７１ 物体データ
７１ｖ 物体データ
７１ｖ＿Ｌ 物体データ
７１ｖ＿Ｓ 物体データ
７２ 物体データ
７２ｖ 物体データ
７２ｖ＿Ｌ 物体データ
７２ｖ＿Ｓ 物体データ
７３ 文字情報
７４ 文字情報
７６ 物体データ
７７ 物体データ
１０１ 反射型表示素子
１０２ 表示部
１０３ 発光型表示素子
１０４ 表示部
１０５ａ ＳＤ
１０５ｂ ＳＤ
１０７ ＡＩＣ
１０８ ＳＰＣ
２０１ 基板
２０２ 基板
２０３ 発光素子
２０４ 液晶素子
２０５ トランジスタ
２０６ トランジスタ
２０７ 画素電極
２０８ 共通電極
２０９ 液晶層
２１０ 層
２１０ａ 層
２１０ｂ 層
２５０ 基板
２５１ 基板
２５２ 接着層
３００ 画素
３０１ 液晶素子
３０２ 発光素子
３０３ トランジスタ
３０４ 容量素子
３０５ トランジスタ
３０６ トランジスタ
３０７ 容量素子
３０８ トランジスタ
３０９ トランジスタ
３１０ トランジスタ
３１１ 導電層
３１２ 絶縁層
３１３ 半導体層
３１４ 導電層
３１５ 導電層
３１６ 絶縁層
３１７ 導電層
３１８ 絶縁層
３１９ 導電層
３２０ 導電層
３２１ 導電層
３２２ 半導体層
３２３ 導電層
３２４ 絶縁層
３２５ 絶縁層
３２６ 導電層
３２７ 導電層
３２８ 絶縁層
３２９ 導電層
３３０ 絶縁層
３３１ ＥＬ層
３３２ 導電層
３３３ 接着層
３３４ 着色層
３３５ スペーサ
３３６ 遮光層
３４０ 導電層
３４１ 絶縁層
３４２ 半導体層
３４３ 絶縁層
３４４ 導電層
３４５ 絶縁層
３４６ 導電層
３４７ 導電層
３４８ 導電層
３４９ 導電層
３５０ 画素
３５１ 画素
３５１ａ 画素
３５１ｂ 画素
３５１ｃ 画素
３５１ｄ 画素
３６０ 絶縁層
３６１ 導電層
３６２ 接着層
３６３ 絶縁層
３６４ 配向膜
３６５ 配向膜
３６６ 液晶層
４０２ ＣＰＵ
４０３ メモリ
４０４ ＧＰＵ
４０５ ディスプレイコントローラ
４０６ ディスプレイ
４０７ タッチパネルコントローラ
４０８ タッチパネル
４０９ イメージセンサコントローラ
４１０ イメージセンサ
４１１ 通信モジュール
４１３ 入力ボタン
４１４ 位置センサモジュール
４１５ 方位センサ
４１６ 光センサ
４１７ 外部記憶装置コントローラ
４１８ 音声コーデック
４１９ スピーカ
４２０ マイク
４２１ 外部映像入力コーデック
４２２ 汎用入出力コントローラ
４４２ 電源
５００ 基板
５０１ 画素部
５０２ 走査線駆動回路
５０３ 走査線駆動回路
５０４ ＩＣ
５０６ 配線
５０７ 配線
５０８ ＦＰＣ
５０９ ＦＰＣ
５１０ ＦＰＣ
５１１ 配線
５１２ 配線
５１３ 画素
５１４ 表示領域
５１５ 表示領域
５１６ 表示領域
５１７ 表示領域
５１８ 表示領域
５００１ 筐体
５００２ 筐体
５００３ ディスプレイ
５００４ ディスプレイ
５００５ マイクロホン
５００６ スピーカ
５００７ 操作キー
５００８ スタイラス
５２０１ 筐体
５２０２ ディスプレイ
５２０３ ベルト
５２０４ 光センサ
５２０５ スイッチ
５３０１ 筐体
５３０２ 筐体
５３０３ ディスプレイ
５３０４ 光センサ
５３０５ 光センサ
５３０６ スイッチ
５３０７ ヒンジ
５７０１ 筐体
５７０２ ディスプレイ
５８０１ 筐体
５８０２ 筐体
５８０３ ディスプレイ
５８０４ 操作キー
５８０５ レンズ
５８０６ 接続部
５９０１ 筐体
５９０２ ディスプレイ
５９０３ カメラ
５９０４ スピーカ
５９０５ ボタン
５９０６ 外部接続部
５９０７ マイク
６２００ 携帯端末
６２０１ 携帯端末
６２２１ 筐体
６２２２ ディスプレイ
６２２３ 操作ボタン
６２２４ スピーカ
６２２５Ｘ 光センサ
６２２５Ｙ 光センサ

Claims (5)

  1. 携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、
    前記携帯端末から前記ネットワークを介して前記サーバーに位置情報を送信し、
    前記サーバーから前記ネットワークを介して前記データベースより取得した前記位置情報に対応する複数の物体データを前記携帯端末に送信し、
    前記携帯端末で取得した撮像データと複数の前記物体データとを比較し、一致しない前記物体データがある場合に前記データベースに記憶された当該物体データの更新を行う、
    ことを特徴とするデータ処理システム。
  2. 携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、
    前記携帯端末から前記ネットワークを介して前記サーバーに位置情報を送信し、
    前記サーバーから前記ネットワークを介して前記データベースより取得した前記位置情報に対応する複数の物体データを前記携帯端末に送信し、
    前記携帯端末で取得した撮像データと複数の前記物体データとを比較して、一致する前記物体データをもとに前記位置情報を補正し、一致しない前記物体データがある場合に前記データベースに記憶された当該物体データの更新を行う、
    ことを特徴とするデータ処理システム。
  3. 請求項２において、
    前記補正された位置情報を前記携帯端末から前記ネットワークを介して前記サーバーに送信し、
    前記サーバーから前記ネットワークを介して前記携帯端末に前記データベースより取得した前記補正された位置情報を送信する、
    ことを特徴とするデータ処理システム。
  4. 請求項１乃至請求項３のいずれか一項において、
    前記位置情報は、前記携帯端末の撮像する方向の情報を有することを特徴とするデータ処理システム。
  5. 請求項１乃至請求項４のいずれか一項において、
    前記データベースは、ワイヤーフレームモデルで表される３次元のデータを有し、
    前記サーバーは、前記３次元のデータを前記位置情報に応じた２次元に投影して得られる２次元のデータを、複数の前記物体データのそれぞれについて生成し、前記ネットワークを介して前記携帯端末に送信することを特徴とするデータ処理システム。
JP2017147321A 2016-08-05 2017-07-31 データ処理システム Active JP6917820B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016154192 2016-08-05
JP2016154192 2016-08-05

Publications (2)

Publication Number Publication Date
JP2018025555A JP2018025555A (ja) 2018-02-15
JP6917820B2 true JP6917820B2 (ja) 2021-08-11

Family

ID=61069516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017147321A Active JP6917820B2 (ja) 2016-08-05 2017-07-31 データ処理システム

Country Status (2)

Country Link
US (1) US10317221B2 (ja)
JP (1) JP6917820B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI729030B (zh) 2016-08-29 2021-06-01 日商半導體能源研究所股份有限公司 顯示裝置及控制程式
CN109931923B (zh) * 2017-12-15 2023-07-07 阿里巴巴集团控股有限公司 一种导航引导图的生成方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5886897A (en) * 1996-05-06 1999-03-23 Amada Soft America Inc. Apparatus and method for managing and distributing design and manufacturing information throughout a sheet metal production facility
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
WO2007027847A2 (en) * 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
WO2007133085A1 (en) * 2006-05-15 2007-11-22 Telefonaktiebolaget Lm Ericsson (Publ) A method and system for automatic classification of objects
JP5436559B2 (ja) * 2008-09-02 2014-03-05 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ（エーペーエフエル） ポータブル・デバイス上での画像アノテーション
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP4696184B1 (ja) 2010-06-02 2011-06-08 任天堂株式会社 画像表示システム、画像表示装置および画像表示方法
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
JP5647819B2 (ja) 2010-06-11 2015-01-07 任天堂株式会社 携帯型電子機器
EP2395769B1 (en) 2010-06-11 2015-03-04 Nintendo Co., Ltd. Image display program, image display system, and image display method
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US9466144B2 (en) * 2012-11-02 2016-10-11 Trimble Navigation Limited 3D mapping of a surveyed environment
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies
US9437045B2 (en) * 2013-07-03 2016-09-06 Fuji Xerox Co., Ltd. Real-time mobile capture and application of photographic images as textures in three-dimensional models
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
EP3541071A1 (en) * 2013-08-02 2019-09-18 Xactware Solutions Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
WO2015123647A1 (en) * 2014-02-14 2015-08-20 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
JPWO2015129045A1 (ja) 2014-02-28 2017-03-30 パイオニア株式会社 画像取得システム、端末、画像取得方法および画像取得プログラム
WO2015164373A1 (en) * 2014-04-23 2015-10-29 Raytheon Company Systems and methods for context based information delivery using augmented reality
US9652838B1 (en) * 2014-12-23 2017-05-16 A9.Com, Inc. Object retrieval
US9984499B1 (en) * 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems

Also Published As

Publication number Publication date
US10317221B2 (en) 2019-06-11
US20180038699A1 (en) 2018-02-08
JP2018025555A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
US11693523B2 (en) Display device
US11694619B2 (en) Display apparatus having a notch
US20210193744A1 (en) Display device and method for manufacturing the same
WO2021083003A1 (zh) 显示装置及电子设备
US11380875B2 (en) Display apparatus and method of manufacturing the same
JP7148688B2 (ja) 入出力パネル
US11957034B2 (en) Display apparatus having an improved display quality and a reduced peripheral (non-display) region for use in electronic device having a bypass data line arranged in the display and peripheral regions
JP7183184B2 (ja) 半導体装置
CN112514075B (zh) 显示设备及显示数据生成方法
CN110752240B (zh) 显示装置及电子设备
JP2022037073A (ja) 表示方法
CN114930441A (zh) 显示装置和显示装置的操作方法
JP6917820B2 (ja) データ処理システム
JP2024028513A (ja) 表示装置
CN110890384A (zh) 显示设备
JP2018032031A (ja) 表示装置、表示モジュール及び電子機器
US20230351957A1 (en) Display Substrate and Preparation Method Thereof, and Display Device
KR20200128166A (ko) 표시 장치의 동작 방법
CN220087855U (zh) 显示装置
WO2023062472A1 (ja) 表示装置および当該表示装置を有する電子機器
US20230200125A1 (en) Display device and input system including the same
WO2023230811A1 (zh) 显示基板以及显示装置
KR20230025603A (ko) 표시 장치 및 이를 포함하는 센싱 시스템
CN112420775A (zh) 显示装置
JPWO2019155320A1 (ja) 表示装置の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210720

R150 Certificate of patent or registration of utility model

Ref document number: 6917820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150