WO2013102952A1 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
WO2013102952A1
WO2013102952A1 PCT/JP2012/000038 JP2012000038W WO2013102952A1 WO 2013102952 A1 WO2013102952 A1 WO 2013102952A1 JP 2012000038 W JP2012000038 W JP 2012000038W WO 2013102952 A1 WO2013102952 A1 WO 2013102952A1
Authority
WO
WIPO (PCT)
Prior art keywords
illuminance
sensor
display
pixel
value
Prior art date
Application number
PCT/JP2012/000038
Other languages
English (en)
French (fr)
Inventor
正和 奥田
谷口　裕章
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2013547421A priority Critical patent/JP5474264B2/ja
Priority to PCT/JP2012/000038 priority patent/WO2013102952A1/ja
Publication of WO2013102952A1 publication Critical patent/WO2013102952A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • the present invention relates to a display device in which an illuminance sensor is arranged in a display area of a display.
  • Patent Document 1 discloses a circuit in which a photosensor is arranged in a pixel circuit to electrically reduce noise.
  • Patent Document 2 discloses an area sensor in which a photosensor and a light emitting pixel are arranged in close contact.
  • Patent Document 3 discloses a technique for forming an illuminance sensor in a pixel area.
  • Patent Document 4 discloses a touch panel display device in which a photosensor is provided for each pixel as a technique for using an illuminance sensor in a pixel area for a touch panel.
  • the present invention has been made to solve the above-described problems.
  • the external light reaching the display is considered in consideration of internal light due to light emission of the display itself.
  • An object of the present invention is to provide a display device capable of accurately measuring the amount of light only from the light source.
  • a display device having a display area, a pixel and an illuminance sensor arranged in the display area, and a frame for storing one frame of a video signal displayed on the screen in the display area
  • a buffer a table that stores in advance the internal light emission illuminance by the pixel itself in association with the pixel in the display area, and the illuminance of only ambient light around the illuminance sensor from the illuminance value detected by the illuminance sensor
  • a sensor output correction calculation unit for calculating a value, the sensor output correction calculation unit reads a pixel address and a pixel value from a frame stored in the frame buffer, and reads the read pixel address and pixel value from the table Is obtained, and the illuminance value detected by the illuminance sensor is obtained.
  • the value by subtracting the internal luminous intensity obtained from the table, and calculates the illuminance value of the external light only near the illuminance sensor.
  • the display device of the present invention in the configuration in which the illuminance sensor is arranged in the display area of the display, only the external light reaching the display is accurately measured in consideration of the internal light due to the light emission of the display itself. Can do.
  • FIG. 1 is an overall configuration diagram of a display device according to Embodiment 1 of the present invention.
  • the display device 1 is a liquid crystal display in which an illuminance sensor is arranged in a display area (pixel arrangement area), and an LCD (Liquid Crystal Display) as in a normal display device having no illuminance sensor inside.
  • a liquid crystal display) module 10 and a display substrate 20 are included.
  • an illuminance sensor S (not shown in FIG. 1, see FIG. 4) is disposed in the display area 11, and the built-in sensor driver 12 is controlled by the sensor controller 13.
  • 11 ambient illuminances can be acquired.
  • the method for forming the illuminance sensor in the display area is a known technique as disclosed in, for example, Patent Documents 1 and 2, and the description thereof is omitted here.
  • the ambient illuminance acquired from the illuminance sensor S by controlling the sensor driver 12 is converted into a digital value by a sensor ADC (Analog Digital Converter) 14 and connected to the display substrate 20 as a sensor output result.
  • ADC Analog Digital Converter
  • the dedicated line of the sensor output result is wired to the display substrate 20 together with a video signal connection line (in many cases, FPC (Flexible Printed Circuits)) similar to that of a normal liquid crystal module. Therefore, the connection between the display substrate 20 and the LCD module 10 includes a dedicated line for the sensor output result in addition to the normal video signal line.
  • a video signal connection line in many cases, FPC (Flexible Printed Circuits)
  • an LCD controller 21 that transmits a video signal and a synchronization signal to the LCD module 10
  • an arithmetic processing unit 22 that performs sensor output processing such as various video processes and calculations in the previous stage of the LCD controller 21, and its arithmetic operation
  • a video receiver 23 for sending a video signal to the processing unit 22 and a microcomputer 24 are included.
  • the LCD controller 21, the arithmetic processing unit 22, and the video receiver 23 may each be configured by individual ICs, or the LCD controller 21 and the arithmetic processing unit 22 may be configured as one IC. All may be processed by one IC (ASIC: Application : Specific Integrated Circuit).
  • the microcomputer 24 may control ICs of various video lines. A broken line shown in FIG. 1 indicates a control signal line from the microcomputer 24.
  • the video source supplied to the video receiver 23 is supplied from the outside of the display substrate 20, and various digital / analog formats can be considered. Further, as an external device that supplies a video source, a signal input from a tuner, an external storage device, or another video device can be considered.
  • the video receiver 23 is adapted to the format of the supplied video source, is arranged on the display substrate 20, and performs conversion into a video format suitable for video processing on the display substrate 20.
  • the converted video / control signal is sent to the arithmetic processing unit 22 and the LCD controller 21 on the display substrate 20 and displayed on the LCD module 10. Note that video conversion and various types of video processing can be processed by software using an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), or the like.
  • MPU Micro Processing Unit
  • DSP Digital Signal Processor
  • FIG. 2 is a block diagram for explaining internal processing in the arithmetic processing unit 22.
  • the arithmetic processing unit 22 internally includes a video processing unit 31, a frame buffer 32, a sensor output correction arithmetic unit 33, and an LUT (Look Up Table) 34.
  • the frame buffer 32 and the LUT 34 may be provided in an external storage device such as a DRAM (Dynamic Random Access Memory) or a flash memory. fast.
  • the video signal converted by the video receiver 23 is input to the video processing unit 31.
  • RGB 8-bit video and vertical / horizontal synchronization signals are input.
  • video and synchronization signals are transmitted using a high-speed serial bus with a reduced number of signals.
  • the video processing unit 31 corrects the input video into a form preferable for the display device. Gamma correction, contrast adjustment, chromaticity adjustment, response speed correction, etc. are common. Note that this correction function may be incorporated into the video receiver 23 or the LCD controller 21.
  • the input video from the video receiver 23 is transmitted to the video processing unit 31 and also transmitted to the frame buffer 32 for storage.
  • the frame buffer 32 stores a maximum of one frame of video.
  • the size to be stored varies depending on the sensor arrangement and the range of sensor correction, but is a maximum of one frame.
  • the reason why the image for one frame is stored in the frame buffer 32 in this way is to use it for the correction calculation. That is, since the acquired value of the illuminance sensor S is a value acquired when displaying a frame that is one frame past the video signal from the video receiver 23, the same frame is subtracted during the correction calculation. For this purpose, the past frames are stored for one frame.
  • the output value of the illuminance sensor S is input to the sensor output correction calculation unit 33. Further, the video signal from the video receiver 23 stored in the frame buffer 32 is also input to the sensor output correction calculation unit 33.
  • the video signal from the video receiver 23 input here is a frame (fn) one frame before the frame (fn + 1) input to the video processing unit 31.
  • the sensor output correction calculation unit 33 subtracts the internal light emission illuminance corresponding to the amount of light emitted from the pixels of the liquid crystal display (display area) itself from the raw output value from the illuminance sensor S (input value to the calculation unit). Since this subtraction is performed using the LUT 34 created by prior measurement, the read value from the LUT 34 is also input to the sensor output correction calculation unit 33. The correction calculation and creation of the LUT 34 will be described later.
  • the output value after the correction calculation is output from the sensor output correction calculation unit 33 to the microcomputer 24.
  • the output value after the correction calculation is an illuminance value of only light from the outside of the display, which eliminates the influence of whatever image the display displays.
  • the output value after this correction calculation for various purposes (backlight brightness adjustment, day / night determination, outdoor / indoor determination, object proximity determination such as finger), the output value from the illuminance sensor in the display area is used as it is. Unlike the conventional method using the value of, the illuminance of only the outside light when the image is continuously displayed can be accurately acquired.
  • FIG. 3 is an explanatory diagram showing the display frame and the timing of each process.
  • fn means the nth frame
  • fn + 1 means the nth next (n + 1) th frame.
  • the horizontal axis represents time.
  • the display frame valid period indicates, for example, what number of images are currently displayed when 60 moving images are received per second.
  • This figure shows a state in which the nth fn is displayed at the first timing, the (n + 1) th fn + 1 is displayed at the next timing, and the (n + 2) th fn + 2 is displayed at the next timing.
  • the signal level is HIGH, it indicates that the one image is being displayed, and the LOW time (blanking period during which no image is displayed) for several mm seconds before moving to the next image. I understand that there is.
  • the nth image being displayed is also stored in the frame buffer 32. Therefore, the previous display frame fn ⁇ 1 and the currently displayed display frame fn are mixed in the frame buffer 32.
  • the frame buffer 32 completely stores only fn. In the display area, fn is displayed. At this moment (in the drawing, the output value of the illuminance sensor S in the display area is read out (at the timing of the position described as “illuminance readout at the time of fn display”) and delivered to the sensor output correction calculation unit 33.
  • the output value of the illuminance sensor S during fn display is input to the sensor output correction calculation unit 33.
  • the sensor output correction calculation unit 33 also captures the value of the fn video signal in the frame buffer 32.
  • the sensor output correction calculation unit 33 performs correction calculation using the output value from the illuminance sensor S during fn display and the fn video value stored in the frame buffer 32. Specific correction calculation will be described later.
  • fn + 1 is started to be overwritten in the frame buffer 32, so that the correction calculation that is a process using the video of fn cannot be continued.
  • Such a case can be dealt with by preparing two frame buffers. However, it is not necessary to prepare two frame buffers as long as the processing capability to finish the correction within this blanking period is provided.
  • the output value from the illuminance sensor S is read at the start of the blanking period, and the correction calculation is performed and terminated within the blanking period.
  • FIG. 4 is a diagram illustrating an example of the arrangement of the pixels P and the illuminance sensor S in the display area.
  • a broken line arrow indicates a path (internal light) through which the light of the pixel P in the display area reaches the illuminance sensor S. That is, not only light from the outside of the display (external light) but also internal light from surrounding pixels P reaches the illuminance sensor S. Moreover, this internal light varies depending on the displayed image.
  • An object of the present invention is to accurately measure only the illuminance of external light by removing the influence of internal light that varies depending on the displayed image.
  • the internal light component is subtracted from the output value of the illuminance sensor S (external light + internal light).
  • the internal light amount is calculated based on the pixel values around the illuminance sensor S taken out from the frame buffer 32.
  • the extent to which the peripheral pixels are used may be freely selected according to the calculation / memory resources of the system.
  • the example of FIG. 4 shows a case where up to two pixels are taken into consideration in the vertical and horizontal directions. Further, it can be said that the intensity of the internal light from each pixel P is independently linear.
  • the output value (the illuminance value of the pixel P2-1) detected by the illuminance sensor S when only the pixel address P2-1 is lit at a certain pixel value (usually between 0 and 255) is represented by S (P2 ⁇ 1)
  • the internal light value when two pixels up, down, left, and right are selected as the correction range (pixel consideration range) is a value S (P2 ⁇ 2) obtained by adding the illuminance values of all the pixels in the range. 1) + S (P2-2) +... + S (P2-12) + S (P1-1) + S (P1-2) + S (P1-3) + S (P1-4).
  • the LUT 34 all the values from S (P1-1) to S (P2-12) measured in advance are stored in the range of pixel values 0 to 255 for each of RGB.
  • the sensor output correction calculation unit 33 uses the pixels (pixel addresses) P1-1 to P2-12 and the pixel values (0 to 255) extracted from the frame buffer 32 as indexes, and outputs the sensor output value S (P1-1) from the LUT 34. Take out ⁇ S (P2-12). Then, all the internal light values for the pixel consideration range optimally determined for the system (upper, lower, left and right in the example of FIG. 4) are added, and the value is used as the internal light component (internal light emission illuminance) in the frame.
  • the surrounding pixels of the illuminance sensor S are sequentially turned on one by one in a dark room where the outside light can be reduced to zero, and the sensor output value at that time is recorded.
  • pixel values of 0 to 255 are measured for each pixel. That is, the pixel here indicates each of RGB and is generally called a sub-pixel, but it is measured and recorded one by one regardless of whether the pixel is red, green, or blue. To do.
  • the values measured in this way are arranged in a table and stored in the LUT 34.
  • the LUT 34 will display “pixel address P2-1, pixel value 128, sensor output value (internal light emission). Illuminance) 50 "is stored as one data.
  • the index is the pixel address and the pixel value
  • the extracted element is the sensor output value (internal light emission illuminance) at that time.
  • the sensor output correction calculation unit 33 accesses the LUT 34 with the index of the pixel address P2-1 and the pixel value 128, the LUT 34 returns the sensor output value 50 as the internal light emission illuminance.
  • This LUT creation and LUT reference can be simplified using approximate calculation.
  • the LUT 34 has a very large size, and a large amount of references must be performed. Therefore, as a simplification method, for example, it is used that the internal light illuminance is inversely proportional to the distance between the sensor and the pixel. After measuring the illuminance of the innermost pixels P1-1 to P1-4 with respect to the illuminance sensor S, the pixels outside the illuminance sensor S are equivalent to the distances P1-1 to P1-4. It is determined by multiplying by a coefficient. As a result, the LUT size can be reduced and the number of LUT references can be reduced.
  • illuminance is measured only for some representative pixel values, and the others are linear It can also be obtained by approximation. For example, with respect to a certain pixel, only three types of illuminances of pixel values 0, 128, and 255 are measured, and the illuminance therebetween can be obtained by linear interpolation. Even when this method is used, the LUT size and the number of LUT references can be reduced.
  • FIG. 5 is a flowchart showing the processing operation in the arithmetic processing unit 22. Although basically the same as the contents described in FIGS. 2 and 3, a processing flow after the arithmetic processing unit 22 receives a video input will be described with reference to FIG. 5.
  • the video processing unit 31 performs video processing (step ST1), and the video signal is transmitted to the LCD module 10 via the LCD controller 21 and displayed on the display area 11 as a screen display. (Step ST2).
  • video input signals from the video receiver 23 are sequentially stored in the frame buffer 32 (step ST3). By repeating this while the video input signal continues (in the case of YES in step ST4), screen display and storage in the frame buffer are continued.
  • the sensor output correction calculation unit 33 uses the illuminance sensor S in the display area 11 displayed on the screen.
  • the output value (illuminance value) is read and acquired (step ST5), and at the same time, the pixel address and pixel value are also read and acquired from the frame stored in the frame buffer 32 (step ST6).
  • a correction calculation is performed to subtract the internal light component (internal light emission illuminance) from the pixel itself from the output value (illuminance value) from the illuminance sensor S (step ST7), and the calculated illuminance value (external light Minute) is output to the microcomputer 24 or the like (step ST8).
  • the illuminance value for the internal light emitted by the pixels in the display area
  • the output value (illuminance value) detected by the illuminance sensor S arranged in the display area.
  • the backlight can be adjusted efficiently.
  • the touch position can be accurately determined because the proximity of a finger or the like to the touch panel or the illuminance at the contact point decreases (darkens). It can also be detected.
  • the pixels in the display area are determined from the illuminance value (external light + internal light) detected by the illuminance sensor. Since the internal illuminance of the light emitted by itself is subtracted, only the external light reaching the display can be accurately measured in consideration of the internal light due to the light emitted from the display itself.
  • any component of the embodiment can be modified or any component of the embodiment can be omitted within the scope of the invention.
  • the display device according to the present invention can be applied to backlight adjustment and a touch panel.
  • 1 display device 10 LCD module, 11 display area (pixel arrangement area, sensor arrangement area), 12 sensor driver, 13 sensor controller, 14 sensor ADC, 15 source driver, 16 gate driver, 20 display board, 21 LCD controller, 22 Arithmetic processing unit, 23 video receiver, 24 microcomputer, 31 video processing unit, 32 frame buffer, 33 sensor output correction calculation unit, 34 LUT, P1-1 to P1-4, P2-1 to P2-12 pixels, S illuminance sensor .

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)

Abstract

本発明は、表示領域内に照度センサを配置する表示装置であって、演算処理部（２２）は、表示領域に画面表示する映像信号の１フレーム分を保存するフレームバッファ（３２）と、表示領域内の画素に対応付けて、当該画素自身による内部発光照度を予め保存しておくテーブル（ＬＵＴ）（３４）と、照度センサにより検出された照度値から当該センサ周辺の外光のみの照度値を算出するセンサ出力補正演算部（３３）とを備える。センサ出力補正演算部（３３）は、照度センサにより検出された照度値から、テーブル（３４）から取得した内部発光照度を減算することにより、照度センサ周辺の外光のみの照度値を算出する。 本発明によると、ディスプレイ自身の発光による内光を考慮した上で、ディスプレイに届く外部からの光のみを正確に測定することができる。本発明の表示装置は、バックライトの調整や、タッチパネルに適用することができる。

Description

表示装置
　この発明は、ディスプレイの表示領域内に照度センサを配置した表示装置に関するものである。
　近年、照度センサをディスプレイの画面表示領域（画素配置エリア）に配置する技術が提案されている。例えば、特許文献１には、画素回路内にフォトセンサを配置し、電気的にノイズを低減する回路が開示されている。また、特許文献２には、フォトセンサと発光画素を密接して配置したエリアセンサが開示されている。また、特許文献３には、画素エリア内に照度センサを形成する技術が開示されている。
　これらの特許文献１～３では、照度センサは液晶画素(ＴＦＴ基板上)配列内に配置される。これによりＴＦＴ形成と同時にセンサを形成でき、また各画素への画像信号配線とともにセンサ信号の配線を行うことができる。
　また、例えば特許文献４には、画素エリア内照度センサをタッチパネルに利用する技術として、画素ごとにフォトセンサを設けたタッチパネル型表示装置が開示されている。
国際公開第２０１０／０３８５１２号 特開２００１－２９２２７６号公報 特開２００６－２５１８０６号公報 特開２０１０－１０８４８９号公報
　しかしながら、特許文献１～４に示すような従来技術では、これらの技術でディスプレイ外部からの入射光を測定する場合、ディスプレイ自身の発光による内光（ディスプレイ内のセンサ周辺の画素からの光）も同時にセンサに入ってしまい、センサ感度を高くすると、表示している内容によって測定結果が変動してしまう、という課題があった。そのためディスプレイ画面を点灯した状態では、画面内ではない暗所に設置された照度センサのように極めて細かい入射光の変化を測定することは不可能であった。
　この発明は、上記のような課題を解決するためになされたものであり、ディスプレイの表示領域内に照度センサを配置する構成において、ディスプレイ自身の発光による内光を考慮して、ディスプレイに届く外部からの光のみの量を正確に測定することができる表示装置を提供することを目的とする。
　上記目的を達成するため、この発明は、表示領域を有する表示装置において、前記表示領域内に配置された画素および照度センサと、前記表示領域に画面表示する映像信号の１フレーム分を保存するフレームバッファと、前記表示領域内の画素に対応付けて、当該画素自身による内部発光照度を予め保存しておくテーブルと、前記照度センサにより検出された照度値から当該照度センサ周辺の外光のみの照度値を算出するセンサ出力補正演算部とを備え、前記センサ出力補正演算部は、前記フレームバッファに保存されたフレームから画素番地および画素値を読み出し、前記テーブルから、当該読み出した画素番地と画素値に対応する内部発光照度を取得するとともに、前記照度センサにより検出された照度値を取得して、当該取得した照度値から、前記テーブルから取得した内部発光照度を減算することにより、前記照度センサ周辺の外光のみの照度値を算出することを特徴とする。
　この発明の表示装置によれば、ディスプレイの表示領域内に照度センサを配置する構成において、ディスプレイ自身の発光による内光を考慮した上で、ディスプレイに届く外部からの光のみを正確に測定することができる。
この発明の実施の形態１における表示装置の全体構成図である。 演算処理部での内部処理について説明するブロック図である。 表示フレームと各処理のタイミングを示す説明図である。 表示領域内の画素Ｐと照度センサＳの配置の一例を示す図である。 演算処理部における処理動作を示すフローチャートである。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、この発明の実施の形態１における表示装置の全体構成図である。この表示装置１は、表示領域（画素配置エリア）内に照度センサが配置された液晶ディスプレイであって、内部に照度センサを有していない通常の表示装置と同様に、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）モジュール１０とディスプレイ基板２０により構成されている。
　ＬＣＤモジュール１０は、表示領域１１内に照度センサＳ（図１においては図示せず、図４参照）が配置されており、組み込まれたセンサドライバ１２をセンサコントローラ１３により制御することで、表示領域１１の周辺照度を取得することができるものである。なお、表示領域内に照度センサを形成する方法については、例えば特許文献１，２等に開示されているとおり公知の技術であるため、ここでは説明を省略する。
　そして、センサドライバ１２を制御することにより照度センサＳから取得した周辺照度はセンサＡＤＣ（Analog Digital Converter）１４でデジタル値に変換され、センサ出力結果としてディスプレイ基板２０に接続される。この際、センサ出力結果の専用線は、通常の液晶モジュールと同様の映像信号接続線（多くの場合ＦＰＣ（Flexible Printed Circuits））と一緒にディスプレイ基板２０へと配線される。したがって、ディスプレイ基板２０とＬＣＤモジュール１０の接続には、通常の映像信号線に加えてセンサ出力結果の専用線が含まれる。
　ディスプレイ基板２０上には、ＬＣＤモジュール１０へ映像信号と同期信号を送信するＬＣＤコントローラ２１と、そのＬＣＤコントローラ２１の前段で各種映像処理や演算等のセンサ出力処理を行う演算処理部２２、その演算処理部２２に映像信号を送り込む映像レシーバ２３、および、マイコン２４などが含まれている。なお、ＬＣＤコントローラ２１、演算処理部２２、映像レシーバ２３は、それぞれが個別のＩＣにより構成されていてもよいし、ＬＣＤコントローラ２１および演算処理部２２が１つのＩＣとして構成されていてもよいし、すべてを１つのＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）で処理するようにしてもよい。また、マイコン２４が、各種映像ラインのＩＣを制御するようにしてもよい。なお、図１に示す破線は、マイコン２４からの制御信号線を示している。
　映像レシーバ２３に供給される映像ソースは、ディスプレイ基板２０の外部から供給されるものであり、デジタル／アナログ様々なフォーマットが考えられる。また、映像ソースを供給する外部機器としては、チューナー、外部記憶装置、または別の映像機器からの信号入力などが考えられる。
　映像レシーバ２３は、供給される映像ソースのフォーマットに合わせたものであり、ディスプレイ基板２０上に配置され、ディスプレイ基板２０での映像処理に適した映像形式への変換を行う。変換された映像・制御信号は、ディスプレイ基板２０上の演算処理部２２やＬＣＤコントローラ２１に送られ、ＬＣＤモジュール１０で表示される。なお、映像変換や各種映像処理はＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processer）などを使ってソフトウェアで処理することも可能である。
　次に、映像レシーバ２３からの出力と、照度センサＳからのセンサ出力の処理について説明する。図２は、演算処理部２２での内部処理について説明するブロック図である。
　図２に示すように、演算処理部２２には内部的に、映像処理部３１、フレームバッファ３２、センサ出力補正演算部３３およびＬＵＴ（Look Up Table）３４が含まれている。なお、フレームバッファ３２やＬＵＴ３４は、例えばＤＲＡＭ（Dynamic Random Access Memory）やフラッシュメモリなどの外部記憶装置に備えるようにしてもよいが、演算処理部２２と同じＩＣに含めるようにした方が処理が速い。
　映像処理部３１には、映像レシーバ２３で変換された映像信号が入力される。一般的にはＲＧＢ各８ビットの映像と垂直・水平同期信号が入る。信号本数を減らした高速シリアルバスで映像と同期信号の伝送を行うケースもある。映像処理部３１では、入力された映像をその表示デバイスに好ましい形に補正を行う。ガンマ補正・コントラスト調整・色度調整・応答速度補正などが一般的である。なお、映像レシーバ２３内部やＬＣＤコントローラ２１内部にこの補正機能を取り込むようにしてもよい。
　映像レシーバ２３からの入力映像は映像処理部３１に伝送されるとともにフレームバッファ３２にも伝送されて格納される。このフレームバッファ３２では、最大１フレーム分の映像を保存している。保存する大きさはセンサ配置やセンサ補正の範囲によって変わるが、最大１フレーム分となる。このようにフレームバッファ３２に１フレーム分の映像を保存するのは、補正演算の際に使用するためである。すなわち、照度センサＳの取得値は映像レシーバ２３からの映像信号より１フレーム分過去のフレームを表示しているときに取得された値であるため、補正演算の際に同じフレームについて減算を行うことができるよう、１フレーム分過去のフレームを保存しておくのである。
　照度センサＳの出力値は、センサ出力補正演算部３３に入力される。また、センサ出力補正演算部３３には、フレームバッファ３２に蓄えられた映像レシーバ２３からの映像信号も入力される。ここで入力される映像レシーバ２３からの映像信号は、映像処理部３１に入力されるフレーム（ｆｎ＋１）より１フレーム前のフレーム（ｆｎ）になる。
　センサ出力補正演算部３３では、照度センサＳからの生の出力値（演算部への入力値）から液晶ディスプレイ（表示領域）自身の画素が発光した分の内部発光照度を減算する。この減算は事前測定によって作成したＬＵＴ３４を使って行うため、そのＬＵＴ３４からの読み出し値もセンサ出力補正演算部３３に入力される。なお、この補正演算とＬＵＴ３４の作成については後述する。
　補正演算後の出力値がセンサ出力補正演算部３３から、マイコン２４に出力される。補正演算後の出力値は、ディスプレイがどんな画像を表示していたとしてもその影響を排除したディスプレイ外部からの光のみの照度値となる。この補正演算後の出力値をいろいろな用途（バックライト輝度調整や昼／夜判定、屋外／屋内判定、指などの物体近接判定）に使うことにより、表示領域内の照度センサからの出力値そのままの値を使っていた従来とは異なり、映像を表示し続けているときの外光のみの照度を正確に取得することが可能となる。
　次に、フレームバッファ３２を使ってセンサ出力補正演算部３３に１フレーム分遅らせた画像を入力することについて、図３を用いて説明する。図３は、表示フレームと各処理のタイミングを示す説明図である。
　この図３において、ｆｎはｎ番目のフレーム、ｆｎ＋１はｎ番目の次の（ｎ＋１）番目のフレームを意味している。また、横軸は時間を表している。
　表示フレーム有効期間では、例えば、動画像が１秒間に６０枚入ってくるとした場合に、現在、何枚目の画像が表示されているか、ということを示している。この図では、最初のタイミングでｎ番目のｆｎ、次のタイミングで（ｎ＋１）番目のｆｎ＋１、さらに次のタイミングで（ｎ＋２）番目のｆｎ＋２が表示される状態を示している。ここで、信号レベルがＨＩＧＨの時が、その１枚の画像を表示していることを示しており、次の画像に移る前に数ｍｍ秒間だけＬＯＷの時間（映像が表示されないブランキング期間）があることがわかる。
　表示フレームがｎ番目のとき、その表示している最中のｎ番目の画像を、フレームバッファ３２にも蓄えていく。そのためフレームバッファ３２内には１枚前の表示フレームｆｎ－１と現在表示している表示フレームｆｎとが入り交じった状態になる。そして、ｆｎの伝送が完了してブランキング期間（映像が表示されない期間）に入ったとき、フレームバッファ３２内は完全にｆｎのみを保存している。そして表示領域にはｆｎが表示されている。この瞬間に（図中、「ｆｎ表示時の照度読み出し」と記載された位置のタイミングで）表示領域内の照度センサＳの出力値を読み出し、センサ出力補正演算部３３に引き渡す。
　この結果、センサ出力補正演算部３３にはｆｎ表示時の照度センサＳの出力値が入力される。また、図２に示すとおり、センサ出力補正演算部３３には、フレームバッファ３２内のｆｎ映像信号の値も取り込まれる。
　そして、センサ出力補正演算部３３は、ｆｎ表示時の照度センサＳからの出力値とフレームバッファ３２に蓄えられたｆｎ映像値とを使って、補正演算を行う。具体的な補正演算については後述する。
　ここで、ブランキング期間内に補正が終了しなければ、フレームバッファ３２にｆｎ＋１が上書き開始されてしまうため、ｆｎの映像を使う処理である補正演算を継続することができなくなる。そのような場合には、フレームバッファを２つ用意すれば対処することができる。しかし、このブランキング期間内に補正を終える処理能力を持たせれば、フレームバッファを２つ用意しなくてもよい。そしてこの発明では、ブランキング期間に入ったところで照度センサＳからの出力値の読み出しを行い、補正演算もブランキング期間内に実施および終了される。
　次に、照度センサ出力値の補正演算について説明する。
　図４は、表示領域内の画素Ｐと照度センサＳの配置の一例を示す図である。破線矢印は表示領域内の画素Ｐの光が照度センサＳに届く経路（内光）を示す。すなわち、照度センサＳには、ディスプレイ外部からの光（外光）だけではなく、周辺の画素Ｐからの内光も届いてしまう。しかもこの内光は、表示している画像によって変動するものである。この発明では、表示している画像によって変動する内光の影響を取り除いて、外光の照度のみを精度よく測定することを目的としている。
　補正演算では、照度センサＳの出力値（外光＋内光）から、内光分を減算する。内光量は、フレームバッファ３２から取り出した照度センサＳ周辺の画素値を元に計算する。周辺画素をどこまで使用するかはシステムの演算・メモリリソースによって自由に選択すればよい。図４の例は、上下左右に２画素ずつまで考慮する場合を示す。また、それぞれの画素Ｐからの内光の強度は、独立に線形であると言えるものとする。すなわち、画素番地Ｐ２－１のみが、ある画素値（通常０－２５５の間）で点灯していたときに、照度センサＳが検出した出力値（画素Ｐ２－１の照度値）をＳ（Ｐ２－１）と表すものとすると、上下左右２画素ずつまでを補正範囲（画素考慮範囲）に選んだ時の内光値は、その範囲のすべての画素の照度値を加算した値Ｓ（Ｐ２－１）＋Ｓ（Ｐ２－２）＋・・・＋Ｓ（Ｐ２－１２）＋Ｓ（Ｐ１－１）＋Ｓ（Ｐ１－２）＋Ｓ（Ｐ１－３）＋Ｓ（Ｐ１－４）となる。
　一方、ＬＵＴ３４には、事前に測定したＳ（Ｐ１－１）～Ｓ（Ｐ２－１２）までの値を、ＲＧＢそれぞれについて画素値０～２５５の範囲ですべて格納しておくものとする。
　センサ出力補正演算部３３は、フレームバッファ３２から取り出した各画素（画素番地）Ｐ１－１～Ｐ２－１２と画素値（０～２５５）をインデックスとして、ＬＵＴ３４からセンサ出力値Ｓ（Ｐ１－１）～Ｓ（Ｐ２－１２）を取り出す。そして、システムに最適に定めた画素考慮範囲（図４の例では上下左右２画素）分の内光値をすべて加算し、その値をそのフレームにおける内光分（内部発光照度）とする。その後、元の照度センサＳの出力値（外光＋内光）から先に算出した内光分（内部発光照度）を減算することにより、外光分のみの照度を得ることができる。この処理を毎フレーム行うため、各フレームでどんな画像を表示していても、純粋な外光分のみの照度を得ることができる。
　次に、ＬＵＴ３４の事前作成方法およびＬＵＴ参照について説明する。
　まず、外光をゼロにできる暗室にて、照度センサＳの周辺画素を１つずつ順番に点灯していき、そのときのセンサ出力値を記録していく。この際、各画素ごとに０～２５５の画素値を測る。すなわち、ここでの画素はＲＧＢそれぞれを指し、一般的にはサブピクセルと呼ぶこともあるが、その画素が赤・緑・青のいずれであるかに関わらず順番に１つずつ測定して記録する。このようにして測定した値を並べてテーブルにして、ＬＵＴ３４に格納する。例えば、画素番地Ｐ２－１が画素値１２８で点灯したとき（他は消灯）のセンサ出力値が５０だったとしたら、ＬＵＴ３４には「画素番地Ｐ２－１、画素値１２８、センサ出力値（内部発光照度）５０」を１データとして格納する。
　そして、このＬＵＴ３４を参照してデータを取り出す場合には、インデックスは画素番地と画素値であり、取り出される要素はそのときのセンサ出力値（内部発光照度）である。例えば、画素番地Ｐ２－１、画素値１２８のインデックスでセンサ出力補正演算部３３がＬＵＴ３４にアクセスしてきたら、ＬＵＴ３４はセンサ出力値５０を内部発光照度として返す。
　このＬＵＴ作成とＬＵＴ参照は、近似計算を使って簡単化することができる。上記の方法をそのまま実装する場合には、非常に大きなサイズのＬＵＴ３４になり、また、大量の参照を行わなくてはならない。そこで簡単化の方法として、例えば、内光照度はセンサと画素の距離に反比例することを利用する。照度センサＳに対して一番内側の画素Ｐ１－１～Ｐ１－４の照度を測ったあと、それより外側の画素の分は、Ｐ１－１～Ｐ１－４の値に距離が遠くなる分の係数を乗じて求めることにする。そうするとＬＵＴサイズを小さくできる上に、ＬＵＴ参照回数も減らすことができる。また別のアプローチとして、１つの位置の画素についての画素値０～２５５の２５６個の照度値をすべて測定するのではなく、いくつか代表的な画素値についてのみ照度を測定して、その他は線形近似で求めることもできる。例えばある画素について、画素値０と１２８と２５５の３種類だけの照度を測っておいて、その間の照度は線形補完演算で求めることができる。この方法を用いた場合でも、ＬＵＴサイズとＬＵＴ参照回数を減らすことができる。
　図５は、演算処理部２２における処理動作を示すフローチャートである。基本的には、図２および図３において説明した内容と同じであるが、演算処理部２２が映像入力を受け付けてからの処理フローについて、図５を参照しながら説明する。
　まず、映像レシーバ２３からの映像入力を受け付けると、映像処理部３１が映像処理を行い（ステップＳＴ１）、その映像信号がＬＣＤコントローラ２１を介してＬＣＤモジュール１０に送信され、表示領域１１に画面表示される（ステップＳＴ２）。一方、映像レシーバ２３からの映像入力信号は、フレームバッファ３２に順次保存される（ステップＳＴ３）。これを、映像入力信号が続く間（ステップＳＴ４のＹＥＳの場合）、繰り返すことにより、画面表示およびフレームバッファへの保存が継続される。
　その後、１枚のフレームの映像入力が終了してブランキング期間に入ると（ステップＳＴ４のＮＯの場合）、センサ出力補正演算部３３が、画面表示されている表示領域１１内の照度センサＳによる出力値（照度値）を読み出して取得する（ステップＳＴ５）と同時に、フレームバッファ３２に保存されているフレームから画素番地および画素値も読み出して取得する（ステップＳＴ６）。そして、ＬＵＴ３４を参照して、照度センサＳによる出力値（照度値）から画素自身による内光分（内部発光照度）を減算する補正演算を行い（ステップＳＴ７）、算出された照度値（外光分）をマイコン２４等に出力する（ステップＳＴ８）。
　このように、表示領域内に配置された照度センサＳにより検出された出力値（照度値）から、表示領域の画素自身が発光した内光分の照度値（内部発光照度）を減算することにより、表示領域（画素）周辺の外光のみを精度よく測定することができる。そしてこれにより、例えばバックライトの調整を効率よく行うことができる。また、例えばこの表示装置をタッチパネルに適用して、表示領域内に数多くのセンサを埋め込むことにより、タッチパネルへの指等の接近や接触箇所の照度が下がる（暗くなる）ことからタッチ位置を精度よく検出することもできる。
　以上のように、この実施の形態１によれば、ディスプレイの表示領域内に照度センサを配置する構成において、照度センサにより検出された照度値（外光＋内光）から、表示領域内の画素自身による発光分の内部発光照度を減算するようにしたので、ディスプレイ自身の発光による内光を考慮した上で、ディスプレイに届く外部からの光のみを正確に測定することができる。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　以上のように、この発明に係る表示装置は、バックライトの調整や、タッチパネルに適用することができる。
　１　表示装置、１０　ＬＣＤモジュール、１１　表示領域（画素配置エリア、センサ配置エリア）、１２　センサドライバ、１３　センサコントローラ、１４　センサＡＤＣ、１５　ソースドライバ、１６　ゲートドライバ、２０　ディスプレイ基板、２１　ＬＣＤコントローラ、２２　演算処理部、２３　映像レシーバ、２４　マイコン、３１　映像処理部、３２　フレームバッファ、３３　センサ出力補正演算部、３４　ＬＵＴ、Ｐ１－１～Ｐ１－４，Ｐ２－１～Ｐ２－１２　画素、Ｓ　照度センサ。

Claims (2)

  1. 　表示領域を有する表示装置において、
    　前記表示領域内に配置された画素および照度センサと、
    　前記表示領域に画面表示する映像信号の１フレーム分を保存するフレームバッファと、
    　前記表示領域内の画素に対応付けて、当該画素自身による内部発光照度を予め保存しておくテーブルと、
    　前記照度センサにより検出された照度値から当該照度センサ周辺の外光のみの照度値を算出するセンサ出力補正演算部とを備え、
    　前記センサ出力補正演算部は、
    　前記フレームバッファに保存されたフレームから画素番地および画素値を読み出し、前記テーブルから、当該読み出した画素番地と画素値に対応する内部発光照度を取得するとともに、
    　前記照度センサにより検出された照度値を取得して、
    　当該取得した照度値から、前記テーブルから取得した内部発光照度を減算することにより、前記照度センサ周辺の外光のみの照度値を算出する
    　ことを特徴とする表示装置。
  2. 　前記センサ出力補正演算部による前記照度センサからの照度値の取得、および、前記照度センサ周辺の外光のみの照度値の算出は、前記表示領域に映像信号が表示されないブランキング期間に実施される
    　ことを特徴とする請求項１記載の表示装置。
PCT/JP2012/000038 2012-01-05 2012-01-05 表示装置 WO2013102952A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013547421A JP5474264B2 (ja) 2012-01-05 2012-01-05 表示装置
PCT/JP2012/000038 WO2013102952A1 (ja) 2012-01-05 2012-01-05 表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/000038 WO2013102952A1 (ja) 2012-01-05 2012-01-05 表示装置

Publications (1)

Publication Number Publication Date
WO2013102952A1 true WO2013102952A1 (ja) 2013-07-11

Family

ID=48745030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000038 WO2013102952A1 (ja) 2012-01-05 2012-01-05 表示装置

Country Status (2)

Country Link
JP (1) JP5474264B2 (ja)
WO (1) WO2013102952A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017058421A1 (en) * 2015-09-30 2017-04-06 Apple Inc. Content-based statistics for ambient light sensing
JP2020024411A (ja) * 2018-08-07 2020-02-13 エルジー ディスプレイ カンパニー リミテッド 表示装置
WO2020060130A1 (en) * 2018-09-21 2020-03-26 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304900A (ja) * 2007-05-08 2008-12-18 Epson Imaging Devices Corp 表示装置およびこれを備える電子機器
JP2009134211A (ja) * 2007-12-03 2009-06-18 Epson Imaging Devices Corp 電気光学装置、電子機器、並びに外光検出装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304900A (ja) * 2007-05-08 2008-12-18 Epson Imaging Devices Corp 表示装置およびこれを備える電子機器
JP2009134211A (ja) * 2007-12-03 2009-06-18 Epson Imaging Devices Corp 電気光学装置、電子機器、並びに外光検出装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIROTAKA HAYASHI ET AL.: "24.4: Optical Sensor Embedded Input Display Usable under High- Ambient-Light Conditions", SID 07 DIGEST, (USA), vol. XXXVIII, 23 May 2007 (2007-05-23), pages 1105 - 1108 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017058421A1 (en) * 2015-09-30 2017-04-06 Apple Inc. Content-based statistics for ambient light sensing
US9997137B2 (en) 2015-09-30 2018-06-12 Apple Inc. Content-based statistics for ambient light sensing
US20180293958A1 (en) * 2015-09-30 2018-10-11 Apple Inc. Content-based statistics for ambient light sensing
US10438564B2 (en) 2015-09-30 2019-10-08 Apple Inc. Content-based statistics for ambient light sensing
JP2020024411A (ja) * 2018-08-07 2020-02-13 エルジー ディスプレイ カンパニー リミテッド 表示装置
JP7030085B2 (ja) 2018-08-07 2022-03-04 エルジー ディスプレイ カンパニー リミテッド 表示装置
WO2020060130A1 (en) * 2018-09-21 2020-03-26 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
US11244652B2 (en) 2018-09-21 2022-02-08 Samsung Electronics Co., Ltd. Display apparatus and control method thereof

Also Published As

Publication number Publication date
JP5474264B2 (ja) 2014-04-16
JPWO2013102952A1 (ja) 2015-05-11

Similar Documents

Publication Publication Date Title
US10504461B2 (en) Display apparatus and display method
WO2019210687A1 (zh) 光学补偿方法及装置、显示装置、显示方法及存储介质
TWI423198B (zh) 依據環境光之亮度調整畫面灰階度的顯示裝置及方法
TWI478144B (zh) 具強光可視性的顯示方法與使用此方法的電子裝置
JP2009171008A (ja) 色再現装置および色再現プログラム
CN1988628A (zh) 一种环境光自适应图像显示方法
TW200930078A (en) Image processing and controlling system
JP6186465B2 (ja) 注視追跡に基づく電子ディスプレイの調整
JP2009031666A (ja) タッチパネル一体表示装置
CN102169683B (zh) 图像显示装置、亮度控制方法
JP5474264B2 (ja) 表示装置
WO2012086493A1 (ja) 光センサ付き表示装置およびこれを用いた画像読み取り方法
CN109683315B (zh) 头戴式显示装置及其控制亮度方法
US11363193B2 (en) Electronic apparatus and image correction method thereof
KR101691310B1 (ko) 주변 환경 정보 검출모듈을 이용한 디스플레이장치
US10600357B2 (en) Method and system for speckle phenomenon of display image
US20110109644A1 (en) System and method for performing motion control with display luminance compensation
JP2011109188A (ja) 表示装置
WO2013115356A1 (ja) 画像表示装置、電子機器、電子カメラ、及び情報端末
JP2009077156A (ja) 画像表示装置、画像表示方法、及び、リモートコントローラー
JP5122405B2 (ja) キャリブレーション装置、キャリブレーション方法、センサ装置、表示装置、キャリブレーション処理プログラム、並びにキャリブレーション処理プログラムを記録した記録媒体
WO2019239918A1 (ja) 制御装置、表示装置および制御方法
JP2008244950A (ja) 遠隔操作装置および映像表示システム
WO2013038596A1 (ja) 画像表示装置及び信号処理プログラム
US11721264B2 (en) Display driving device, display device, and method of driving display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12864580

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013547421

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12864580

Country of ref document: EP

Kind code of ref document: A1