WO2013161262A1 - 表示制御システム、指示装置および表示パネル - Google Patents

表示制御システム、指示装置および表示パネル Download PDF

Info

Publication number
WO2013161262A1
WO2013161262A1 PCT/JP2013/002709 JP2013002709W WO2013161262A1 WO 2013161262 A1 WO2013161262 A1 WO 2013161262A1 JP 2013002709 W JP2013002709 W JP 2013002709W WO 2013161262 A1 WO2013161262 A1 WO 2013161262A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
black matrix
display unit
control system
Prior art date
Application number
PCT/JP2013/002709
Other languages
English (en)
French (fr)
Inventor
山田　和宏
田中　康弘
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013539833A priority Critical patent/JP5420807B1/ja
Priority to CN201380000921.1A priority patent/CN103649887A/zh
Priority to US14/049,009 priority patent/US9442653B2/en
Publication of WO2013161262A1 publication Critical patent/WO2013161262A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • This disclosure relates to a display control system capable of handwriting input on a display surface of a digital display.
  • Patent Document 1 discloses a technique for digitizing information entered on paper and transmitting the digitized information to a server or a terminal when characters or the like are entered on the paper using a pen.
  • This disclosure provides a display control system capable of executing handwritten input with good response on the display surface of a display device.
  • the display control system includes a display device having a display unit and an instruction device for indicating a position on the display unit, and performs display control according to the position indicated by the instruction device.
  • the display unit of the display device has a pixel area partitioned by a black matrix, and a position information pattern representing a planar position in the display unit is formed, and the indicating device indicates a position on the display unit.
  • a reading unit that captures an image including a position information pattern at a position instructed by the instruction unit, and the resolution of the optical system in the reading unit is a space in the vertical and horizontal directions of the black matrix. It is lower than at least one of the frequencies.
  • the display control system can significantly reduce the time required for the image recognition processing for specifying the position, and can realize handwritten input with good response.
  • FIG. 1 It is a schematic diagram of a display control system concerning an embodiment. It is a block diagram of the display control system concerning an embodiment. It is a schematic sectional drawing of a display panel. It is a schematic sectional drawing of a digital pen. It is a top view of a color filter.
  • (A) to (D) are diagrams showing examples of dot arrangement corresponding to each code. It is a figure which shows the example of the frequency characteristic of a black matrix. It is a figure which shows the example of the frequency characteristic of the black matrix in which the dot pattern was provided.
  • (A) is an example of a captured image when a low resolution lens is used, and (b) is a dot pattern captured in (a). It is a flowchart which shows the flow of a process of the display control system which concerns
  • a position information pattern indicating a planar position is formed on the display unit, and the indicated position is detected by optically reading the pattern by a pointing device, and a locus display or the like is performed. Can be considered.
  • a black matrix for partitioning a pixel region is formed in the display unit.
  • a black matrix image may interfere with the optical reading of the position information pattern.
  • FIG. 1 is a schematic diagram illustrating an appearance of a display control system 100 according to the embodiment.
  • the display control system 100 includes an optical digital pen (hereinafter simply referred to as “digital pen”) 10 as a pointing device and a display device 20.
  • the display device 20 is a liquid crystal display, for example, and can display various objects on the display unit 21.
  • the display unit 21 has a dot pattern as a position information pattern representing a planar position on the display unit 21.
  • the digital pen 10 optically reads a dot pattern to detect position information at a specified position and transmits the position information to the display device 20.
  • the display device 20 receives the position information as input and performs various processes. That is, the digital pen 10 functions as a reading device and also functions as a data input device to the display control system 100.
  • the display device 20 can display the locus of the tip of the digital pen 10 by continuously displaying points at designated positions on the display unit 21 following the movement of the digital pen 10. That is, it is possible to enter characters, figures, and the like on the display unit 21 using the digital pen 10.
  • the display device 20 follows the movement of the digital pen 10 and continuously erases the display at the designated position on the display unit 21, thereby displaying a portion that matches the locus of the tip of the digital pen 10. Can be erased. That is, the digital pen 10 can be used like an eraser.
  • the display device 20 can use the digital pen 10 as an input device such as a mouse by displaying a specified position on the display unit 21. In this way, in the display control system 100, the position of the digital pen 10 is input as an input to the display device 20 by moving the digital pen 10 on the display unit 21 of the display device 20, and the display device 20 responds to the input. To change the displayed contents.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the display control system 100.
  • the display device 20 includes a receiving unit 22 that receives a signal from the outside, a display-side microcomputer 23 that controls the entire display device 20, and a display panel 24 that displays an image.
  • the display panel 24 of the present embodiment is a liquid crystal panel.
  • the receiving unit 22 receives a signal transmitted from the digital pen 10, which will be described in detail later.
  • the signal received by the receiving unit 22 is sent to the display-side microcomputer 23.
  • the display-side microcomputer 23 is composed of a CPU, a memory, and the like, and a program for operating the CPU is also mounted.
  • the display-side microcomputer 23 is an example of a control unit.
  • the display-side microcomputer 23 controls the display panel 24 based on a signal transmitted from the digital pen 10 and changes the content displayed on the display unit 21.
  • FIG. 3 is a schematic sectional view of the display panel 24.
  • the basic configuration of the display panel 24 is the same as that of a general liquid crystal panel.
  • the display panel 24 includes a pair of glass substrates 25, a polarizing filter 26 provided on the outer surface of each glass substrate 25, a pair of alignment films 27 provided between the pair of glass substrates 25, and a pair A liquid crystal layer 28 provided between the alignment films 27, a transparent electrode 29 provided on each alignment film 27, and a color filter 30 provided between the glass substrate 25 on the surface side and the transparent electrode 29.
  • Various images are displayed on the display unit 21.
  • the dot pattern is written on the color filter 30.
  • the dot pattern is an example of a position information pattern.
  • FIG. 4 is a cross-sectional view illustrating a schematic configuration of the digital pen 10.
  • the digital pen 10 has a cylindrical main body 11, a pen tip 12 attached to the tip of the main body 11, a pressure sensor 13 that detects pressure acting on the pen tip 12, and emits infrared light. Power is supplied to each member of the irradiation unit 14, the reading unit 15 that reads incident infrared light, the control unit 16 that controls the digital pen 10, the transmission unit 17 that outputs a signal to the outside, and the digital pen 10. And a power source 19 to be used.
  • the main body 11 is formed of a cylinder similar to a general pen.
  • the pen tip portion 12 has a tapered shape, and its tip is formed to be round so as not to damage the display surface 21.
  • the shape of the pen point part 12 is a shape in which the user can easily recognize the image displayed on the display surface 21.
  • the pressure sensor 13 is built in the main body 11 and connected to the proximal end of the pen tip 12.
  • the pressure sensor 13 detects the pressure applied to the pen tip unit 12 and transmits the detection result to the control unit 16. Specifically, the pressure sensor 13 detects the pressure applied to the pen tip portion 12 when the user enters characters or the like on the display surface 21 using the digital pen 10. That is, the pressure sensor 13 is used when determining whether or not there is an input intention of the user using the digital pen 10.
  • the irradiation unit 14 is provided at the tip of the main body 11 and in the vicinity of the pen tip 12.
  • the irradiation part 14 is comprised by infrared LED, for example, and is comprised so that infrared light may be irradiated from the front-end
  • the reading unit 15 is provided at the tip of the main body 11 and in the vicinity of the pen tip unit 12.
  • the reading unit 15 includes an objective lens 15a and an image sensor 15b.
  • the objective lens 15a focuses incident light on the imaging element 15b. Since the objective lens 15 a is provided at the tip of the main body 11, infrared light emitted from the irradiation unit 14 and reflected by the display device 20 is incident on the objective lens 15 a.
  • the image sensor 15b is provided on the optical axis of the objective lens 15a.
  • the imaging element 15 b converts an optical image formed on the imaging surface into an electrical signal and outputs the electrical signal to the control unit 16.
  • the image sensor 15b is configured by, for example, a CCD image sensor or a CMOS image sensor.
  • the dot pattern is formed of a material that absorbs infrared light, the dot pattern does not return infrared light. As a result, an optical image in which the dot pattern is expressed in black is captured by the image sensor 15b.
  • the control part 16 has the specific part 16a and the pen side microcomputer 16b, as shown in FIG.
  • the specifying unit 16 a specifies position information on the display surface 21 of the digital pen 10 based on the image signal from the reading unit 15. Specifically, the specifying unit 16a acquires a dot pattern from the image signal acquired by the reading unit 15, and specifies the position of the pen tip unit 12 on the display surface 21 based on the dot pattern. Information on the position of the pen tip 12 specified by the specifying unit 16a is sent to the pen-side microcomputer 16b.
  • the pen side microcomputer 16b and the digital pen 10 as a whole are controlled.
  • the pen side microcomputer 16b is composed of a CPU, a memory and the like, and a program for operating the CPU is also mounted.
  • the transmission unit 17 transmits a signal to the outside. Specifically, the transmission unit 17 wirelessly transmits the position information specified by the specifying unit 16a to the outside. The transmission unit 17 performs near field communication with the reception unit 22 of the display device 20. The transmitter 17 is provided at the end of the main body 11 opposite to the pen tip 12.
  • FIG. 5 is a plan view of the color filter 30.
  • the color filter 30 includes a black matrix 31, a plurality of pixel regions 32 that are partitioned by the black matrix 31 and transmit light of a specific color, and dots 33 provided in the pixel region 32.
  • the pixel area 32 includes a red pixel area 32r that transmits red (R) light, a green pixel area 32g that transmits green (G) light, and a blue pixel area 32b that transmits blue (B) light. Is included.
  • Each pixel region 32 corresponds to a subpixel of the display panel 24. Note that when the colors to be transmitted are not distinguished, they are simply referred to as “pixel region 32”.
  • the black matrix 31 includes a vertical line extending in the longitudinal direction of the pixel region 32 and a horizontal line extending in the short direction of the pixel region 32 and is formed in a lattice shape.
  • the horizontal line is formed thicker than the vertical line.
  • the black matrix 31 and the dots 33 are formed of a material mainly composed of carbon black.
  • the dots 33 are formed in a solid circle.
  • the dots 33 are provided in some pixel regions 32 instead of all the pixel regions 32.
  • a plurality of dots 33 are collected to form a dot pattern. This dot pattern differs depending on the position of the color filter 30.
  • the dot pattern will be described in detail below.
  • first reference line 34 and a second reference line 35 are defined on the color filter 30. These first and second reference lines 34 and 35 are virtual lines and are not actually existing lines.
  • the first reference line 34 is a straight line extending in the short direction of the pixel region 32.
  • a plurality of first reference lines 34 are arranged in parallel in the longitudinal direction of the pixel region 32 every two pixel regions 32. Each first reference line 34 is located at the center in the longitudinal direction of the pixel region 32.
  • the second reference line 35 is a straight line extending in the longitudinal direction of the pixel region 32.
  • the second reference line 35 is provided on the green pixel region 32g, and a plurality of second green cells 32g are arranged in parallel in the short direction of the pixel region 32. Each second reference line 35 is located in the center in the lateral direction of the green pixel region 32g.
  • a grid is defined on the color filter 30 by the first reference line 34 and the second reference line 35.
  • FIG. 6 is a diagram showing an arrangement pattern of the dots 33.
  • the dots 33 are arranged at positions shifted from the intersection in any of four directions orthogonal to each other (up and down, left and right in FIGS. 5 and 6). Specifically, the dots 33 are arranged in any one of FIGS. 6A to 6D.
  • the dot 33 is arranged at a position shifted to the right on the first reference line 34 from the intersection of the first reference line 34 and the second reference line 35.
  • the dots 33 are arranged on the blue pixel region 32b. When this arrangement is digitized, it is represented by “1”. In the arrangement of FIG.
  • the dot 33 is arranged at a position shifted upward on the second reference line 35 from the intersection of the first reference line 34 and the second reference line 35. At this time, the dots 33 are arranged on the green pixel region 32g. When this arrangement is digitized, it is represented by “2”. In the arrangement of FIG. 6C, the dot 33 is arranged at a position shifted to the left on the first reference line 34 from the intersection of the first reference line 34 and the second reference line 35. At this time, the dots 33 are arranged on the red pixel region 32r. When this arrangement is digitized, it is represented by “3”. In the arrangement of FIG.
  • the dot 33 is arranged at a position shifted downward on the second reference line 35 from the intersection of the first reference line 34 and the second reference line 35. At this time, the dots 33 are arranged on the green pixel region 32g. When this arrangement is digitized, it is represented by “4”.
  • one dot pattern is formed by 36 dots 33 included in the unit area.
  • each of the 36 dots 33 included in the unit area in any one of “1” to “4”, a huge number of dot patterns can be formed.
  • the dot patterns in each unit area are all different.
  • each dot pattern represents a position coordinate for each unit area. That is, when the color filter 30 is divided into unit areas of 6 dots ⁇ 6 dots, each dot pattern represents the position coordinates of the unit area.
  • dot pattern patterning and coordinate conversion methods for example, a publicly known method as disclosed in Japanese Patent Application Laid-Open No. 2006-141067 can be used.
  • the optical system in the reading unit 15 of the digital pen 10 is characterized. That is, the resolution of the optical system in the reading unit 15 is set low so that a captured image from which the black matrix pattern is removed in advance is obtained.
  • the resolution of the optical system corresponds to the reciprocal of the resolution value obtained from the numerical aperture NA or F value of the lens and the wavelength of light ⁇ , and is high when the resolution value is small and low when it is large.
  • a low resolution lens is used as the objective lens 15a. This eliminates the need for image processing for removing the black matrix pattern from the captured image including the dot pattern, and thus significantly reduces the time required for image recognition processing for specifying the position. Therefore, the response to the movement of the digital pen 10 is greatly improved.
  • the present embodiment uses that the low resolution lens has the same effect as the spatial frequency filtering in the image processing.
  • FIG. 7 shows an example of frequency characteristics of a black matrix without a dot pattern
  • FIG. 8 shows an example of frequency characteristics when a dot pattern is provided in the black matrix of FIG. fx is a frequency (cycle / mm) in the X direction
  • fy is a frequency (cycle / mm) in the Y direction.
  • the frequency characteristic in the X direction (FIG. 7B) has a steep peak at a frequency of 25.4 (cycle / mm).
  • the frequency characteristic in the Y direction (FIG. 7C) also has several peaks.
  • the spatial frequency of the black matrix substantially corresponds to the reciprocal of the pitch. For example, the steep peak in the frequency characteristic in the X direction is caused by the pitch of the black matrix in the vertical direction.
  • the frequency characteristic of the optical system is set to a characteristic that cuts off a frequency having a peak frequency of 25.4 (cycle / mm) or more due to the black matrix in the vertical direction.
  • MTF is a modulation transfer function.
  • FIG. 10A is another example of a captured image when a low-resolution lens is used, in which the dot pattern shown in FIG. 10B is captured.
  • the number of dot patterns is increased so that the effect of the low resolution lens can be understood more easily.
  • a portion corresponding to a pair of two dots that are close to each other in FIG. 10B appears black, and the black matrix is in both the vertical and horizontal directions. It has been removed from the image. That is, it can be seen that by setting the resolution of the optical system in the reading unit 15 low, it is possible to recognize only the dot pattern while removing the black matrix.
  • the resolution of the optical system in the reading unit 15 included in the pointing device 10 is lower than at least one of the spatial frequencies in the vertical and horizontal directions of the black matrix.
  • the black matrix in the black matrix, at least one of the spatial frequencies in the vertical direction and the horizontal direction is higher than the resolution of the optical system in the reading unit 15 included in the pointing device 10.
  • the dot pattern is formed to have a spatial frequency lower than the resolution of the optical system in the reading unit 15.
  • FIG. 11 is a flowchart showing a processing flow of the display control system 100. Below, the case where a user writes a character into the display apparatus 20 using the digital pen 10 is demonstrated.
  • the pen side microcomputer 16b of the digital pen 10 monitors whether or not pressure is applied to the pen tip portion 12 in step S11. This pressure is detected by the pressure sensor 13. When the pressure is detected (Yes), the pen-side microcomputer 16b determines that the user is inputting characters on the display unit 21 of the display device 20, and proceeds to step S12. While the pressure is not detected (No), the pen side microcomputer 16b repeats Step S11. Note that when the power source of the digital pen 10 is turned on, the irradiation unit 14 starts irradiation of infrared light.
  • step S12 the reading unit 15 of the digital pen 10 detects a dot pattern formed on the display unit 21.
  • Infrared light is emitted from the irradiation unit 14, and this infrared light is absorbed by at least the dots 33 provided in the color filter 30 of the display device 20, and is reflected by the pixel region 32 and the like.
  • the reflected infrared light is received by the image sensor 15b through the objective lens 15a.
  • a dot pattern is imaged by the image sensor 15b.
  • the reading unit 15 optically reads the dot pattern.
  • the image signal acquired by the reading unit 15 is transmitted to the specifying unit 16a.
  • the specifying unit 16a acquires a dot pattern from the image signal, and specifies the position of the pen tip unit 12 on the display unit 21 based on the dot pattern. Specifically, the specifying unit 16a obtains an array of a plurality of dots 33 by performing predetermined image processing on the obtained image signal. At this time, since the black matrix has been removed from the captured image in advance, the time required for image processing is greatly reduced. Subsequently, the specifying unit 16a determines a unit area of 6 dots ⁇ 6 dots from the acquired arrangement of the dots 33, and specifies the position coordinates (position information) of the unit area from the dot pattern of the unit area. The specifying unit 16a converts the dot pattern into position coordinates by a predetermined calculation corresponding to the dot pattern coding method. The specified position information is transmitted to the pen-side microcomputer 16b.
  • step S ⁇ b> 14 the pen side microcomputer 16 b transmits the position information to the display device 20 via the transmission unit 17.
  • the position information transmitted from the digital pen 10 is received by the receiving unit 22 of the display device 20.
  • the received position information is transmitted from the receiving unit 22 to the display-side microcomputer 23.
  • step S15 when the display-side microcomputer 23 receives the position information, the display-side microcomputer 23 controls the display panel 24 to change the display content of the position corresponding to the position information. In this example, since a character is input, a point is displayed at a position corresponding to the position information on the display unit 21.
  • step S16 the pen side microcomputer 16b determines whether or not the input by the user is continued.
  • the pressure sensor 13 detects the pressure
  • the pen side microcomputer 16b determines that the input by the user is continuing, and returns to step S11.
  • dots are continuously displayed at the position of the pen tip 12 on the display unit 21 following the movement of the pen tip 12 of the digital pen 10.
  • characters corresponding to the locus of the pen tip portion 12 of the digital pen 10 are displayed on the display surface 21 of the display device 20.
  • the pen side microcomputer 16b determines that the input by the user is not continued, and ends the process.
  • the display device 20 displays the locus of the tip of the digital pen 10 on the display unit 21 on the display unit 21, handwriting input to the display unit 21 using the digital pen 10 can be performed.
  • the usage of the display control system 100 is not restricted to this.
  • the digital pen 10 can be used like an eraser to erase characters, figures, etc. displayed on the display unit 21. That is, in the above example, the point is displayed at the position corresponding to the position information on the display unit 21, but the point at the position may be deleted.
  • the digital pen 10 can be used like a mouse to move a cursor displayed on the display unit 21 or to select an icon displayed on the display unit 21.
  • the resolution of the optical system in the reading unit 15 of the pointing device 10 is lower than at least one of the spatial frequencies in the vertical and horizontal directions of the black matrix. .
  • a captured image from which the black matrix pattern has been removed in advance is obtained, so that image processing for removing the black matrix pattern from the captured image including the dot pattern becomes unnecessary. Accordingly, since the time required for the image recognition process for specifying the position is remarkably shortened, the response to the movement of the digital pen 10 is greatly improved.
  • the position on the display unit 21 is instructed by the digital pen 10 to the display device 20 having the display unit 21.
  • the pixel region is partitioned by a black matrix.
  • the reading unit 15 captures an image including a dot pattern that represents a planar position on the display unit 21.
  • the resolution of the optical system 15a of the reading unit 15 is lower than at least one of the spatial frequencies in the vertical and horizontal directions of the black matrix. For this reason, the reading unit 15 can obtain a captured image from which the black matrix has been removed in advance. That is, by reducing the resolution of the optical system 15a of the reading unit 15, the black matrix can be removed in advance from the captured image including the dot pattern. This eliminates the need for image processing for removing the black matrix for the captured image including the dot pattern, and thus significantly reduces the time required for image recognition processing for specifying the position. Therefore, the response to the movement of the digital pen 10 is greatly improved.
  • the optical digital pen has been described as an example of the pointing device.
  • the indicating device is for indicating a position on the display unit of the display device, and includes an indicating unit for indicating a position on the display unit, and an image including a position information pattern at the position specified by the indicating unit. It is only necessary to include a reading unit that captures images. Therefore, the pointing device is not limited to the optical digital pen. Further, the configuration of the instruction unit and the reading unit is not limited to that shown in the embodiment.
  • the dot pattern has been described as an example of the position information pattern.
  • the position information pattern may be formed on the display unit of the display device and represents a planar position on the display unit. Therefore, the position information pattern is not limited to a dot pattern. Further, the way of expressing the position coordinates and the division form of the unit area are not limited to those shown in the embodiment.
  • the dots 33 are provided in the color filter 30, but are not limited thereto.
  • the dots 33 may be provided on the glass substrate 25 or the polarizing filter 26.
  • the display panel 24 may be configured to include a sheet different from the color filter 30, the glass substrate 25, and the polarizing filter 26 in which the dots 33 are formed.
  • the digital pen 10 having the configuration shown in FIG. 4 has been described as an example, but the present invention is not limited to this.
  • the optical system of the reading unit may have a configuration in which a plurality of lenses are combined.
  • the specific unit is provided in the digital pen 10.
  • the specific unit may be provided in the display device 20, or as a control device separate from the digital pen 10 and the display device 20. It does not matter if it is provided.
  • the present disclosure is applicable to a display control system that can realize handwritten input with good response. Specifically, the present disclosure can be applied to tablets, smartphones, notebook PCs, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

　表示制御システム（１００）において、指示装置（１０）で指示された表示パネル（２４）上の位置に応じた表示制御を行う。表示パネル（２４）は、画素領域がブラックマトリクスによって区画されており、平面位置を表す位置情報パターンが形成されている。指示装置（１０）は、指示した位置における、位置情報パターンを含む画像を撮像する読取部（１５）を備えている。読取部（１５）の光学系（１５ａ）の解像度が、表示パネル（２４）におけるブラックマトリクスが除去されるように、低く設定されている。

Description

表示制御システム、指示装置および表示パネル
　本開示は、デジタルディスプレイの表示面に対して手書き入力が可能な表示制御システムに関する。
　特許文献１は、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術を開示する。
特開２００７－２２６５７７号公報
　本開示は、表示装置の表示面にレスポンス良く手書き入力を実行可能な表示制御システムを提供する。
　本開示における表示制御システムは、表示部を有する表示装置と、表示部上の位置を指示するための指示装置とを備え、指示装置によって指示された位置に応じた表示制御を行うものであり、表示装置の表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、指示装置は、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えており、読取部における光学系の解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低い。
　本開示における表示制御システムは、位置を特定するための画像認識処理に要する時間が格段に短縮され、レスポンスの良い手書き入力を実現できる。
実施形態に係る表示制御システムの概略図である。 実施形態に係る表示制御システムのブロック図である。 表示パネルの概略断面図である。 デジタルペンの概略断面図である。 カラーフィルタの平面図である。 （Ａ）～（Ｄ）は各符号に対応するドットの配置例を示す図である。 ブラックマトリクスの周波数特性の例を示す図である。 ドットパターンが設けられたブラックマトリクスの周波数特性の例を示す図である。 （ａ）光学系の周波数特性の例、（ｂ）はドットパターンが設けられたブラックマトリクス、（ｃ）は（ａ）の光学系を用いたときの（ｂ）の撮像画像である。 （ａ）は低解像度レンズを用いた場合の撮像画像の例、（ｂ）は（ａ）で撮像したドットパターンである。 実施形態に係る表示制御システムの処理の流れを示すフローチャートである。
　近年、スタイラスのような筆記具を用いて表示装置の表示面に文字等を記入することによって、該表示面に筆記具の軌跡をそのまま表示させるという手書き入力可能なシステムが開発されている。しかし、そのようなシステムは、未だ発展途上である。特に、高精細な手書き入力の点においては、まだまだ開発の余地がある。
　このような表示制御システムの１つとして、表示部に平面位置を示す位置情報パターンを形成し、それを指示装置によって光学的に読み取ることによって、指示位置の検出を行い、軌跡表示等を行う構成が考えられる。
　上のような光学読み取りを利用した表示制御システムでは、次のような問題が生じることが予想される。例えば液晶表示パネルでは、表示部には、画素領域を区画するためのブラックマトリクスが形成されている。このため、上のような表示制御システムに液晶表示パネルを用いる場合、位置情報パターンを光学的に読み取る際に、ブラックマトリクスの画像がその妨げになってしまう可能性がある。もちろん、指示装置で撮像した画像から画像処理や計算処理によってブラックマトリクスを除去することは可能であるが、そのための処理が重くなり、よって、軌跡表示等までのレスポンスが悪くなる。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
　［１．表示制御システムの概要］
　図１は実施形態に係る表示制御システム１００の外観を示す概略図である。表示制御システム１００は、指示装置としての光学式デジタルペン（以下、単に「デジタルペン」と称する。）１０と、表示装置２０とを備えている。詳しくは後述するが、表示装置２０は例えば液晶ディスプレイであり、表示部２１に様々な対象を表示することができる。また、表示部２１には、表示部２１における平面位置を表す位置情報パターンとしてのドットパターンが記されている。デジタルペン１０は、ドットパターンを光学的に読み取ることによって、指定した位置の位置情報を検出し、該位置情報を表示装置２０に送信する。表示装置２０は、該位置情報を入力として受け取り、様々な処理を行う。すなわち、デジタルペン１０は、読み取り装置として機能すると共に、表示制御システム１００へのデータ入力装置としても機能する。
　例えば、表示装置２０は、デジタルペン１０の移動に追従して、表示部２１における指定された位置に点を連続的に表示することによって、デジタルペン１０の先端の軌跡を表示することができる。すなわち、デジタルペン１０を用いて表示部２１に文字や図形等を記入することができる。また、表示装置２０は、デジタルペン１０の移動に追従して、表示部２１における指定された位置の表示を連続的に消去することによって、デジタルペン１０の先端の軌跡と一致する部分の表示を消去することができる。すなわち、デジタルペン１０を消しゴムのように使用することができる。さらには、表示装置２０は、表示部２１における指定された位置を表示することによって、デジタルペン１０をマウスのような入力装置として使用することができる。このように、表示制御システム１００においては、デジタルペン１０を表示装置２０の表示部２１上で動かすことによってデジタルペン１０の位置が入力として表示装置２０に入力され、表示装置２０が該入力に応じて表示内容を変更する。
　［２．表示装置の構成］
　以下、表示装置２０について説明する。図２は表示制御システム１００の概略構成を示すブロック図である。
　表示装置２０は、外部からの信号を受信する受信部２２と、表示装置２０全体を制御する表示側マイコン２３と、画像を表示する表示パネル２４と、を有している。本実施形態の表示パネル２４は液晶パネルである。
　受信部２２は、詳しくは後述する、デジタルペン１０から送信された信号を受信する。受信部２２が受信した信号は、表示側マイコン２３に送られる。
　表示側マイコン２３は、ＣＰＵやメモリなどから構成されており、ＣＰＵを動作させるためのプログラムも実装されている。表示側マイコン２３は、制御部の一例である。例えば、表示側マイコン２３は、デジタルペン１０から送信された信号に基づいて表示パネル２４を制御して、表示部２１に表示させる内容を変更する。
　図３は表示パネル２４の概略断面図である。表示パネル２４の基本的な構成は、一般的な液晶パネルの構成と同様である。詳しくは、表示パネル２４は、一対のガラス基板２５と、各ガラス基板２５の外表面に設けられた偏光フィルタ２６と、一対のガラス基板２５の間に設けられた一対の配向膜２７と、一対の配向膜２７の間に設けられた液晶層２８と、各配向膜２７に設けられた透明電極２９と、表面側のガラス基板２５と透明電極２９との間に設けられたカラーフィルタ３０とを有している。表示部２１に様々な画像が表示される。詳しくは後述するが、前記ドットパターンは、カラーフィルタ３０に記されている。ドットパターンは、位置情報パターンの一例である。
　［３．デジタルペンの構成］
　次に、デジタルペン１０の詳細な構成について説明する。図４は、デジタルペン１０の概略構成を示す断面図である。
　デジタルペン１０は、円筒状の本体部１１と、本体部１１の先端に取り付けられたペン先部１２と、ペン先部１２に作用する圧力を検出する圧力センサ１３と、赤外光を出射する照射部１４と、入射してきた赤外光を読み取る読取部１５と、デジタルペン１０を制御する制御部１６と、外部へ信号を出力する送信部１７と、デジタルペン１０の各部材に電力を供給する電源１９とを有している。
　本体部１１は、一般的なペンと同様の円筒で形成されている。ペン先部１２は、先細形状であって、その先端は表示面２１を傷つけない程度に丸く形成されている。また、ペン先部１２の形状は、ユーザが表示面２１に表示される画像を認識しやすい形状であることが好ましい。
　圧力センサ１３は、本体部１１に内蔵され、ペン先部１２の基端部に連結されている。圧力センサ１３は、ペン先部１２に加わる圧力を検出し、その検出結果を制御部１６へ送信する。具体的には、圧力センサ１３は、ユーザがデジタルペン１０を用いて表示面２１上に文字などを記入する際にペン先部１２に加わる圧力を検出する。つまり、圧力センサ１３は、デジタルペン１０を用いたユーザの入力意思の有無を判定する際に用いられる。
　照射部１４は、本体部１１の先端部であって、ペン先部１２の近傍に設けられている。照射部１４は、例えば、赤外線ＬＥＤで構成されており、本体部１１の先端から赤外光を照射するように構成されている。
　読取部１５は、本体部１１の先端部であって、ペン先部１２の近傍に設けられている。読取部１５は、対物レンズ１５ａと、撮像素子１５ｂとを有している。対物レンズ１５ａは、入射してくる光を撮像素子１５ｂに結像させる。対物レンズ１５ａは本体部１１の先端部に設けられているので、対物レンズ１５ａには、照射部１４から出射され、表示装置２０で反射した赤外光が入射する。撮像素子１５ｂは、対物レンズ１５ａの光軸上に設けられている。撮像素子１５ｂは、撮像面に結像した光学像を電気信号に変換して制御部１６へ出力する。撮像素子１５ｂは、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成される。詳しくは後述するが、前記ドットパターンは赤外光を吸収する材料で形成されているので、ドットパターンからは赤外光が返ってこない。その結果、ドットパターンが黒く表現された光学像が撮像素子１５ｂに撮像される。
　制御部１６は、図２に示すように、特定部１６ａと、ペン側マイコン１６ｂとを有する。特定部１６ａは、読取部１５からの画像信号に基づいてデジタルペン１０の表示面２１上の位置情報を特定する。詳しくは、特定部１６ａは、読取部１５が取得した画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部１２の、表示面２１上の位置を特定する。特定部１６ａにより特定されたペン先部１２の位置に関する情報は、ペン側マイコン１６ｂへ送られる。ペン側マイコン１６ｂ、デジタルペン１０全体を制御する。ペン側マイコン１６ｂは、ＣＰＵやメモリなどから構成されており、ＣＰＵを動作させるためのプログラムも実装されている。
　送信部１７は、信号を外部に送信する。具体的には、送信部１７は、特定部１６ａにより特定した位置情報を外部へ無線送信する。送信部１７は、表示装置２０の受信部２２と近距離無線通信を行う。送信部１７は、本体部１１のうちペン先部１２とは反対側の端部に設けられている。
　［４．カラーフィルタの詳細構造］
　続いて、カラーフィルタ３０の詳細構造について説明する。図５は、カラーフィルタ３０の平面図である。
　カラーフィルタ３０は、ブラックマトリクス３１と、該ブラックマトリクス３１により区画され、特定の色の光を透過させる複数の画素領域３２と、画素領域３２内に設けられたドット３３とを有している。画素領域３２には、赤色（Ｒ）の光を透過させる赤色画素領域３２ｒと、緑色（Ｇ）の光を透過させる緑色画素領域３２ｇと、青色（Ｂ）の光を透過させる青色画素領域３２ｂとを含んでいる。各画素領域３２は、表示パネル２４のサブピクセルに対応している。尚、透過させる色を区別しないときには、単に、「画素領域３２」と称する。ブラックマトリクス３１は、画素領域３２の長手方向に延びる縦線と、画素領域３２の短手方向に延びる横線とを含み、格子状に形成されている。横線は、縦線に比べて、太く形成されている。ブラックマトリクス３１及びドット３３は、カーボンブラックを主成分とする材料で形成されている。ドット３３は、中実の円形に形成されている。ドット３３は、全ての画素領域３２ではなく、いくつかの画素領域３２に設けられている。カラーフィルタ３０においては、複数のドット３３が一かたまりとなってドットパターンを形成している。このドットパターンは、カラーフィルタ３０の位置に応じて異なっている。
　以下に、ドットパターンについて詳しく説明する。
　まず、カラーフィルタ３０上に第１基準線３４と第２基準線３５とを規定する。これら第１及び第２基準線３４，３５は、仮想的な線であり、実際には存在する線ではない。第１基準線３４は、画素領域３２の短手方向に延びる直線である。第１基準線３４は、画素領域３２の長手方向に画素領域３２を２つおきに、複数並設されている。各第１基準線３４は、画素領域３２の長手方向中央に位置している。第２基準線３５は、画素領域３２の長手方向に延びる直線である。第２基準線３５は、緑色画素領域３２ｇ上に設けられており、画素領域３２の短手方向に緑色セル３２ｇを２つおきに、複数並設されている。各第２基準線３５は、緑色画素領域３２ｇの短手方向中央に位置している。これら第１基準線３４及び第２基準線３５により、カラーフィルタ３０上には格子が規定される。
　各ドット３３は、第１基準線３４と第２基準線３５との交点の周辺に配置される。図６は、ドット３３の配置パターンを示す図である。ドット３３は、該交点から、互いに直交する四方（図５，６では、上下左右）の何れかにずれた位置に配置される。具体的には、ドット３３は、図６（Ａ）～（Ｄ）の何れかの配置となる。図６（Ａ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第１基準線３４上を右側にずれた位置に配置される。このとき、ドット３３は、青色画素領域３２ｂ上に配置される。この配置を数値化する際には「１」で表す。図６（Ｂ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第２基準線３５上を上側にずれた位置に配置される。このとき、ドット３３は、緑色画素領域３２ｇ上に配置される。この配置を数値化する際には「２」で表す。図６（Ｃ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第１基準線３４上を左側にずれた位置に配置される。このとき、ドット３３は、赤色画素領域３２ｒ上に配置される。この配置を数値化する際には「３」で表す。図６（Ｄ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第２基準線３５上を下側にずれた位置に配置される。このとき、ドット３３は、緑色画素領域３２ｇ上に配置される。この配置を数値化する際には「４」で表す。
　そして、６ドット×６ドットを１つの単位エリアとして、単位エリアに含まれる３６個のドット３３で１つのドットパターンを形成する。単位エリアに含まれる３６個のドット３３のそれぞれを前記「１」～「４」の何れかの配置とすることによって、膨大な数のドットパターンを形成することができる。各単位エリアのドットパターンは、全て異なっている。
　これらのドットパターンの１つ１つには、情報が付加されている。詳しくは、各ドットパターンは、単位エリアごとの位置座標を表している。つまり、カラーフィルタ３０を、６ドット×６ドットの単位エリアで分割すると、各ドットパターンはその単位エリアの位置座標を表している。このようなドットパターンのパターンニングや座標変換の方法は、例えば、特開２００６－１４１０６７号公報に開示されているような公知の方法を用いることができる。
　［５．本実施形態の特徴および動作］
　本実施形態では、デジタルペン１０の読取部１５における光学系に特徴がある。すなわち、ブラックマトリクスのパターンが予め除去された撮像画像が得られるように、読取部１５における光学系の解像度が低く設定されている。光学系の解像度は、レンズの開口数ＮＡやＦ値と光の波長λとから求められる分解能の値の逆数に相当し、分解能の値が小さいときは高く、大きいときは低い。例えば図４の構成では、対物レンズ１５ａとして低解像度レンズを用いている。これにより、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になるため、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン１０の動きに対するレスポンスが大幅に改善される。つまり、本実施形態では、低解像度レンズが、画像処理における空間周波数フィルタリングと同じ効果を持つことを利用している。
　図７はドットパターンなしのブラックマトリクスの周波数特性の一例、図８は図７のブラックマトリクスにドットパターンが設けられた場合の周波数特性の一例である。ｆｘはＸ方向における周波数(cycle/mm)、ｆｙはＹ方向における周波数(cycle/mm)である。図７では、Ｘ方向の周波数特性（図７（ｂ））が周波数２５．４（cycle/mm）に急峻なピークを有している。また、Ｙ方向の周波数特性（図７（ｃ））もいくつかのピークを有している。ブラックマトリクスの空間周波数は、そのピッチの逆数にほぼ相当する。例えば、Ｘ方向の周波数特性における急峻なピークは、縦方向におけるブラックマトリクスのピッチに起因している。
　一方、図８では、Ｘ方向の周波数特性（図８（ｂ））とＹ方向の周波数特性（図８（ｃ））の両方において、ブラックマトリクスに起因したピークの影響は見られるものの、空間周波数は広い範囲に分布している。したがって、読取部１５における光学系の解像度を、ブラックマトリクスに起因した周波数ピークを抑制できるように設定することによって、撮像画像からブラックマトリクスの影響を除去することができる。
　例えば光学系の周波数特性を、図９（ａ）に示すように、縦方向におけるブラックマトリクスに起因したピーク周波数２５．４（cycle/mm）以上の周波数を遮断するような特性に設定する。ＭＴＦは変調伝達関数(Modulation TransferFunction)である。このような光学系を用いて図９（ｂ）のようなドットパターンを撮影すると、図９（ｃ）に示すような撮像画像が得られる。図９（ｃ）を見ると、縦方向のブラックマトリクスが画像から除去されているのが分かる。
　また、図１０（ａ）は低解像度レンズを用いた場合の撮像画像の他の例であり、図１０（ｂ）に示すドットパターンを撮像したものである。なお、図１０（ｂ）の例では、低解像度レンズの効果がより分かりやすくなるように、ドットパターンの個数を増やしている。図１０（ａ）では、図１０（ｂ）における接近した２個のドットのペア（破線で囲まれている）に相当する箇所が黒く映っており、ブラックマトリクスは縦方向および横方向の両方とも画像から除去されている。すなわち、読取部１５における光学系の解像度を低く設定することによって、ブラックマトリクスを除去しつつ、ドットパターンのみを画像認識可能であることが分かる。
　すなわち、本実施形態では、指示装置１０が有する読取部１５における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。表示装置２０および表示パネル２４の側からいうと、ブラックマトリクスは、縦方向および横方向における空間周波数のうち少なくともいずれか１つが、指示装置１０が有する読取部１５における光学系の解像度よりも高くなるように形成されており、かつ、ドットパターンは、読取部１５における光学系の解像度よりも低い空間周波数を有するように、形成されている。
　図１１は、表示制御システム１００の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン１０を用いて表示装置２０に文字を記入する場合について説明する。
　まず、表示制御システム１００の電源がオンされると、ステップＳ１１において、デジタルペン１０のペン側マイコン１６ｂは、ペン先部１２に圧力が作用したか否かを監視する。この圧力の検出は、圧力センサ１３が行う。圧力が検出されると（Ｙｅｓ）、ペン側マイコン１６ｂは、ユーザが表示装置２０の表示部２１に対して文字を入力していると判定し、ステップＳ１２へ進む。圧力が検出されていない間（Ｎｏ）は、ペン側マイコン１６ｂは、ステップＳ１１を繰り返す。尚、デジタルペン１０の電源がオンされると、照射部１４は赤外光の照射を開始する。
　ステップＳ１２では、デジタルペン１０の読取部１５が、表示部２１に形成されたドットパターンを検出する。照射部１４からは赤外光が出射されており、この赤外光は、少なくとも表示装置２０のカラーフィルタ３０に設けられたドット３３に吸収される一方、画素領域３２等において反射される。反射された赤外光は、対物レンズ１５ａを介して撮像素子１５ｂに受光される。その結果、撮像素子１５ｂによりドットパターンが撮像される。このとき、上述したとおり、対物レンズ１５ａの解像度が、ブラックマトリクスの空間周波数よりも低くなっているため、ブラックマトリクスは撮像画像から予め除去されている。このようにして、読取部１５は、ドットパターンを光学的に読み取る。読取部１５が取得した画像信号は、特定部１６ａに送信される。
　ステップＳ１３では、特定部１６ａが、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部１２の、表示部２１上の位置を特定する。詳しくは、特定部１６ａは、得られた画像信号に所定の画像処理を施すことにより、複数のドット３３の配列を取得する。このとき、ブラックマトリクスは撮像画像から予め除去されているため、画像処理に要する時間は大幅に短縮される。続いて、特定部１６ａは、取得されたドット３３の配列から６ドット×６ドットの単位エリアを割り出すと共に、該単位エリアのドットパターンから該単位エリアの位置座標（位置情報）を特定する。特定部１６ａは、ドットパターンのコーディング方法に対応した所定の演算により、ドットパターンを位置座標に変換する。特定された位置情報は、ペン側マイコン１６ｂに送信される。
　続いて、ステップＳ１４では、ペン側マイコン１６ｂは、位置情報を送信部１７を介して表示装置２０へ送信する。
　デジタルペン１０から送信された位置情報は、表示装置２０の受信部２２により受信される。受信された位置情報は、受信部２２から表示側マイコン２３に送信される。ステップＳ１５において、表示側マイコン２３は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル２４を制御する。この例では、文字の入力なので、表示部２１における位置情報に対応する位置に点を表示する。
　続いて、ステップＳ１６において、ペン側マイコン１６ｂは、ユーザによる入力が継続しているか否かを判定する。圧力センサ１３が圧力を検出している場合には、ペン側マイコン１６ｂは、ユーザによる入力が継続していると判定して、ステップＳ１１へ戻る。そして、前記のフローを繰り返すことによって、デジタルペン１０のペン先部１２の移動に追従して、表示部２１上におけるペン先部１２の位置に点が連続的に表示される。最終的には、デジタルペン１０のペン先部１２の軌跡に応じた文字が表示装置２０の表示面２１に表示される。
　一方、ステップＳ１５において、圧力センサ１３が圧力を検出していない場合には、ペン側マイコン１６ｂは、ユーザによる入力が継続していないと判定して、処理を終了する。
　こうして、表示装置２０が表示部２１上におけるデジタルペン１０の先端の軌跡を表示部２１に表示することによって、デジタルペン１０を用いた表示部２１への手書き入力を行うことができる。
　尚、以上では、文字を記入する場合について説明したが、表示制御システム１００の使い方は、これに限られるものでない。文字に限らず、数字、記号及び図形等を記入できることはもちろんのことであるが、デジタルペン１０を消しゴムのように用いて、表示部２１に表示された文字、図形等を消すこともできる。つまり、前記の例では、表示部２１における位置情報に対応する位置に点を表示しているが、当該位置の点を消去するようにすればよい。さらには、デジタルペン１０をマウスのように用いて、表示部２１に表示されるカーソルを移動させたり、表示部２１に表示されるアイコンを選択したりすることもできる。
　［６．実施形態の効果］
　以上のように本実施形態によると、指示装置１０が有する読取部１５における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。これにより、ブラックマトリクスのパターンが予め除去された撮像画像が得られるので、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になる。したがって、位置を特定するための画像認識処理に要する時間が格段に短縮されるので、デジタルペン１０の動きに対するレスポンスが大幅に改善される。
  すなわち、本実施形態では、表示部２１を有する表示装置２０に対して、デジタルペン１０によって、表示部２１上の位置が指示される。表示部２１では、画素領域がブラックマトリクスによって区画されている。デジタルペン１０において、読取部１５が、表示部２１における平面位置を表すドットパターンを含む画像を撮像する。この読取部１５の光学系１５ａの解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。このため、読取部１５によって、ブラックマトリクスが予め除去された撮像画像を得ることができる。すなわち、読取部１５の光学系１５ａの解像度を低くすることによって、ドットパターンを含む撮像画像から、ブラックマトリクスを予め除去することができる。これにより、ドットパターンを含む撮像画像に対して、ブラックマトリクスを除去するための画像処理が不要になるので、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン１０の動きに対するレスポンスが大幅に改善される。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
　そこで、以下、他の実施の形態を例示する。
　実施形態では、指示装置の一例として、光学式デジタルペンを説明した。指示装置は、表示装置の表示部上の位置を指示するためのものであり、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えていればよい。したがって、指示装置は、光学式デジタルペンに限定されない。また、指示部や読取部の構成は、実施形態で示したものに限られるものではない。
　また、実施形態では、位置情報パターンの一例として、ドットパターンを説明した。位置情報パターンは、表示装置の表示部に形成されており、表示部における平面位置を表すものであればよい。したがって、位置情報パターンは、ドットパターンに限定されない。また、位置座標の表し方や単位エリアの分割形態などについても、実施形態に示したものに限られるものではない。
　また、ドット３３は、カラーフィルタ３０に設けられているが、これに限られるものではない。ドット３３は、ガラス基板２５や偏光フィルタ２６に設けられていてもよい。さらには、表示パネル２４は、ドット３３が形成された、カラーフィルタ３０、ガラス基板２５及び偏光フィルタ２６とは別のシートを備える構成であってもよい。
　なお、実施形態では、図４に示す構成のデジタルペン１０を例にとって説明したが、これに限られるものでない。例えば、読取部の光学系として、複数のレンズが組み合わされた構成であってもよい。
　また、特定部について、実施形態では、デジタルペン１０に設けられているものとしたが、特定部は表示装置２０に設けてもよいし、デジタルペン１０および表示装置２０とは別個の制御装置として、設けてもかまわない。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、レスポンスの良い手書き入力を実現できる表示制御システムに適用可能である。具体的には、タブレット、スマートフォン、ノートＰＣなどに、本開示は適用可能である。
１０　デジタルペン（指示装置）
１２　ペン先部（指示部）
１５　読取部
１５ａ　対物レンズ（光学系）
２０　表示装置
２１　表示部
２４　表示パネル
１００　表示制御システム

Claims (5)

  1. 　表示部を有する表示装置と、前記表示部上の位置を指示するための指示装置とを備え、前記指示装置によって指示された位置に応じた表示制御を行う表示制御システムであって、
    　前記表示装置の前記表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、
    　前記指示装置は、
    　前記表示部上の位置を指示するための指示部と、
    　前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
    　前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低い
    表示制御システム。
  2. 　請求項１記載の表示制御システムにおいて、
    　前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のいずれよりも、低い
    表示制御システム。
  3. 　請求項１記載の表示制御システムにおいて、
    　前記表示装置において、前記位置情報パターンは、前記読取部における光学系の解像度よりも低い空間周波数を有するように、形成されている
    表示制御システム。
  4. 　画素領域がブラックマトリクスによって区画された表示部を有し、前記表示部に平面位置を表す位置情報パターンが形成されている表示装置に対して、前記表示部上の位置を指示するための指示装置であって、
    　前記表示部上の位置を指示するための指示部と、
    　前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
    　前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低い
    指示装置。
  5. 　表示部を有しており、指示装置によって指示された位置に応じた表示制御を行う表示制御システムにおいて用いられる表示パネルであって、
    　前記表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、
    　前記指示装置は、
    　前記表示部上の位置を指示するための指示部と、
    　前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
    　前記表示部において、前記ブラックマトリクスは、縦方向および横方向における空間周波数のうち少なくともいずれか１つが、前記読取部における光学系の解像度よりも高くなるように形成されており、かつ、前記位置情報パターンは、前記読取部における光学系の解像度よりも低い空間周波数を有するように、形成されている
    表示パネル。
PCT/JP2013/002709 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル WO2013161262A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013539833A JP5420807B1 (ja) 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル
CN201380000921.1A CN103649887A (zh) 2012-04-26 2013-04-22 显示控制系统、指示装置以及显示面板
US14/049,009 US9442653B2 (en) 2012-04-26 2013-10-08 Display control system, pointer, and display panel

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-101735 2012-04-26
JP2012101735 2012-04-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/049,009 Continuation US9442653B2 (en) 2012-04-26 2013-10-08 Display control system, pointer, and display panel

Publications (1)

Publication Number Publication Date
WO2013161262A1 true WO2013161262A1 (ja) 2013-10-31

Family

ID=49482605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002709 WO2013161262A1 (ja) 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル

Country Status (4)

Country Link
US (1) US9442653B2 (ja)
JP (1) JP5420807B1 (ja)
CN (1) CN103649887A (ja)
WO (1) WO2013161262A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665193B2 (en) 2014-12-22 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Display panel and display control system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141104A (ja) * 1993-11-19 1995-06-02 Sharp Corp 座標入力装置、座標特定情報の表示装置および方法ならびに座標特定情報表示板
JP2002196875A (ja) * 2000-10-19 2002-07-12 Canon Inc 座標入力装置、座標入力方法および座標入出力装置、座標入出力部、座標板
JP2006127081A (ja) * 2004-10-28 2006-05-18 Seiko Epson Corp 情報表示装置、位置指示装置および位置検出システム
JP2009134706A (ja) * 2007-10-30 2009-06-18 Kenji Yoshida コードパターン

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3908193A (en) * 1972-11-27 1975-09-23 Albert Macovski Color television encoding and decoding system
US6966495B2 (en) 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
SE0102253L (sv) 2001-06-26 2002-12-27 Anoto Ab Läspenna
JP2004246433A (ja) * 2003-02-12 2004-09-02 Hitachi Ltd データ入力システム
US6962450B2 (en) * 2003-09-10 2005-11-08 Hewlett-Packard Development Company L.P. Methods and apparatus for generating images
US7134606B2 (en) * 2003-12-24 2006-11-14 Kt International, Inc. Identifier for use with digital paper
GB0402022D0 (en) * 2004-01-30 2004-03-03 Hewlett Packard Development Co Method of obtaining at least a portion ofa document
US20060097997A1 (en) * 2004-10-21 2006-05-11 Borgaonkar Shekhar R Method and system for capturing data using a digital pen
JP4522249B2 (ja) * 2004-12-17 2010-08-11 キヤノン株式会社 撮像装置
US7528848B2 (en) * 2005-06-30 2009-05-05 Microsoft Corporation Embedded interaction code decoding for a liquid crystal display
JP2007079943A (ja) * 2005-09-14 2007-03-29 Toshiba Corp 文字読取プログラム、文字読取方法および文字読取装置
JP2007226577A (ja) 2006-02-23 2007-09-06 Dainippon Printing Co Ltd デジタルペンを利用したデータ入力処理システム、端末装置およびコンピュータプログラム
US8842076B2 (en) * 2008-07-07 2014-09-23 Rockstar Consortium Us Lp Multi-touch touchscreen incorporating pen tracking
EP2430510A2 (en) * 2009-05-15 2012-03-21 Polyvision Corporation Electronic display systems having mobile components
US20130148115A1 (en) * 2011-12-12 2013-06-13 Yoav Berlatzky Optical system and method for inspection of patterned samples

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141104A (ja) * 1993-11-19 1995-06-02 Sharp Corp 座標入力装置、座標特定情報の表示装置および方法ならびに座標特定情報表示板
JP2002196875A (ja) * 2000-10-19 2002-07-12 Canon Inc 座標入力装置、座標入力方法および座標入出力装置、座標入出力部、座標板
JP2006127081A (ja) * 2004-10-28 2006-05-18 Seiko Epson Corp 情報表示装置、位置指示装置および位置検出システム
JP2009134706A (ja) * 2007-10-30 2009-06-18 Kenji Yoshida コードパターン

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665193B2 (en) 2014-12-22 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Display panel and display control system

Also Published As

Publication number Publication date
US9442653B2 (en) 2016-09-13
US20140035880A1 (en) 2014-02-06
JPWO2013161262A1 (ja) 2015-12-21
CN103649887A (zh) 2014-03-19
JP5420807B1 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
WO2013161246A1 (ja) 表示制御システム、表示装置及び表示パネル
WO2013035319A1 (ja) 表示パネル、表示装置及び表示制御システム
JP2013532860A (ja) 符号化パターンを備えるディスプレイ
US20110304548A1 (en) Mouse provided with a dot pattern reading function
JP5834255B2 (ja) 表示装置および表示制御システム
US20140362054A1 (en) Display control system and reading device
JP5468159B2 (ja) 表示装置、及び表示制御システム
JP5553920B2 (ja) 表示パネルおよび表示装置
US9128538B2 (en) Optical film, display panel, and display device
JP5420807B1 (ja) 表示制御システム、指示装置および表示パネル
WO2013161245A1 (ja) 表示制御システム、表示装置及び表示パネル
JP2014041602A (ja) 情報読取装置
JPWO2014038118A1 (ja) 表示装置および表示制御システム
JP6048165B2 (ja) コンピュータ装置、電子ペンシステム、及びプログラム
US20160364039A1 (en) Optical film, display panel, and display device
JP2014199525A (ja) コンピュータ装置及びプログラム
US20160349422A1 (en) Optical film, display panel, and display device
US9569013B2 (en) Coordinate detection system, information processing apparatus, and recording medium
WO2016132732A1 (ja) 表示パネル
WO2014017039A1 (ja) 情報読取装置
WO2013161261A1 (ja) 表示制御システムおよび指示装置
KR101385771B1 (ko) 디스플레이 장치의 화면에 표시된 코드 판독 방법, 코드 판독 방법이 실행되는 리더기, 및 디스플레이 장치를 구비하는 전자 기기
JP2013020402A (ja) コンピュータ装置、ストローク表示システム及びプログラム
JP2015187830A (ja) 表示制御システム
JP2014002190A (ja) コンピュータ装置及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013539833

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13781924

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13781924

Country of ref document: EP

Kind code of ref document: A1