WO2015111402A1 - 位置検出装置、位置検出システム、及び、位置検出方法 - Google Patents

位置検出装置、位置検出システム、及び、位置検出方法 Download PDF

Info

Publication number
WO2015111402A1
WO2015111402A1 PCT/JP2015/000238 JP2015000238W WO2015111402A1 WO 2015111402 A1 WO2015111402 A1 WO 2015111402A1 JP 2015000238 W JP2015000238 W JP 2015000238W WO 2015111402 A1 WO2015111402 A1 WO 2015111402A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
indicator
image
distance
light
Prior art date
Application number
PCT/JP2015/000238
Other languages
English (en)
French (fr)
Inventor
ヒオウ グウェン，
トルモド ニュルスタッド，
ババク モサカニ，
カロル マルチン ポラック，
健児 田中
久保田　真司
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to US15/110,297 priority Critical patent/US10429994B2/en
Priority to KR1020167022516A priority patent/KR101811794B1/ko
Priority to CN201580003532.3A priority patent/CN105874414B/zh
Priority to EP15740024.3A priority patent/EP3098697A4/en
Publication of WO2015111402A1 publication Critical patent/WO2015111402A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • the present invention relates to a position detection device, a position detection system, and a position detection method.
  • Patent Document 1 it is possible to accurately detect the designated position by detecting the light image of the light emitting pen from the photographed image. This is because the light of the light emitting pen coincides with the designated position.
  • the position on the operation surface actually indicated by the indicator may not be reflected in the captured image. In such a case, it has been difficult to accurately detect the indicated position.
  • the present invention has been made in view of the above-described circumstances, and it is an object of the present invention to make it possible to more accurately detect an indicated position of a pointer on an operation surface using a photographed image.
  • a position detection device includes an imaging unit configured to capture an operation surface, and a detection unit configured to detect an indicated position of an indicator based on a captured image of the imaging unit.
  • the detection unit detects, from the photographed image of the imaging unit, the reflected light in which the detection light is reflected by the indicator, and detects the position of the reflected light detected from the photographed image and the distance from the operation surface to the imaging unit. And determining an indication position of the indicator based on the information.
  • the designated position detected from the photographed image can be corrected and obtained based on the positional relationship between the imaging unit and the operation surface.
  • the instruction on the operation surface It is possible to detect the indicated position of the body more accurately.
  • the distance from the operation surface to the reflection position of the pointer based on a distance in a direction perpendicular to the operation surface from the operation surface to the reference position of the imaging unit. It is characterized by including an operation unit for obtaining a distance in a direction perpendicular to the operation surface. According to the present invention, it is possible to obtain the designated position on the operation surface based on the reflected light reflected at the position away from the operation surface.
  • a storage unit storing distance data indicating a distance in a direction perpendicular to the operation surface from the operation surface to the reflection position of the pointer, which is obtained by the arithmetic unit.
  • the detection unit determines the designated position of the pointer based on the distance data stored in the storage unit. According to the present invention, by using the distance data stored in the storage unit, it is not necessary to obtain the distance each time the position detection is performed, and the designated position on the operation surface can be detected promptly.
  • the present invention is characterized in that, in the position detection device, the projector is configured as a projector including a projection unit that projects an image on the operation surface, and the imaging unit captures an image of a projection range of the projection unit.
  • the pointing position can be detected corresponding to the operation performed on the operation surface on which the projector projects the image.
  • the operation control unit is provided with a calibration control unit that executes a calibration that associates the position in the captured image of the imaging unit with the position of the image projected by the projection unit.
  • the distance data may be generated based on the result of calibration performed by the calibration control unit.
  • by executing calibration distance data from the operation surface to the reflection position of the indicator can be generated. This makes it possible to accurately detect the indicated position after calibration and to determine the detected indicated position as a position in the projection image.
  • the present invention is characterized in that, in the above-mentioned position detection device, a distance measurement unit for obtaining a distance in a direction perpendicular to the operation surface from the operation surface to a reference position of the imaging unit is provided. According to the present invention, since it is possible to measure the distance from the operation surface to the reference position of the imaging unit, the pointed position can be determined more accurately.
  • the present invention is characterized in that, in the above-mentioned position detection device, a light emitting portion for emitting the detection light along the operation surface is provided. According to the present invention, the detection light is emitted from the position detection device, and the detection light is reflected by the indicator, whereby the indication position of the indicator having no light emitting function or the like can be detected.
  • a position detection system comprises a light emitting device for emitting detection light along an operation surface operated by an indicator, and a position detection for detecting an indicated position of the indicator.
  • the position detection device includes: an imaging unit configured to capture the operation surface; and a detection unit configured to detect an indicated position of the pointer based on a captured image of the imaging unit; The reflected light detected by the indicator is detected from the photographed image of the imaging unit, and the position of the reflected light detected from the photographed image and the distance from the operation surface to the imaging unit are detected. And obtaining an indication position of the indicator.
  • the designated position detected from the photographed image can be corrected and obtained based on the positional relationship between the imaging unit and the operation surface.
  • the instruction on the operation surface It is possible to detect the indicated position of the body more accurately.
  • a position detection method of the present invention is a position detection method for detecting a position indicated by an indicator on an operation surface, and the operation surface is photographed and detected by the indicator Detecting the reflected light from which the light is reflected from the photographed image, and determining the indicated position of the pointer based on the position of the reflected light detected from the photographed image and the distance from the operation surface to the photographed position; It features.
  • the designated position detected from the photographed image can be corrected and obtained based on the positional relationship between the imaging unit and the operation surface.
  • the instruction on the operation surface It is possible to detect the indicated position of the body more accurately.
  • the designated position detected from the photographed image can be corrected and determined based on the positional relationship between the imaging unit and the operation surface, and the designated position can be detected more accurately based on the photographed image.
  • FIG. 1 is a view showing the configuration of a projection system 1 (position detection system) according to an embodiment to which the present invention is applied.
  • the projection system 1 includes a projector 10 (position detection device) installed above the screen SC (projection surface, operation surface), and a light emitting device 60 (light emitting unit) installed above the screen SC.
  • the projector 10 is installed right above or obliquely above the screen SC, and projects an image toward the screen SC obliquely below.
  • the screen SC illustrated in the present embodiment is a flat plate or a curtain fixed to a wall surface or erected on a floor surface.
  • the invention is not limited to this example, and it is also possible to use a wall as the screen SC.
  • the projector 10 and the light emitting device 60 may be attached to the top of the wall surface used as the screen SC.
  • the projector 10 is connected to an external image supply device such as a PC (personal computer), a video reproduction device, a DVD reproduction device, etc., and an image is displayed on the screen SC based on analog image signals or digital image data supplied from the image supply device.
  • the projector 10 may be configured to read out image data stored in the built-in storage unit 110 (FIG. 2) or an externally connected storage medium, and display an image on the screen SC based on the image data.
  • the light emitting device 60 has a light source unit 61 (FIG. 2) made of a solid light source, diffuses light emitted by the light source unit 61 along the screen SC, and emits (diffuses) it.
  • the emission range of the light emitting device 60 is shown in FIG. 1 by an angle ⁇ .
  • the light emitting device 60 is disposed above the upper end of the screen SC and emits light downward in the range of the angle ⁇ , which forms a layer of light along the screen SC.
  • the angle ⁇ reaches approximately 180 degrees, and a light layer is formed on substantially the entire screen SC.
  • the surface of the screen SC and the light layer are preferably in close proximity, and in the present embodiment, the distance between the surface of the screen SC and the light layer is approximately in the range of 10 mm to 1 mm.
  • the light emitted from the light emitting device 60 is light outside the visible region, and in the present embodiment, it is infrared light.
  • the projection system 1 detects the pointing position by the projector 10 when the pointing operation on the screen SC is performed.
  • a pen-type indicator 70 can be used as an indicator used for the instruction operation.
  • the tip 71 of the indicator 70 incorporates the operation switch 75 (FIG. 2) that operates when pressed. Therefore, when the tip 71 is pressed against the wall or the screen SC, the operation switch 75 is turned on. become.
  • the user holds the rod-like shaft 72, and the tip 70 is brought into contact with the screen SC, and the tip 70 is pressed against the screen SC.
  • the distal end portion 71 includes a transmitting / receiving unit 74 (FIG. 2) that emits light.
  • the projector 10 detects the position of the distal end portion 71 as an indication position based on the light emitted by the indicator 70.
  • the light emitted from the indicator 70 is light outside the visible region, and in this embodiment, is infrared light.
  • the user when performing position designation operation with the indicator 80 which is a user's finger, the user brings a finger into contact with the screen SC. In this case, the position where the indicator 80 contacts the screen SC is detected. That is, when the tip (for example, a finger tip) of the indicator 80 contacts the screen SC, it blocks the light layer formed by the light emitting device 60. At this time, the light emitted from the light emitting device 60 strikes the indicator 80 and is reflected, and a part of the reflected light travels from the indicator 80 toward the projector 10.
  • the projector 10 has a function of detecting the light from the screen SC side, that is, the light from the lower side by the position detection unit 50 described later, and thus can detect the reflected light of the pointer 80.
  • the projector 10 detects an instruction operation on the screen SC by the indicator 80 by detecting the reflected light reflected by the indicator 80. Further, the projector 10 detects a designated position designated by the indicator 80. Since the layer of light emitted by the light emitting device 60 is close to the screen SC, the position where light is reflected in the indicator 80 can be regarded as the tip closest to the screen SC or the pointing position. Therefore, the pointing position can be specified based on the reflected light of the pointing body 80.
  • the projection system 1 functions as an interactive whiteboard system, detects an instruction operation performed by the user with the indicators 70 and 80, and reflects an indicated position on a projection image. Specifically, the projection system 1 performs a process of drawing a figure or disposing a character or a symbol at a designated position, a process of drawing a figure along a locus of the designated position, a drawn figure or a placed character or symbol Process etc. to delete
  • a figure drawn on the screen SC, a placed character or symbol can be stored as image data, and can be output to an external device.
  • it may operate as a pointing device by detecting the pointed position, and may output the coordinates of the pointed position in the image projection area where the projector 10 projects an image on the screen SC.
  • FIG. 2 is a functional block diagram of each part of the projection system 1.
  • the projector 10 includes an I / F (interface) unit 11 and an image I / F (interface) unit 12 as an interface connected to an external device.
  • the I / F unit 11 and the image I / F unit 12 may include a connector for wired connection, and may include an interface circuit corresponding to the connector. Further, the I / F unit 11 and the image I / F unit 12 may have a wireless communication interface.
  • As connectors and interface circuits for wired connection those compliant with wired LAN, IEEE 1394, USB and the like can be mentioned.
  • the wireless communication interface one conforming to a wireless LAN, Bluetooth (registered trademark) or the like can be mentioned.
  • the image I / F unit 12 can also use an interface for image data such as an HDMI (registered trademark) interface.
  • the image I / F unit 12 may include an interface to which audio data is input.
  • the I / F unit 11 is an interface that transmits and receives various data to and from an external device such as a PC.
  • the I / F unit 11 inputs and outputs control data related to image projection, setting data for setting the operation of the projector 10, coordinate data of a designated position detected by the projector 10, and the like.
  • the control unit 30 described later has a function of transmitting and receiving data to and from an external device through the I / F unit 11.
  • the image I / F unit 12 is an interface to which digital image data is input.
  • the projector 10 according to the present embodiment projects an image based on digital image data input via the image I / F unit 12.
  • the projector 10 may have a function of projecting an image based on an analog image signal.
  • the image I / F unit 12 converts an analog image interface and digital image data into an interface for an analog image. And an A / D conversion circuit.
  • the projector 10 includes a projection unit 20 that forms an optical image.
  • the projection unit 20 includes a light source unit 21, a light modulation device 22, and a projection optical system 23.
  • the light source unit 21 includes a light source including a xenon lamp, an extra-high pressure mercury lamp, an LED (Light Emitting Diode), or a laser light source.
  • the light source unit 21 may also include a reflector and an auxiliary reflector that guide the light emitted by the light source to the light modulation device 22. Furthermore, even if a lens group (not shown) for enhancing the optical characteristics of the projection light, a polarizing plate, or a light control element for reducing the amount of light emitted from the light source on the path to the light modulation device 22 is provided. Good.
  • the light modulation device 22 includes, for example, three transmissive liquid crystal panels corresponding to the three primary colors of RGB, and modulates light passing through the liquid crystal panels to generate image light.
  • the light from the light source unit 21 is separated into three color lights of RGB, and each color light is incident on the corresponding liquid crystal panel.
  • the color lights passing through the liquid crystal panels and modulated are combined by a combining optical system such as a cross dichroic prism, and the combined light is emitted to the projection optical system 23.
  • the projection optical system 23 includes a lens group that guides the image light modulated by the light modulator 22 toward the screen SC and forms an image on the screen SC.
  • the projection optical system 23 may include a zoom mechanism that performs enlargement / reduction and focus adjustment of a projected image of the screen SC, and a focus adjustment mechanism that performs focus adjustment.
  • the projection optical system 23 may be provided with a concave mirror that reflects the image light toward the screen SC.
  • a light source drive unit 45 for lighting the light source unit 21 according to the control of the control unit 30 and a light modulation device drive unit 46 for operating the light modulation device 22 under the control of the control unit 30 are connected to the projection unit 20.
  • the light source drive unit 45 may have a function of switching on / off of the light source unit 21 and adjusting the light amount of the light source unit 21.
  • the projector 10 includes an image processing system that processes an image projected by the projection unit 20.
  • the image processing system includes a control unit 30 that controls the projector 10, a storage unit 110, an operation detection unit 17, an image processing unit 40, a light source drive unit 45, and a light modulation device drive unit 46. Further, a frame memory 44 is connected to the image processing unit 40, and an attitude sensor 47, an emission device driving unit 48, and a position detection unit 50 are connected to the control unit 30. These units may be included in the image processing system.
  • the control unit 30 controls each unit of the projector 10 by executing a predetermined control program 111.
  • the storage unit 110 stores the control program 111 executed by the control unit 30 and the data processed by the control unit 30 in a non-volatile manner.
  • the storage unit 110 stores setting screen data 112 of a screen for setting the operation of the projector 10, and setting data 113 indicating contents set using the setting screen data 112.
  • the image processing unit 40 processes the image data input through the image I / F unit 12 according to the control of the control unit 30, and outputs an image signal to the light modulation device driving unit 46.
  • the processing performed by the image processing unit 40 includes 3D (stereoscopic) and 2D (planar) image discrimination processing, resolution conversion processing, frame rate conversion processing, distortion correction processing, digital zoom processing, color tone correction processing, brightness correction processing, and the like. is there.
  • the image processing unit 40 executes the processing specified by the control unit 30, and performs processing using parameters input from the control unit 30 as necessary. Of course, it is also possible to combine and execute a plurality of the above processes.
  • the image processing unit 40 is connected to the frame memory 44.
  • the image processing unit 40 expands the image data input from the image input I / F 12 in the frame memory 44, and executes the various processes described above on the expanded image data.
  • the image processing unit 40 reads out the processed image data from the frame memory 44, generates R, G, and B image signals corresponding to the image data, and outputs the image signals to the light modulation device driving unit 46.
  • the light modulation device drive unit 46 is connected to the liquid crystal panel of the light modulation device 22.
  • the light modulation device driving unit 46 drives the liquid crystal panel based on the image signal input from the image processing unit 40, and draws an image on each liquid crystal panel.
  • the operation detection unit 17 is connected to the remote control light receiving unit 18 functioning as an input device and the operation panel 19, and detects an operation via the remote control light reception unit 18 and the operation panel 19.
  • the remote control light receiving unit 18 receives the infrared signal transmitted by the remote control (not shown) used by the user of the projector 10 in response to the button operation, by the remote control light receiving unit 18.
  • the remote control light receiving unit 18 decodes the infrared signal received from the remote control, generates operation data indicating an operation content of the remote control, and outputs the operation data to the control unit 30.
  • the operation panel 19 is provided on the exterior housing of the projector 10 and has various switches and indicator lamps.
  • the operation detection unit 17 appropriately turns on and off the indicator lamp of the operation panel 19 according to the operation state and the setting state of the projector 10 according to the control of the control unit 30.
  • operation data corresponding to the operated switch is output from the operation detection unit 17 to the control unit 30.
  • the emitting device drive unit 48 is connected to the light emitting device 60 via the connection unit 49.
  • the connection portion 49 is, for example, a connector having a plurality of pins, and the light emitting device 60 is connected to the connection portion 49 via the cable 60 a.
  • the emitting device driving unit 48 generates a pulse signal according to the control of the control unit 30, and outputs the pulse signal to the light emitting device 60 through the connection unit 49.
  • the emitting device drive unit 48 supplies power to the light emitting device 60 via the connection unit 49.
  • the light emitting device 60 is configured by housing a light source unit 61 and an optical component in a substantially box-shaped case as shown in FIG.
  • the light source unit 61 includes a solid light source 62 that emits infrared light.
  • the infrared light emitted by the solid state light source 62 is diffused by the collimating lens and the Powell lens to form a surface along the screen SC.
  • the light source unit 61 may include a plurality of solid light sources, and the light emitted from the plurality of solid light sources may be diffused to form a light layer so as to cover the image projection range of the screen SC.
  • the light emitting device 60 may include an adjustment mechanism that adjusts the distance or angle between the layer of light emitted by the light source unit 61 and the screen SC.
  • the light emitting device 60 lights the light source unit 61 by the pulse signal and the power supplied from the emitting device drive unit 48.
  • the emission device drive unit 48 controls the timing at which the light source unit 61 is turned on and off.
  • the control unit 30 controls the emitting device driving unit 48 to light the light source unit 61 in synchronization with the timing at which the imaging unit 51 described later performs shooting.
  • the position detection unit 50 detects an operation on the screen SC by the indicators 70 and 80.
  • the position detection unit 50 includes an imaging unit 51, a transmission unit 52, an imaging control unit 53, an indicator detection unit 54, and a coordinate calculation unit 55.
  • the imaging unit 51 includes an imaging optical system, an imaging element, an interface circuit, and the like, and images the projection direction of the projection optical system 23.
  • the imaging optical system of the imaging unit 51 is disposed to face substantially the same direction as the projection optical system 23, and has an angle of view including a range (projection range) in which the projection optical system 23 projects an image on the screen SC.
  • examples of the imaging device include a CCD and a CMOS that receive light in an infrared region and a visible light region.
  • the imaging unit 51 may include a filter that blocks part of light incident on the imaging device. For example, in the case of receiving infrared light, a filter that mainly transmits light in the infrared region may be provided in front of the imaging device. It may be arranged in Further, the interface circuit of the imaging unit 51 reads and outputs the detection value of the imaging device.
  • the imaging control unit 53 causes the imaging unit 51 to execute imaging to generate captured image data.
  • an image projected on the screen SC is captured.
  • the imaging control unit 53 causes the imaging unit 51 to capture infrared light as described above. In the photographed image in this case, infrared light (infrared signal) emitted by the indicator 70 and reflected light reflected by the indicator 80 appear.
  • the indicator detection unit 54 detects the indicated position of the indicators 70 and 80 based on the photographed image data photographed by the photographing control unit 53.
  • the pointer detection unit 54 is an image of infrared light emitted from the pointer 70 and / or a pointer from the photographed image data when the photographing control unit 53 causes the imaging unit 51 to perform photographing of the infrared light.
  • the image of the reflected light reflected to 80 is detected.
  • the indicator detection unit 54 may determine whether the detected image is an image of light emitted by the indicator 70 or an image of reflected light of the indicator 80.
  • the coordinate calculation unit 55 calculates the coordinates of the designated position of the indicators 70 and 80 in the photographed image data based on the position of the image detected by the indicator detection unit 54, and outputs the coordinate to the control unit 30.
  • the coordinate calculation unit 55 may also calculate the coordinates of the designated position of the indicators 70 and 80 in the projection image projected by the projection unit 20 and output the calculated coordinates to the control unit 30.
  • the coordinate calculation unit 55 controls the coordinates of the designated position of the indicators 70 and 80 in the image data drawn by the image processing unit 40 in the frame memory 44 and the indicators 70 and 80 in the input image data of the image I / F unit 12.
  • the coordinates of the indicated position of may be calculated.
  • the transmission unit 52 transmits an infrared signal to the indicator 70 according to the control of the indicator detection unit 54.
  • the transmission unit 52 includes a light source such as an infrared LED, and turns on and off the light source according to the control of the pointer detection unit 54.
  • the pointer 70 includes a control unit 73, a transmission / reception unit 74, an operation switch 75, and a power supply unit 76, and these units are accommodated in the shaft unit 72 (FIG. 1).
  • the control unit 73 is connected to the transmission / reception unit 74 and the operation switch 75, and detects the on / off state of the operation switch 75.
  • the transmitting and receiving unit 74 includes a light source such as an infrared LED and a light receiving element for receiving infrared light, turns on and off the light source according to the control of the control unit 73, and controls the signal indicating the light receiving state of the light receiving element. Output to 73.
  • the power supply unit 76 has a dry cell or a secondary battery as a power supply, and supplies power to the control unit 73, the transmission / reception unit 74, and each part of the operation switch 75.
  • the indicator 70 may include a power switch that turns on / off the power supply from the power unit 76.
  • the control unit 30 controls the indicator detection unit 54 to cause the transmission unit 52 to transmit a synchronization signal. That is, the indicator detection unit 54 turns on the light source of the transmission unit 52 at a predetermined cycle according to the control of the control unit 30.
  • the infrared light periodically emitted by the transmission unit 52 functions as a synchronization signal for synchronizing the position detection unit 50 and the pointer 70.
  • the control unit 73 causes the transmission / reception unit 74 to receive infrared light emitted by the transmission unit 52 of the projector 10 after the supply of power from the power supply unit 76 is started and a predetermined initialization operation is performed.
  • the control unit 73 causes the light source of the transmitting and receiving unit 74 to light in a predetermined lighting pattern in synchronization with the timing of the infrared light. (Emit light)
  • the lighting pattern corresponds to lighting of the light source and turning off of the light source on and off of the data, and represents data unique to the indicator 70.
  • the control unit 73 turns on and off the light source in accordance with the on and off times of the set pattern. While the power is supplied from the power supply unit 76, the control unit 73 repeatedly executes the above pattern. That is, the position detection unit 50 periodically transmits an infrared signal for synchronization to the indicator 70, and the indicator 70 is an infrared signal preset in synchronization with the infrared signal transmitted by the position detection unit 50. Send
  • the imaging control unit 53 of the position detection unit 50 performs control to match the imaging timing of the imaging unit 51 with the timing at which the indicator 70 is lit.
  • the photographing timing is determined based on the timing at which the pointer detection unit 54 turns on the transmission unit 52.
  • the indicator detection unit 54 can specify a pattern in which the indicator 70 is turned on, depending on whether the light image of the indicator 70 appears in the captured image data of the imaging unit 51.
  • the pattern in which the indicator 70 lights can be a pattern unique to each individual of the indicator 70, or a pattern common to a plurality of indicators 70 and a pattern unique to each individual. In this case, when the captured image data includes images of infrared light emitted by the plurality of indicators 70, the indicator detection unit 54 can distinguish each image as an image of a different indicator 70.
  • control unit 30 controls the emitting device driving unit 48 to synchronize the lighting timing of the light source unit 61 with the imaging timing of the imaging unit 51.
  • the light source unit 61 is pulse-lit at the imaging timing of the imaging unit 51, the reflected light of the indicator 80 appears in the captured image of the imaging unit 51 when the indicator 80 points on the screen SC. If the light source unit 61 is turned on in a pattern distinguishable from the lighting timing of the indicator 70, the indicator detection unit 54 determines whether the image shown in the photographed image data is the indicator 70 or the indicator 80. it can.
  • the lighting timing of the light source unit 61 will be described later with reference to FIG.
  • control unit 73 included in the indicator 70 switches the pattern for lighting the transmission / reception unit 74 according to the operation state of the operation switch 75. For this reason, the pointer detection unit 54 can determine, based on the plurality of pieces of photographed image data, the operation state of the pointer 70, that is, whether or not the tip 71 is pressed against the screen SC.
  • the attitude sensor 47 is configured by an acceleration sensor, a gyro sensor, or the like, and outputs a detected value to the control unit 30.
  • the posture sensor 47 is fixed to the main body of the projector 10 so that the installation direction of the projector 10 can be identified. As shown in FIG. 1, the projector 10 is installed in a state where it is projected from below the screen SC, and a horizontal surface such as a top surface of a desk is used as the screen SC, in addition to hanging installation suspended from a wall or ceiling. It can be used by the state etc. Depending on the installation state of the projector 10, it may not be suitable for use of the light emitting device 60.
  • the posture sensor 47 is provided on the main body of the projector 10 so that a plurality of installation states assumed as the installation state of the projector 10 can be identified.
  • the posture sensor 47 is configured using, for example, a two-axis gyro sensor, a one-axis gyro sensor, an acceleration sensor, or the like.
  • the control unit 30 can automatically determine the installation state of the projector 10 based on the output value of the posture sensor 47. When the control unit 30 determines that the installation state is not suitable for use of the light emitting device 60, for example, the light emitting device driving unit 48 stops the output of the power supply voltage or the pulse signal.
  • the distance measuring unit 59 measures the distance L (FIG. 6) from the reference position of the imaging unit 51 to the screen SC.
  • the specific configuration of the distance measuring unit 59 and the method of measuring the distance L by the distance measuring unit 59 include several examples. For example, there is a method of installing a slave (not shown) for distance measurement on a wall or a ceiling to which the screen SC is attached.
  • the slave unit is configured separately from the projector 10.
  • the distance measuring unit 59 has a configuration for transmitting and receiving ultrasonic waves, laser light and radio signals to and from the slave, and includes, for example, a transmitter and a receiver, a light source and a light receiver, or a transceiver.
  • the slave unit has a configuration for transmitting and receiving an ultrasonic wave, a laser beam, and a radio signal to and from the distance measuring unit 59, and is, for example, a receiver, a transmitter, a mirror, and a transceiver.
  • the distance between the slave unit and the distance measurement unit 59 is determined by transmitting and receiving ultrasonic waves, laser light, and radio signals between the distance measurement unit 59 and the slave unit provided in the main body of the projector 10, and this distance
  • the distance L can be determined based on In this case, the function and offset amount corresponding to the positional relationship between the slave unit and the surface (operation surface) of the screen SC and the positional relationship between the distance measuring unit 59 and the reference position (described later) of the imaging unit 51 are determined.
  • the distance measurement unit 59 includes a measurement jig that can expand and contract, and the distance L can be measured by extending the measurement jig from the projector 10 to the screen SC side.
  • the distance measuring unit 59 includes an expandable and contractible jig, and a detector such as a linear encoder or a rotary encoder that detects the amount of extension of the jig.
  • the distance measuring unit 59 executes the measurement operation according to the control of the control unit 30, and outputs the result of the measurement operation to the control unit 30.
  • the control unit 30 reads out and executes the control program 111 stored in the storage unit 110, whereby the projection control unit 31, the detection control unit 32, the emission control unit 33, the distance calculation unit 37 (calculation unit), and the calibration control The functions of the unit 39 are realized, and each unit of the projector 10 is controlled.
  • the projection control unit 31 acquires the content of the operation performed by the user based on the operation data input from the operation detection unit 17.
  • the projection control unit 31 controls the image processing unit 40, the light source drive unit 45, and the light modulation device drive unit 46 according to the operation performed by the user to project an image on the screen SC.
  • the projection control unit 31 controls the image processing unit 40 to discriminate the 3D (stereoscopic) image and the 2D (planar) image described above, resolution conversion processing, frame rate conversion processing, distortion correction processing, digital zoom processing, color tone correction Execute processing, brightness correction processing, etc. Further, the projection control unit 31 controls the light source drive unit 45 in accordance with the processing of the image processing unit 40, and controls the light amount of the light source unit 21.
  • the detection control unit 32 controls the position detection unit 50 to execute detection of the operation position of the indicators 70 and 80, and acquires coordinates of the operation position. Further, the detection control unit 32 acquires, together with the coordinates of the operation position, data identifying whether the position is the operation position of the indicator 70 or the operation position of the indicator 80, and data indicating the operation state of the operation switch 75. Do.
  • the detection control unit 32 executes a preset process based on the acquired coordinates and data. For example, the image processing unit 40 draws a figure based on the acquired coordinates, and superimposes the drawn figure on the input image input to the image I / F unit 12 and projects the figure.
  • the detection control unit 32 may also output the acquired coordinates to an external device such as a PC connected to the I / F unit 11.
  • the detection control unit 32 converts the acquired coordinates into a data format recognized as input of a coordinate input device in the operating system of an external device connected to the I / F unit 11 and outputs the converted data.
  • a PC operating with the Windows (registered trademark) operating system is connected to the I / F unit 11
  • the operating system outputs data to be processed as input data of a human interface device (HID).
  • the detection control unit 32 outputs, together with the data of the coordinates, data for identifying whether the operating position of the indicator 70 or the operating position of the indicator 80 and data indicating the operating state of the operating switch 75. May be
  • the detection control unit 32 controls position detection using the indicator 80. Specifically, the detection control unit 32 determines whether the light emitting device 60 can be used based on the presence or absence of the connection of the light emitting device 60. When the light emitting device 60 can not be used, the detection control unit 32 sets the use of the light emitting device 60 to be disabled. Here, the detection control unit 32 may notify that the light emitting device 60 can not be used.
  • the emission control unit 33 controls the emission device drive unit 48 to execute or stop the output of the power supply and the pulse signal to the light emission device 60 connected to the connection unit 49.
  • the emission control unit 33 controls the detection control unit 32 to stop the output of the power supply of the emission device drive unit 48 and the pulse signal when the light emission device 60 can not be used or is not used.
  • the emission control unit 33 causes the power of the emitting device drive unit 48 to output a pulse signal.
  • the distance calculation unit 37 the calibration control unit 39 in performing the manual calibration of the indicator 80 as will be described later, from the results of the manual calibration, to calculate the distance L D to be described later. Details of the calculation performed by the distance calculation unit 37 will be described later.
  • the calibration control unit 39 detects the indicated positions of the indicator 70 and the indicator 80, and executes calibration for converting the coordinates in the input image of the image I / F unit 12.
  • the calibration is performed as one of the initial settings when the projector 10 is first used.
  • the calibration is, for example, processing for correlating the position in the image drawn by the frame memory 44 and projected by the projection unit 20 with the position in the photographed image data photographed by the imaging unit 51.
  • the designated positions of the indicators 70 and 80 detected by the position detection unit 50 from the photographed image data are positions in the photographed image data, and are indicated by, for example, coordinates in a coordinate system set in the photographed image.
  • the user gives an instruction with the indicators 70 and 80 while conscious of the projection image projected on the screen SC. Therefore, the projector 10 needs to specify the designated position for the projection image on the screen SC.
  • the coordinates of the position detected in the photographed image data can be converted into the coordinates on the projection image data.
  • the data to be associated is set as calibration data.
  • the calibration data is data that associates the coordinates on the photographed image data output by the photographing control unit 53 with the coordinates on the projection image. Specifically, it may be a table in which coordinates on photographed image data are associated with coordinates on projected image on a one-to-one basis, or a function for converting coordinates on photographed image data to coordinates on projected image May be
  • the calibration control unit 39 performs calibration according to the type of indicator. That is, two calibrations are performed: detection of the indication position of the indicator 70 and calibration of the detection of the indication position of the indicator 80.
  • the calibration control unit 39 can execute auto calibration and manual calibration as calibration regarding the designated position of the indicator 70.
  • the auto calibration is a process of projecting an image for auto calibration on the screen SC, capturing an image by the imaging unit 51, and generating calibration data using captured image data.
  • the auto calibration is a process that the projector 10 can automatically execute, and does not require the user to operate the indicators 70 and 80.
  • the auto calibration can be performed not only when the user instructs execution with the remote control or the operation panel 19 but also at timing controlled by the control unit 30. For example, it may be performed at the start of the operation immediately after the projector 10 is turned on, or may be performed during the normal operation described later.
  • An auto calibration image 121 projected by auto calibration is stored in advance in the storage unit 110.
  • FIG. 3 shows an example of the auto calibration image 121.
  • the auto calibration image 121 a plurality of marks are arranged at predetermined intervals.
  • FIG. 4 shows an example of photographed image data in which the auto calibration image 121 projected on the screen SC is photographed by the imaging unit 51. Since the photographed image data of the imaging unit 51 is photographed from diagonally above the screen SC when the projector 10 is suspended and installed as shown in FIG. 1, the photographed image data becomes a distorted image.
  • FIG. 3 exemplifies the rectangular auto calibration image 121 in which the marks are arranged at equal intervals, in the photographed image data of FIG. 4, an image of a distorted shape is captured, and the interval of the marks arranged inside of this image is , The position of the mark is different.
  • the calibration control unit 39 operates the image processing unit 40 and the projection unit 20 based on the auto calibration image 121 stored in the storage unit 110 by the function of the projection control unit 31 so that the auto calibration image 121 is Project on screen SC.
  • the calibration control unit 39 controls the position detection unit 50 to cause the imaging unit 51 to perform imaging, and acquires captured image data.
  • the photographed image data is temporarily stored in the memory (not shown) from the photographing control unit 53 and output to the control unit 30.
  • the calibration control unit 39 detects the mark from the photographed image data, and acquires the barycentric position of each mark as the coordinate value of the mark.
  • the calibration control unit 39 associates the mark detected from the photographed image data with the projection image drawn in the frame memory 44, that is, the mark of the auto calibration image 121.
  • the calibration control unit 39 creates the automatic calibration data 123 in the form of a table or a function by associating the coordinate values of the mark in the captured image with the coordinate values of the mark in the projection image.
  • the coordinate values of the projected image of the mark of the auto calibration image 121 are stored in the storage unit 110 together with the auto calibration image 121 or included in the auto calibration image 121 in advance.
  • the calibration control unit 39 updates the auto calibration data 123 when the auto calibration data 123 is already stored.
  • the calibration control unit 39 performs one calibration to create or update one auto calibration data 123.
  • the calibration control unit 39 may use a plurality of auto calibration images 121 in one auto calibration. For example, a plurality of auto calibration images 121 having different mark arrangement states such as the number of marks, the mark size, the mark shape, and the mark position may be used.
  • the calibration control unit 39 performs imaging and coordinate correspondence for a plurality of times using a plurality of auto calibration images 121, integrates the obtained result of the correspondence, and more accurate auto calibration data 123. You may create
  • the manual calibration is a process of projecting an image for manual calibration on the screen SC, detecting an operation of the pointer 70 corresponding to the projected image, and generating manual calibration data.
  • FIG. 5 shows an example of the manual calibration image 122.
  • the manual calibration image 122 includes a mark indicating an indicated position, in order to instruct the user with the indicator 70.
  • a plurality of indication marks (o) are arranged, and the user indicates the position of the mark with the indicator 70.
  • the manual calibration image 122 includes a plurality of marks, which are projected one by one on the screen SC. For this reason, the manual calibration image 122 is specifically configured by a combination of a plurality of images having different numbers of marks. Every time a mark is displayed on the screen SC, the user designates the newly displayed mark with the indicator 70.
  • the calibration control unit 39 detects the designated position each time the user performs an operation. Then, the calibration control unit 39 associates the designated position detected in the photographed image with the projection image drawn in the frame memory 44, that is, the mark of the manual calibration image 122.
  • the calibration control unit 39 creates the manual calibration data 124 by correlating the coordinate value of the designated position detected in the photographed image data with the coordinate value of the mark on the projection image.
  • the manual calibration data 124 may be in the same data format as the auto calibration data 123, but may be correction data for correcting the auto calibration data 123.
  • the auto calibration data 123 is data for converting coordinates on a photographed image into coordinates on a projection image.
  • the manual calibration data 124 is data for further correcting the coordinates after conversion using the auto calibration data 123.
  • the calibration control unit 39 can perform auto calibration or manual calibration when performing calibration regarding detection of the indication position of the indicator 70.
  • the storage unit 110 stores auto calibration data 123 generated in the past, auto calibration and manual calibration can be selected and executed.
  • the calibration control unit 39 updates the auto calibration data 123 of the storage unit 110.
  • the manual calibration data 124 is generated or updated.
  • the auto calibration data 123 is not stored in the storage unit 110, it is necessary to execute the auto calibration. This is because the manual calibration data 124 can not be used when the auto calibration data 123 is not stored.
  • the calibration control unit 39 can perform calibration related to the detection of the indication position of the indicator 80 in the same manner as the manual calibration of the indicator 70.
  • the manual calibration relating to the indicator 80 data for correcting the designated position detected from the photographed image data of the position detection unit 50 so as to eliminate an error specific to the indicator 80 is acquired. This point will be described.
  • FIG. 6 and FIG. 7 are explanatory diagrams showing the state of detecting the designated position of the indicators 70, 80.
  • FIG. FIG. 6 is a side view of the projection system 1
  • FIG. 7 is an enlarged view of an essential part in the vicinity of the screen SC.
  • FIG. 7 (A) is an enlarged view in the case of detecting the indicated position of the indicator 70
  • FIG. 7 (B) is an enlarged view in the case of detecting the indicated position of the indicator 80.
  • the projector 10 is installed above the screen SC, and the imaging unit 51 shoots over the screen SC from a distant position on the front side of the screen SC.
  • the imaging direction of the imaging unit 51 is indicated by an arrow PA in FIGS. 7 (A) and 7 (B).
  • the distance L is a distance from the surface (operation surface) of the screen SC to the reference position of the imaging unit 51 in the direction perpendicular to the screen SC.
  • the reference position of the imaging unit 51 can be the position of the lens of the imaging unit 51, it may be a predetermined position in the lens group of the imaging unit 51, or may be a light receiving surface of the imaging device.
  • the detection light LC light emitting device 60 provided on the top of the screen SC is emitted is substantially parallel to the surface of the screen SC, the distance from the screen SC of the predetermined (hereinafter, the distance L D) are separated by .
  • the distance L D is the distance between the surface of the screen SC and the detection light LC in the direction perpendicular to the screen SC. Although the distance L D changes depending on the mounting position of the light emitting device 60 with respect to the screen SC, it is difficult to make the distance L D zero because of the structure.
  • infrared light is radiate
  • the light emitting position 70a is very close to the contact point 70b at which the indicator 70 contacts the screen SC. For this reason, if the image of the light emitted by the indicator 70 is detected in the captured image data captured by the imaging unit 51, the position of the detected image can be regarded as the position of the contact point 70b.
  • the reflected light that the detection light LC has reflected by the indicator 80 is detected.
  • the detection light LC is separated from the screen SC by a distance L D
  • reflection position 80a which detects light LC is reflected, as shown in FIGS. 6 and FIG. 7 (B)
  • the pointer 80 and the screen SC of the surface A distance L D is separated from the contact position 80b. Therefore, in the captured image data of the imaging unit 51, the position of the reflected light is the same position as the light emitted at a point 80c obtained by extending the imaging direction PA of the imaging unit 51 to the screen SC.
  • the position detection unit 50 detects the indication position of the indicator 80 in the same manner as the indication member 70, the indication position is detected as a point 80c when the contact position 80b is indicated, and a shift occurs. This deviation is taken as an error Err.
  • Error Err is due to the fact that the detection light LC are separated by a distance L D from the screen SC, not only in the vertical direction, similarly error Err is also generated in the horizontal direction.
  • the magnitude of the error Err can be determined based on the distance L D and the magnitude of the distance L between the imaging unit 51 and the screen SC. In other words, based on the distance L and the distance L D, seeking magnitude of the error Err, it is possible to correct. Therefore, when the pointing position of the indicator 80 is detected, the projector 10 detects the pointing position as in the case of the indicator 70, and then performs correction based on the distance L D with respect to the detected position.
  • the distance L D used for this correction may be a preset value or may be a value actually measured.
  • the projector 10 is a standard defined value of the distance L D, stored in the storage unit 110 as the initial correction data 125 (distance data).
  • the initial correction data 125 is a specified value that defines a standard value of the distance L D.
  • the distance L D between the screen SC and the detection light LC is adjusted to be, for example, 10 mm to 1 mm, but in practice it changes in the plane of the screen SC.
  • Initial correction data 125, as a standard value of the distance L D is set to, for example, 5 mm.
  • the projector 10 can perform the manual calibration of the pointer 80 to obtain the distance L D.
  • the arithmetic processing is performed by the distance arithmetic unit 37 when the calibration control unit 39 executes the manual calibration. The contents of specific arithmetic processing will be described later.
  • the distance L D calculated by the manual calibration is stored in the storage unit 110 as the manual correction data 126 (distance data).
  • Manual correction data 126 for each coordinate on the coordinate or the projected image on the photographed image data, the distance L table format associating the values and D, or may be map data.
  • the manual correction data 126 is data calculated from the result of the manual calibration, and reflects the installation state of the actual screen SC and the light emitting device 60. Thus, by using a manual correction data 126, the distance L D correction which reflects the difference in the plane can be performed, it is possible to obtain the indication position of the indicator 80 with higher accuracy.
  • the value of the distance L necessary for the distance calculation unit 37 calculates the distance L D is stored as the screen distance data 127.
  • the screen distance data 127 may be preset and stored in the storage unit 110.
  • the projector 10 includes a distance measuring unit 59 as a unit for measuring the distance L.
  • the distance measurement unit 59 measures the distance L by the control of the control unit 30, the measured value is stored as the screen distance data 127.
  • the control unit 30 may use the measurement value of the distance measurement unit 59 as the screen distance data 127, or may calculate the distance L by performing arithmetic processing based on the measurement value of the distance measurement unit 59.
  • Data 127 may be generated.
  • FIG. 8A is a front view of the screen SC
  • FIGS. 8B and 8C are diagrams schematically showing the positional relationship between the projector 10 and the screen SC.
  • FIG. 8B is a side view of the screen SC
  • FIG. 8C is a top view of the screen SC.
  • an XY orthogonal coordinate system in which the lower left corner of the screen SC is the origin Z is set. From the origin Z, the horizontal direction is the X axis, the vertical direction is the Y axis, and the coordinates of the upper right corner of the screen SC are (x IWB , y IWB ).
  • the operation areas of the indicators 70 and 80 are set based on the angle of view of the imaging unit 51, the size of the screen SC, and the like.
  • the reference position of the imaging unit 51 is a lens of the imaging unit 51, and the lens position is a point C.
  • the x and y coordinates of point C be x g and y g respectively.
  • the Y coordinate of the indication position on the screen SC indicated by the indicator 80 is y, and the detection light LC is reflected by the indicator 80.
  • the reflection position to be set be point D.
  • the indication position of the indicator 80 the Y coordinate of the indication position obtained when determined similarly to the indication position of the indicator 70 and y p.
  • a point passing a point C indicating the reference position of the imaging unit 51 and having a straight line perpendicular to the screen SC intersects the screen SC in the same plane is a point N.
  • the X coordinate of the designated position on the screen SC pointed by the indicator 80 is x.
  • the indication position of the indicator 80 the X coordinate of the indication position obtained when determined similarly to the indication position of the indicator 70 and x p.
  • the difference between the x-coordinate x p and the x-coordinate x is taken as an error x Err in the x-axis direction.
  • the error y Err in the Y-axis direction on the screen SC is the difference between the Y coordinates y p and y, and can be obtained based on the above equation (2). Further, the distance L D from the surface of the screen SC to the detection light LC can be obtained by the above equation (3).
  • the error in the X-axis direction on the screen SC is the difference between the x-coordinates x p and x, and can be obtained based on the above equation (4). Further, L D can be obtained by the above equation (6).
  • the difference between the indicated position of the indicator 70 and the indicated position of the indicator 80 is obtained based on the auto calibration data 123 and the manual calibration data 124 for the indicator 70. .
  • This difference corresponds to the error x Err in the X-axis direction and the error y Err in the Y-axis direction. Therefore, based on the values of the errors x Err and y Err obtained from the result of the manual calibration of the pointer 80, the distance arithmetic unit 37 performs arithmetic processing using the above equations (3) and (6). Then, the value of the distance L D can be calculated.
  • the detection control unit 32 controls the position detection unit 50, and the photographed image data and the auto calibration data 123 and the manual calibration data Based on 124, the designated position is detected.
  • the detection control unit 32 causes the position detection unit 50 to execute correction of the detected designated position.
  • Position detection unit 50 based on the distance L D set in the initial correction data 125 or the manual correction data 126, performs arithmetic processing represented by the above formula (2) and (5). Thereby, the errors in the X-axis direction and the Y-axis direction can be obtained.
  • the position detection unit 50 obtains the coordinates of the designated position by shifting the detected designated position by the obtained error. This process, the operation of the pointer 80, taking into account the distance L D to appropriately correct, detect an accurate indication position.
  • FIG. 9 is a flowchart showing the operation of the projector 10 regarding calibration.
  • the calibration control unit 39 causes the projection unit 20 to project a menu screen instructing the projection control unit 31 to execute calibration on the indicator 70 (step S11).
  • the calibration control unit 39 detects the operation of the remote control or the operation panel 19 (step S12), proceeds to step S13 when the auto calibration is selected, and proceeds to the step S15 when the manual calibration is selected. Transition.
  • step S13 the calibration control unit 39 executes auto calibration.
  • the calibration control unit 39 causes the projection control unit 31 and the projection unit 20 to project an image based on the auto calibration image 121 on the screen SC.
  • the calibration control unit 39 controls the position detection unit 50 to execute photographing, to detect the mark of the image on the screen SC from the photographed image data, and the coordinates of the mark on the photographed image and the coordinates of the mark on the projection image And Thereafter, the calibration control unit 39 generates the auto calibration data 123 based on the coordinates of the detected mark, and stores the auto calibration data 123 in the storage unit 110 (step S14).
  • step S ⁇ b> 15 the calibration control unit 39 performs manual calibration relating to the operation of the indicator 70.
  • the calibration control unit 39 causes the projection control unit 31 and the projection unit 20 to project an image based on the manual calibration image 122 on the screen SC.
  • the user performs an operation using the indicator 70 on the screen SC.
  • the calibration control unit 39 controls the position detection unit 50 so as to perform imaging each time the operation of the indicator 70 is performed, and detects the designated position of the indicator 70. Then, the designated position of the detected indicator 70 is associated with the coordinates of the mark on the projection image. Thereafter, the calibration control unit 39 generates the manual calibration data 124 based on the detected coordinates, and stores the generated manual calibration data 124 in the storage unit 110 (step S16).
  • the calibration control unit 39 controls the distance measuring unit 59 to measure the distance L, and stores the measured value in the storage unit 110 as the screen distance data 127 (see FIG. Step S17).
  • the calibration control unit 39 causes the projection unit 20 to project a user interface for selecting whether or not to execute the manual calibration relating to the detection of the pointing position of the indicator 80 (step S18).
  • the calibration control unit 39 detects the operation of the remote control or the operation panel 19 and determines whether or not to execute the manual calibration (step S19).
  • the calibration control unit 39 selects the initial correction data 125 (step S20), and shifts to the normal operation (step S21).
  • the detection instruction operation subsequent pointer 80 as the value of the distance L D, the standard value of the initial correction data 125 that has been set in advance is used.
  • the image is projected on the screen SC based on the input image input to the image I / F unit 12, and the indication position indicated by the indication members 70 and 80 is specified, according to the indication content. Is an operation to perform the processing.
  • the calibration control unit 39 selects the manual calibration image 122 (step S22). Subsequently, the calibration control unit 39 projects the selected manual calibration image 122 onto the screen SC by the projection unit 20 (step S23). Here, the user performs an operation using the indicator 80 (step S24).
  • the calibration control unit 39 controls the position detection unit 50 to cause the imaging unit 51 to perform imaging, acquires captured image data of the imaging unit 51, and detects the designated position of the indicator 80 (step S25).
  • the calibration control unit 39 associates the coordinates of the designated position in the photographed image data with the position of the mark of the manual calibration image 122 projected in step S19 and causes the storage unit 110 to temporarily store (step S26). .
  • the calibration control unit 39 determines whether or not the indicated position has been detected for all the marks of the manual calibration image 122 (step S27). If there is an unprocessed mark, the process returns to step S23. Further, when the indication positions of all the marks are detected, the calibration control unit 39 creates the manual correction data 126 based on the coordinates of the indication position temporarily stored in step S26 and the position of the mark ( Step S28). The manual correction data 126 created here is stored in the storage unit 110. Thereafter, the calibration control unit 39 proceeds to step S21 and starts the normal operation.
  • the calibration control unit 39 may generate the manual calibration data 124 including the same data as the auto calibration data 123 by the manual calibration of the indicator 70.
  • the calibration control unit 39 generates the manual calibration data 124 similar to the auto calibration data 123 by the processes of steps S15 to S16 of FIG.
  • the same data as the auto calibration data 123 and the manual calibration data 124 may be used.
  • the auto calibration data 123 generated in the past is overwritten by the data generated in step S16.
  • the calibration control unit 39 executes either auto calibration or manual calibration, it becomes possible to obtain the coordinates of the designated position of the indicator 70. Therefore, in the operation of FIG. 9, it is possible to select the manual calibration in step S12 in a state where the auto calibration data 123 is not stored.
  • the projector 10 includes the imaging unit 51 that images the screen SC, and the position detection unit that detects the designated position of the indicator 80 based on the photographed image of the imaging unit 51 And 50.
  • the position detection unit 50 detects the reflected light of the detection light reflected by the indicator 80 from the photographed image of the imaging unit 51, and detects the position of the reflected light detected from the photographed image and the distance L from the screen SC to the imaging unit 51
  • the indicated position of the indicator 80 is determined based on Therefore, based on the positional relationship between the imaging unit 51 and the screen SC, it is possible to correct and obtain the indicated position detected from the photographed image.
  • the screen SC It is possible to more accurately detect the indicated position of the indicator 80 at.
  • the projector 10 is perpendicular to the screen SC from the screen SC to the reflection position of the pointer 80 based on the distance in the direction perpendicular to the screen SC from the screen SC to the reference position of the imaging unit 51 by the distance calculation unit 37. Find the distance in any direction. This makes it possible to calculate on the basis of the reflected light reflected at a position spaced a distance L D from the screen SC, the indication position the pointer 80 is indicated on the screen SC. Further, the storage unit 110 stores manual correction data 126 indicating the distance in the direction perpendicular to the screen SC from the screen SC to the reflection position of the indicator 80, which is obtained by the distance calculation unit 37.
  • the position detection unit 50 obtains the designated position of the indicator 80 based on the manual correction data 126 stored in the storage unit 110. Thus, by using the manual correction data 126 stored in the storage unit 110, it is not necessary to determine the distance L D every time the detection position, the pointed position on the screen SC can be detected promptly.
  • the projector 10 since the projector 10 includes the projection unit 20 that projects an image on the screen SC, and the imaging unit 51 captures an image of the projection range of the projection unit, the pointing position corresponds to the operation performed on the screen SC that projects the image. Can be detected.
  • the projector 10 includes a calibration control unit 39 that executes a calibration that associates the position in the captured image of the imaging unit 51 with the position of the image projected by the projection unit 20.
  • the distance calculation unit 37 generates the manual correction data 126 based on the result of the calibration performed by the calibration control unit 39. Thereby, the manual correction data 126 can be generated by executing the calibration. Therefore, after the calibration is performed, it is possible to accurately detect the indicated position and obtain the detected indicated position as a position in the projection image.
  • the projector 10 since the projector 10 includes the distance measurement unit 59 that obtains the distance L in the direction perpendicular to the screen SC from the screen SC to the reference position of the imaging unit 51, the pointing position can be more accurately obtained.
  • the light emitting device 60 for emitting the detection light is provided along the screen SC, the detection light is emitted, and the detection light is reflected by the indicator 80, so that the indicator 80 does not have a light emitting function or the like. The indicated position can be detected.
  • the indicator is not limited to the pen-shaped indicator 70 or the indicator 80 which is a finger of the user, and a laser pointer, a pointing rod or the like may be used, and the shape or size thereof is not limited.
  • the method of detecting the indication position of the indicator is not limited to the example of the above embodiment, and light such as visible light or ultraviolet light may be used, or ultrasonic waves or radio waves may be used.
  • the configuration for transmitting the synchronization signal to the pointer 70 from the projector 10 to the pointer 70 using the infrared signal emitted by the transmission unit 52 has been described, but the synchronization signal is an infrared signal It is not limited to.
  • a signal for synchronization may be transmitted by radio wave communication or ultrasonic radio communication.
  • This configuration can be realized by providing the projector 10 with a transmitter that transmits a signal by radio wave communication or ultrasonic radio communication, and providing a similar receiver with the indicator 70.
  • the position detection unit 50 captures the screen SC by the imaging unit 51 to specify the position of the indicator 70, but the present invention is not limited to this.
  • the imaging unit 51 is provided in the main body of the projector 10, and is not limited to one that captures the projection direction of the projection optical system 23.
  • the imaging unit 51 may be disposed separately from the main body of the projector 10, or the imaging unit 51 may perform imaging from the side or front of the screen SC.
  • the plurality of imaging units 51 may be disposed, and the detection control unit 32 may detect the positions of the indicators 70, 80 based on the photographed image data of the plurality of imaging units 51.
  • the position detection unit 50 executes the arithmetic processing for correcting the designated position detected from the photographed image data based on the initial correction data 125 or the manual correction data 126, but the control unit 30 Arithmetic processing may be performed.
  • the configuration using three transmissive liquid crystal panels corresponding to each color of RGB has been described as an example. Is not limited to this.
  • three reflective liquid crystal panels may be used, or a combination of one liquid crystal panel and a color wheel may be used.
  • a system using three digital mirror devices (DMDs), a DMD system combining one digital mirror device and a color wheel, or the like may be used.
  • DMDs digital mirror devices
  • a member corresponding to a combining optical system such as a cross dichroic prism is unnecessary.
  • any light modulation device capable of modulating the light emitted from the light source can be adopted without any problem.
  • the aspect has been described in which the user performs an instruction operation with the indicators 70 and 80 on the screen SC (projection surface, display surface) on which the front projection type projector 10 projects (displays) an image.
  • the user may perform an instruction operation on a display screen (display surface) on which a display device (display unit) other than the projector 10 displays an image.
  • the light emitting device 60 and the imaging unit 51 may be configured integrally with the display device, or may be configured separately from the display device.
  • each functional unit of the projection system 1 shown in FIG. 2 shows a functional configuration, and a specific implementation form is not particularly limited. In other words, hardware corresponding to each functional unit does not necessarily have to be mounted, and it is of course possible to realize a function of a plurality of functional units by one processor executing a program.
  • a part of the function realized by software may be realized by hardware, or a part of the function realized by hardware may be realized by software.
  • specific detailed configurations of other parts of the projection system 1 can be arbitrarily changed without departing from the scope of the present invention.

Abstract

　操作面における指示体の指示位置を、撮影画像を用いてより正確に検出できるようにする。プロジェクター（１０）は、スクリーン（ＳＣ）を撮影する撮像部（５１）と、撮像部（５１）の撮影画像に基づいて指示体（８０）の指示位置を検出する位置検出部とを備える。位置検出部は、指示体（８０）で検出光（ＬＣ）が反射した反射光を撮像部（５１）の撮影画像から検出し、撮影画像から検出した反射光の位置（８０ａ）と、スクリーン（ＳＣ）から撮像部（５１）までの距離（Ｌ）とに基づいて、指示体（８０）の指示位置を求める。

Description

位置検出装置、位置検出システム、及び、位置検出方法
　本発明は、位置検出装置、位置検出システム、及び、位置検出方法に関する。
　従来、ペン等の指示体によって操作された位置を検出する装置が知られている（例えば、特許文献１参照）。例えば、特許文献１記載のシステムは、投射面を撮影することにより、指示体である発光ペンの位置を検出する。
特開２０１１－２２７６００号公報
　特許文献１では、撮影画像から発光ペンの光の像を検出することによって、正確に指示位置を検出可能である。これは、発光ペンの光が指示位置に一致しているためである。しかしながら、例えば、指示体で反射する反射光を利用して位置検出を行う場合など、実際に指示体が指示した操作面上の位置が撮影画像に写らないことがあった。このような場合、正確に指示位置を検出することは困難であった。
　本発明は、上述した事情に鑑みてなされたものであり、操作面における指示体の指示位置を、撮影画像を用いてより正確に検出できるようにすることを目的とする。
　上記目的を達成するために、本発明の位置検出装置は、操作面を撮影する撮像部と、前記撮像部の撮影画像に基づいて指示体の指示位置を検出する検出部と、を備え、前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、を特徴とする。
　本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体において検出光が反射する反射位置と操作面との位置関係により、撮影画像で検出される位置と指示体の指示位置とが一致しない場合であっても、操作面における指示体の指示位置をより正確に検出できる。
　また、本発明は、上記位置検出装置において、前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離に基づいて、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を求める演算部を備えること、を特徴とする。
　本発明によれば、操作面から離れた位置で反射した反射光をもとに、操作面において指示された位置を求めることができる。
　また、本発明は、上記位置検出装置において、前記演算部によって求められた、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を示す距離データを記憶する記憶部を備え、前記検出部は、前記記憶部に記憶された前記距離データに基づいて前記指示体の指示位置を求めること、を特徴とする。
　本発明によれば、記憶部に記憶された距離データを利用することで、位置検出を行う毎に距離を求める必要がなく、操作面における指示位置を速やかに検出できる。
　また、本発明は、上記位置検出装置において、前記操作面に画像を投射する投射部を備えたプロジェクターとして構成され、前記撮像部によって前記投射部の投射範囲を撮影すること、を特徴とする。
　本発明によれば、プロジェクターが画像を投射する操作面で行われる操作に対応して、指示位置を検出できる。
　また、本発明は、上記位置検出装置において、前記撮像部の撮影画像における位置と前記投射部により投射される画像との位置を対応付けるキャリブレーションを実行するキャリブレーション制御部を備え、前記演算部は、前記キャリブレーション制御部が実行するキャリブレーションの結果に基づいて前記距離データを生成すること、を特徴とする。
　本発明によれば、キャリブレーションを実行することにより操作面から指示体の反射位置までの距離データを生成できる。これにより、キャリブレーションの実行後に、指示位置を正確に検出し、検出した指示位置を投射画像における位置として求めることが可能になる。
　また、本発明は、上記位置検出装置において、前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離を求める距離測定部を備えること、を特徴とする。
　本発明によれば、操作面から撮像部の基準位置までの距離を測定することが可能なため、より正確に指示位置を求めることができる。
　また、本発明は、上記位置検出装置において、前記操作面に沿って前記検出光を出射する光出射部を備えること、を特徴とする。
　本発明によれば、位置検出装置から検出光を出射して、この検出光を指示体で反射させることにより、発光機能等を持たない指示体の指示位置を検出できる。
　また、上記目的を達成するために、本発明の位置検出システムは、指示体により操作される操作面に沿って検出光を出射する光出射装置と、前記指示体の指示位置を検出する位置検出装置と、を備え、前記位置検出装置は、前記操作面を撮影する撮像部と、前記撮像部の撮影画像に基づいて前記指示体の指示位置を検出する検出部と、を備え、前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、を特徴とする。
　本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体において検出光が反射する反射位置と操作面との位置関係により、撮影画像で検出される位置と指示体の指示位置とが一致しない場合であっても、操作面における指示体の指示位置をより正確に検出できる。
　また、上記目的を達成するために、本発明の位置検出方法は、操作面において指示体により指示された位置を検出する位置検出方法であって、前記操作面を撮影し、前記指示体で検出光が反射した反射光を撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から撮影位置までの距離とに基づいて、前記指示体の指示位置を求めること、を特徴とする。
　本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体において検出光が反射する反射位置と操作面との位置関係により、撮影画像で検出される位置と指示体の指示位置とが一致しない場合であっても、操作面における指示体の指示位置をより正確に検出できる。
　本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができ、撮影画像に基づいて指示位置をより正確に検出できる。
実施形態に係るプロジェクションシステムの概略構成図である。 プロジェクションシステムの機能ブロック図である。 オートキャリブレーション画像の一例を示す図である。 スクリーンに投射されたオートキャリブレーション画像を撮影した撮影画像データの一例を示す図である。 マニュアルキャリブレーション画像の一例を示す図である。 指示位置を検出する様子を示す側面視図である。 指示位置を検出する様子を示す要部拡大図である。 スクリーンと検出光の距離を算出する方法の説明図である。 プロジェクターの動作を示すフローチャートである。
　以下、図面を参照して本発明の実施形態について説明する。
　図１は、本発明を適用した実施形態に係るプロジェクションシステム１（位置検出システム）の構成を示す図である。プロジェクションシステム１は、スクリーンＳＣ（投射面、操作面）の上方に設置されたプロジェクター１０（位置検出装置）と、スクリーンＳＣの上部に設置された光出射装置６０（光出射部）とを備える。
　プロジェクター１０はスクリーンＳＣの直上または斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する。また、本実施形態で例示するスクリーンＳＣは、壁面に固定され、或いは床面に立設された、平板または幕である。本発明はこの例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１０及び光出射装置６０を取り付けるとよい。
　プロジェクター１０は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置に接続され、この画像供給装置から供給されるアナログ画像信号またはデジタル画像データに基づき、スクリーンＳＣに画像を投射する。また、プロジェクター１０は、内蔵する記憶部１１０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示する構成としてもよい。
　光出射装置６０は、固体光源からなる光源部６１（図２）を有し、光源部６１が発する光をスクリーンＳＣに沿って拡散させて出射（照射）する。光出射装置６０の出射範囲を図１に角度θで示す。光出射装置６０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を出射し、この光はスクリーンＳＣに沿う光の層を形成する。本実施形態では角度θはほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と光の層とは近接していることが好ましく、本実施形態では、スクリーンＳＣの表面と光の層との距離は概ね１０ｍｍ～１ｍｍの範囲内である。
　光出射装置６０が出射する光は可視領域外の光であり、本実施形態では赤外光とする。
　プロジェクションシステム１は、スクリーンＳＣに対する指示操作が行われた場合に、指示位置をプロジェクター１０によって検出する。
　指示操作に利用される指示体は、ペン型の指示体７０を用いることができる。指示体７０の先端部７１は、押圧された場合に動作する操作スイッチ７５（図２）を内蔵しているので、先端部７１を壁やスクリーンＳＣに押しつける操作がされると操作スイッチ７５がオンになる。指示体７０は、ユーザーが棒状の軸部７２を手に持って、先端部７１をスクリーンＳＣに接触させるように操作され、先端部７１をスクリーンＳＣに押しつける操作も行われる。先端部７１には、光を発する送受信部７４（図２）を備える。プロジェクター１０は、指示体７０が発する光に基づき、先端部７１の位置を、指示位置として検出する。指示体７０が発する光は可視領域外の光であり、本実施形態では赤外光とする。
　また、ユーザーの手指である指示体８０で位置指示操作を行う場合、ユーザーは指をスクリーンＳＣに接触させる。この場合、指示体８０がスクリーンＳＣに接触した位置が検出される。
　すなわち、指示体８０の先端（例えば、指先）がスクリーンＳＣに接触するときに、光出射装置６０が形成する光の層を遮る。このとき、光出射装置６０が出射した光が指示体８０に当たって反射し、反射光の一部は指示体８０からプロジェクター１０に向かって進む。プロジェクター１０は、スクリーンＳＣ側からの光、すなわち下方からの光を後述する位置検出部５０により検出する機能を有するので、指示体８０の反射光を検出できる。プロジェクター１０は、指示体８０で反射した反射光を検出することにより、指示体８０によるスクリーンＳＣへの指示操作を検出する。また、プロジェクター１０は指示体８０により指示された指示位置を検出する。
　光出射装置６０が出射する光の層はスクリーンＳＣに近接しているので、指示体８０において光が反射する位置は、スクリーンＳＣに最も近い先端、或いは指示位置と見なすことができる。このため、指示体８０の反射光に基づき指示位置を特定できる。
　プロジェクションシステム１は、インタラクティブホワイトボードシステムとして機能し、ユーザーが指示体７０、８０により行った指示操作を検出して、指示位置を投射画像に反映させる。
　具体的には、プロジェクションシステム１は、指示位置に図形を描画したり文字や記号を配置したりする処理、指示位置の軌跡に沿って図形を描画する処理、描画した図形や配置した文字または記号を消去する処理等を行う。また、スクリーンＳＣに描画された図形、配置された文字または記号を画像データとして保存することもでき、外部の装置に出力することもできる。
　さらに、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣにプロジェクター１０が画像を投射する画像投射領域における指示位置の座標を出力してもよい。また、この座標を用いてＧＵＩ（Graphical User Interface）操作を行ってもよい。
　図２は、プロジェクションシステム１を構成する各部の機能ブロック図である。
　プロジェクター１０は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。
　Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関する制御データ、プロジェクター１０の動作を設定する設定データ、プロジェクター１０が検出した指示位置の座標データ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
　画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１０は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１０は、アナログ画像信号に基づき画像を投射する機能を備えてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。
　プロジェクター１０は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２、および投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクターおよび補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
　光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。
　投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの投射画像の拡大・縮小および焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１０が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。
　投射部２０には、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び、制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６が接続される。光源駆動部４５は、光源部２１の点灯／消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。
　プロジェクター１０は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１０を制御する制御部３０、記憶部１１０、操作検出部１７、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４４が接続され、制御部３０には姿勢センサー４７、出射装置駆動部４８、及び位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。
　制御部３０は、所定の制御プログラム１１１を実行することにより、プロジェクター１０の各部を制御する。記憶部１１０は、制御部３０が実行する制御プログラム１１１、および、制御部３０が処理するデータを不揮発的に記憶する。記憶部１１０は、プロジェクター１０の動作を設定するための画面の設定画面データ１１２、及び、設定画面データ１１２を利用して設定された内容を示す設定データ１１３を記憶する。
　画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
　画像処理部４０はフレームメモリー４４に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４４に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４４から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
　光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。
　操作検出部１７は、入力デバイスとして機能するリモコン受光部１８および操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
　リモコン受光部１８は、プロジェクター１０のユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
　操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチおよびインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。
　出射装置駆動部４８は、接続部４９を介して光出射装置６０に接続される。接続部４９は、例えば複数のピンを有するコネクターであり、接続部４９には光出射装置６０がケーブル６０ａを介して接続される。出射装置駆動部４８は、制御部３０の制御に従ってパルス信号を生成し、接続部４９を介して光出射装置６０に出力する。また、出射装置駆動部４８は接続部４９を介して光出射装置６０に電源を供給する。
　光出射装置６０は、図１に示すように略箱形のケースに、光源部６１、及び光学部品を収容して構成される。本実施形態の光出射装置６０は、光源部６１に、赤外光を発する固体光源６２を備える。固体光源６２が発する赤外光は、平行化レンズ及びパウエルレンズによって拡散され、スクリーンＳＣに沿った面を形成する。また、光源部６１が複数の固体光源を備え、これら複数の固体光源が発する光をそれぞれ拡散させることによって、スクリーンＳＣの画像投射範囲を覆うように光の層を形成してもよい。また、光出射装置６０は、光源部６１が発する光の層とスクリーンＳＣとの間の距離や角度を調整する調整機構を備えていてもよい。光出射装置６０は、出射装置駆動部４８から供給されるパルス信号および電源により、光源部６１を点灯させる。光源部６１が点灯及び消灯するタイミングは、出射装置駆動部４８が制御する。制御部３０は、出射装置駆動部４８を制御して、後述する撮像部５１が撮影を行うタイミングに同期して光源部６１を点灯させる。
　位置検出部５０（検出部）は、指示体７０、８０によるスクリーンＳＣへの操作を検出する。位置検出部５０は、撮像部５１、送信部５２、撮影制御部５３、指示体検出部５４、および座標算出部５５の各部を備えて構成される。
　撮像部５１は、撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系２３の投射方向を撮影する。撮像部５１の撮像光学系は、投射光学系２３と略同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲（投射範囲）を含む画角を有する。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。撮像部５１は、撮像素子に入射する光の一部を遮るフィルターを備えてもよく、例えば、赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。また、撮像部５１のインターフェイス回路は、撮像素子の検出値を読み出して出力する。
　撮影制御部５３は、撮像部５１により撮影を実行させて撮影画像データを生成する。撮像素子が可視光による撮影を行うと、スクリーンＳＣ上に投射された画像が撮影される。例えば、後述するオートキャリブレーションの画像は、可視光で撮影される。また、撮影制御部５３は、上記のように撮像部５１により赤外光を撮影させる。この場合の撮影画像には指示体７０が発する赤外光（赤外線信号）や、指示体８０に反射した反射光が写る。
　指示体検出部５４は、撮影制御部５３が撮影した撮影画像データに基づいて指示体７０、８０の指示位置を検出する。指示体検出部５４は、撮影制御部５３が撮像部５１によって赤外光の撮影を実行させた場合の撮影画像データから、指示体７０が発した赤外光の像、及び／又は、指示体８０に反射した反射光の像を検出する。さらに、指示体検出部５４は、検出した像を、指示体７０が発した光の像であるか、指示体８０の反射光の像であるか判別してもよい。
　座標算出部５５は、指示体検出部５４が検出した像の位置に基づき、撮影画像データにおける指示体７０、８０の指示位置の座標を算出して、制御部３０に出力する。座標算出部５５は、また、投射部２０が投射した投射画像における指示体７０、８０の指示位置の座標を算出して、制御部３０に出力してもよい。さらに、座標算出部５５は、画像処理部４０がフレームメモリー４４に描画した画像データにおける指示体７０、８０の指示位置の座標や、画像Ｉ／Ｆ部１２の入力画像データにおける指示体７０、８０の指示位置の座標を、算出してもよい。
　送信部５２は、指示体検出部５４の制御に従って、指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を指示体検出部５４の制御に従って点灯及び消灯させる。
　また、指示体７０は、制御部７３、送受信部７４、操作スイッチ７５、及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
　電源部７６は、電源として乾電池または二次電池を有し、制御部７３、送受信部７４、及び操作スイッチ７５の各部に電力を供給する。
　指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。
　ここで、位置検出部５０と指示体７０との相互の通信により、撮像部５１の撮影画像データから指示体７０を特定する方法について説明する。
　制御部３０は、指示体７０による位置指示操作を検出する場合に、指示体検出部５４を制御して、送信部５２から同期用の信号を送信させる。すなわち、指示体検出部５４は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と指示体７０とを同期させる同期信号として機能する。
　一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１０の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された点灯パターンで、送受信部７４の光源を点灯（発光）させる。この点灯のパターンは、光源の点灯と消灯をデータのオンとオフに対応させて、指示体７０に固有のデータを表す。制御部７３は設定されたパターンの点灯時間及び消灯時間に従って光源を点灯及び消灯させる。制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。
　つまり、位置検出部５０は指示体７０に対し、同期用の赤外線信号を周期的に送信し、指示体７０は、位置検出部５０が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。
　位置検出部５０の撮影制御部５３は、撮像部５１による撮影タイミングを、指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、指示体検出部５４が送信部５２を点灯させるタイミングに基づいて決定される。指示体検出部５４は、撮像部５１の撮影画像データに指示体７０の光の像が写っているか否かにより、指示体７０が点灯するパターンを特定できる。
　指示体７０が点灯するパターンは、指示体７０の個体毎に固有のパターン、または、複数の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、指示体検出部５４は、撮影画像データに複数の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる指示体７０の像として区別できる。
　また、制御部３０は、出射装置駆動部４８を制御して、光源部６１の点灯のタイミングを撮像部５１の撮影のタイミングに同期させる。光源部６１が、撮像部５１の撮影タイミングに合わせてパルス点灯すると、指示体８０がスクリーンＳＣ上を指し示す場合には、撮像部５１の撮影画像に指示体８０の反射光が写る。光源部６１を、指示体７０の点灯のタイミングと区別できるパターンで点灯させれば、指示体検出部５４は、撮影画像データに写る像が指示体７０であるか指示体８０であるかを判定できる。光源部６１の点灯のタイミングについては図８を参照して後述する。
　さらに、指示体７０が備える制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４を点灯させるパターンを切り替える。このため、指示体検出部５４は、複数の撮影画像データに基づいて、指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。
　姿勢センサー４７は、加速度センサーやジャイロセンサー等により構成され、制御部３０に対して検出値を出力する。姿勢センサー４７はプロジェクター１０の本体に対して、プロジェクター１０の設置方向を識別可能なように固定される。
　プロジェクター１０は、図１に示したように壁面や天井面から吊り下げる吊り下げ設置の他に、スクリーンＳＣの下方から投射を行う設置状態、机の天面などの水平面をスクリーンＳＣとして使用する設置状態等で使用できる。プロジェクター１０の設置状態によっては光出射装置６０の使用に適さないことがある。例えば、下方からスクリーンＳＣに投射を行う場合、ユーザーの体が光出射装置６０の出射光を遮ってしまうことがあり、不適である。姿勢センサー４７は、プロジェクター１０の設置状態として想定される複数の設置状態を識別できるように、プロジェクター１０の本体に設けられる。姿勢センサー４７は、例えば、２軸のジャイロセンサー、１軸のジャイロセンサー、加速度センサー等を用いて構成される。制御部３０は、姿勢センサー４７の出力値に基づきプロジェクター１０の設置状態を自動的に判定できる。制御部３０が、光出射装置６０の使用に不適な設置状態と判定した場合には、例えば、出射装置駆動部４８が電源電圧やパルス信号の出力を停止する。
　距離測定部５９は、撮像部５１の基準位置からスクリーンＳＣまでの距離Ｌ（図６）を測定する。距離測定部５９の具体的な構成、及び、距離測定部５９が距離Ｌを測定する方法は、いくつかの例が挙げられる。
　例えば、スクリーンＳＣが取り付けられた壁や天井に、距離測定用の子機（図示略）を設置する方法が挙げられる。この子機はプロジェクター１０とは別体として構成される。この場合、距離測定部５９は、子機との間で超音波やレーザー光や無線信号を送受信する構成を有し、例えば発信器と受信機、光源と受光器、或いは送受信機を備える。また、子機も同様に、距離測定部５９との間で超音波やレーザー光や無線信号を送受信する構成を有し、例えば受信機と発信器、ミラー、送受信機である。プロジェクター１０の本体に設けられた距離測定部５９と子機との間で超音波やレーザー光や無線信号を送受信することによって、子機と距離測定部５９との間の距離を求め、この距離に基づき距離Ｌを求めることができる。この場合、子機とスクリーンＳＣの表面（操作面）との位置関係、及び、距離測定部５９と撮像部５１の基準位置（後述）との位置関係に対応した関数やオフセット量を定めておくことで、距離Ｌを正確に算出できる。
　また、例えば、距離測定部５９が、伸縮可能な測定治具を備え、この測定治具をプロジェクター１０からスクリーンＳＣ側に伸ばすことで、距離Ｌを測定できる。この場合、距離測定部５９は、伸縮可能な治具と、治具の伸長量を検出するリニアエンコーダーやロータリーエンコーダー等の検出器を備える。また、治具を伸縮させるモーターやアクチュエーター等の駆動部を備えてもよい。
　距離測定部５９は、制御部３０の制御に従って測定動作を実行し、測定動作の結果を制御部３０に出力する。
　制御部３０は、記憶部１１０に記憶された制御プログラム１１１を読み出して実行することにより、投射制御部３１、検出制御部３２、出射制御部３３、距離演算部３７（演算部）及びキャリブレーション制御部３９の機能を実現し、プロジェクター１０の各部を制御する。
　投射制御部３１は、操作検出部１７から入力される操作データに基づいて、ユーザーが行った操作の内容を取得する。投射制御部３１は、ユーザーが行った操作に応じて画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を制御して、スクリーンＳＣに画像を投射させる。投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。
　検出制御部３２は、位置検出部５０を制御して、指示体７０、８０の操作位置の検出を実行させ、操作位置の座標を取得する。また、検出制御部３２は、操作位置の座標とともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを取得する。検出制御部３２は、取得した座標及びデータに基づいて、予め設定された処理を実行する。例えば、画像処理部４０によって、取得した座標に基づいて図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる処理を行う。また、検出制御部３２は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３２は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３２は、座標のデータとともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを出力してもよい。
　また、検出制御部３２は、指示体８０を使用した位置検出を制御する。具体的には、検出制御部３２は、光出射装置６０の接続の有無に基づき、光出射装置６０を使用できるか否かを判定する。検出制御部３２は、光出射装置６０を使用できない場合に、光出射装置６０の使用を不可とする設定を行う。ここで、検出制御部３２は、光出射装置６０を使用できないことを報知してもよい。
　出射制御部３３は、出射装置駆動部４８を制御して、接続部４９に接続された光出射装置６０に対する電源及びパルス信号の出力を実行または停止させる。出射制御部３３は、検出制御部３２の制御により、光出射装置６０を使用できない又は使用しない場合に、出射装置駆動部４８の電源及びパルス信号の出力を停止させる。また、光出射装置６０を使用する場合、出射制御部３３は出射装置駆動部４８の電源及びパルス信号を出力させる。
　距離演算部３７は、キャリブレーション制御部３９が後述するように指示体８０のマニュアルキャリブレーションを実行する際に、マニュアルキャリブレーションの結果から、後述する距離ＬDを算出する。距離演算部３７が実行する演算の内容については後述する。
　キャリブレーション制御部３９は、指示体７０および指示体８０の指示位置を検出して、画像Ｉ／Ｆ部１２の入力画像における座標に変換するためのキャリブレーションを実行する。
　キャリブレーションは、プロジェクター１０を最初に使用する際に初期設定の１つとして実行される。キャリブレーションは、例えば、フレームメモリー４４に描画され投射部２０が投射する画像における位置と、撮像部５１が撮影する撮影画像データ上の位置とを対応付ける処理である。位置検出部５０が撮影画像データから検出する指示体７０、８０の指示位置は、撮影画像データにおける位置であり、例えば撮影画像に設定される座標系における座標で示される。ユーザーはスクリーンＳＣに投射された投射画像を意識して指示体７０、８０で指示を行う。従って、プロジェクター１０は、スクリーンＳＣ上の投射画像に対する指示位置を特定する必要がある。キャリブレーションによって、撮影画像データで検出された位置の座標を投射画像データ上の座標に変換できる。この対応づけを行うデータをキャリブレーションデータとする。キャリブレーションデータは、撮影制御部５３が出力する撮影画像データ上の座標と投射画像上の座標とを対応付けるデータである。具体的には、撮影画像データ上の座標と投射画像上の座標とを１対１で対応付けるテーブルであってもよいし、撮影画像データ上の座標を投射画像上の座標に変換する関数であってもよい。
　キャリブレーション制御部３９は、指示体の種類に応じてキャリブレーションを実行する。すなわち、指示体７０の指示位置の検出に関するキャリブレーションと、指示体８０の指示位置の検出に関するキャリブレーションとの２つを実行する。
　キャリブレーション制御部３９は、指示体７０の指示位置に関するキャリブレーションとして、オートキャリブレーションとマニュアルキャリブレーションとを実行できる。
　オートキャリブレーションは、スクリーンＳＣに、オートキャリブレーション用の画像を投射して、撮像部５１で撮影し、撮影画像データを用いてキャリブレーションデータを生成する処理である。オートキャリブレーションは、プロジェクター１０が自動的に実行可能な処理であり、ユーザーによる指示体７０、８０の操作を必要としない。オートキャリブレーションは、ユーザーがリモコンまたは操作パネル１９で実行を指示した場合に限らず、制御部３０が制御するタイミングで実行することもできる。例えば、プロジェクター１０の電源オン直後等の動作開始時に行ってもよいし、後述する通常動作中に行ってもよい。オートキャリブレーションで投射されるオートキャリブレーション画像１２１は、予め記憶部１１０に記憶されている。
　図３は、オートキャリブレーション画像１２１の一例を示す。オートキャリブレーション画像１２１には、複数のマークが所定の間隔で配置されている。
　図４は、スクリーンＳＣに投射されたオートキャリブレーション画像１２１を撮像部５１により撮影した撮影画像データの一例を示す。撮像部５１の撮影画像データは、プロジェクター１０を図１に示すように吊り下げ設置した場合に、スクリーンＳＣの斜め上方から撮影されるので、歪んだ画像となる。図３には、等間隔でマークが並ぶ矩形のオートキャリブレーション画像１２１を例示したが、図４の撮影画像データでは歪んだ形状の画像が写っており、この画像の内部に並ぶマークの間隔は、マークの位置によって異なっている。
　キャリブレーション制御部３９は、投射制御部３１の機能により、記憶部１１０に記憶されたオートキャリブレーション画像１２１に基づいて、画像処理部４０及び投射部２０を動作させて、オートキャリブレーション画像１２１をスクリーンＳＣに投射させる。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１に撮影を実行させ、撮影画像データを取得する。この撮影画像データは、撮影制御部５３から、図示しないメモリーに一時的に記憶され、制御部３０に出力される。キャリブレーション制御部３９は、撮影画像データからマークを検出し、各マークの重心位置をマークの座標値として取得する。キャリブレーション制御部３９は、撮影画像データから検出されたマークと、フレームメモリー４４に描画された投射画像、すなわちオートキャリブレーション画像１２１のマークとを対応付ける。
　キャリブレーション制御部３９は、撮影画像におけるマークの座標値と、投射画像におけるマークの座標値とを対応付けることにより、テーブル形式または関数形式のオートキャリブレーションデータ１２３を作成する。オートキャリブレーション画像１２１のマークの投射画像における座標値は、予めオートキャリブレーション画像１２１とともに、或いはオートキャリブレーション画像１２１に含まれて記憶部１１０に記憶されている。キャリブレーション制御部３９は、既にオートキャリブレーションデータ１２３が記憶されている場合、このオートキャリブレーションデータ１２３を更新する。
　キャリブレーション制御部３９は１回のキャリブレーションを実行して、１つのオートキャリブレーションデータ１２３の作成または更新を行う。キャリブレーション制御部３９は、１回のオートキャリブレーションで、複数のオートキャリブレーション画像１２１を用いてもよい。例えば、マークの数、マークのサイズ、マークの形状、マークの位置などマークの配置状態が異なる複数のオートキャリブレーション画像１２１を用いてもよい。キャリブレーション制御部３９は、複数のオートキャリブレーション画像１２１を用いて複数回の撮影と座標の対応づけを行い、得られた対応づけの結果を統合して、より高精度のオートキャリブレーションデータ１２３を作成してもよい。
　マニュアルキャリブレーションは、スクリーンＳＣに、マニュアルキャリブレーション用の画像を投射し、投射した画像に対応する指示体７０の操作を検出して、マニュアルキャリブレーションデータを生成する処理である。
　図５は、マニュアルキャリブレーション画像１２２の一例を示す。マニュアルキャリブレーション画像１２２は、ユーザーに指示体７０で指示をさせるため、指示位置を示すマークを含む。図５のマニュアルキャリブレーション画像１２２は複数の指示用のマーク（○）が配置され、ユーザーは、マークの位置を指示体７０で指示する。
　マニュアルキャリブレーション画像１２２には複数のマークが含まれるが、これらのマークは、１つずつスクリーンＳＣに投射される。このため、マニュアルキャリブレーション画像１２２は、具体的にはマークの数が異なる複数の画像の組合せで構成される。
　ユーザーはスクリーンＳＣにマークが表示される毎に、新たに表示されたマークを指示体７０で指示する。キャリブレーション制御部３９はユーザーが操作を行う毎に、指示位置を検出する。そして、キャリブレーション制御部３９は、撮影画像で検出した指示位置と、フレームメモリー４４に描画された投射画像、すなわちマニュアルキャリブレーション画像１２２のマークとを対応付ける。キャリブレーション制御部３９は、撮影画像データで検出した指示位置の座標値と、投射画像上のマークの座標値とを対応付けることにより、マニュアルキャリブレーションデータ１２４を作成する。
　マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３と同様のデータ形式とすることも可能であるが、オートキャリブレーションデータ１２３を補正する補正データとすることができる。オートキャリブレーションデータ１２３は、撮影画像上の座標を投射画像上の座標に変換するデータである。これに対し、マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３を用いて変換された後の座標を、さらに補正するデータである。
　キャリブレーション制御部３９は、指示体７０の指示位置の検出に関するキャリブレーションを行う場合に、オートキャリブレーションまたはマニュアルキャリブレーションを実行できる。記憶部１１０が、過去に生成されたオートキャリブレーションデータ１２３を記憶している場合には、オートキャリブレーションとマニュアルキャリブレーションを選択して実行できる。ここで、オートキャリブレーションが実行された場合、キャリブレーション制御部３９は記憶部１１０のオートキャリブレーションデータ１２３を更新する。また、マニュアルキャリブレーションが実行された場合、マニュアルキャリブレーションデータ１２４が生成又は更新される。また、記憶部１１０にオートキャリブレーションデータ１２３が記憶されていない場合は、オートキャリブレーションを実行する必要がある。オートキャリブレーションデータ１２３が記憶されていない状態では、マニュアルキャリブレーションデータ１２４を使用できないためである。
　キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するキャリブレーションを、指示体７０のマニュアルキャリブレーションと同様に実行できる。指示体８０に関するマニュアルキャリブレーションでは、位置検出部５０の撮影画像データから検出した指示位置を、指示体８０に特有の誤差を解消するよう補正するためのデータを取得する。この点について説明する。
　図６及び図７は、指示体７０、８０の指示位置を検出する様子を示す説明図である。図６は、プロジェクションシステム１の側面視図であり、図７は、スクリーンＳＣ近傍の要部拡大図である。図７（Ａ）は指示体７０の指示位置を検出する場合の拡大図であり、図７（Ｂ）は指示体８０の指示位置を検出する場合の拡大図である。
　図６に示すように、プロジェクター１０はスクリーンＳＣの上方に設置され、撮像部５１はスクリーンＳＣの前方側の離れた位置から、スクリーンＳＣを俯瞰して撮影する。撮像部５１の撮影方向を、図７（Ａ）、（Ｂ）には矢印ＰＡで示す。
　以下の説明では、撮像部５１からスクリーンＳＣまでの距離を距離Ｌとする。距離Ｌは、スクリーンＳＣに垂直な方向における、スクリーンＳＣの表面（操作面）から撮像部５１の基準位置までの距離である。ここで、撮像部５１の基準位置は撮像部５１のレンズの位置とすることができるが、撮像部５１のレンズ群内の所定の位置としてもよいし、撮像素子の受光面としてもよい。
　また、スクリーンＳＣの上部に設けられる光出射装置６０が出射する検出光ＬＣは、スクリーンＳＣの表面にほぼ平行であり、スクリーンＳＣから所定の距離（以下、距離ＬDとする）だけ離れている。距離ＬDは、スクリーンＳＣに垂直な方向における、スクリーンＳＣの表面と検出光ＬＣとの間の距離である。距離ＬDはスクリーンＳＣに対する光出射装置６０の取付位置により変化するが、構造上、距離ＬDをゼロにすることは難しい。
　図７（Ａ）に示すように、指示体７０の位置検出を行う場合、指示体７０の先端の発光位置７０ａから赤外光が出射される。発光位置７０ａは、指示体７０がスクリーンＳＣに接する接触点７０ｂに非常に近い。このため、撮像部５１が撮影する撮影画像データで指示体７０が発する光の像を検出すれば、検出される像の位置を、接触点７０ｂの位置とみなすことができる。
　これに対し、指示体８０の指示位置を検出する場合、図７（Ｂ）に示すように、検出光ＬＣが指示体８０で反射した反射光を検出する。検出光ＬＣはスクリーンＳＣから距離ＬDだけ離れているので、検出光ＬＣが反射する反射位置８０ａは、図６及び図７（Ｂ）に示すように、指示体８０とスクリーンＳＣの表面との接触位置８０ｂから距離ＬDだけ離れている。
　このため、撮像部５１の撮影画像データにおいて、反射光の位置は、撮像部５１の撮影方向ＰＡをスクリーンＳＣ上まで延長した点８０ｃで発光する光と同じ位置になる。つまり、撮影画像データにおいては、指示体８０が接触位置８０ｂを指示した場合の反射光は、例えば指示体７０が点８０ｃを指示した場合と同じ位置で検出される。
　従って、位置検出部５０が指示体８０の指示位置を指示体７０と同様に検出すると、接触位置８０ｂが指示された場合に、指示位置が点８０ｃとして検出され、ずれを生じる。このずれを、誤差Ｅｒｒとする。
　誤差Ｅｒｒは、検出光ＬＣがスクリーンＳＣから距離ＬDだけ離れていることに起因し、上下方向に限らず、水平方向においても同様に誤差Ｅｒｒが発生する。誤差Ｅｒｒの大きさは、距離ＬDと、撮像部５１とスクリーンＳＣとの間の距離Ｌの大きさに基づいて求めることが可能である。言い換えれば、距離Ｌ及び距離ＬDに基づいて、誤差Ｅｒｒの大きさを求めて、補正することが可能である。
　そこで、プロジェクター１０は、指示体８０の指示位置を検出する場合に、指示体７０と同様に指示位置を検出してから、検出した位置について距離ＬDに基づく補正を行う。
　この補正に用いる距離ＬDは、予め設定された値であってもよいし、実際に計測した値であってもよい。プロジェクター１０は、距離ＬDの標準的な規定値を、記憶部１１０に初期補正データ１２５（距離データ）として記憶する。初期補正データ１２５は、距離ＬDの標準的な値を定めた規定値である。
　光出射装置６０の設置時には、スクリーンＳＣと検出光ＬＣとの距離ＬDが、例えば１０ｍｍ～１ｍｍとなるように調整されるが、実際にはスクリーンＳＣの面内で変化する。初期補正データ１２５は、距離ＬDの標準的な値として、例えば５ｍｍに設定される。
　また、プロジェクター１０は、指示体８０のマニュアルキャリブレーションを実行して、距離ＬDを求めることができる。この演算処理は、キャリブレーション制御部３９がマニュアルキャリブレーションを実行する際に、距離演算部３７が実行する。具体的な演算処理の内容については後述する。
　マニュアルキャリブレーションで算出された距離ＬDは、マニュアル補正データ１２６（距離データ）として記憶部１１０に記憶される。マニュアル補正データ１２６は、撮影画像データ上の座標または投射画像上の座標ごとに、距離ＬDの値を対応付けるテーブル形式、或いはマップデータとすることができる。また、撮影画像データ上の座標または投射画像上の座標において予め設定された代表点について、距離ＬDの値を対応付けるテーブル形式とすることができる。指示位置を補正する処理で、代表点から外れた座標の距離ＬDの値が必要な場合は、補正対象の座標に近い代表点の距離ＬDを適用する方法や、補間演算により代表点の距離ＬDから補正対象の座標の距離ＬDを求める方法を利用できる。マニュアル補正データ１２６はマニュアルキャリブレーションの結果から算出されるデータであり、現実のスクリーンＳＣと光出射装置６０の設置状態を反映している。このため、マニュアル補正データ１２６を利用すれば、距離ＬDの面内における差を反映した補正を行うことができ、より高精度で指示体８０の指示位置を求めることができる。
　記憶部１１０は、距離演算部３７が距離ＬDを算出するために必要な距離Ｌの値を、スクリーン距離データ１２７として記憶する。スクリーン距離データ１２７は、予め設定されて記憶部１１０に記憶されてもよい。本実施形態では、プロジェクター１０が距離Ｌを測定する手段として、距離測定部５９を備えている。制御部３０の制御により距離測定部５９が距離Ｌを測定した場合、測定値がスクリーン距離データ１２７として記憶される。ここで、制御部３０は、距離測定部５９の測定値をスクリーン距離データ１２７としてもよいし、距離測定部５９の測定値をもとに演算処理を行って、距離Ｌを算出し、スクリーン距離データ１２７を生成してもよい。
　図８は、距離演算部３７が距離ＬDを算出する方法を説明する説明図である。図８（Ａ）はスクリーンＳＣの正面図であり、図８（Ｂ）、（Ｃ）はプロジェクター１０及びスクリーンＳＣの位置関係を模式的に示す図である。図８（Ｂ）はスクリーンＳＣの側面視方向からの図、図８（Ｃ）はスクリーンＳＣの上方からの図である。
　以下の説明では、図８（Ａ）に示すように、スクリーンＳＣにおける左下隅を原点ＺとするＸ－Ｙ直交座標系を設定する。原点Ｚから水平方向をＸ軸、垂直方向をＹ軸とし、スクリーンＳＣの右上隅の座標を（ｘIWB，ｙIWB）とする。指示体７０、８０の操作領域は、撮像部５１の画角やスクリーンＳＣのサイズ等に基づき設定される。
　この例では、撮像部５１の基準位置を撮像部５１のレンズとし、レンズ位置を点Ｃとする。点ＣのＸ座標およびＹ座標をそれぞれｘg、ｙgとする。なお、Ｘ軸方向において、撮像部５１のレンズは、スクリーンＳＣの中央にあるものとする（ｘg＝ｘIWB／２）。
　図８（Ｂ）の側面視図では、指示体８０の指示位置を検出する場合に、指示体８０が指し示すスクリーンＳＣ上の指示位置のＹ座標をｙとし、指示体８０で検出光ＬＣが反射する反射位置を点Ｄとする。また、指示体８０の指示位置を、指示体７０の指示位置と同様に求めた場合に得られる指示位置のＹ座標をｙpとする。Ｙ座標ｙpとＹ座標ｙの差を、Ｙ軸方向の誤差ｙErrとする。また、撮像部５１の基準位置を示す点Ｃを通りスクリーンＳＣに垂直な直線がスクリーンＳＣと同一平面で交わる点を、点Ｎとする。
　図８（Ｃ）の平面視図では、指示体８０の指示位置を検出する場合に、指示体８０が指し示すスクリーンＳＣ上の指示位置のＸ座標をｘとする。また、指示体８０の指示位置を、指示体７０の指示位置と同様に求めた場合に得られる指示位置のＸ座標をｘpとする。Ｘ座標ｘpとＸ座標ｘの差を、Ｘ軸方向の誤差ｘErrとする。
　まず、図８（Ｂ）を参照してＹ軸方向の誤差ｙErrと距離ＬDとの関係について説明する。
　この図中、点Ｃ、点Ｎ及びＹ軸（スクリーンＳＣ）上の座標ｙpとを結ぶ三角形Ｃ－Ｎ－ｙpと、点Ｄ及びＹ軸（スクリーンＳＣ）上の座標ｙ、ｙpとを結ぶ三角形Ｄ－ｙ－ｙpとは、相似である。従って、下記式（１）の関係が成り立つ。下記式（１）を変形して下記式（２）を得ることができ、さらに変形すると、ＬDの値を求める下記式（３）が得られる。
Figure JPOXMLDOC01-appb-I000001

Figure JPOXMLDOC01-appb-I000002

Figure JPOXMLDOC01-appb-I000003
　スクリーンＳＣ上におけるＹ軸方向の誤差ｙErrは、Ｙ座標ｙpとｙの差であるから、上記式（２）に基づいて求めることができる。
　また、スクリーンＳＣの表面から検出光ＬＣまでの距離ＬDを、上記式（３）により求めることができる。
　次に、図８（Ｃ）を参照してＸ軸方向の誤差ｘErrと距離ＬDとの関係について説明する。
　図８（Ｃ）中、点Ｃ、点Ｎ及びＸ軸（スクリーンＳＣ）上の座標ｘpを結ぶ三角形Ｃ－Ｎ－ｘpと、点Ｄ及びＸ軸（スクリーンＳＣ）上の座標ｘ及びｘpとを結ぶ三角形Ｄ－ｘ－ｘpとは、相似である。従って、下記式（４）の関係が成り立つ。下記式（４）を変形して下記式（５）が得ることができ、さらに変形すると、ＬDの値を求める下記式（６）が得られる。
Figure JPOXMLDOC01-appb-I000004

Figure JPOXMLDOC01-appb-I000005

Figure JPOXMLDOC01-appb-I000006
　スクリーンＳＣ上におけるＸ軸方向の誤差は、Ｘ座標ｘpとｘの差であるから、上記式（４）に基づいて求めることができる。また、上記式（６）によりＬDを求めることができる。
　指示体８０の操作に関してマニュアルキャリブレーションを実行すると、指示体７０に関するオートキャリブレーションデータ１２３及びマニュアルキャリブレーションデータ１２４を元に、指示体７０の指示位置と指示体８０の指示位置の差が求められる。この差は、Ｘ軸方向の誤差ｘErr及びＹ軸方向の誤差ｙErrに相当する。従って、距離演算部３７は、指示体８０のマニュアルキャリブレーションの結果から求められる誤差ｘErr、ｙErrの値をもとに、上記式（３）及び式（６）を利用して演算処理を行い、距離ＬDの値を算出できる。これらの式（３）、（６）によればｙ座標及びｘ座標に対応する距離ＬDの値を求めることができるので、ｘ座標とｙ座標に対応する距離ＬDの値を定めるマップデータを容易に作成できる。
　さらに、プロジェクター１０は、後述する通常動作において、指示体８０の操作を検出した場合、検出制御部３２が位置検出部５０を制御して、撮影画像データ及びオートキャリブレーションデータ１２３及びマニュアルキャリブレーションデータ１２４に基づき、指示位置を検出する。検出制御部３２は、位置検出部５０によって、検出した指示位置の補正を実行させる。位置検出部５０は、初期補正データ１２５またはマニュアル補正データ１２６に設定された距離ＬDをもとに、上記式（２）及び（５）に示される演算処理を実行する。これにより、Ｘ軸方向及びＹ軸方向の誤差が求められる。位置検出部５０は、検出した指示位置を、求めた誤差の分だけシフトさせることによって、指示位置の座標を求める。この処理により、指示体８０の操作を、距離ＬDを考慮して適切に補正して、正確な指示位置を検出できる。
　図９は、キャリブレーションに関するプロジェクター１０の動作を示すフローチャートである。
　キャリブレーション制御部３９は、投射制御部３１によって指示体７０に関するキャリブレーションの実行を指示するメニュー画面を、投射部２０により投射させる（ステップＳ１１）。キャリブレーション制御部３９は、リモコンまたは操作パネル１９の操作を検出し（ステップＳ１２）、オートキャリブレーションが選択された場合はステップＳ１３に移行し、マニュアルキャリブレーションが選択された場合にはステップＳ１５に移行する。
　ステップＳ１３で、キャリブレーション制御部３９は、オートキャリブレーションを実行する。キャリブレーション制御部３９は、投射制御部３１及び投射部２０によって、オートキャリブレーション画像１２１に基づく画像をスクリーンＳＣに投射させる。キャリブレーション制御部３９は位置検出部５０を制御して、撮影を実行させ、撮影画像データからスクリーンＳＣ上の画像のマークを検出させ、撮影画像上のマークの座標と投射画像上のマークの座標とを対応付ける。
　その後、キャリブレーション制御部３９は、検出したマークの座標をもとにオートキャリブレーションデータ１２３を生成し、記憶部１１０に記憶させる（ステップＳ１４）。
　ステップＳ１５で、キャリブレーション制御部３９は、指示体７０の操作に関するマニュアルキャリブレーションを実行する。キャリブレーション制御部３９は、投射制御部３１及び投射部２０によって、マニュアルキャリブレーション画像１２２に基づく画像をスクリーンＳＣに投射させる。ここで、ユーザーにより、スクリーンＳＣに対して指示体７０による操作が行われる。キャリブレーション制御部３９は、位置検出部５０を制御して、指示体７０の操作が行われる毎に撮影を実行させ、指示体７０の指示位置を検出する。そして、検出した指示体７０の指示位置と投射画像上のマークの座標とを対応付ける。
　その後、キャリブレーション制御部３９は、検出した座標をもとにマニュアルキャリブレーションデータ１２４を生成し、記憶部１１０に記憶させる（ステップＳ１６）。
　ステップＳ１４またはステップＳ１６でキャリブレーションデータを生成した後、キャリブレーション制御部３９は、距離測定部５９を制御して距離Ｌを測定し、測定値をスクリーン距離データ１２７として記憶部１１０に記憶する（ステップＳ１７）。
　次に、キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するマニュアルキャリブレーションを実行するか否かを選択するユーザーインターフェイスを、投射部２０により投射させる（ステップＳ１８）。キャリブレーション制御部３９は、リモコンまたは操作パネル１９の操作を検出し、マニュアルキャリブレーションを実行するか否かを判定する（ステップＳ１９）。
　マニュアルキャリブレーションを実行しない場合（ステップＳ１９；Ｎｏ）、キャリブレーション制御部３９は、初期補正データ１２５を選択して（ステップＳ２０）、通常動作に移行する（ステップＳ２１）。この場合、その後の指示体８０の指示操作の検出には、距離ＬDの値として、予め設定された初期補正データ１２５の標準的な値が使用される。
　なお、通常動作とは、画像Ｉ／Ｆ部１２に入力される入力画像に基づき、スクリーンＳＣに画像を投射し、指示体７０、８０により指示された指示位置を特定して、指示内容に応じた処理を行う動作である。
　指示体８０の操作に関するマニュアルキャリブレーションを行う場合（ステップＳ１９；Ｙｅｓ）、キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２を選択する（ステップＳ２２）。続いて、キャリブレーション制御部３９は、選択したマニュアルキャリブレーション画像１２２を投射部２０によりスクリーンＳＣに投射する（ステップＳ２３）。ここで、ユーザーにより、指示体８０を用いた操作が行われる（ステップＳ２４）。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１により撮影を実行させ、撮像部５１の撮影画像データを取得して指示体８０の指示位置を検出する（ステップＳ２５）。キャリブレーション制御部３９は、撮影画像データにおける指示位置の座標と、ステップＳ１９で投射したマニュアルキャリブレーション画像１２２のマークの位置とを対応付けて、記憶部１１０に一時的に記憶させる（ステップＳ２６）。
　キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２の全てのマークについて指示位置を検出したか否かを判定し（ステップＳ２７）、未処理のマークがある場合はステップＳ２３に戻る。また、全てのマークの指示位置の検出が済んだ場合、キャリブレーション制御部３９は、ステップＳ２６で一時的に記憶した指示位置の座標とマークの位置とに基づき、マニュアル補正データ１２６を作成する（ステップＳ２８）。ここで作成されたマニュアル補正データ１２６は記憶部１１０に記憶される。その後、キャリブレーション制御部３９はステップＳ２１に移行して、通常動作を開始する。
　なお、キャリブレーション制御部３９が、指示体７０のマニュアルキャリブレーションにより、オートキャリブレーションデータ１２３と同様のデータを含むマニュアルキャリブレーションデータ１２４を生成してもよい。この場合、キャリブレーション制御部３９は、図９のステップＳ１５～Ｓ１６の処理により、オートキャリブレーションデータ１２３と同様のマニュアルキャリブレーションデータ１２４を生成する。また、オートキャリブレーションデータ１２３とマニュアルキャリブレーションデータ１２４と同一のデータとしてもよく、この場合、ステップＳ１６で作成されるデータにより、過去に生成されたオートキャリブレーションデータ１２３が上書きされる。
　この構成では、キャリブレーション制御部３９がオートキャリブレーションまたはマニュアルキャリブレーションのいずれかを実行すれば、指示体７０の指示位置の座標を求めることが可能となる。従って、図９の動作において、オートキャリブレーションデータ１２３が記憶されていない状態で、ステップＳ１２でマニュアルキャリブレーションを選択することが可能となる。
　以上説明したように、本発明を適用した実施形態に係るプロジェクター１０は、スクリーンＳＣを撮影する撮像部５１と、撮像部５１の撮影画像に基づいて指示体８０の指示位置を検出する位置検出部５０と、を備える。位置検出部５０は、指示体８０で検出光が反射した反射光を撮像部５１の撮影画像から検出し、撮影画像から検出した反射光の位置と、スクリーンＳＣから撮像部５１までの距離Ｌとに基づいて、指示体８０の指示位置を求める。このため、撮像部５１とスクリーンＳＣとの位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体８０において検出光が反射する反射位置とスクリーンＳＣとの位置関係により、撮影画像で検出される位置と指示体８０の指示位置とが一致しない場合であっても、スクリーンＳＣにおける指示体８０の指示位置をより正確に検出できる。
　また、プロジェクター１０は、距離演算部３７により、スクリーンＳＣから撮像部５１の基準位置までのスクリーンＳＣに垂直な方向における距離に基づいて、スクリーンＳＣから指示体８０の反射位置までのスクリーンＳＣに垂直な方向における距離を求める。これにより、スクリーンＳＣから距離ＬDだけ離れた位置において反射した反射光をもとに、スクリーンＳＣにおいて指示体８０が指示した指示位置を求めることができる。
　また、記憶部１１０は、距離演算部３７によって求められた、スクリーンＳＣから指示体８０の反射位置までのスクリーンＳＣに垂直な方向における距離を示すマニュアル補正データ１２６を記憶する。位置検出部５０は、記憶部１１０に記憶されたマニュアル補正データ１２６に基づいて指示体８０の指示位置を求める。これにより、記憶部１１０に記憶されたマニュアル補正データ１２６を利用することで、位置検出を行う毎に距離ＬDを求める必要がなく、スクリーンＳＣにおける指示位置を速やかに検出できる。
　また、プロジェクター１０は、スクリーンＳＣに画像を投射する投射部２０を備え、撮像部５１によって投射部の投射範囲を撮影するので、画像を投射するスクリーンＳＣで行われる操作に対応して、指示位置を検出できる。
　また、プロジェクター１０は、撮像部５１の撮影画像における位置と投射部２０により投射される画像との位置を対応付けるキャリブレーションを実行するキャリブレーション制御部３９を備える。距離演算部３７は、キャリブレーション制御部３９が実行するキャリブレーションの結果に基づいてマニュアル補正データ１２６を生成する。これにより、キャリブレーションを実行することによりマニュアル補正データ１２６を生成できる。このため、キャリブレーションの実行後に、指示位置を正確に検出し、検出した指示位置を投射画像における位置として求めることが可能になる。
　また、プロジェクター１０は、スクリーンＳＣから撮像部５１の基準位置までのスクリーンＳＣに垂直な方向における距離Ｌを求める距離測定部５９を備えるので、より正確に指示位置を求めることができる。
　また、スクリーンＳＣに沿って検出光を出射する光出射装置６０を備えるので、検出光を出射して、この検出光を指示体８０で反射させることにより、発光機能等を持たない指示体８０の指示位置を検出できる。
　なお、上述した実施形態及び変形例は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。上記実施形態では、指示体８０の指示位置の検出に係るマニュアルキャリブレーションで距離ＬDを求める場合について説明したが、本発明はこれに限定されない。例えば、スクリーンＳＣ及びプロジェクター１０を設置した後に、スクリーンＳＣにおける操作領域の面内で、複数の位置で距離ＬDを測定し、測定したデータをマップ形式又はテーブル形式で記憶部１１０に記憶してもよい。このデータは、マニュアル補正データ１２６と同様に、実際の直接的または間接的な測定に基づく距離ＬDの値を示すデータとして、利用できる。また、指示体は、ペン型の指示体７０やユーザーの手指である指示体８０に限定されず、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。また、指示体の指示位置を検出する方法は上記実施形態の例に限定されず、可視光線、紫外線等の光線を利用してもよいし、超音波や電波等を利用してもよい。
　また、上記実施形態では、プロジェクター１０から指示体７０に対し、送信部５２が発する赤外線信号を用いて指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部をプロジェクター１０に設け、同様の受信部を指示体７０に設けることで実現できる。
　また、上記実施形態では、位置検出部５０は、撮像部５１によりスクリーンＳＣを撮影して指示体７０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮像部５１は、プロジェクター１０の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮像部５１をプロジェクター１０本体とは別体として配置してもよいし、撮像部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮像部５１を配置し、これら複数の撮像部５１の撮影画像データに基づいて、検出制御部３２が指示体７０、８０の位置を検出してもよい。
　また、上記実施形態では、撮影画像データから検出した指示位置を初期補正データ１２５またはマニュアル補正データ１２６に基づき補正する演算処理を、位置検出部５０が実行するものとして説明したが、制御部３０が演算処理を行ってもよい。
　また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
　上記実施形態では、ユーザーが、フロントプロジェクション型のプロジェクター１０が画像を投射（表示）するスクリーンＳＣ（投射面、表示面）に対して、指示体７０、８０による指示操作を行う態様について説明したが、ユーザーが、プロジェクター１０以外の表示装置（表示部）が画像を表示する表示画面（表示面）に対して指示操作を行う態様であってもよい。この場合にも、光出射装置６０や撮像部５１は、表示装置と一体的に構成されてもよいし、表示装置とは別体で構成されてもよい。プロジェクター１０以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。
　また、図２に示したプロジェクションシステム１の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
　１…プロジェクションシステム（位置検出システム）、１０…プロジェクター（位置検出装置）、２０…投射部、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…検出制御部、３３…出射制御部、３７…距離演算部（演算部）、３９…キャリブレーション制御部、４０…画像処理部、５０…位置検出部（検出部）、５１…撮像部、５９…距離測定部、６０…光出射装置（光出射部）、７０、８０…指示体、１１０…記憶部、１２２…マニュアルキャリブレーション画像、１２５…初期補正データ、１２６…マニュアル補正データ（距離データ）、ＳＣ…スクリーン（操作面）。

Claims (9)

  1. 　操作面を撮影する撮像部と、
    　前記撮像部の撮影画像に基づいて指示体の指示位置を検出する検出部と、を備え、
    　前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、
    　を特徴とする位置検出装置。
  2. 　前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離に基づいて、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を求める演算部を備えること、を特徴とする請求項１記載の位置検出装置。
  3. 　前記演算部によって求められた、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を示す距離データを記憶する記憶部を備え、
    　前記検出部は、前記記憶部に記憶された前記距離データに基づいて前記指示体の指示位置を求めること、
    　を特徴とする請求項２記載の位置検出装置。
  4. 　前記操作面に画像を投射する投射部を備えたプロジェクターとして構成され、
    　前記撮像部によって前記投射部の投射範囲を撮影すること、を特徴とする請求項３記載の位置検出装置。
  5. 　前記撮像部の撮影画像における位置と前記投射部により投射される画像との位置を対応付けるキャリブレーションを実行するキャリブレーション制御部を備え、
    　前記演算部は、前記キャリブレーション制御部が実行するキャリブレーションの結果に基づいて前記距離データを生成すること、を特徴とする請求項４記載の位置検出装置。
  6. 　前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離を求める距離測定部を備えること、を特徴とする請求項２から５のいずれかに記載の位置検出装置。
  7. 　前記操作面に沿って前記検出光を出射する光出射部を備えること、を特徴とする請求項１から６のいずれかに記載の位置検出装置。
  8. 　指示体により操作される操作面に沿って検出光を出射する光出射装置と、前記指示体の指示位置を検出する位置検出装置と、を備え、
    　前記位置検出装置は、
    　前記操作面を撮影する撮像部と、
    　前記撮像部の撮影画像に基づいて前記指示体の指示位置を検出する検出部と、を備え、
    　前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、
    　を特徴とする位置検出システム。
  9. 　操作面において指示体により指示された位置を検出する位置検出方法であって、
    　前記操作面を撮影し、
    　前記指示体で検出光が反射した反射光を撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から撮影位置までの距離とに基づいて、前記指示体の指示位置を求めること、
    　を特徴とする位置検出方法。
PCT/JP2015/000238 2014-01-21 2015-01-20 位置検出装置、位置検出システム、及び、位置検出方法 WO2015111402A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/110,297 US10429994B2 (en) 2014-01-21 2015-01-20 Position detection device, position detection system, and position detection method
KR1020167022516A KR101811794B1 (ko) 2014-01-21 2015-01-20 위치 검출 장치, 위치 검출 시스템 및, 위치 검출 방법
CN201580003532.3A CN105874414B (zh) 2014-01-21 2015-01-20 位置检测装置、位置检测系统以及位置检测方法
EP15740024.3A EP3098697A4 (en) 2014-01-21 2015-01-20 Position detection device, position detection system, and position detection method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-008636 2014-01-21
JP2014008636 2014-01-21
JP2014062267A JP6387644B2 (ja) 2014-01-21 2014-03-25 位置検出装置、位置検出システム、及び、位置検出方法
JP2014-062267 2014-03-25

Publications (1)

Publication Number Publication Date
WO2015111402A1 true WO2015111402A1 (ja) 2015-07-30

Family

ID=53681214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000238 WO2015111402A1 (ja) 2014-01-21 2015-01-20 位置検出装置、位置検出システム、及び、位置検出方法

Country Status (7)

Country Link
US (1) US10429994B2 (ja)
EP (1) EP3098697A4 (ja)
JP (1) JP6387644B2 (ja)
KR (1) KR101811794B1 (ja)
CN (1) CN105874414B (ja)
TW (1) TW201535162A (ja)
WO (1) WO2015111402A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6398248B2 (ja) * 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
JP6349838B2 (ja) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
US20170094238A1 (en) * 2015-09-30 2017-03-30 Hand Held Products, Inc. Self-calibrating projection apparatus and process
JP6631280B2 (ja) * 2016-02-03 2020-01-15 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出方法
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
CN106610757B (zh) * 2016-08-26 2019-08-02 北京一数科技有限公司 一种投影触控方法、装置及设备
US10567715B2 (en) * 2017-03-24 2020-02-18 Seiko Epson Corporation Image display apparatus and method for controlling the same
CN109945790B (zh) * 2017-12-21 2020-09-01 中国科学院长春光学精密机械与物理研究所 一种为大型直立物体建立特征点的光学方法
JP2020039082A (ja) * 2018-09-05 2020-03-12 セイコーエプソン株式会社 表示装置、表示システムおよび表示装置の制御方法
JP7188176B2 (ja) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 プロジェクター、画像表示システム及び画像表示システムの制御方法
CN110362262B (zh) 2019-06-14 2022-09-06 明基智能科技（上海）有限公司 显示系统及其画面操作方法
WO2022163835A1 (ja) * 2021-01-29 2022-08-04 パナソニックＩｐマネジメント株式会社 投写制御方法、および、投写制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227600A (ja) 2010-04-16 2011-11-10 Seiko Epson Corp 位置検出システム及びその制御方法、並びにプログラム
JP2011253255A (ja) * 2010-05-31 2011-12-15 Canon Inc 情報処理装置およびその動作方法
WO2012070950A1 (en) * 2010-11-22 2012-05-31 Epson Norway Research And Development As Camera-based multi-touch interaction and illumination system and method
WO2012124730A1 (ja) * 2011-03-15 2012-09-20 株式会社ニコン 検出装置、入力装置、プロジェクタ、及び電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
DE60129152D1 (de) * 2000-09-07 2007-08-09 Canesta Inc Quasi-dreidimensionales verfahren und vorrichtung zur erkennung und lokalisierung der interaktion von benutzer und objekt und virtuelle transfereinrichtung
JP2003099194A (ja) 2001-09-21 2003-04-04 Ricoh Co Ltd ポインティング位置検出方法、ポインティング位置検出装置およびポインティング装置
US20030234346A1 (en) 2002-06-21 2003-12-25 Chi-Lei Kao Touch panel apparatus with optical detection for location
JP2011043986A (ja) 2009-08-21 2011-03-03 Seiko Epson Corp 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法
JP5672018B2 (ja) * 2011-01-19 2015-02-18 セイコーエプソン株式会社 位置検出システム、表示システム及び情報処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227600A (ja) 2010-04-16 2011-11-10 Seiko Epson Corp 位置検出システム及びその制御方法、並びにプログラム
JP2011253255A (ja) * 2010-05-31 2011-12-15 Canon Inc 情報処理装置およびその動作方法
WO2012070950A1 (en) * 2010-11-22 2012-05-31 Epson Norway Research And Development As Camera-based multi-touch interaction and illumination system and method
WO2012124730A1 (ja) * 2011-03-15 2012-09-20 株式会社ニコン 検出装置、入力装置、プロジェクタ、及び電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3098697A4 *

Also Published As

Publication number Publication date
TW201535162A (zh) 2015-09-16
CN105874414A (zh) 2016-08-17
KR101811794B1 (ko) 2017-12-22
EP3098697A1 (en) 2016-11-30
JP2015158890A (ja) 2015-09-03
CN105874414B (zh) 2019-01-01
KR20160111454A (ko) 2016-09-26
JP6387644B2 (ja) 2018-09-12
EP3098697A4 (en) 2017-09-20
US20160328089A1 (en) 2016-11-10
US10429994B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
WO2015111402A1 (ja) 位置検出装置、位置検出システム、及び、位置検出方法
US10114475B2 (en) Position detection system and control method of position detection system
JP6349838B2 (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
US9992466B2 (en) Projector with calibration using a plurality of images
JP6326895B2 (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
JP6375660B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
US20180077346A1 (en) Display apparatus, method of controlling display apparatus, document camera, and method of controlling document camera
CN104898894B (zh) 位置检测装置以及位置检测方法
JP6562124B2 (ja) 位置検出システム、及び、位置検出システムの制御方法
US20180075821A1 (en) Projector and method of controlling projector
JP2016177750A (ja) 位置検出装置、表示装置、位置検出装置の制御方法、及び、表示装置の制御方法
JP6291912B2 (ja) 位置検出装置、及び、位置検出方法
JP6291911B2 (ja) 位置検出装置、及び、位置検出方法
JP6340860B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP6337558B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP2017169160A (ja) プロジェクター、プロジェクターの制御方法、およびプロジェクションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15740024

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15110297

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015740024

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015740024

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20167022516

Country of ref document: KR

Kind code of ref document: A