WO2016157804A1 - プロジェクター、及び、プロジェクターの制御方法 - Google Patents

プロジェクター、及び、プロジェクターの制御方法 Download PDF

Info

Publication number
WO2016157804A1
WO2016157804A1 PCT/JP2016/001602 JP2016001602W WO2016157804A1 WO 2016157804 A1 WO2016157804 A1 WO 2016157804A1 JP 2016001602 W JP2016001602 W JP 2016001602W WO 2016157804 A1 WO2016157804 A1 WO 2016157804A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
projection
indicator
size
Prior art date
Application number
PCT/JP2016/001602
Other languages
English (en)
French (fr)
Inventor
尊洋 阿野
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to US15/560,380 priority Critical patent/US20180075821A1/en
Publication of WO2016157804A1 publication Critical patent/WO2016157804A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal

Definitions

  • the present invention relates to a projector and a projector control method.
  • a projector includes a projection unit that projects a projection image including a first object on a projection surface, a projection size detection unit that detects a size of a region on which the projection image is projected, When the operation of the indicator detected by the detection unit and the operation of the indicator detected by the detection unit is an operation of moving the first object, the projection image is projected. And a movement amount adjustment unit that varies the movement amount of the first object according to the size of the region.
  • the projector moves the position of the first object based on an operation of moving the first object in response to the size of the area on which the projection image is projected being not constant. Can be set to a value corresponding to the size.
  • the movement amount adjustment unit may perform the first operation of moving the first object when the size of the area on which the projection image is projected is the first size.
  • the first operation is performed when the first movement amount of the first object and the size of the area on which the projection image is projected are a second size larger than the first size.
  • the second movement amount of the first object is increased in the second movement amount.
  • the movement amount adjustment unit may move the first object when the same operation of the indicator is performed as the size of the region on which the projection image is projected is larger. It is characterized by increasing. According to the configuration of the present invention, the larger the size of the area onto which the projected image is projected, the larger the amount of movement of the first object when the same indicator is operated, and the operator ( The work when the first object is moved by the user is facilitated.
  • the operation of moving the first object is an operation of continuously shifting from a state where the indicator moves in contact with the projection surface to a state where the indicator moves without contact.
  • the moving amount adjusting unit multiplies the moving distance of the indicator after the indicator has shifted to the non-contact state with the projection surface by a coefficient corresponding to the size of the region on which the projection image is projected.
  • the moving amount of the first object is calculated. According to the configuration of the present invention, an operation intentionally performed by the operator with the intention to move the first object can be performed as a half of the operation for moving the first object. Further, the movement amount adjustment unit can set the value of the movement amount to an appropriate value according to the size of the image projection area using the movement amount coefficient.
  • the projector includes an imaging unit that captures the projection surface, and the projection size detection unit causes the projection unit to project a specific pattern image on the projection surface, and the pattern image is projected.
  • the projection surface is photographed by the photographing unit, and the size of the region on which the projection image is projected is detected based on the photographing result by the photographing unit.
  • the user's work is not required for the detection of the size of the area where the projection image is projected, and the convenience for the user is improved.
  • a projector control method of the present invention is a projector control method including a projection unit that projects a projection image including a first object on a projection surface, and the projection image is projected.
  • the size of the area to be detected is detected, the operation of the indicator on the projection surface is detected, and when the detected operation of the indicator is an operation of moving the first object, the projection image is projected.
  • the amount of movement of the first object varies depending on the size of the area to be recorded.
  • the figure which shows the usage condition of a projector The functional block diagram of a projector and a 1st indicator.
  • movement of a projector The figure used for description of a movement gesture.
  • FIG. 1 is a diagram illustrating an installation state of the projector 100.
  • the projector 100 is installed directly above or obliquely above the screen SC (projection surface), and projects an image (projected image) toward the screen SC obliquely below.
  • the screen SC is a flat plate or curtain fixed to the wall surface or standing on the floor surface.
  • the present invention is not limited to this example, and the wall surface can be used as the screen SC.
  • the projector 100 may be attached to the upper part of the wall surface used as the screen SC.
  • the projector 100 is connected to an image supply device such as a PC (personal computer), a video playback device, a DVD playback device, a Blu-ray (registered trademark) Disc (Blu-ray Disc) playback device, or the like.
  • the projector 100 projects an image on the screen SC based on an analog image signal or digital image data supplied from the image supply device. Further, the projector 100 may read out image data stored in the built-in storage unit 60 (FIG. 2) or an externally connected storage medium, and display an image on the screen SC based on the image data.
  • the projector 100 detects an operator's operation on the screen SC.
  • the pen-shaped first indicator 70 or the second indicator 80 which is the finger of the operator is used.
  • the first indicator 70 or the second indicator 80 is used to designate (instruct) a certain position on the screen SC, or different positions on the screen SC are continuously displayed. Instruction operations are included.
  • the operation of designating (instructing) a certain position on the screen SC is an operation of bringing the first indicator 70 or the second indicator 80 into contact with the certain position on the screen SC for a certain period of time.
  • the operation of sequentially indicating different positions on the screen SC is an operation of drawing a character, a figure, or the like by moving the first indicator 70 or the second indicator 80 while making contact with the screen SC.
  • the projector 100 detects an operation performed by the operator using the first indicator 70 or the second indicator 80, and reflects the detected operation on the projected image of the screen SC. Further, the projector 100 may operate as a pointing device by detecting the designated position and output the coordinates of the designated position on the screen SC. Further, a GUI (Graphical User Interface) operation can be performed on the projector 100 using these coordinates.
  • GUI Graphic User Interface
  • FIG. 2 is a configuration diagram showing the configuration of the projector 100.
  • the projector 100 includes an I / F (interface) unit 11 and an image I / F (interface) unit 12 as interfaces connected to external devices.
  • the I / F unit 11 and the image I / F unit 12 may include a connector for wired connection, and may include an interface circuit corresponding to this connector.
  • the I / F unit 11 and the image I / F unit 12 may include a wireless communication interface. Examples of the connector and interface circuit for wired connection include those based on wired LAN, IEEE 1394, USB, and the like. Examples of the wireless communication interface include those that comply with a wireless LAN, Bluetooth (registered trademark), or the like.
  • the image I / F unit 12 may be an image data interface such as an HDMI (registered trademark) interface.
  • the image I / F unit 12 may include an interface through which audio data is input.
  • the I / F unit 11 is an interface that transmits and receives various data to and from an external device such as a PC.
  • the I / F unit 11 inputs and outputs data relating to image projection, data for setting the operation of the projector 100, and the like.
  • the control unit 30 described later has a function of transmitting / receiving data to / from an external device via the I / F unit 11.
  • the image I / F unit 12 is an interface through which digital image data is input.
  • the projector 100 according to the present embodiment projects an image based on digital image data input via the image I / F unit 12.
  • the projector 100 may have a function of projecting an image based on the analog image signal.
  • the image I / F unit 12 converts the analog image signal into digital image data and an analog image interface.
  • the projector 100 includes a projection unit 20 that forms an optical image.
  • the projection unit 20 includes a light source unit 21, a light modulation device 22, and a projection optical system 23.
  • the light source unit 21 includes a light source including a xenon lamp, an ultra-high pressure mercury lamp, an LED (Light Emitting Diode), a laser light source, or the like.
  • the light source unit 21 may include a reflector and an auxiliary reflector that guide light emitted from the light source to the light modulation device 22.
  • the projector 100 includes a lens group (not shown) for enhancing the optical characteristics of the projection light, a polarizing plate, or a light control element that reduces the amount of light emitted from the light source on the path to the light modulation device 22. You may have.
  • the light modulator 22 includes, for example, three transmissive liquid crystal panels corresponding to the three primary colors of RGB, and modulates the light transmitted through the liquid crystal panel to generate image light.
  • the light from the light source unit 21 is separated into three color lights of RGB, and each color light is incident on the corresponding liquid crystal panel.
  • the color light modulated by passing through each liquid crystal panel is combined by a combining optical system such as a cross dichroic prism and emitted to the projection optical system 23.
  • the projection optical system 23 includes a lens group that guides the image light modulated by the light modulation device 22 toward the screen SC and forms an image on the screen SC. Further, the projection optical system 23 may include a zoom mechanism for enlarging / reducing the display image on the screen SC and adjusting the focus, and a focus adjusting mechanism for adjusting the focus. When the projector 100 is a short focus type, the projection optical system 23 may be provided with a concave mirror that reflects image light toward the screen SC.
  • the projection unit 20 is connected to a light source driving unit 45 that turns on the light source unit 21 according to the control of the control unit 30 and a light modulation device driving unit 46 that operates the light modulation device 22 according to the control of the control unit 30.
  • the light source drive unit 45 may have a function of adjusting the light amount of the light source unit 21 by switching the light source unit 21 on and off.
  • the projector 100 includes an image processing system that processes an image projected by the projection unit 20.
  • the image processing system includes a control unit 30 that controls the projector 100, a storage unit 60, an operation detection unit 17, an image processing unit 40, a light source driving unit 45, and a light modulation device driving unit 46.
  • a frame memory 41 is connected to the image processing unit 40, and a position detection unit 50 is connected to the control unit 30. These units may be included in the image processing system.
  • the control unit 30 controls each unit of the projector 100 by executing a predetermined control program 61.
  • the storage unit 60 stores data processed by the control unit 30 and other data in a nonvolatile manner.
  • the image processing unit 40 processes the image data input via the image I / F unit 12 under the control of the control unit 30, and outputs an image signal to the light modulation device driving unit 46.
  • the processing executed by the image processing unit 40 includes 3D (stereoscopic) image and 2D (planar) image discrimination processing, resolution conversion processing, frame rate conversion processing, distortion correction processing, digital zoom processing, color tone correction processing, luminance correction processing, and the like. It is.
  • the image processing unit 40 executes processing designated by the control unit 30 and performs processing using parameters input from the control unit 30 as necessary. Of course, it is also possible to execute a combination of a plurality of processes.
  • the image processing unit 40 is connected to the frame memory 41.
  • the image processing unit 40 expands the image data input from the image input I / F 12 in the frame memory 41, and executes the various processes described above on the expanded image data.
  • the image processing unit 40 reads out the processed image data from the frame memory 41, generates R, G, and B image signals corresponding to the image data, and outputs them to the light modulation device driving unit 46.
  • the light modulation device driving unit 46 is connected to the liquid crystal panel of the light modulation device 22.
  • the light modulator driving unit 46 drives the liquid crystal panel based on the image signal input from the image processing unit 40 and draws an image on each liquid crystal panel.
  • the operation detection unit 17 is connected to a remote control light receiving unit 18 and an operation panel 19 that function as an input device, and detects an operation via the remote control light reception unit 18 and the operation panel 19.
  • the remote control light receiving unit 18 receives an infrared signal transmitted by a remote controller (not shown) used by the operator of the projector 100 in response to a button operation.
  • the remote control light receiving unit 18 decodes the infrared signal received from the remote control, generates operation data indicating the operation content in the remote controller (remote control), and outputs the operation data to the control unit 30.
  • the operation panel 19 is provided in the exterior casing of the projector 100 and includes various switches and indicator lamps.
  • the operation detection unit 17 appropriately turns on and off the indicator lamp of the operation panel 19 according to the operation state and setting state of the projector 100 according to the control of the control unit 30.
  • operation data corresponding to the operated switch is output from the operation detection unit 17 to the control unit 30.
  • the position detection unit 50 detects a position indicated by at least one of the first indicator 70 and the second indicator 80.
  • the position detection unit 50 includes an imaging unit 51, a transmission unit 52, an imaging control unit 53, an object detection unit 54, and a coordinate calculation unit 55.
  • the photographing unit 51 forms a photographed image obtained by photographing a range including the screen SC and its peripheral part as a photographing range.
  • the imaging unit 51 can execute imaging using infrared light and imaging using visible light.
  • an infrared imaging device that captures infrared light a visible light imaging device that captures visible light
  • an interface circuit of the infrared imaging device an interface circuit of the visible light imaging device.
  • photographs visible light and infrared light with one image pick-up element may be sufficient.
  • the imaging unit 51 when the imaging unit 51 is provided with a filter that blocks part of light incident on the image sensor, and the infrared light is received by the image sensor, a filter that mainly transmits light in the infrared region is used as the image sensor. You may arrange
  • the shooting direction and shooting range (view angle) at the time of shooting with infrared light of the shooting unit 51 are directed in the same direction or substantially the same direction as the projection optical system 23, and the projection optical system 23 projects an image on the screen SC. Cover the range.
  • the shooting direction and the shooting range when shooting with the visible light of the shooting unit 51 are directed in the same direction or substantially the same direction as the projection optical system 23, and the range in which the projection optical system 23 projects an image on the screen SC. Cover.
  • the imaging unit 51 outputs captured image data captured with infrared light and captured image data captured with visible light.
  • the imaging control unit 53 controls the imaging unit 51 according to the control of the control unit 30 and causes the imaging unit 51 to execute imaging.
  • the imaging control unit 53 acquires the data of the captured image of the imaging unit 51 and outputs it to the target detection unit 54.
  • captured image data captured by the capturing unit 51 with visible light is referred to as “visible light captured image data”
  • captured image data captured by the capturing unit 51 with infrared light is referred to as “infrared captured image data”.
  • the first indicator 70 is present in the imaging range, the first indicator 70 appears in the visible light image data. Further, in the visible light captured image data, when the operator's finger as the second indicator 80 exists in the imaging range, the second indicator 80 is reflected. In addition, an infrared image captured by the first indicator 70 appears in the data of the infrared light image.
  • the transmission unit 52 transmits an infrared signal to the first indicator 70 according to the control of the imaging control unit 53.
  • the transmission unit 52 has a light source such as an infrared LED, and turns on and off the light source according to the control of the imaging control unit 53.
  • the object detection unit 54 detects the second indicator 80 by detecting the image of the operator's finger from the visible light image data.
  • the object detection unit 54 detects the second indicator 80 by the following method. That is, the target detection unit 54 detects a person region in which a person is captured from visible light image data.
  • the person area is an area including a person image in the photographed image.
  • a generally known method can be used for the detection of the person area by the object detection unit 54.
  • the target detection unit 54 detects an edge of the input visible light captured image data, and detects an area that matches the shape of the person as a person area.
  • the object detection unit 54 detects an area in which color information (luminance, chromaticity, etc.) changes within a predetermined time, and detects the size of the detected area that is greater than or equal to a predetermined value, A movement range within a predetermined range may be detected as a person area.
  • the target detection unit 54 detects a region close to a predetermined finger shape or feature as a region of the second indicator 80 from the detected person region.
  • the operator's fingers detected by the target detection unit 54 may be one or more fingers, the entire hand, or a part of the hand including the finger.
  • the target detection unit 54 specifies the tip (fingertip) of the finger from the detected region of the second indicator 80, and detects the position of the specified tip of the finger as the indication position.
  • the target detection unit 54 calculates the coordinates of the indication position of the second indicator 80 using the coordinates in the captured image data.
  • the target detection unit 54 detects the distance between the detected indication position of the second indicator 80 and the screen SC.
  • the target detection unit 54 determines the distance between the detected tip of the finger (instructed position) and the screen SC based on the visible light image data.
  • the target detection unit 54 detects a finger image and a finger shadow image from the captured image data, and determines the distance between the tip of the finger and the screen SC based on the distance between the detected images.
  • the method for detecting the distance between the indication position of the second indicator 80 and the screen SC is not limited to the exemplified method.
  • another imaging unit that captures a predetermined range from the surface of the screen SC with visible light with an optical axis parallel to the surface of the screen SC is provided.
  • the data of the captured image based on the imaging result of the other imaging unit is output to the target detection unit 54.
  • the target detection unit 54 detects the position of the tip of the finger as an indicated position from the input captured image data in the same manner as described above, and detects the detected indicated position in the captured image data and the surface of the screen SC.
  • the distance between the designated position (tip of finger) and the screen SC is obtained based on the distance from the image corresponding to.
  • the target detection unit 54 detects the coordinates of the designated position of the first indicator 70 based on the infrared light image data.
  • the object detection unit 54 detects the infrared light image captured in the captured image data captured by the imaging unit 51 with infrared light, and coordinates of the position indicated by the first indicator 70 in the captured image data. Is detected. Details of the method for specifying the first indicator 70 from the data of the captured image of the imaging unit 51 will be described later.
  • the target detection unit 54 determines whether or not the tip portion 71 of the first indicator 70 is in contact with the screen SC, and indicates touch information indicating whether or not the tip portion 71 is in contact with the screen SC. Is generated. A method for determining whether or not the tip 71 of the first indicator 70 is in contact with the screen SC will also be described later.
  • the target detection unit 54 detects the distance between the tip 71 (indicated position) of the first indicator 70 and the screen SC.
  • the object detection unit 54 as in the method exemplified in the calculation of the distance between the indication position of the second indicator 80 and the screen SC, the first indicator 70 image from the visible light image data, the first The shadow image of the indicator 70 is detected, and the distance between the tip of the finger and the screen SC is obtained based on the distance between the detected images.
  • the object detection unit 54 performs a predetermined operation from the surface of the screen SC with an optical axis parallel to the surface of the screen SC, similarly to the method exemplified in the calculation of the distance between the indication position of the second indicator 80 and the screen SC.
  • the distance between the indication position of the first indicator 70 and the screen SC is obtained based on the data of the captured image input from another imaging unit that captures the range with visible light.
  • the coordinate calculation unit 55 converts the coordinates of the designated position into the coordinates of the designated position in the display image of the screen SC.
  • the coordinates of the designated positions of the first indicator 70 and the second indicator 80 detected by the object detection unit 54 are coordinates in the captured image data.
  • the coordinate calculation unit 55 calculates the coordinates of the designated position on the coordinate axis virtually provided on the display image of the screen SC from the coordinates of the designated position detected by the target detection unit 54 based on the result of calibration.
  • the coordinates in the captured image data are affected by various factors such as the distance between the projector 100 and the screen SC, the zoom ratio in the projection optical system 23, the installation angle of the projector 100, and the distance between the imaging unit 51 and the screen SC.
  • the coordinate calculation unit 55 calculates the coordinates of the designated position in the display image of the screen SC from the coordinates of the designated position in the captured image data based on the result of calibration performed in advance.
  • a predetermined pattern image is projected from the projection unit 20 onto the screen SC, and the displayed pattern image is photographed by the photographing unit 51.
  • the correspondence (coordinate conversion parameter) between the coordinates in the captured image data and the coordinates on the display image of the screen SC is derived.
  • the coordinate calculation unit 55 calculates the coordinates of the indication position of the second indicator 80 and the distance between the indication position of the second indicator 80 detected by the target detection unit 54 and the screen SC.
  • Information (hereinafter referred to as “second separation distance information”) is output to the control unit 30.
  • the coordinate calculation unit 55 includes, for the first indicator 70, the coordinates of the indication position of the first indicator 70, the indication position of the second indicator 80 detected by the target detection unit 54, and the screen SC.
  • Information indicating the distance hereinafter referred to as “first separation distance information”
  • touch information are output to the control unit 30.
  • the 1st indicator 70 is provided with the control part 73, the transmission / reception part 74, the operation switch 75, and the power supply part 76, and these each part is accommodated in the axial part 72 (FIG. 1).
  • the control unit 73 is connected to the transmission / reception unit 74 and the operation switch 75 and detects the on / off state of the operation switch 75.
  • the transmission / reception unit 74 includes a light source such as an infrared LED and a light receiving element that receives infrared light.
  • the operation switch 75 is a switch that is turned on / off depending on whether or not the tip 71 of the first indicator 70 is in contact.
  • the power supply unit 76 includes a dry battery or a secondary battery as a power supply, and supplies power to the control unit 73, the transmission / reception unit 74, and the operation switch 75.
  • the first indicator 70 may include a power switch that turns on / off the power supply from the power supply unit 76.
  • the control unit 30 controls the imaging control unit 53 to transmit a synchronization signal from the transmission unit 52. That is, the imaging control unit 53 turns on the light source of the transmission unit 52 at a predetermined cycle in accordance with the control of the control unit 30.
  • the control unit 73 receives infrared light emitted from the transmission unit 52 of the projector 100 by the transmission / reception unit 74.
  • the control unit 73 synchronizes with the timing of the infrared light, and the lighting pattern unique to the first indicator 70 set in advance. Then, the light source of the transmission / reception unit 74 is turned on (emits light). Further, the control unit 73 switches the lighting pattern of the transmission / reception unit 74 according to the operation state of the operation switch 75. Therefore, the target detection unit 54 of the projector 100 can determine the operation state of the first indicator 70, that is, whether or not the distal end portion 71 is pressed against the screen SC, based on data of a plurality of captured images.
  • the control unit 73 repeatedly executes the above pattern while power is supplied from the power supply unit 76. That is, the transmission unit 52 periodically transmits an infrared signal for synchronization to the first indicator 70, and the first indicator 70 is synchronized with the infrared signal transmitted by the transmission unit 52 in advance. Send the set infrared signal.
  • the shooting control unit 53 performs control to match the shooting timing of the shooting unit 51 with the timing when the first indicator 70 is turned on. This shooting timing is determined based on the timing at which the shooting control unit 53 turns on the transmission unit 52.
  • the object detection unit 54 can specify a pattern in which the first indicator 70 is turned on depending on whether or not the image of the light of the first indicator 70 is reflected in the data of the captured image of the imaging unit 51.
  • the target detection unit 54 determines whether the tip 71 of the first indicator 70 is pressed against the screen SC based on the data of the plurality of captured images, and generates touch information.
  • the lighting pattern of the first indicator 70 includes a pattern unique to each individual of the first indicator 70, or a pattern common to a plurality of first indicators 70 and a pattern unique to each individual. Can do. In this case, when the captured image data includes infrared light images emitted from the plurality of first indicators 70, the target detection unit 54 sets each image as an image of a different first indicator 70. Can be distinguished.
  • the control unit 30 reads and executes the control program 61 stored in the storage unit 60, thereby realizing the functions of the projection control unit 31, the projection size detection unit 32, the detection unit 33, and the movement amount adjustment unit 34, and the projector 100. Control each part.
  • the projection control unit 31 acquires the operation content performed by the operator operating the remote control.
  • the projection control unit 31 controls the image processing unit 40, the light source driving unit 45, and the light modulation device driving unit 46 according to the operation performed by the operator, and projects an image on the screen SC. Further, the projection control unit 31 controls the image processing unit 40 to determine the above-described 3D (stereoscopic) image and 2D (planar) image, resolution conversion processing, frame rate conversion processing, distortion correction processing, digital zoom processing, Color tone correction processing, luminance correction processing, and the like are executed. Further, the projection control unit 31 controls the light source driving unit 45 in accordance with the processing of the image processing unit 40 and controls the light amount of the light source unit 21.
  • the projection size detection unit 32 performs the following processing in power-on of the projector 100 or in calibration performed in response to a user instruction, and forms an area (pixel formation) on the screen SC where an image can be projected by the projector 100.
  • the size of the image projection area that is a possible area) is detected.
  • the size of the image projection area corresponds to “the size of the area on which the projection image is projected”. That is, in calibration, the projection size detection unit 32 acquires image data (hereinafter referred to as “specific pattern image data”) of a specific pattern image (hereinafter referred to as “specific pattern image data”).
  • the specific pattern image data is stored in advance in a predetermined storage area of the storage unit 60.
  • the projection size detection unit 32 controls the image processing unit 40 based on the acquired specific pattern image data, and also controls the light source driving unit 45, the light modulation device driving unit 46, and other mechanisms to display the screen SC.
  • a specific pattern image is projected.
  • the specific pattern image is, for example, an image including images of a predetermined shape indicating the four corners at the four corners of the maximum area where the pixels can be formed (area corresponding to the image projection area).
  • the projection size detection unit 32 controls the photographing control unit 53 to control the photographing unit 51 to photograph the screen SC.
  • Shooting image data based on the shooting result of the shooting unit 51 is output from the shooting control unit 53 to the projection size detection unit 32.
  • the projection size detection unit 32 analyzes the captured image data input from the imaging control unit 53 and detects the size of the image projection area by the following method, for example. In other words, the projection size detection unit 32 specifies image data indicating four corners in the captured image data by a method such as pattern matching. Next, the projection size detection unit 32 detects the separation distance in the captured image data of the data of the two corners that are separated in the vertical direction from the data of the four corners.
  • the projection size detection unit 32 takes into account image processing such as trapezoidal correction performed when projecting the specific pattern image, and settings related to the projection optical system 23 such as the zoom ratio in the projection optical system 23, and then performs detection. Based on the separated distance, the vertical length of the image projection area is detected. In the same manner, the projection size detection unit 32 detects the length of the image projection area in the left-right direction based on the distance between the data of the two corner images separated in the left-right direction in the captured image data.
  • a combination of the vertical length and the horizontal length of the image projection area detected as described above corresponds to the size of the image projection area.
  • the vertical length of the image projection area and the horizontal length of the image projection area mean a physical length that can be expressed in a predetermined unit.
  • the detection unit 33 For the second indicator 80, the detection unit 33 outputs the coordinates of the indication position of the second indicator 80 output by the coordinate calculation unit 55, and the second separation distance information (the indication position of the second indicator 80 and the screen). Information indicating the distance to the SC).
  • the detection unit 33 detects that the predetermined operation has been performed based on the acquired information. For example, when a GUI including an icon for instructing execution of a predetermined process is operated by the second indicator 80, the detection unit 33 detects that based on the acquired information.
  • the detection unit 33 outputs the coordinates of the indication position of the first indicator 70 output from the coordinate calculation unit 55 and the first separation distance information (the indication position of the second indicator 80.
  • the detection unit 33 detects that the predetermined operation has been performed. For example, when a GUI including an icon for instructing execution of a predetermined process is operated by the first indicator 70, the detection unit 33 detects that based on the acquired information.
  • the detection unit 33 uses a first gesture 70 or a second indicator 80 to give a predetermined gesture (hereinafter referred to as “movement”) that instructs the object image (first object) to move on the screen SC. If a gesture “) is performed, this is detected.
  • a predetermined gesture hereinafter referred to as “movement”
  • an object image refers to an image whose display position on the screen SC can be moved by a movement gesture (described later).
  • the operator is provided by a GUI provided by the function of the projector 100, a window based on image data input from an external device via the I / F unit 11, the second indicator 80, or the first indicator 70.
  • An image or the like drawn by which can move the display position by a movement gesture corresponds to an object image.
  • the size of the above-described image projection area on the screen SC varies depending on the model of the projector 100, the separation distance between the screen SC and the projector 100, the projector settings, and other factors, and is not constant.
  • the object image displayed in the image projection region the object image is contacted with the indicator S, and the indicator is maintained while the indicator S is in contact with the screen SC.
  • the object image By moving S in a predetermined direction, the object image can be moved according to the movement of the indicator S.
  • the operator can use the method described above to detect the object image located at one end in the left and right direction of the image projection area. Can be easily moved to the other end.
  • the left and right width of the image projection area is considerably larger than the range that the operator reaches with both hands open, the object image located at one end in the left and right direction of the image projection area by the above-described method, When moving to the other end, there may be a situation where the operator must walk, and the operation may not be easy for the operator. Based on the above, the projector 100 executes the following processing regarding the movement of the object image.
  • FIG. 3 is a flowchart showing the operation of the projector 100.
  • the image data corresponding to the object image is developed in the frame memory 41, and the object image is displayed in the image projection area of the screen SC. Is displayed.
  • the detection unit 33 indicates the indicated position of the first indicator 70.
  • the first separation distance information are acquired at a predetermined cycle
  • the second indicator 80 is present in the imaging range of the imaging unit 51.
  • the coordinates of the designated position of the second indicator 80 hereinafter referred to as “second designated position coordinates” and the second separation distance information are acquired at a predetermined cycle (step SA1).
  • the detection unit 33 determines whether or not a movement gesture has been performed by the indicator S based on the information acquired in Step SA1 (Step SA2). That is, the detection unit 33 determines whether or not a movement gesture has been performed by the first indicator 70 based on the continuous first indication position coordinates acquired at a predetermined cycle in step SA1 and the first separation distance information. Further, it is determined whether or not a movement gesture has been performed by the second indicator 80 based on the continuous second indicated position coordinates acquired at a predetermined cycle and the second separation distance information.
  • the process of step SA2 will be described in detail.
  • FIG. 4 is a diagram for explaining a movement gesture.
  • FIG. 4A shows the trajectory of the indication position of the indicator S when a movement gesture is performed along the surface of the screen SC when the screen SC is viewed upward.
  • FIG. 4B is a diagram when the screen SC is viewed along the optical axis of the projection optical system (an axis extending obliquely downward toward the screen SC) in the setting state of the projector 100 illustrated in FIG. 4A shows the trajectory of the indicated position of the indicator S when the same movement gesture as the movement gesture shown in FIG.
  • FIG. 4C shows the trajectory of the indication position of the indicator S when the same movement gesture as that shown in FIG. 4A is performed when the screen SC is viewed from the front.
  • the movement gesture is continuous with the first movement in which the indication position of the indicator S moves in the first direction while being in contact with the screen SC and the first movement, and the indication position of the indicator S is not on the screen SC. It is a gesture including a second movement that moves in a second direction in a contact state.
  • the trajectory K indicates the trajectory of the indicated position of the indicator S in the movement gesture starting from T1 and ending at T2.
  • the trajectory K1 indicates the trajectory of the indication position of the indicator S that moves in the first direction toward the first direction H1
  • the trajectory K2 indicates the second direction H2 in the second movement.
  • the trajectory of the indicated position of the indicator S that moves toward is shown.
  • the second movement is made on condition that the trajectory of the pointing position of the pointer S satisfies the following condition.
  • the screen is started from the transition point.
  • the angle in the direction orthogonal to the surface of the SC is within the first angle (“ ⁇ 1” in FIG. 4A) and the angle in the direction parallel to the surface of the screen SC is the second angle (FIG. 4 ( In the example of C), a three-dimensional area within a predetermined range (area shown by slant lines in FIG. 4) extending within “ ⁇ 2”) is referred to as a “movable area”.
  • the size of the movable area is defined by the length of the imaginary straight line (L1 in FIG. 4) extending in the first direction starting from the transition point.
  • the condition for determining the second movement is that the trajectory of the indicator S starting from the movement point has an angle in a direction perpendicular to the plane of the screen SC within the first angle, and is parallel to the plane of the screen SC. The condition is that the angle in the correct direction is within the second angle.
  • the detection unit 33 does not determine the second movement.
  • the trajectory K3 of the indicator S indicated by a broken line in FIG. 4A has an angle in a direction orthogonal to the surface of the screen SC exceeds the first angle ( ⁇ 1), and therefore the detection unit 33 is Is not determined as the second movement.
  • the reason for determining the second movement when the trajectory of the indicator S is within the movable region is as follows. That is, this is because the gesture intentionally performed by the operator with the intention to move the object image in a manner to be described later is determined as a movement gesture. That is, the gesture determined as the movement gesture is an operation that is unlikely to occur accidentally in which the first movement and the second movement described above are continuous, and when the trajectory of the indicator S is within the movable region, By determining the second movement, a gesture intentionally performed by the user can be determined as a movement gesture.
  • a gesture determined as a movement gesture is reminiscent of an operation performed when a physical paper medium is moved in a predetermined direction, and a user can easily imagine an operation to be performed for determination as a movement gesture. .
  • the detection unit 33 determines the first indicator 70 based on the first indicated position coordinates based on the information continuously input at a predetermined period and the first separation distance information.
  • the trajectory of the indicated position of one indicator 70 is detected.
  • the detection unit 33 uses a virtual axis extending in the left-right direction parallel to the surface of the screen SC as the x-axis, and a virtual axis extending in the vertical direction parallel to the surface of the screen SC as the y-axis.
  • the indicated position of the first indicator 70 that continues in a predetermined cycle is plotted, and the plotted points are connected.
  • a line (hereinafter referred to as “orbit line”) is detected as the trajectory of the designated position of the first indicator 70.
  • the detection unit 33 determines whether or not the trajectory line in the coordinate system described above includes a line corresponding to the first movement and a line corresponding to the second movement continuous with the line.
  • the detection unit 33 calculates an area corresponding to the movable area in the coordinate system described above, and calculates Based on the positional relationship between the region and the predetermined line, it is determined whether or not the locus of the indication position of the first indicator 70 corresponding to the predetermined line satisfies the above-described condition, and the condition is satisfied.
  • the predetermined line is not determined as a line corresponding to the second movement.
  • the detection unit 33 determines that the trajectory line in the coordinate system described above includes a line corresponding to the first movement and a line corresponding to the second movement continuous with the line, a movement gesture is performed. It is determined that In step SA ⁇ b> 2, the detection unit 33 determines whether or not a movement gesture has been performed on the second indicator 80 in the same manner as the first indicator 70.
  • step SA2 NO
  • the movement amount adjustment unit 34 ends the process.
  • step SA3 when it is determined that a movement gesture has been performed (step SA2: YES), the movement amount adjustment unit 34 executes the following process (step SA3). That is, the movement amount adjustment unit 34 acquires the indicator moving distance that is the length of the indicator S in the first movement in the first direction.
  • the movement amount adjusting unit 34 changes the indication position of the pointing body S by the second movement.
  • the length of the trajectory in the first direction exceeds the length of the movable region in the first direction
  • the length of the movable region in the first direction is set as the value of the indicator moving distance. For example, in FIG.
  • the trajectory K2 is the trajectory of the indication position of the indicator S in the second movement, and the end point T2 of the trajectory K2 exceeds the movable region.
  • the movement amount adjusting unit 34 sets the length L1 of the movable distance in the first direction as the value of the pointer movement distance.
  • the trajectory K4 indicated by the two-dot chain line has the end point T3 within the range of the movable region.
  • the movement amount adjustment unit 34 sets the length L2 of the trajectory K4 in the first direction H1 as the value of the pointer movement distance.
  • step SA3 the movement amount adjustment unit 34 calculates the value of the pointer movement distance based on the trajectory line in the coordinate system described above.
  • the movement amount adjustment unit 34 acquires a movement amount coefficient (step SA4).
  • the predetermined storage area of the storage unit 60 for each size of the image projection area (a combination of the vertical length of the image projection area and the horizontal length of the image projection area), the size and the movement amount A table for storing the coefficients in association with each other is stored in advance.
  • Information indicating the size of the image projection area detected by the projection size detection unit 32 during calibration is stored in a predetermined recording area of the storage unit 60.
  • the movement amount adjustment unit 34 acquires the size of the image projection area stored in the storage unit 60, refers to the above-described table, and is associated with the acquired size of the image projection area in the table. Get the movement amount coefficient.
  • the larger the size of the image projection area the greater the value of the movement amount coefficient associated with the size of the image projection area.
  • the method of using the movement amount coefficient and the reason why the size of the image projection area and the value of the movement amount coefficient have a positive correlation will be described later.
  • the method of acquiring the movement amount coefficient is not limited to the method described above.
  • a predetermined mathematical formula for calculating the movement amount coefficient is set in advance using the size of the image projection area, and the movement amount adjustment unit 34 may calculate the movement amount coefficient using the mathematical expression. .
  • step SA5 the movement amount adjusting unit 34 calculates a movement amount based on the movement amount coefficient acquired in step SA4 (step SA5).
  • step SA5 the process of step SA5 will be described in detail.
  • FIG. 5A is a diagram used for explaining the movement amount.
  • FIG. 5 (A1) is a diagram illustrating the state in which the object image G1 is displayed at the left end of the image projection area Q1 of the screen SC together with the operator.
  • FIG. 5 (A2) is a diagram illustrating, together with the operator, how the operator performs a movement gesture in the state of FIG. 5 (A1) and the position of the object image G1 has moved to the right end of the image projection area Q1.
  • a movement gesture first operation
  • the movement gesture is calculated by a movement amount (second movement amount) calculated by the movement amount adjustment unit 34 by a process described later.
  • the first object image moves in the first direction according to the above.
  • the movement amount is a separation distance between the position of the object image before the movement and the position of the object image after the movement when the movement gesture is performed and the movement of the object image is performed.
  • the distance between the position of the object image G1 shown in FIG. 5A1 and the position of the object image G1 shown in FIG. 5A2 corresponds to the amount of movement.
  • step SA5 the movement amount adjustment unit 34 calculates the movement amount by the following formula based on the pointer movement distance acquired in step SA3 and the movement amount coefficient acquired in step SA4.
  • Movement amount Indicator movement distance x Movement amount coefficient
  • the size of the image projection area and the movement amount coefficient have a relationship that the corresponding movement amount coefficient is larger as the size of the image projection area is larger. Therefore, if the pointer movement distance is the same, the value of the movement amount obtained by the above equation increases as the size of the image projection area increases. Thereby, the following effects are produced.
  • FIG. 5 (B1) is a diagram illustrating, together with the operator, the state in which the object image G1 is displayed at the left end of the image projection area Q2 that is smaller in size than the image projection area Q1.
  • 5B2 shows that the operator performs a movement gesture in the same manner as in FIG. 5A in the state of FIG. 5B1, and the position of the object image G1 moves to the right end of the image projection area Q2.
  • the movement gestures of the same mode are the first direction which is the direction of the locus of the pointing position of the indicator S in the first movement and the pointing position of the pointer S in the second movement for each of the movement gestures. This means that the second direction, which is the direction of the trajectory, matches, and that the pointer movement distances match.
  • the movement amount coefficient increases as the size of the image projection area increases, the movement amount increases as the size of the image projection area increases when the movement gesture is performed in the same manner.
  • the movement amount (first movement amount) of the object image when the operation (1) is performed is the movement amount (second movement amount) in the case where the size of the projection image area is large as shown in FIG. Is getting bigger.
  • step SA6 the projection control unit 31 controls the image processing unit 40 to move the development position of the image data of the object image in the frame memory 41, and for the object image that has been moved by the movement gesture,
  • the display position in the projection area is moved in the first direction by the movement amount calculated by the movement amount adjustment unit 34 in step SA6.
  • the position of the object image moves by the amount of movement corresponding to the size of the image projection area, corresponding to the movement gesture.
  • step SA6 when the object image is an image based on image data supplied from an external device, the projection control unit 31 may perform the following processing.
  • information indicating the coordinates of the object image after movement associated with the movement gesture is transmitted to an external device.
  • the external device updates, for example, information for managing the display position of the object image based on the received information, and sets the information to a value corresponding to the actual display position of the object image.
  • the projector 100 includes the projection unit 20 that projects the projection image including the object image (first object) on the screen SC (projection surface), and the image projection area (projection image is projected).
  • a projection size detection unit 32 that detects the size of the display area
  • a detection unit 33 that detects an operation of the indicator S (the first indicator 70 and the second indicator 80) on the screen SC
  • a detection unit 33 detects an operation of the indicator S (the first indicator 70 and the second indicator 80) on the screen SC
  • a detection unit 33 detects an operation of the indicator S (the first indicator 70 and the second indicator 80) on the screen SC
  • a detection unit 33 detects an operation of the indicator S (the first indicator 70 and the second indicator 80) on the screen SC
  • a detection unit 33 detects an operation of the indicator S (the first indicator 70 and the second indicator 80) on the screen SC
  • a detection unit 33 detects an operation of the indicator S (the first indicator 70 and the second indicator 80) on the screen SC
  • a detection unit 33 detects an operation of the
  • the movement amount adjustment unit 34 moves the object image when the operation of the indicator S (first operation) is performed when the size of the image projection area is the first size (first operation).
  • the first movement amount) and the operation of the indicator S when the size of the image projection area is a second size larger than the first size (the same operation as that performed in the case of the first size).
  • the movement amount (second movement amount) of the object image is larger in the movement amount (second movement amount) when the operation (1) is performed.
  • the movement amount adjustment unit 34 increases the movement amount of the object image when the similar operation of the indicator S is performed as the size of the image projection region is larger. According to this configuration, as the size of the image projection area is larger, the amount of movement of the object image when the movement gesture is performed in the same manner can be increased, and the movement of the object image by the operator is facilitated. .
  • the movement gesture is an operation for continuously shifting from the state in which the indicator S moves in contact with the screen SC to the state in which the pointer S moves in a non-contact manner. Then, the movement amount adjusting unit 34 uses a coefficient (movement) according to the size of the image projection area as the movement distance (indicator movement distance) of the indicator S after the indicator S has shifted to the non-contact state with the screen SC. The amount of movement of the object image is calculated by multiplying by the amount coefficient. According to this configuration, the gesture intentionally performed by the operator with the intention to move the object image can be determined as the movement gesture.
  • a gesture determined as a movement gesture is reminiscent of an operation performed when a physical paper medium is moved in a predetermined direction, and it is easy for a user to imagine a work to be performed for determination as a movement gesture. .
  • the movement amount adjustment unit 34 can set the value of the movement amount to an appropriate value according to the size of the image projection area using the movement amount coefficient.
  • the projection size detection unit 32 causes the projection unit 20 to project a specific pattern image (specific pattern image) on the screen SC, and causes the imaging unit 51 to capture the screen SC on which the specific pattern image is projected. Based on the result of photographing by the photographing unit 51, the size of the image projection area is detected. According to this configuration, the user's work is not required for the detection of the size of the image projection area, and the convenience for the user is improved.
  • the first indicator 70 is not limited to the pen-type indicator
  • the second indicator 80 is not limited to the finger of the operator.
  • a laser pointer, an indicator bar, or the like may be used as the first indicator 70, and its shape and size are not limited.
  • the position detection unit 50 captures the screen SC by the photographing unit 51 and specifies the positions of the first indicator 70 and the second indicator 80. It is not limited to.
  • the photographing unit 51 is not limited to the one provided in the main body of the projector 100 and photographing the projection direction of the projection optical system 23.
  • the imaging unit 51 may be configured separately from the main body of the projector 100, and the imaging unit 51 may perform imaging from the side or front of the screen SC.
  • a mode in which the user operates the first indicator 70 and the second indicator 80 on the screen SC on which an image is projected (displayed) from the front projection type projector 100 will be described. did.
  • a mode in which an instruction operation is performed on a display screen displayed by a display device other than the projector 100 may be used.
  • a display device other than the projector 100 a rear projection (rear projection) type projector, a liquid crystal display, and an organic EL (Electro Luminescence) display can be used.
  • a plasma display, a CRT (cathode ray tube) display, a surface-conduction electron-emitter display (SED), or the like can be used.
  • a synchronization is demonstrated.
  • the signal for use is not limited to an infrared signal.
  • a synchronization signal may be transmitted by radio wave communication or ultrasonic wireless communication. This configuration can be realized by providing the projector 100 with the transmission unit 52 that transmits a signal by radio wave communication or ultrasonic radio communication, and providing the same reception unit with the first indicator 70.
  • the light modulation device 22 that modulates the light emitted from the light source has been described by taking as an example a configuration using three transmissive liquid crystal panels corresponding to RGB colors. Is not limited to this.
  • a configuration using three reflective liquid crystal panels may be used, or a method in which one liquid crystal panel and a color wheel are combined may be used.
  • a system using three digital mirror devices (DMD), a DMD system combining one digital mirror device and a color wheel, or the like may be used.
  • a member corresponding to a composite optical system such as a cross dichroic prism is unnecessary.
  • any light modulation device capable of modulating light emitted from the light source can be employed without any problem.
  • each functional unit of the projector 100 illustrated in FIG. 2 indicates a functional configuration, and a specific mounting form is not particularly limited. That is, it is not always necessary to mount hardware corresponding to each function unit individually, and it is of course possible to adopt a configuration in which the functions of a plurality of function units are realized by one processor executing a program.
  • a part of the function realized by software may be realized by hardware, or a part of the function realized by hardware may be realized by software.
  • the specific detailed configuration of each other part of the projector 100 can be arbitrarily changed without departing from the gist of the present invention.

Abstract

　投射面に投射画像を投射するプロジェクターについて、投射画像が投射される領域のサイズが一定でないことに対応する処理を実行できるようにする。　プロジェクター１００は、スクリーンＳＣにオブジェクト画像を含む投射画像を投射する投射部２０と、投射画像が投射される領域のサイズを検出する投射サイズ検出部３２と、スクリーンＳＣに対する指示体の操作を検出する検出部３３と、検出部３３により検出した指示体Ｓの操作が、オブジェクト画像を移動させる操作であった場合、画像投射領域のサイズに応じて、オブジェクト画像の移動量を異ならせる移動量調整部３４と、を備える。

Description

プロジェクター、及び、プロジェクターの制御方法
　本発明は、プロジェクター、及び、プロジェクターの制御方法に関する。
　従来、画像を表示する装置（表示制御装置）において、表示した画像をスクロール等のユーザーの操作によって画面上で移動させる技術が知られている（例えば、特許文献１参照）。
　また、近年、スクリーン等の投射面にＧＵＩ（Graphical User Interface）等のオブジェクトを投射するプロジェクターが広く普及している。そして、プロジェクターにより、オブジェクトを含む投射画像が投射される領域（投射画像の投射が可能な領域（画素の形成が可能な領域））のサイズは、プロジェクターと投射面との離間距離や、プロジェクターの投射光学系に関する設定等により、変化し、一定ではない。
特開２０１４－５９６０２号公報
　ここで、プロジェクターが投射面に投射したオブジェクトを、特許文献１に記載の技術のように、ユーザーの操作により、投射面上で移動させることを想定する。この場合において、プロジェクターにより投射画像が投射される領域のサイズが一定でないことを踏まえ、投射画像が投射される領域のサイズに対応した態様でオブジェクトを移動させることができれば、ユーザーの利便性が向上する。一方、このようなプロジェクターにより投射画像が投射される領域のサイズが一定でないことに対応する処理を実行可能なプロジェクターは無かった。
　本発明は、上述した事情に鑑みてなされたものであり、投射面に投射画像を投射するプロジェクターについて、投射画像が投射される領域のサイズが一定でないことに対応する処理を実行できるようにすることを目的とする。
　上記目的を達成するために、本発明のプロジェクターは、投射面に第１のオブジェクトを含む投射画像を投射する投射部と、前記投射画像が投射される領域のサイズを検出する投射サイズ検出部と、前記投射面に対する指示体の操作を検出する検出部と、前記検出部により検出した前記指示体の操作が、前記第１のオブジェクトを移動させる操作であった場合、前記投射画像が投射される領域のサイズに応じて、前記第１のオブジェクトの移動量を異ならせる移動量調整部と、を備えることを特徴とする。
　本発明の構成によれば、プロジェクターは、投射画像が投射される領域のサイズが一定でないことに対応して、第１のオブジェクトを移動させる操作に基づいて第１のオブジェクトの位置を移動させるときの移動量を、当該サイズに対応した値とすることができる。
　また、本発明のプロジェクターは、前記移動量調整部は、前記投射画像が投射される領域のサイズが第１のサイズの場合に前記第１のオブジェクトを移動させる第１の操作が行われた時の前記第１のオブジェクトの第１の移動量と、前記投射画像が投射される領域のサイズが前記第１のサイズよりも大きい第２のサイズの場合に前記第１の操作が行われた時の前記第１のオブジェクトの第２の移動量とでは、前記第２の移動量を大きくすることを特徴とする。
　本発明の構成によれば、投射画像が投射される領域のサイズが大きいほど、同様の指示体の操作が行われたときの第１のオブジェクトの移動量を大きくすることができ、操作者（ユーザー）による第１のオブジェクトの移動時の作業が容易化する。
　また、本発明のプロジェクターは、前記移動量調整部は、前記投射画像が投射される領域のサイズが大きいほど、同様の前記指示体の操作が行われた場合における前記第１のオブジェクトの移動量を大きくすることを特徴とする。
　本発明の構成によれば、投射画像が投射される領域のサイズが大きいほど、同様の指示体の操作が行われたときの第１のオブジェクトの移動量を大きくすることができ、操作者（ユーザー）による第１のオブジェクトの移動時の作業が容易化する。
　また、本発明のプロジェクターは、前記第１のオブジェクトを移動させる操作は、前記指示体が前記投射面に接触して移動する状態から非接触で移動する状態へ連続して移行する操作であり、前記移動量調整部は、前記指示体が前記投射面に非接触の状態へ移行した後の前記指示体の移動距離に、前記投射画像が投射される領域のサイズに応じた係数を乗じて前記第１のオブジェクトの移動量を算出することを特徴とする。
　本発明の構成によれば、操作者が、第１のオブジェクトを移動させる意思をもって意図的に行った操作を、第１のオブジェクトを移動させる操作として半的できる。また、移動量調整部は、移動量係数を用いて、移動量の値を、画像投射領域のサイズに応じた適切な値とすることができる。
　また、本発明のプロジェクターは、前記投射面を撮影する撮影部を備え、前記投射サイズ検出部は、前記投射部により前記投射面に特定のパターン画像を投射させ、前記パターン画像が投射された前記投射面を前記撮影部により撮影させ、前記撮影部による撮影結果に基づいて、前記投射画像が投射される領域のサイズを検出することを特徴とする。
　本発明の構成によれば、投射画像が投射される領域のサイズの検出について、ユーザーの作業が必要なく、ユーザーの利便性が向上する。
　また、上記目的を達成するために、本発明のプロジェクターの制御方法は、投射面に第１のオブジェクトを含む投射画像を投射する投射部を備えるプロジェクターの制御方法であって、前記投射画像が投射される領域のサイズを検出し、前記投射面に対する指示体の操作を検出し、検出した前記指示体の操作が、前記第１のオブジェクトを移動させる操作であった場合、前記投射画像が投射される領域のサイズに応じて、前記第１のオブジェクトの移動量を異ならせることを特徴とする。
プロジェクターの使用態様を示す図。 プロジェクター及び第１の指示体の機能ブロック図。 プロジェクターの動作を示すフローチャート。 移動ジェスチャーの説明に用いる図。 移動量の説明に用いる図。
　図１は、プロジェクター１００の設置状態を示す図である。
　プロジェクター１００は、スクリーンＳＣ（投射面）の直上又は斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像（投射画像）を投射する。スクリーンＳＣは、壁面に固定され、又は床面に立設された平板又は幕である。本発明は、この例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１００を取り付けるとよい。
　プロジェクター１００は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置、Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ（ブルーレイディスク）再生装置等の画像供給装置に接続される。プロジェクター１００は、画像供給装置から供給されるアナログ画像信号又はデジタル画像データに基づいて、スクリーンＳＣに画像を投射する。また、プロジェクター１００は、内蔵する記憶部６０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示してもよい。
　プロジェクター１００は、スクリーンＳＣに対する操作者の操作を検出する。スクリーンＳＣに対する操作には、ペン型の第１の指示体７０、又は操作者の手指である第２の指示体８０が利用される。
　また、スクリーンＳＣに対する操作には、第１の指示体７０又は第２の指示体８０により、スクリーンＳＣ上の一定の位置を指定（指示）する操作や、スクリーンＳＣ上の異なる位置を連続して指示する操作が含まれる。
　スクリーンＳＣ上の一定の位置を指定（指示）する操作は、第１の指示体７０又は第２の指示体８０を、スクリーンＳＣ上の一定の位置に一定時間接触させる操作である。
　また、スクリーンＳＣ上の異なる位置を連続して指示する操作は、第１の指示体７０又は第２の指示体８０をスクリーンＳＣに接触させながら動かして、文字や図形等を描く操作である。
　プロジェクター１００は、操作者が第１の指示体７０又は第２の指示体８０により行った操作を検出して、検出した操作をスクリーンＳＣの投射画像に反映させる。さらに、プロジェクター１００は、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣ上の指示位置の座標を出力してもよい。また、この座標を用いて、プロジェクター１００に対してＧＵＩ（Graphical User Interface）操作を行うこともできる。
　図２は、プロジェクター１００の構成を示す構成図である。
　プロジェクター１００は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、有線接続用のコネクターを備え、このコネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。
　Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関するデータ、プロジェクター１００の動作を設定するデータ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
　画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１００は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１００は、アナログ画像信号に基づき画像を投射する機能を備えていてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。
　プロジェクター１００は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２及び投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）又はレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、プロジェクター１００は、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、又は光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
　光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射される。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。
　投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの表示画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１００が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。
　投射部２０は、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６に接続される。光源駆動部４５は、光源部２１の点灯、消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。
　プロジェクター１００は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１００を制御する制御部３０、記憶部６０、操作検出部１７、画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４１が接続され、制御部３０には位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。
　制御部３０は、所定の制御プログラム６１を実行することによりプロジェクター１００の各部を制御する。
　記憶部６０は、制御部３０が実行する制御プログラム６１のほか、制御部３０が処理するデータ、その他のデータを不揮発的に記憶する。
　画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理や、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
　画像処理部４０は、フレームメモリー４１に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４１に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４１から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
　光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。
　操作検出部１７は、入力デバイスとして機能するリモコン受光部１８及び操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
　リモコン受光部１８は、プロジェクター１００の操作者が使用するリモートコントローラー（図示略）がボタン操作に対応して送信した赤外線信号を受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモートコントローラー（リモコン）における操作内容を示す操作データを生成し、制御部３０に出力する。
　操作パネル１９は、プロジェクター１００の外装筐体に設けられ、各種スイッチ及びインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１００の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。
　位置検出部５０は、第１の指示体７０及び第２の指示体８０の少なくともいずれかによる指示位置を検出する。位置検出部５０は、撮影部５１、送信部５２、撮影制御部５３、対象検出部５４及び座標算出部５５の各部を備える。
　撮影部５１は、スクリーンＳＣとその周辺部とを含む範囲を撮影範囲として撮影した撮影画像を形成する。撮影部５１は、赤外光による撮影と、可視光による撮影とをそれぞれ実行できる。具体的には、赤外光を撮影する赤外用撮像素子、可視光を撮影する可視光用撮像素子、赤外用撮像素子のインターフェイス回路、及び可視光用撮像素子のインターフェイス回路を備えた構成とすることができる。また、１つの撮像素子により可視光と赤外光との撮影を行う構成であってもよい。また、例えば、撮影部５１に、撮像素子に入射する光の一部を遮るフィルターを設け、撮像素子に赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。撮像素子には、ＣＣＤ、ＣＭＯＳのいずれを用いることも可能であり、また、他の素子を用いることもできる。
　撮影部５１の赤外光による撮影時の撮影方向および撮影範囲（画角）は、投射光学系２３と同じ方向、又は略同じ方向を向き、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする。同様に、撮影部５１の可視光による撮影時の撮影方向及び撮影範囲は、投射光学系２３と同じ方向、又は略同じ方向を向き、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする。撮影部５１は、赤外光で撮影した撮影画像のデータ、及び可視光で撮影した撮影画像のデータをそれぞれ出力する。
　撮影制御部５３は、制御部３０の制御に従って撮影部５１を制御し、撮影部５１に撮影を実行させる。撮影制御部５３は、撮影部５１の撮影画像のデータを取得して、対象検出部５４に出力する。
　以下、撮影部５１が可視光で撮影した撮影画像のデータを「可視光撮影画像データ」といい、撮影部５１が赤外光で撮影した撮影画像のデータを「赤外光撮影画像データ」という。
　可視光撮影画像のデータには、撮影範囲に第１の指示体７０が存在する場合は、第１の指示体７０が写る。また、可視光撮影画像データには、撮影範囲に第２の指示体８０としての操作者の手指が存在する場合は、第２の指示体８０が写る。
　また、赤外光撮影画像のデータには、第１の指示体７０が発する赤外光の像が写る。
　送信部５２は、撮影制御部５３の制御に従って、第１の指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を撮影制御部５３の制御に従って点灯及び消灯させる。
　対象検出部５４は、可視光撮影画像データから、操作者の手指の画像を検出して第２の指示体８０を検出する。
　例えば、対象検出部５４は、以下の方法で第２の指示体８０を検出する。すなわち、対象検出部５４は、可視光撮影画像データから、人物が写った人物領域を検出する。人物領域は、撮影画像において人物の像を含む領域である。対象検出部５４による人物領域の検出は、一般的に知られた方法を用いることができる。例えば、対象検出部５４は、入力された可視光撮影画像データのエッジを検出して、人の形状にマッチする領域を人物領域として検出する。また、対象検出部５４は、色情報（輝度、色度等）が所定時間内に変化する領域を検出して、検出した領域のサイズが所定値以上のものや、検出した領域の経時的な移動範囲が所定範囲内のものを人物領域として検出してもよい。次いで、対象検出部５４は、検出した人物領域から、予め定めた手指の形状や特徴に近い領域を、第２の指示体８０の領域として検出する。対象検出部５４が検出する操作者の手指は、１本又は複数本の指、手全体、又は指を含む手の一部のいずれであってもよい。
　また、対象検出部５４は、検出した第２の指示体８０の領域から手指の先端（指先）を特定し、特定した手指の先端の位置を指示位置として検出する。対象検出部５４は、第２の指示体８０の指示位置の座標を、撮影画像のデータにおける座標で算出する。
　また、対象検出部５４は、検出した第２の指示体８０の指示位置とスクリーンＳＣとの距離を検出する。対象検出部５４は、検出した手指の先端（指示位置）と、スクリーンＳＣとの距離を可視光撮影画像データに基づいて判定する。例えば、対象検出部５４は、撮影画像のデータから指の画像と、指の影の画像とを検出して、検出した画像の間の距離に基づいて、手指の先端とスクリーンＳＣとの距離を求める。
　なお、第２の指示体８０の指示位置とスクリーンＳＣとの距離の検出方法は、例示した方法に限られない。例えば、スクリーンＳＣの表面に平行な光軸で、スクリーンＳＣの表面から所定の範囲を可視光により撮影する他の撮影部を設ける。そして、当該他の撮影部の撮影結果に基づく、撮影画像のデータを対象検出部５４に出力する。対象検出部５４は、入力された撮影画像のデータから上述した方法と同様の方法で、手指の先端の位置を指示位置として検出し、撮影画像のデータにおける検出した指示位置と、スクリーンＳＣの表面に対応する画像との離間量に基づいて、指示位置（手指の先端）とスクリーンＳＣとの距離を求める。
　また、対象検出部５４は、赤外光撮影画像データに基づいて、第１の指示体７０の指示位置の座標を検出する。対象検出部５４は、撮影部５１が赤外光により撮影した撮影画像のデータに写った赤外光の像を検出して、撮影画像のデータにおける、第１の指示体７０の指示位置の座標を検出する。撮影部５１の撮影画像のデータから第１の指示体７０を特定する方法の詳細については後述する。
　また、対象検出部５４は、第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かを判定して、先端部７１がスクリーンＳＣに接触しているか否かを示すタッチ情報を生成する。第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かの判定方法についても後述する。
　また、対象検出部５４は、第１の指示体７０の先端部７１（指示位置）とスクリーンＳＣとの距離を検出する。例えば、対象検出部５４は、第２の指示体８０の指示位置とスクリーンＳＣとの距離の算出で例示した方法と同様、可視光撮影画像データから第１の指示体７０の画像と、第１の指示体７０の影の画像とを検出して、検出した画像の間の距離に基づいて、手指の先端とスクリーンＳＣとの距離を求める。また例えば、対象検出部５４は、第２の指示体８０の指示位置とスクリーンＳＣとの距離の算出で例示した方法と同様、スクリーンＳＣの表面に平行な光軸でスクリーンＳＣの表面から所定の範囲を可視光により撮影する他の撮影部から入力された撮影画像のデータに基づいて、第１の指示体７０の指示位置とスクリーンＳＣとの距離を求める。
　座標算出部５５は、指示位置の座標を、スクリーンＳＣの表示画像における指示位置の座標に変換する。対象検出部５４が検出する第１の指示体７０及び第２の指示体８０の指示位置の座標は、撮影画像のデータにおける座標である。座標算出部５５は、対象検出部５４が検出した指示位置の座標から、キャリブレーションの結果に基づいて、スクリーンＳＣの表示画像上に仮想的に設けられた座標軸における指示位置の座標を算出する。撮影画像のデータにおける座標は、プロジェクター１００とスクリーンＳＣとの距離、投射光学系２３におけるズーム率、プロジェクター１００の設置角度、撮影部５１とスクリーンＳＣとの距離等の様々な要素の影響を受ける。座標算出部５５は、事前に実施されるキャリブレーションの結果に基づき、撮影画像のデータにおける指示位置の座標から、スクリーンＳＣの表示画像における指示位置の座標を算出する。キャリブレーションでは、所定のパターン画像を投射部２０からスクリーンＳＣに投射して、表示されたパターン画像を撮影部５１で撮影する。撮影部５１の撮影したパターン画像に基づいて、撮影画像のデータにおける座標と、スクリーンＳＣの表示画像上の座標との対応関係（座標変換パラメーター）が導かれる。
　座標算出部５５は、第２の指示体８０について、第２の指示体８０の指示位置の座標と、対象検出部５４が検出した第２の指示体８０の指示位置とスクリーンＳＣとの距離を示す情報（以下、「第２離間距離情報」という。）と、を制御部３０に出力する。
　また、座標算出部５５は、第１の指示体７０について、第１の指示体７０の指示位置の座標と、対象検出部５４が検出した第２の指示体８０の指示位置とスクリーンＳＣとの距離を示す情報（以下、「第１離間距離情報」という。）と、タッチ情報と、を制御部３０に出力する。
　第１の指示体７０は、制御部７３、送受信部７４、操作スイッチ７５及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
　操作スイッチ７５は、第１の指示体７０の先端部７１が接触しているか否かによってオン／オフが切り替わるスイッチである。
　電源部７６は、電源として乾電池又は二次電池を有し、制御部７３、送受信部７４及び操作スイッチ７５の各部に電力を供給する。第１の指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。
　ここで、位置検出部５０と第１の指示体７０との相互の通信により、撮影部５１の赤外光撮影画像データから第１の指示体７０の指示位置を特定する方法について説明する。
　制御部３０は、第１の指示体７０による操作を検出する場合に、撮影制御部５３を制御して、送信部５２から同期用の信号を送信させる。すなわち、撮影制御部５３は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。
　一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１００の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された第１の指示体７０に固有の点灯パターンで送受信部７４の光源を点灯（発光）させる。また、制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４の点灯パターンを切り替える。このため、プロジェクター１００の対象検出部５４は、複数の撮影画像のデータに基づいて、第１の指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。
　また、制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。つまり、送信部５２は、第１の指示体７０に対し、同期用の赤外線信号を周期的に送信し、第１の指示体７０は、送信部５２が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。
　撮影制御部５３は、撮影部５１による撮影タイミングを、第１の指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、撮影制御部５３が送信部５２を点灯させるタイミングに基づいて決定される。対象検出部５４は、撮影部５１の撮影画像のデータに第１の指示体７０の光の像が写っているか否かにより、第１の指示体７０が点灯するパターンを特定できる。対象検出部５４は、複数の撮影画像のデータに基づいて、第１の指示体７０の先端部７１がスクリーンＳＣに押しつけられているか否かを判定して、タッチ情報を生成する。
　第１の指示体７０の点灯パターンは、第１の指示体７０の個体毎に固有のパターン、又は複数の第１の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、対象検出部５４は、撮影画像のデータに複数の第１の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる第１の指示体７０の像として区別できる。
　制御部３０は、記憶部６０に記憶された制御プログラム６１を読み出して実行することにより投射制御部３１、投射サイズ検出部３２、検出部３３、移動量調整部３４の機能を実現し、プロジェクター１００の各部を制御する。
　投射制御部３１は、操作検出部１７から入力される操作データに基づいて、操作者がリモコンを操作して行った操作内容を取得する。投射制御部３１は、操作者が行った操作に応じて画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を制御し、スクリーンＳＣに画像を投射させる。
　また、投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。
　投射サイズ検出部３２は、プロジェクター１００の電源投入時や、ユーザーの指示に応じて行われるキャリブレーションにおいて、以下の処理を行って、スクリーンＳＣにおいてプロジェクター１００によって画像を投射可能な領域（画素を形成可能な領域）である画像投射領域のサイズを検出する。なお、画像投射領域のサイズは、「投射画像が投射される領域のサイズ」に相当する。
　すなわち、キャリブレーションにおいて、投射サイズ検出部３２は、特定のパターン画像（以下、「特定パターン画像」という。）の画像データ（以下、「特定パターン画像データ」という。）を取得する。特定パターン画像データは、記憶部６０の所定の記憶領域に事前に記憶される。次いで、投射サイズ検出部３２は、取得した特定パターン画像データに基づいて画像処理部４０を制御すると共に、光源駆動部４５、光変調装置駆動部４６、その他の機構を制御して、スクリーンＳＣに特定パターン画像を投射する。
　特定パターン画像は、例えば、画素を形成可能な最大の領域（画像投射領域に対応する領域）の四隅に、四隅を示す所定の形状の画像を含む画像である。
　次いで、投射サイズ検出部３２は、撮影制御部５３を制御して撮影部５１を制御して、スクリーンＳＣを撮影させる。撮影部５１の撮影結果に基づく撮影画像データは、撮影制御部５３から投射サイズ検出部３２に出力される。投射サイズ検出部３２は、撮影制御部５３から入力された撮影画像データを分析して、例えば、以下の方法で、画像投射領域のサイズを検出する。すなわち、投射サイズ検出部３２は、撮影画像データにおける、四隅を示す画像のデータをパターンマッチング等の方法で特定する。次いで、投射サイズ検出部３２は、４隅の画像のデータのうち、上下方向に離間する２隅の画像のデータの撮影画像データにおける離間距離を検出する。ここで、画像データにおける上下に離間する２隅の画像のデータの離間距離と、スクリーンＳＣに投射された特定パターン画像において対応する２隅の画像の離間距離（＝画像投射領域の上下方向の長さ）は、比例関係にある。これを踏まえ、投射サイズ検出部３２は、特定パターン画像の投射に際して実行された台形補正等の画像処理や、投射光学系２３におけるズーム率等の投射光学系２３に関する設定を加味した上で、検出した離間距離に基づいて、画像投射領域の上下方向の長さを検出する。同様の方法で、投射サイズ検出部３２は、撮影画像データにおける左右方向に離間する２隅の画像のデータの離間距離に基づいて、画像投射領域の左右方向の長さを検出する。以上のようにして検出された画像投射領域の上下方向の長さ、及び、左右方向の長さの組み合わせが、画像投射領域のサイズに相当する。
　なお、画像投射領域の上下方向の長さ、及び、画像投射領域の左右方向の長さとは、所定の単位で表すことが可能な物理的な長さを意味する。
　検出部３３は、第２の指示体８０について、座標算出部５５が出力した第２の指示体８０の指示位置の座標と、第２離間距離情報（第２の指示体８０の指示位置とスクリーンＳＣとの距離を示す情報）を取得する。検出部３３は、取得した情報に基づいて、第２の指示体８０により所定の操作が行われた場合、当該所定の操作が行われたことを検出する。例えば、検出部３３は、所定の処理の実行を指示するアイコンを含むＧＵＩが第２の指示体８０により操作された場合、取得した情報に基づいて、そのことを検出する。
　また、検出部３３は、第１の指示体７０について、座標算出部５５が出力した第１の指示体７０の指示位置の座標と、第１離間距離情報（第２の指示体８０の指示位置とスクリーンＳＣとの距離を示す情報）と、タッチ情報と、を取得する。検出部３３は、取得した情報に基づいて、第１の指示体７０により所定の操作が行われた場合、当該所定の操作が行われたことを検出する。例えば、検出部３３は、所定の処理の実行を指示するアイコンを含むＧＵＩが第１の指示体７０により操作された場合、取得した情報に基づいて、そのことを検出する。
　さらに、検出部３３は、第１の指示体７０、又は、第２の指示体８０により、オブジェクト画像（第１のオブジェクト）のスクリーンＳＣ上での移動を指示する所定のジェスチャー（以下、「移動ジェスチャー」）が行われた場合、そのことを検出する。
　オブジェクト画像、移動ジェスチャーの態様、及び、移動ジェスチャーの検出方法については、後述する。
　移動量調整部３４の機能、及び、機能に基づく処理については後述する。
　以下の説明において、第１の指示体７０、及び、第２の指示体８０を区別せずに表現する場合、「指示体Ｓ」と表現する。
　ところで、プロジェクター１００は、スクリーンＳＣに、画像Ｉ／Ｆ部１２からの入力に基づく画像のほかに、オブジェクト画像を表示可能である。
　本実施形態において、オブジェクト画像とは、移動ジェスチャー（後述）により、スクリーンＳＣにおける表示位置を移動可能な画像のことをいう。例えば、プロジェクター１００の機能により提供されるＧＵＩや、外部の装置からＩ／Ｆ部１１を介して入力される画像データに基づくウインドウ、第２の指示体８０又は第１の指示体７０によって操作者が描画した画像等であって、移動ジェスチャーによって表示位置を移動可能な画像が、オブジェクト画像に相当する。
　ここで、スクリーンＳＣにおける上述した画像投射領域のサイズは、プロジェクター１００の機種の相違や、スクリーンＳＣとプロジェクター１００の離間距離、プロジェクターの設定、その他の要因により変化し、一定でない。
　そして、本実施形態に係るプロジェクター１００では、画像投射領域に表示されたオブジェクト画像について、当該オブジェクト画像を指示体Ｓで接触し、スクリーンＳＣに指示体Ｓを接触させた状態を維持しつつ指示体Ｓを所定方向に移動させることにより、指示体Ｓの移動に応じてオブジェクト画像を移動させることができる。
　上述した方法で、オブジェクト画像を移動させる場合、以下のような課題がある。すなわち、例えば、画像投射領域の左右の幅が、操作者が両手を広げて届く範囲の場合、操作者は、上述した方法で、画像投射領域の左右方向における一方の端部に位置するオブジェクト画像を、他方の端部に移動させることを容易にできる。一方、画像投射領域の左右の幅が、操作者が両手を広げて届く範囲よりも相当量大きい場合において、上述した方法で画像投射領域の左右方向における一方の端部に位置するオブジェクト画像を、他方の端部に移動させる場合、操作者が歩行しなければならない状況が生じ得、当該操作が操作者にとって容易ではない場合がある。
　以上を踏まえ、プロジェクター１００は、オブジェクト画像の移動に関し、以下の処理を実行する。
　図３は、プロジェクター１００の動作を示すフローチャートである。
　図３の処理の開始時点では、投射制御部３１による画像処理部４０の制御に基づいて、フレームメモリー４１に、オブジェクト画像に対応する画像データが展開され、スクリーンＳＣの画像投射領域に、オブジェクト画像が表示された状態である。
　図３に示すように、検出部３３は、座標算出部５５からの入力に基づいて、第１の指示体７０が撮影部５１の撮影範囲に存在する場合、第１の指示体７０の指示位置の座標（以下、「第１指示位置座標」という。）、及び、第１離間距離情報を所定の周期で取得し、また、第２の指示体８０が撮影部５１の撮影範囲に存在する場合、第２の指示体８０の指示位置（以下、「第２指示位置座標」という。）の座標、及び、第２離間距離情報を所定の周期で取得する（ステップＳＡ１）。
　次いで、検出部３３は、ステップＳＡ１で取得した情報に基づいて、指示体Ｓにより移動ジェスチャーが行われたか否かを判別する（ステップＳＡ２）。すなわち、検出部３３は、ステップＳＡ１において所定の周期で取得する連続した第１指示位置座標、及び、第１離間距離情報に基づいて、第１の指示体７０により移動ジェスチャーが行われたか否かを判別し、また、所定の周期で取得する連続した第２指示位置座標、及び、第２離間距離情報に基づいて、第２の指示体８０により移動ジェスチャーが行われたか否かを判別する。以下、ステップＳＡ２の処理について詳述する。
　図４は、移動ジェスチャーを説明するための図である。図４（Ａ）は、スクリーンＳＣの表面に沿って、スクリーンＳＣを上方に向かって見た場合において移動ジェスチャーが行われたときの指示体Ｓの指示位置の軌道を示す。図４（Ｂ）は、図１に示すプロジェクター１００の設定状態において、投射光学系の光軸（スクリーンＳＣに向かって斜め下方へ向かう方向に延びる軸）に沿ってスクリーンＳＣを見た場合において図４（Ａ）示す移動ジェスチャーと同じ移動ジェスチャーが行われたときの指示体Ｓの指示位置の軌道を示す。図４（Ｃ）は、スクリーンＳＣを正面視した場合において図４（Ａ）で示す移動ジェスチャーと同じ移動ジェスチャーが行われたときの指示体Ｓの指示位置の軌道を示す。
　移動ジェスチャーは、指示体Ｓの指示位置がスクリーンＳＣに接触しつつ第１の方向に移動する第１の移動と、当該第１の移動に連続し、指示体Ｓの指示位置がスクリーンＳＣに非接触の状態で、第２の方向に移動する第２の移動とを含むジェスチャーである。
　図４において、軌道Ｋは、Ｔ１を始点とし、Ｔ２を終点とする移動ジェスチャーにおける指示体Ｓの指示位置の軌道を示す。また、軌道Ｋにおいて、軌道Ｋ１は、第１の移動において第１の方向Ｈ１へ向かって移動する指示体Ｓの指示位置の軌道を示し、軌道Ｋ２は、第２の移動において第２の方向Ｈ２へ向かって移動する指示体Ｓの指示位置の軌道を示す。
　第２の移動は、指示体Ｓの指示位置の軌道が以下の条件を満たすことを条件とする。
　なお、以下の説明では、第１の移動から第２の移動へ移行する移行ポイント（図４ではＰ１）を起点として第１の方向に延びる仮想直線に対して、当該移行ポイントを起点として、スクリーンＳＣの面に直交する方向の角度が第１の角度（図４（Ａ）では「θ１」。）内で、かつ、スクリーンＳＣの面に平行な方向の角度が第２の角度（図４（Ｃ）の例では「θ２」。）内で広がる三次元の所定の範囲の領域（図４において斜線で表す領域。）を「移動可能領域」という。
　移動可能領域の大きさは、移行ポイントを起点として第１の方向に延びる仮想直線の長さ（図４では、Ｌ１）によって規定される。
　そして、第２の移動と判定する条件は、移動ポイントを起点とする指示体Ｓの軌道について、スクリーンＳＣの面に直交する方向の角度が第１の角度内であり、スクリーンＳＣの面に平行な方向の角度が第２の角度内であることを条件とする。条件を満たさない場合は、検出部３３は、第２の移動と判定しない。例えば、図４（Ａ）で破線によって示す指示体Ｓの軌道Ｋ３は、スクリーンＳＣの面に直交する方向の角度が第１の角度（θ１）を超えているため、検出部３３は、軌道Ｋ３について第２の移動と判定しない。
　このように、指示体Ｓの軌道が、移動可能領域の範囲内の場合に、第２の移動と判定する理由は、以下である。
　すなわち、操作者が、オブジェクト画像を後述する態様で移動させる意思をもって意図的に行ったジェスチャーを、移動ジェスチャーとして判定するためである。すなわち、移動ジェスチャーとして判定されるジェスチャーは、上述した第１の移動と第２の移動が連続する偶発的に生じにくい動作であり、指示体Ｓの軌道が移動可能領域の範囲内の場合に、第２の移動と判定することにより、ユーザーの意図的に行ったジェスチャーを移動ジェスチャーとして判定できる。また、移動ジェスチャーとして判定されるジェスチャーは、物理的な紙媒体を所定方向に移動させるときに行う動作を連想させるものであり、ユーザーは、移動ジェスチャーとして判定させるためにおこなうべき作業をイメージしやすい。
　さて、ステップＳＡ２において、検出部３３は、第１の指示体７０について、所定の周期で連続して入力された情報に基づく第１指示位置座標、及び、第１離間距離情報に基づいて、第１の指示体７０の指示位置の軌道を検出する。具体的には、検出部３３は、スクリーンＳＣの表面に平行して左右方向に延びる仮想軸をｘ軸とし、スクリーンＳＣの表面に並行して上下方向に延びる仮想軸をｙ軸とし、スクリーンＳＣの表面に直交して延びる仮想軸をｚ軸とした仮想的な３次元空間の直交座標系において、所定の周期で連続する第１の指示体７０の指示位置をプロットし、プロットした点を結ぶ線（以下、「軌道線」という。）を第１の指示体７０の指示位置の軌道として検出する。次いで、検出部３３は、上述した座標系における軌道線が、第１の移動に対応する線と、当該線に連続する第２の移動に対応する線とを含むか否かを判別する。なお、軌道線に含まれる所定の線が第２の移動に対応する線であるか否かの判別に関し、検出部３３は、上述した座標系における移動可能領域に対応する領域を算出し、算出した領域と、当該所定の線との位置関係に基づいて、当該所定の線に対応する第１の指示体７０の指示位置の軌跡が上述した条件を満たすか否かを判別し、条件を満たさない場合は、当該所定の線を、第２の移動に対応する線と判別しない。検出部３３は、上述した座標系における軌道線が、第１の移動に対応する線と、当該線に連続する第２の移動に対応する線とを含むと判別した場合、移動ジェスチャーが行われたと判別する。
　ステップＳＡ２において、検出部３３は、第２の指示体８０について、第１の指示体７０と同様の方法で、移動ジェスチャーが行われたか否かを判別する。
　図３（Ａ）に示すように、移動ジェスチャーが行われていないと判別した場合（ステップＳＡ２：ＮＯ）、移動量調整部３４は、処理を終了する。
　図３（Ａ）に示すように、移動ジェスチャーが行われたと判別した場合（ステップＳＡ２：ＹＥＳ）、移動量調整部３４は、以下の処理を実行する（ステップＳＡ３）。
　すなわち、移動量調整部３４は、第２の移動における指示体Ｓの第１の方向における長さである指示体移動距離を取得する。
　ここで、移動量調整部３４は、第２の移動による指示体Ｓの指示位置の軌跡の終点が、移動可能領域を超える場合、換言すれば、第２の移動による指示体Ｓの指示位置の軌跡の第１の方向における長さが、移動可能領域の第１の方向における長さを上回る場合、移動可能領域の第１の方向における長さを、指示体移動距離の値とする。
　例えば、図４（Ａ）において、軌道Ｋ２は、第２の移動における指示体Ｓの指示位置の軌道であり、軌道Ｋ２の終点Ｔ２は、移動可能領域を超える。この場合、移動量調整部３４は、移動可能距離の第１の方向における長さＬ１を、指示体移動距離の値とする。
　また例えば、図４（Ａ）において、２点鎖線で示す軌道Ｋ４は、その終点Ｔ３が、移動可能領域の範囲内にある。この場合、移動量調整部３４は、軌道Ｋ４の第１の方向Ｈ１における長さＬ２を、指示体移動距離の値とする。
　ステップＳＡ３において、移動量調整部３４は、上述した座標系における軌道線に基づいて、指示体移動距離の値を算出する。
　次いで、移動量調整部３４は、移動量係数を取得する（ステップＳＡ４）。
　ここで、記憶部６０の所定の記憶領域には、画像投射領域のサイズ（画像投射領域の上下方向の長さと、画像投射領域の左右方向の長さとの組み合わせ）ごとに、サイズと、移動量係数とを対応付けて記憶するテーブルが事前に記憶される。また、投射サイズ検出部３２がキャリブレーション時に検出した画像投射領域のサイズを示す情報は、記憶部６０の所定の記録領域に記憶される。ステップＳＡ４において、移動量調整部３４は、記憶部６０に記憶された画像投射領域のサイズを取得し、上述したテーブルを参照し、当該テーブルにおいて、取得した画像投射領域のサイズと対応付けられた移動量係数を取得する。
　なお、上述したテーブルにおいて、画像投射領域のサイズが大きければ大きいほど、画像投射領域のサイズと対応付けられた移動量係数の値は大きい。移動量係数の使用方法、及び、画像投射領域のサイズと移動量係数との値が正の相関関係にあることの理由は、後述する。
　なお、移動量係数を取得する方法は、上述した方法に限られない。例えば、画像投射領域のサイズを利用して、移動量係数を算出するための所定の数式が事前に設定され、移動量調整部３４は、当該数式を用いて移動量係数を算出してもよい。
　次いで、移動量調整部３４は、ステップＳＡ４で取得した移動量係数に基づいて、移動量を算出する（ステップＳＡ５）。以下、ステップＳＡ５の処理について詳述する。
　図５（Ａ）は、移動量の説明に利用する図である。図５（Ａ１）は、スクリーンＳＣの画像投射領域Ｑ１の左端部にオブジェクト画像Ｇ１が表示された様子を操作者と共に表す図である。図５（Ａ２）は、図５（Ａ１）の状態において操作者が移動ジェスチャーを行い、オブジェクト画像Ｇ１の位置が、画像投射領域Ｑ１の右端部へ移動した様子を操作者と共に表す図である。
　ここで、１のオブジェクト画像について移動ジェスチャー（第１の操作）が行われた場合、後に説明する処理により、移動量調整部３４が算出する移動量（第２の移動量）分、当該移動ジェスチャーに係る第１の方向へ向かって、当該１のオブジェクト画像が移動する。
　すなわち、移動量とは、移動ジェスチャーが行われてオブジェクト画像の移動が行われた場合に、移動前のオブジェクト画像の位置と、移動後のオブジェクト画像の位置との離間距離のことである。図５（Ａ）の例では、図５（Ａ１）に示すオブジェクト画像Ｇ１の位置と、図５（Ａ２）に示すオブジェクト画像Ｇ１の位置との離間距離が、移動量に相当する。
　ステップＳＡ５において、移動量調整部３４は、ステップＳＡ３で取得した指示体移動距離と、ステップＳＡ４で取得した移動量係数とに基づいて、以下の式で移動量を算出する。
　　（式）　移動量　＝　指示体移動距離×移動量係数
　ここで、上述したとおり、画像投射領域のサイズと、移動量係数とは、画像投射領域のサイズが大きいほど、対応する移動量係数が大きい関係にある。従って、上記の式で求められる移動量の値は、指示体移動距離が同一であれば、画像投射領域のサイズが大きいほど、大きくなる。これにより、以下の効果を奏する。
　図５（Ｂ１）は、画像投射領域Ｑ１よりもサイズが小さい画像投射領域Ｑ２の左端部にオブジェクト画像Ｇ１が表示された様子を操作者と共に表す図である。図５（Ｂ２）は、図５（Ｂ１）の状態において操作者が、図５（Ａ）と同一の態様の移動ジェスチャーを行い、オブジェクト画像Ｇ１の位置が、画像投射領域Ｑ２の右端部へ移動した様子を操作者と共に表す図である。
　同一の態様の移動ジェスチャーとは、移動ジェスチャーのそれぞれについて、第１の移動における指示体Ｓの指示位置の軌跡の方向である第１の方向と、第２の移動における指示体Ｓの指示位置の軌跡の方向である第２の方向とが一致し、また、指示体移動距離が一致することを意味する。
　画像投射領域のサイズが大きいほど移動量係数が大きくなるため、同一の態様で移動ジェスチャーが行われた場合、画像投射領域のサイズが大きいほど、移動量が多くなる。例えば、図５（Ａ）で示す画像投写領域のサイズ（第２のサイズ）のときにオブジェクト画像について移動ジェスチャー（第１の操作）が行われた時のオブジェクト画像の移動量（第２の移動量）と、図５（Ｂ）で示すように画像投写領域のサイズが図５（Ａ）で示す画像投写領域より小さいサイズ（第１のサイズ）である場合に同一態様での移動ジェスチャー（第１の操作）を行った時のオブジェクト画像の移動量（第１の移動量）とでは、投写画像領域のサイズが大きい図５（Ａ）で示す場合の移動量（第２の移動量）の方が大きくなっている。この結果、図５（Ａ）と、図５（Ｂ）との比較で明らかなとおり、操作者は、オブジェクト画像を画像投射領域の１の端部から他の端部へ移動させる場合、画像投射領域のサイズにかかわらず、同様の態様で移動ジェスチャーを行えばよい。この結果、図５（Ｂ）の例のように、画像投射領域Ｑ１の１の端部から他の端部へオブジェクト画像Ｇ１を移動させる場合に、従来の方法では歩行を伴う作業が必要であったが、作業者は、当該作業に代えて移動ジェスチャーを行ってオブジェクト画像Ｇ１を移動させることができ、作業者が行うべき作業（操作）が容易化する。
　続くステップＳＡ６において、投射制御部３１は、画像処理部４０を制御して、フレームメモリー４１におけるオブジェクト画像の画像データの展開位置を移動させ、移動ジェスチャーによる移動の対象となったオブジェクト画像について、画像投射領域における表示位置を、ステップＳＡ６で移動量調整部３４が算出した移動量分、第１の方向に移動させる。
　ステップＳＡ６の処理の結果、移動ジェスチャーに対応して、オブジェクト画像の位置が、画像投射領域のサイズに対応する移動量分、移動する。
　なお、ステップＳＡ６において、オブジェクト画像が外部の装置から供給された画像データに基づく画像である場合は、投射制御部３１は、以下の処理を行ってもよい。すなわち、移動ジェスチャーに伴う移動後のオブジェクト画像の座標を示す情報を外部の装置に送信する。外部の装置は、受信した情報に基づいて、例えば、オブジェクト画像の表示位置を管理するための情報を更新し、当該情報をオブジェクト画像の実際の表示位置に対応する値とする。
　以上説明したように、本実施形態に係るプロジェクター１００は、スクリーンＳＣ（投射面）にオブジェクト画像（第１のオブジェクト）を含む投射画像を投射する投射部２０と、画像投射領域（投射画像が投射される領域）のサイズを検出する投射サイズ検出部３２と、スクリーンＳＣに対する指示体Ｓ（第１の指示体７０、第２の指示体８０）の操作を検出する検出部３３と、検出部３３により検出した指示体Ｓの操作が、移動ジェスチャー（オブジェクト画像を移動させる操作）であった場合、画像投射領域のサイズに応じて、オブジェクト画像の移動量を異ならせる移動量調整部３４と、を備える。
　この構成によれば、プロジェクター１００は、画像投射量領域のサイズが一定でないことに対応して、移動ジェスチャーに基づいてオブジェクト画像の位置を移動させるときの移動量を、画像投射領域のサイズに対応した値とすることができる。
　また、本実施形態では、移動量調整部３４は、画像投射領域のサイズが第１のサイズの場合に指示体Ｓの操作（第１の操作）が行われた時のオブジェクト画像の移動量（第１の移動量）と、画像投射領域のサイズが第１のサイズよりも大きい第２のサイズの場合に指示体Ｓの操作（第１のサイズの場合に行う操作と同様な操作である第１の操作）が行われた場合の移動量（第２の移動量）とでは、第２のサイズの場合の方がオブジェクト画像の移動量（第２の移動量）を大きくする。
　また、移動量調整部３４は、画像投射領域のサイズが大きいほど、同様の指示体Ｓの操作が行われた場合におけるオブジェクト画像の移動量を大きくする。
　この構成によれば、画像投射領域のサイズが大きいほど、同一の態様で移動ジェスチャーが行われたときのオブジェクト画像の移動量を大きくすることができ、操作者によるオブジェクト画像の移動が容易化する。
　また、本実施形態では、移動ジェスチャーは、指示体ＳがスクリーンＳＣに接触して移動する状態から非接触で移動する状態へ連続して移行する操作である。
　そして、移動量調整部３４は、指示体ＳがスクリーンＳＣに非接触の状態へ移行した後の指示体Ｓの移動距離（指示体移動距離）に、画像投射領域のサイズに応じた係数（移動量係数）を乗じてオブジェクト画像の移動量を算出する。
　この構成によれば、操作者が、オブジェクト画像を移動させる意思をもって意図的に行ったジェスチャーを、移動ジェスチャーとして判定できる。また、移動ジェスチャーとして判定されるジェスチャーは、物理的な紙媒体を所定方向に移動させるときに行う動作を連想させるものであり、ユーザーにとって、移動ジェスチャーとして判定させるためにおこなうべき作業をイメージしやすい。また、移動量調整部３４は、移動量係数を用いて、移動量の値を、画像投射領域のサイズに応じた適切な値とすることができる。
　また、本実施形態では、投射サイズ検出部３２は、投射部２０によりスクリーンＳＣに特定パターン画像（特定のパターン画像）を投射させ、特定パターン画像が投射されたスクリーンＳＣを撮影部５１により撮影させ、撮影部５１による撮影結果に基づいて、画像投射領域のサイズを検出する。
　この構成によれば、画像投射領域のサイズの検出について、ユーザーの作業が必要なく、ユーザーの利便性が向上する。
　なお、上述した実施形態及び変形例は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。例えば、第１の指示体７０はペン型の指示体に限らず、第２の指示体８０は操作者の手指に限らない。例えば、第１の指示体７０として、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。
　また、上記実施形態では、位置検出部５０は、撮影部５１によりスクリーンＳＣを撮影して第１の指示体７０及び第２の指示体８０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮影部５１は、プロジェクター１００の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮影部５１をプロジェクター１００本体とは別体とした構成とし、撮影部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。
　また、上記実施形態では、フロントプロジェクション型のプロジェクター１００から画像が投射（表示）されるスクリーンＳＣに対して、ユーザーが第１の指示体７０及び第２の指示体８０による操作を行う態様について説明した。これ以外に、プロジェクター１００以外の表示装置が表示する表示画面に対して指示操作を行う態様であってもよい。プロジェクター１００以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイを用いることができる。また、表示装置としては、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。
　また、上記実施形態では、プロジェクター１００から第１の指示体７０に対し、送信部５２が発する赤外線信号を用いて第１の指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部５２をプロジェクター１００に設け、同様の受信部を第１の指示体７０に設けることで実現できる。
　また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。また、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネル又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
　また、図２に示したプロジェクター１００の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
　２０…投射部、３２…投射サイズ検出部、３３…検出部、３４…移動量調整部、５１…撮影部、１００…プロジェクター、７０…第１の指示体（指示体）、８０…第２の指示体（指示体）。

Claims (6)

  1. 　投射面に第１のオブジェクトを含む投射画像を投射する投射部と、
    　前記投射画像が投射される領域のサイズを検出する投射サイズ検出部と、
    　前記投射面に対する指示体の操作を検出する検出部と、
    　前記検出部により検出した前記指示体の操作が、前記第１のオブジェクトを移動させる操作であった場合、前記投射画像が投射される領域のサイズに応じて、前記第１のオブジェクトの移動量を異ならせる移動量調整部と、
    　を備えることを特徴とするプロジェクター。
  2. 　前記移動量調整部は、
    　前記投射画像が投射される領域のサイズが第１のサイズの場合に前記第１のオブジェクトを移動させる第１の操作が行われた時の前記第１のオブジェクトの第１の移動量と、前記投射画像が投射される領域のサイズが前記第１のサイズよりも大きい第２のサイズの場合に前記第１の操作が行われた時の前記第１のオブジェクトの第２の移動量とでは、前記第２の移動量を大きくすることを特徴とする請求項１に記載のプロジェクター。
  3. 　前記移動量調整部は、
    　前記投射画像が投射される領域のサイズが大きいほど、同様の前記指示体の操作が行われた場合における前記第１のオブジェクトの移動量を大きくすることを特徴とする請求項２に記載のプロジェクター。
  4. 　前記第１のオブジェクトを移動させる操作は、
    　前記指示体が前記投射面に接触して移動する状態から非接触で移動する状態へ連続して移行する操作であり、
    　前記移動量調整部は、
    　前記指示体が前記投射面に非接触の状態へ移行した後の前記指示体の移動距離に、前記投射画像が投射される領域のサイズに応じた係数を乗じて前記第１のオブジェクトの移動量を算出することを特徴とする請求項１乃至３のいずれか１項に記載のプロジェクター。
  5. 　前記投射面を撮影する撮影部を備え、
    　前記投射サイズ検出部は、
    　前記投射部により前記投射面に特定のパターン画像を投射させ、前記パターン画像が投射された前記投射面を前記撮影部により撮影させ、前記撮影部による撮影結果に基づいて、前記投射画像が投射される領域のサイズを検出することを特徴とする請求項１乃至４のいずれか１項に記載のプロジェクター。
  6. 　投射面に第１のオブジェクトを含む投射画像を投射する投射部を備えるプロジェクターの制御方法であって、
    　前記投射画像が投射される領域のサイズを検出し、
    　前記投射面に対する指示体の操作を検出し、
    　検出した前記指示体の操作が、前記第１のオブジェクトを移動させる操作であった場合、前記投射画像が投射される領域のサイズに応じて、前記第１のオブジェクトの移動量を異ならせる
    　ことを特徴とするプロジェクターの制御方法。
PCT/JP2016/001602 2015-03-30 2016-03-18 プロジェクター、及び、プロジェクターの制御方法 WO2016157804A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/560,380 US20180075821A1 (en) 2015-03-30 2016-03-18 Projector and method of controlling projector

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015068094A JP6665415B2 (ja) 2015-03-30 2015-03-30 プロジェクター、及び、プロジェクターの制御方法
JP2015-068094 2015-03-30

Publications (1)

Publication Number Publication Date
WO2016157804A1 true WO2016157804A1 (ja) 2016-10-06

Family

ID=57004905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001602 WO2016157804A1 (ja) 2015-03-30 2016-03-18 プロジェクター、及び、プロジェクターの制御方法

Country Status (3)

Country Link
US (1) US20180075821A1 (ja)
JP (1) JP6665415B2 (ja)
WO (1) WO2016157804A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019078845A (ja) * 2017-10-23 2019-05-23 セイコーエプソン株式会社 プロジェクターおよびプロジェクターの制御方法
JP6868665B2 (ja) * 2019-07-03 2021-05-12 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力方法及びデータ入力プログラム
JPWO2022044386A1 (ja) * 2020-08-28 2022-03-03
CN114363595A (zh) * 2021-12-31 2022-04-15 上海联影医疗科技股份有限公司 一种投影装置及检查设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280813A (ja) * 2002-03-25 2003-10-02 Ejikun Giken:Kk ポインティングデバイス、ポインタ制御装置、ポインタ制御方法及びその方法を記録した記録媒体
JP2005148661A (ja) * 2003-11-19 2005-06-09 Sony Corp 情報処理装置、および情報処理方法
WO2010032402A1 (ja) * 2008-09-16 2010-03-25 パナソニック株式会社 データ表示装置、集積回路、データ表示方法、データ表示プログラム及び記録媒体
JP2012220678A (ja) * 2011-04-07 2012-11-12 Seiko Epson Corp カーソル表示システム
JP2014029656A (ja) * 2012-06-27 2014-02-13 Soka Univ 画像処理装置および画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2435248T3 (es) * 2000-07-05 2013-12-17 Smart Technologies Ulc Sistema y método táctil basado en cámaras
US20070013873A9 (en) * 2004-04-29 2007-01-18 Jacobson Joseph M Low cost portable computing device
KR20080040930A (ko) * 2006-11-06 2008-05-09 삼성전자주식회사 컴퓨터 시스템 및 그 제어방법
US8297757B2 (en) * 2008-10-29 2012-10-30 Seiko Epson Corporation Projector and projector control method
JP5488306B2 (ja) * 2010-07-29 2014-05-14 船井電機株式会社 プロジェクタ
US20120044140A1 (en) * 2010-08-19 2012-02-23 Sanyo Electric Co., Ltd. Information display system and program, and optical input system, projection-type images and display apparatus
WO2013191888A1 (en) * 2012-06-20 2013-12-27 3M Innovative Properties Company Device allowing tool-free interactivity with a projected image
JP2014089522A (ja) * 2012-10-29 2014-05-15 Kyocera Corp 電子機器及び制御プログラム並びに電子機器の動作方法
US10394434B2 (en) * 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US9785243B2 (en) * 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280813A (ja) * 2002-03-25 2003-10-02 Ejikun Giken:Kk ポインティングデバイス、ポインタ制御装置、ポインタ制御方法及びその方法を記録した記録媒体
JP2005148661A (ja) * 2003-11-19 2005-06-09 Sony Corp 情報処理装置、および情報処理方法
WO2010032402A1 (ja) * 2008-09-16 2010-03-25 パナソニック株式会社 データ表示装置、集積回路、データ表示方法、データ表示プログラム及び記録媒体
JP2012220678A (ja) * 2011-04-07 2012-11-12 Seiko Epson Corp カーソル表示システム
JP2014029656A (ja) * 2012-06-27 2014-02-13 Soka Univ 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2016188892A (ja) 2016-11-04
US20180075821A1 (en) 2018-03-15
JP6665415B2 (ja) 2020-03-13

Similar Documents

Publication Publication Date Title
JP6064319B2 (ja) プロジェクター、及び、プロジェクターの制御方法
US9817301B2 (en) Projector, projection system, and control method of projector
US9992466B2 (en) Projector with calibration using a plurality of images
JP6387644B2 (ja) 位置検出装置、位置検出システム、及び、位置検出方法
JP6349838B2 (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
JP6326895B2 (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
WO2016157803A1 (ja) 表示装置、表示装置の制御方法、書画カメラ、及び、書画カメラの制御方法
WO2016157804A1 (ja) プロジェクター、及び、プロジェクターの制御方法
JP6051828B2 (ja) 表示装置、及び、表示装置の制御方法
US9870073B2 (en) Position detection device, projector, and position detection method
EP2916201B1 (en) Position detecting device and position detecting method
JP6405836B2 (ja) 位置検出装置、プロジェクター、及び、位置検出方法
JP6269801B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP6806220B2 (ja) 電子デバイス、及び電子デバイスの制御方法
JP6634904B2 (ja) 電子デバイス、及び電子デバイスの制御方法
JP6439398B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP6111682B2 (ja) 表示装置、および、表示装置の制御方法
JP6988985B2 (ja) 電子デバイス、及び電子デバイスの制御方法
JP6056447B2 (ja) 表示装置、及び、表示装置の制御方法
JP6145963B2 (ja) プロジェクター、表示システム、及びプロジェクターの制御方法
JP6524741B2 (ja) 位置検出装置、表示装置、位置検出装置の制御方法、及び、表示装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771697

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15560380

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16771697

Country of ref document: EP

Kind code of ref document: A1