WO2016157807A1 - インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法 - Google Patents

インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法 Download PDF

Info

Publication number
WO2016157807A1
WO2016157807A1 PCT/JP2016/001606 JP2016001606W WO2016157807A1 WO 2016157807 A1 WO2016157807 A1 WO 2016157807A1 JP 2016001606 W JP2016001606 W JP 2016001606W WO 2016157807 A1 WO2016157807 A1 WO 2016157807A1
Authority
WO
WIPO (PCT)
Prior art keywords
indicator
light
projection screen
self
contact
Prior art date
Application number
PCT/JP2016/001606
Other languages
English (en)
French (fr)
Inventor
健児 田中
カロル マルチン ポラック、
トルモド ニュルスタッド
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to KR1020177027896A priority Critical patent/KR20170122259A/ko
Priority to CN201680012869.5A priority patent/CN107430465B/zh
Priority to EP16771700.8A priority patent/EP3276466A4/en
Priority to US15/559,365 priority patent/US10275097B2/en
Publication of WO2016157807A1 publication Critical patent/WO2016157807A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • the present invention relates to an interactive projector capable of receiving an instruction from a user's indicator on a projection screen, and a system thereof.
  • a projection screen is projected onto a screen, an image including an object such as a finger or a light emitting pen is captured by a camera, and the position of the object is detected using the captured image.
  • a projection display device (projector) that can be used is disclosed.
  • An object such as a finger is used as an indicator for giving an instruction to the projection screen. That is, the projector recognizes that a predetermined instruction such as drawing is input to the projection screen when the tip of the object is in contact with the screen, and redraws the projection screen according to the instruction. Therefore, the user can input various instructions using the projection screen as a user interface.
  • a projector that can use a projection screen on the screen as an inputable user interface is called an “interactive projector”.
  • An object used for giving an instruction to the projection screen is called a “pointing element”.
  • a typical interactive projector it is determined whether or not an instruction is given by the indicator depending on whether or not the tip of the indicator is in contact with the screen.
  • the contact of the indicator can be detected based on the distance between the tip of the indicator and the screen.
  • the interactive projector configured to detect the three-dimensional position of the tip of the indicator using a plurality of cameras, when the pen that emits light is used as the indicator, the pen emits when the pen is in contact with the screen surface. Since the light is reflected on the screen surface, the detection accuracy of the pen tip position is not high, and the detection accuracy of the pen contact is not sufficient. For this reason, it has been desired to improve the detection accuracy of contact of a self-luminous indicator such as a light-emitting pen.
  • the present invention has been made to solve at least a part of the problems described above, and can be realized as the following forms or application examples.
  • an interactive projector capable of receiving an instruction from a user's indicator on a projection screen.
  • the interactive projector does not include the self-light-emitting indicator including a light-emitting unit that emits indicator signal light with a different light-emission pattern when the projection screen is touched and when it is not in contact with the projection screen, and the light-emitting unit. Both of the non-light emitting indicators can be used at the same time, and the interactive projector includes a projection unit that projects the projection screen on a screen surface, and a first camera and a second camera that capture an area of the projection screen.
  • a position detector that detects a three-dimensional position of the indicator relative to the projection screen based on a plurality of cameras and a plurality of images including the indicator imaged by the plurality of cameras;
  • a contact detection unit that detects contact with the projection screen, wherein the contact detection unit detects the contact of the self-luminous indicator with the projection screen.
  • the detection of the contact to the projection screen of the non-luminous pointer is executed based on the three-dimensional position detected by the position detection unit.
  • the self-luminous indicator and the non-luminous indicator detect contact of the indicator with the projection screen by different methods. Since the detection of the contact of the self-luminous indicator on the projection screen is executed based on the light emission pattern, the detection accuracy of the contact of the indicator on the projection screen can be improved.
  • the interactive projector may further include a detection light irradiation unit that irradiates detection light used for detection of the non-light emitting indicator toward the projection screen, and the plurality of cameras include the indicator signal light and the indicator signal light.
  • the region of the projection screen may be imaged by receiving light in a wavelength region including the wavelength of the detection light. According to this configuration, for example, a non-light emitting indicator can be detected easily and accurately using near infrared light as detection light.
  • the interactive projector since the interactive projector includes the detection light irradiation unit, the projector can easily control the detection light irradiation timing in association with the imaging timing of the camera.
  • the detection light irradiation unit intermittently irradiates the detection light toward the projection screen, and the position detection unit captures an image in a first period during which the detection light is irradiated.
  • the self-luminous indicator and the non-luminous indicator may be discriminated based on the first image that has been performed and the second image that has been captured in the second period during which the detection light is not irradiated. . According to this configuration, since the detection light is intermittently emitted, it is possible to easily discriminate between the self-luminous indicator and the non-luminous indicator based on the image corresponding to the presence or absence of the detection light.
  • the present invention can be realized in various forms, for example, a system including a self-luminous indicator, a flat or curved screen, and an interactive projector, an interactive projector control method or control device, and
  • the present invention can be realized in various forms such as a computer program for realizing the function of the method or apparatus and a non-transitory storage medium storing the computer program.
  • FIG. 1 is a perspective view of an interactive projection system 900 according to an embodiment of the present invention.
  • This system 900 includes an interactive projector 100, a screen plate 920, and a self-luminous indicator 70.
  • the front surface of the screen plate 920 is used as a projection screen surface (SS).
  • the projector 100 is fixed to the front and above the screen plate 920 by a support member 910.
  • the projection screen surface SS is arranged vertically, but the system 900 can be used with the projection screen surface SS arranged horizontally.
  • the projector 100 projects a projection screen PS (Projected Screen) on the projection screen surface SS.
  • the projection screen PS usually includes an image drawn in the projector 100. When there is no image drawn in the projector 100, light is emitted from the projector 100 to the projection screen PS, and a white image is displayed.
  • projection screen surface SS (or “screen surface SS”) means the surface of a member on which an image is projected.
  • the “projection screen PS” means an area of an image projected on the projection screen surface SS by the projector 100. Usually, the projection screen PS is projected on a part of the projection screen surface SS.
  • the self-light emitting indicator 70 is a pen-type indicator having a tip portion 71 capable of emitting light, a shaft portion 72 held by a user, and a button switch 73 provided on the shaft portion 72.
  • the configuration and function of the self-luminous indicator 70 will be described later.
  • one or a plurality of non-luminous indicators 80 can be used together with one or a plurality of self-luminous indicators 70.
  • the self-luminous indicator 70 and the non-luminous indicator 80 are also simply referred to as an indicator 780.
  • FIG. 2 (A) is a side view of the interactive projection system 900
  • FIG. 2 (B) is a front view thereof.
  • the direction along the left and right of the screen surface SS is defined as the X direction
  • the direction along the top and bottom of the screen surface SS is defined as the Y direction
  • the direction along the normal line of the screen surface SS is defined as the Z direction.
  • the X direction is also referred to as “left-right direction”
  • the Y direction is also referred to as “up-down direction”
  • the Z direction is also referred to as “front-rear direction”.
  • a direction in which the projection screen PS exists when viewed from the projector 100 is referred to as a “down direction”.
  • the range of the projection screen PS in the screen plate 920 is hatched.
  • the projector 100 illuminates detection light on the projection lens 210 that projects the projection screen PS on the screen surface SS, the first camera 310 and the second camera 320 that capture an area of the projection screen PS, and the indicator 780. And a detection light irradiation unit 410.
  • a detection light irradiation unit 410 For example, near infrared light is used as the detection light.
  • the two cameras 310 and 320 have at least a first imaging function for receiving and imaging light in a wavelength region including the wavelength of detection light. At least one of the two cameras 310 and 320 further has a second imaging function for receiving and imaging light including visible light, and is configured to be able to switch between these two imaging functions. It is preferable.
  • a near-infrared filter that blocks visible light and allows only near-infrared light to pass can be arranged in front of the lens or moved backward from the front of the lens.
  • An infrared filter switching mechanism (not shown) is preferably provided.
  • the two cameras 310 and 320 have the same position in the left-right direction (X direction) and are arranged side by side with a predetermined distance in the front-rear direction (Z direction).
  • the two cameras 310 and 320 are not limited to this embodiment.
  • the positions in the front-rear direction (Z direction) may be the same, and they may be arranged side by side with a predetermined distance in the left-right direction (X direction).
  • the positions may be different in all directions of X, Y, and Z. It is preferable to arrange two cameras by changing the position in the Z direction (shifting in the front-rear direction) because the accuracy of the Z coordinate in calculating the three-dimensional position by triangulation is high.
  • the example in FIG. 2B shows a state where the interactive projection system 900 is operating in the whiteboard mode.
  • the whiteboard mode is a mode in which the user can arbitrarily draw on the projection screen PS using the self-light emitting indicator 70 and the non-light emitting indicator 80.
  • a projection screen PS including a tool box TB is projected on the screen surface SS.
  • This tool box TB selects a cancel button UDB for returning processing, a pointer button PTB for selecting a mouse pointer, a pen button PEB for selecting a pen tool for drawing, and an eraser tool for erasing a drawn image. It includes an eraser button ERB and a forward / backward button FRB that advances or moves the screen forward.
  • the user can perform processing according to the button or select a tool by touching these buttons using an indicator.
  • the mouse pointer may be selected as the default tool immediately after the system 900 is activated.
  • the tip 71 of the self-luminous indicator 70 is moved in the projection screen PS in a state of being in contact with the screen surface SS. It shows how lines are drawn.
  • the line drawing is performed by a projection image creation unit (described later) inside the projector 100.
  • the interactive projection system 900 can operate in other modes other than the whiteboard mode.
  • the system 900 can also operate in a PC interactive mode in which an image of data transferred from a personal computer (not shown) via a communication line is displayed on the projection screen PS.
  • a PC interactive mode for example, an image of data such as spreadsheet software is displayed, and it is possible to input, create, and correct data using various tools and icons displayed in the image. .
  • FIG. 3 is a block diagram showing the internal configuration of the interactive projector 100 and the self-luminous indicator 70.
  • the projector 100 includes a control unit 700, a projection unit 200, a projection image generation unit 500, a position detection unit 600, a contact detection unit 800, an imaging unit 300, a detection light irradiation unit 410, and a signal light transmission unit 430. And have.
  • the control unit 700 controls each unit in the projector 100. Further, the control unit 700 is performed on the projection screen PS by the indicator 780 based on the three-dimensional position of the indicator 780 detected by the position detector 600 and the contact detection of the indicator 780 by the contact detector 800. The content of the designated instruction is determined, and the projection image generation unit 500 is instructed to create or change the projection image according to the content of the instruction.
  • the projection image generation unit 500 includes a projection image memory 510 that stores the projection image, and has a function of generating a projection image projected on the screen surface SS by the projection unit 200.
  • the projection image generation unit 500 preferably further has a function as a keystone correction unit that corrects the trapezoidal distortion of the projection screen PS (FIG. 2B).
  • the projection unit 200 has a function of projecting the projection image generated by the projection image generation unit 500 onto the screen surface SS.
  • the projection unit 200 includes a light modulation unit 220 and a light source 230 in addition to the projection lens 210 described with reference to FIG.
  • the light modulator 220 modulates the light from the light source 230 according to the projection image data given from the projection image memory 510 to form the projection image light IML.
  • the projection image light IML is typically color image light including three colors of visible light of RGB, and is projected on the screen surface SS by the projection lens 210.
  • the light source 230 various light sources such as a light emitting diode and a laser diode can be adopted in addition to a light source lamp such as an ultra-high pressure mercury lamp.
  • a transmissive or reflective liquid crystal panel, a digital mirror device, or the like can be adopted, and a configuration including a plurality of modulation units 220 for each color light may be employed.
  • the detection light irradiation unit 410 irradiates irradiation detection light IDL for detecting the tip of the indicator 780 over the screen surface SS and the space in front thereof.
  • irradiation detection light IDL For example, near infrared light is used as the irradiation detection light IDL.
  • the irradiation timing of the irradiation detection light IDL in the detection light irradiation unit 410 will be described in detail later.
  • the signal light transmitter 430 has a function of transmitting the device signal light ASL, which is a synchronization near-infrared light signal.
  • the signal light transmission unit 430 periodically emits the device signal light ASL.
  • the tip light emitting section 77 of the self-light emitting indicator 70 is synchronized with the device signal light ASL, and the indicator signal light PSL (which will be described in detail later) that is near-infrared light having a predetermined light emission pattern (light emission sequence).
  • the cameras 310 and 320 of the imaging unit 300 perform imaging at a predetermined timing synchronized with the apparatus signal light ASL when detecting the position of the indicator 780.
  • the imaging unit 300 includes the first camera 310 and the second camera 320 described in FIG. As described above, the two cameras 310 and 320 have a function of receiving and imaging light in a wavelength region including the wavelength of the detection light.
  • the irradiation detection light IDL irradiated by the detection light irradiation unit 410 is reflected by the indicator 780, and the reflected detection light RDL is received and imaged by the two cameras 310 and 320. It is.
  • the two cameras 310 and 320 also receive and image indicator signal light PSL, which is near-infrared light emitted from the tip light emitting unit 77 of the self-emission indicator 70.
  • the imaging of the two cameras 310 and 320 includes a first period in which the irradiation detection light IDL is irradiated from the detection light irradiation unit 410, a second period in which the irradiation detection light IDL is not irradiated from the detection light irradiation unit 410, Run both.
  • At least one of the two cameras 310 and 320 preferably has a function of imaging using light including visible light in addition to a function of imaging using light including near infrared light.
  • the projection screen PS projected on the screen surface SS can be captured by the camera, and the projection image generation unit 500 can execute keystone correction using the image. Since the keystone correction method using one or more cameras is well known, the description thereof is omitted here.
  • the position detection unit 600 analyzes images captured by the two cameras 310 and 320 (hereinafter also referred to as “captured images”), and uses the triangulation to determine the three-dimensional position of the tip of the indicator 780. It has a function to calculate coordinates. At this time, the position detection unit 600 compares the captured images in the first period and the second period described above so that the individual indicators 780 included in the image have the self-emission indicator 70 and the non-emission instruction. The body 80 is determined (to be described in detail later).
  • the contact detection unit 800 detects the contact of the indicator 780 with the projection screen PS (screen surface SS) based on the analysis result (position coordinates) of the captured image by the position detection unit 600.
  • the contact detection unit 800 detects the contact of the self-luminous indicator 70 with the projection screen PS based on the emission pattern of the indicator signal light PSL emitted by the self-luminous indicator 70. Then, the detection of the contact of the non-light emitting indicator 80 with the projection screen PS is executed based on the three-dimensional position coordinates detected by the position detection unit 600.
  • a method for detecting contact of the indicator 780 in the contact detection unit 800 will be described in detail later.
  • the self-luminous indicator 70 is provided with a signal light receiving unit 74, a control unit 75, a tip switch 76, and a tip light emitting unit 77.
  • the signal light receiver 74 has a function of receiving the device signal light ASL emitted from the signal light transmitter 430 of the projector 100.
  • the tip switch 76 is a switch that is turned on when the tip 71 of the self-luminous indicator 70 is pressed and turned off when the tip 71 is released.
  • the tip switch 76 is normally in an off state, and when the tip portion 71 of the self-luminous indicator 70 contacts the screen surface SS, the tip switch 76 is turned on by the contact pressure.
  • the control unit 75 When the tip switch 76 is in the OFF state, the control unit 75 has the first light emission pattern by causing the tip light emitting unit 77 to emit light with a specific first light emission pattern indicating that the tip switch 76 is in the OFF state.
  • the indicator signal light PSL is emitted.
  • the control unit 75 causes the tip light emitting unit 77 to emit light with a specific second light emission pattern indicating that the tip switch 76 is turned on.
  • the contact detection unit 800 acquires the analysis result of the images captured by the two cameras 310 and 320 from the position detection unit 600, and Based on the analysis result, it is possible to identify whether the tip switch 76 is on or off.
  • the button switch 73 of the self-luminous indicator 70 has the same function as the tip switch 76. Accordingly, the control unit 75 causes the tip light emitting unit 77 to emit light with the second light emission pattern when the button switch 73 is pressed by the user, and uses the first light emission pattern when the button switch 73 is not pressed.
  • the tip light emitting unit 77 emits light. In other words, the control unit 75 causes the tip light emitting unit 77 to emit light with the second light emission pattern when at least one of the tip switch 76 and the button switch 73 is on, and both the tip switch 76 and the button switch 73 are off. In this state, the tip light emitting portion 77 is caused to emit light with the first light emission pattern.
  • a function different from the tip switch 76 may be assigned to the button switch 73.
  • the tip light emitting unit 77 depends on the on / off state of the tip switch 76 and the on / off state of the button switch 73. Light is emitted with four different light emission patterns. In this case, the self-luminous indicator 70 can transmit to the projector 100 while distinguishing the four combinations of the on / off states of the tip switch 76 and the button switch 73.
  • FIG. 4 is an explanatory diagram showing a state of operation using the self-luminous indicator 70 and the non-luminous indicator 80.
  • the front end portion 71 of the self-light emitting indicator 70 and the front end portion 81 of the non-light emitting indicator 80 are both separated from the screen surface SS.
  • the XY coordinates (X 71 , Y 71 ) of the tip 71 of the self-luminous indicator 70 are on the eraser button ERB of the tool box TB.
  • the mouse pointer PT is selected as a tool representing the function of the tip 71 of the self-luminous indicator 70, and the mouse pointer PT 71 exists on the eraser button ERB. PT is drawn on the projection screen PS.
  • the three-dimensional position of the distal end portion 71 of the self-luminous indicator 70 is determined by triangulation using images captured by the two cameras 310 and 320. Therefore, on the projection screen PS, the mouse pointer PT is positioned at the position of the XY coordinates (X 71 , Y 71 ) of the three-dimensional coordinates (X 71 , Y 71 , Z 71 ) of the tip 71 determined by triangulation. The mouse pointer PT is drawn so that the operation point OP 71 at the tip is arranged.
  • the tip OP 71 of the mouse pointer PT is arranged at the XY coordinates (X 71 , Y 71 ) of the three-dimensional coordinates (X 71 , Y 71 , Z 71 ) of the tip 71 of the self-luminous indicator 70,
  • the user's instruction is given at this position.
  • the user can select the eraser tool by bringing the tip 71 of the self-luminous indicator 70 into contact with the projection screen PS in this state.
  • the user can also select the eraser tool by pressing the button switch 73 of the self-luminous indicator 70 in this state.
  • pressing the button switch 73 causes the XY coordinates (X 71 , Y 71 ) of the tip 71 to be obtained.
  • An instruction according to the content of the projection screen PS at the operation point OP 71 to be arranged can be given to the projector 100.
  • the pen tool PE is selected as a tool representing the function of the tip 81 of the non-light emitting indicator 80, and the pen tool PE is drawn on the projection screen PS.
  • the three-dimensional position of the distal end portion 81 of the non-light emitting indicator 80 is also determined by triangulation using images captured by the two cameras 310 and 320. Therefore, on the projection screen PS, the tip of the pen tool PE is positioned at the position of the XY coordinates (X 81 , Y 81 ) among the three-dimensional coordinates (X 81 , Y 81 , Z 81 ) of the tip 81 determined by triangulation.
  • the pen tool PE is drawn so that the operation point OP 81 located at is located.
  • the instruction draws or tooling is made with the tip 81 of the non-light emitting indicator 80 in contact with the projection screen PS. Selection etc.) is performed.
  • the tool (mouse pointer PT or pen tool PE) selected by each indicator is drawn and displayed on the projection screen PS. Is done. Therefore, even when the user does not touch the tip of the indicator with the projection screen PS, there is an advantage that it is easy to understand which tool is selected by the indicator and the operation is easy.
  • the tool since the tool is drawn so that the operation point OP of the tool is arranged at the position of the XY coordinates of the three-dimensional coordinates of the tip of the indicator, the user appropriately sets the position of the tool being used. There is an advantage that it can be recognized.
  • the interactive projection system 900 may be configured such that a plurality of self-luminous indicators 70 can be used simultaneously.
  • the light emission pattern of the indicator signal light PSL described above is preferably a unique light emission pattern that can identify a plurality of self-light emitting indicators 70. More specifically, when N (N is an integer of 2 or more) self-luminous indicators 70 can be used simultaneously, the emission pattern of the indicator signal light PSL is N self-luminous indicators 70. It is preferable that they can be distinguished. Note that in the case where a plurality of unit light emission periods are included in one set of light emission patterns, binary light emission and non-light emission can be expressed in one unit light emission period.
  • one unit light emission period corresponds to a period in which the tip light emitting unit 77 of the self-light emitting indicator 70 represents 1-bit information of on / off.
  • one set of light emission patterns is composed of M unit light emission periods (M is an integer of 2 or more)
  • 2 M states can be distinguished by one set of light emission patterns. Accordingly, it is preferable that the number M of unit light emission periods constituting one set of light emission patterns is set so as to satisfy the following expression.
  • the position detection unit 600 (or the control unit 700) identifies the N light-emitting indicators 70 and the states of the switches 73 and 76 of each self-light-emitting indicator 70, a set of light emission patterns.
  • the identification is executed using M images captured by the cameras 310 and 320 in the M unit light emission periods.
  • This M-bit light emission pattern is a pattern in which the indicator signal light PSL is turned on or off while the irradiation detection light IDL is maintained in an off state.
  • the non-light emitting indicator 80 is not shown.
  • the indicator signal light PSL may be either on or off during the unit light emission period for position detection.
  • the image obtained in the unit light emission period for position detection can also be used for position detection of the self-light emitting indicator 70.
  • Projected image light IML Image light (visible light) projected onto the screen surface SS by the projection lens 210 in order to project the projection screen PS onto the screen surface SS.
  • Irradiation detection light IDL In order to detect the tip of the indicator 780 (self-luminous indicator 70 and non-luminous indicator 80), the detection light irradiator 410 irradiates the screen surface SS and the space in front thereof. Near-infrared light.
  • Reflected detection light RDL Of the near-infrared light irradiated as the irradiation detection light IDL, it is reflected by the indicator 780 (the self-emitting indicator 70 and the non-emitting indicator 80) and is reflected by the two cameras 310 and 320. Near-infrared light received by.
  • Device signal light ASL near-infrared light periodically emitted from the signal light transmission unit 430 of the projector 100 in order to synchronize the projector 100 and the self-luminous indicator 70.
  • Indicator signal light PSL Near-infrared light emitted from the tip light emitting part 77 of the self-emission indicator 70 at a timing synchronized with the device signal light ASL.
  • the light emission pattern of the indicator signal light PSL is changed according to the on / off state of the switches 73 and 76 of the self-light emission indicator 70. Further, it has a unique light emission pattern for identifying the plurality of self-light emitting indicators 70.
  • the positions of the tip portions of the self-luminous indicator 70 and the non-luminous indicator 80 and the determination of the contents designated by the self-luminous indicator 70 and the non-luminous indicator 80 are as follows. Executed.
  • FIG. 5 is a timing chart showing the light emission timings of the projector and the indicator.
  • the position detection and contact detection of the indicator 780 (self-luminous indicator 70, non-luminous indicator 80) (to the screen surface SS at the tip of the indicator 780). Is detected).
  • the sequence shown in FIG. 5 includes four cycles of a first cycle CY1 to a fourth cycle CY4, and each cycle includes four phases of a first phase PH1 to a fourth phase.
  • FIG. 5 shows an example in which the pen 1 and the pen 2 are used as the self-luminous indicator 70.
  • the pen ID of the pen 1 is “10”, and the pen ID of the pen 2 is “01”.
  • the self-light emitting indicator 70 emits light according to the set light emission ID in the third phase PH3.
  • the cameras 310 and 320 of the imaging unit 300 execute imaging in the second phase PH2, the third phase, and the fourth phase in synchronization with the apparatus signal light ASL.
  • FIG. 5 illustrates a case where the button switch flag is “0” and the contact flag is “0”.
  • the self-emission indicator 70 and the detection light irradiation unit 410 emit light in synchronization with the apparatus signal light ASL (synchronization signal) emitted by the signal light transmission unit 430 of the interactive projector 100. .
  • the device light ASL for synchronization is emitted from the signal light transmitter 430 of the projector 100, and the first phase PH of the first cycle CY1 is started.
  • the signal light transmitter 430 emits the device signal light ASL at the start timing of the first phase PH1 of each cycle.
  • two synchronized burst signals are emitted as the device signal light ASL.
  • the self-light emitting indicator 70 emits the indicator signal light PSL in the second phase PH2 and the fourth phase PH4.
  • the self-luminous indicator 70 receives the device signal light ASL at the signal light receiving unit 74 and receives the first phase. If the start timing is recognized, the start timings of the second to fourth phases can be recognized.
  • the self-emission indicator 70 emits light according to the set emission ID in the third phase. That is, in the third phase PH3, light emission / non-light emission differs for each cycle depending on the individual of the self-luminous indicator 70 and the presence or absence of contact. That is, as will be described later, the third phase PH3 is a phase in which the individual light-emitting indicator 70 is identified and the contact of the self-light-emitting indicator 70 is detected.
  • the detection light irradiation unit 410 of the interactive projector 100 emits the irradiation detection light IDL in the second phase PH2 and the fourth phase PH4 in synchronization with the apparatus signal light ASL, and the irradiation detection light IDL in the third phase PH3. Does not emit light. Since the irradiation detection light IDL is reflected by the indicator 780, the reflection detection light RDL is generated in the second phase PH2 and the fourth phase PH4.
  • the second phase PH2 and the fourth phase PH4 in the present embodiment correspond to the first period in the claims, and the third phase PH3 corresponds to the second period in the claims.
  • the cameras 310 and 320 of the imaging unit 300 execute imaging in the second phase PH2, the third phase, and the fourth phase in synchronization with the apparatus signal light ASL.
  • the cameras 310 and 320 execute imaging at a timing according to the light emission of the self-light emitting indicator 70. At this time, it is preferable to perform imaging with an exposure time slightly longer than the pulse width of the indicator signal light PSL. By setting the exposure time in this way, noise from other light sources can be suppressed.
  • the second phase PH2 and the fourth phase PH4 are position detection phases.
  • images captured by the first cameras 310 and 320 include an indicator signal light PSL emitted by the self-emission indicator 70 and an indicator 780 (the self-emission indicator 70, The reflected light RDL by the non-light emitting indicator 80) is included.
  • the position detection unit 600 detects the three-dimensional position of the tip of the indicator 780 (self-emission indicator 70, non-emission indicator 80) according to triangulation based on images taken by the two cameras 310 and 320. To do.
  • the indicator signal light PSL emitted from the tip light emitting portion 77 disposed at the tip portion 71 of the self-light emitting indicator 70 is included in the captured image.
  • the three-dimensional position of the tip 71 of the self-luminous indicator 70 is calculated according to triangulation based on the bright spot included in the captured image.
  • the reflected detection light RDL reflected by the non-light emitting indicator 80 is included in the captured image.
  • the position of the tip 81 of the non-light emitting indicator 80 in the two images captured by the two cameras 310 and 320 can be determined using a known technique such as template matching or feature extraction. For example, when recognizing the tip 81 of the non-light emitting indicator 80, which is a finger, by template matching, a plurality of templates related to the finger are prepared in advance and images captured by the two cameras 310 and 320 are It is possible to recognize the tip 81 of the finger by searching for a portion that matches these templates. The three-dimensional position of the tip 81 of the non-light emitting indicator 80 is calculated according to triangulation based on the tip 81 recognized by template matching or the like.
  • the third phase PH3 is a phase in which the indicator 780 is determined.
  • the detection light irradiation unit 410 of the interactive projector 100 does not emit the irradiation detection light IDL. Therefore, the reflection detection light RDL that is the reflection light of the irradiation detection light IDL does not occur.
  • the self-light emitting indicator 70 emits light according to the light emission ID in the third phase PH3, and thus light emission / non-light emission differs for each cycle. That is, the light included in the image captured by the imaging unit 300 in the third phase PH3 is the indicator signal light PSL emitted from the self-emission indicator 70. In the example shown in FIG.
  • the pen 1 emits light in the third phase PH3 of the first cycle CY1
  • the pen 2 emits light in the third phase PH3 of the second cycle CY2.
  • the images captured in the second phase PH2 and the fourth phase PH4 include three lights (for the reflection detection light RDL, the light of the tip portion 81 of the non-light emitting indicator 80 detected by pattern matching or the like).
  • the position detection unit 600 has coordinates that substantially match the three-dimensional position (coordinates) of the light included in the image captured in the third phase PH3 of the first cycle CY1. It is determined that the light is the three-dimensional position (coordinates) of the pen 1.
  • whether or not the two positions substantially coincide is determined according to whether or not the distance between the two points in each of the X, Y, and Z coordinates is within 2 mm.
  • the threshold value for determining that the two positions substantially coincide is set to 2 mm, but the present invention is not limited to this. For example, it is preferable to use a small value of about 2 mm to 6 mm.
  • the position detection unit 600 detects that the light having coordinates substantially matching the three-dimensional position (coordinates) of the light included in the image captured in the third phase PH3 of the second cycle CY2 is the three-dimensional position of the pen 2 ( (Coordinates).
  • the position detector 600 determines that the remaining one-dimensional position of the three lights included in the images picked up in the second phase PH2 and the fourth phase PH4 is not. It is determined that the tip portion 81 of the light emission indicator 80 is the three-dimensional position.
  • the button switch 73 of the self-luminous indicator 70 is ON, light is emitted in the third phase of the third cycle CY3.
  • the position detection unit 600 distinguishes the pen 1 and the pen 2 and determines whether the button switch 73 is on or off.
  • the third phase PH3 is also a phase for performing contact detection for detecting contact of the tip 71 of the self-luminous indicator 70 with the screen surface SS.
  • the fourth bit of the emission ID of the indicator signal light PSL emitted by the self-emission indicator 70 is a contact flag. Therefore, the contact of the self-luminous indicator 70 can be detected based on whether light is included in the image (captured image M43) captured in the third phase PH3 of the fourth cycle CY4.
  • the contact detection unit 800 detects contact by distinguishing the individual (pen 1, 2) of the self-luminous indicator 70 based on the result of the position detection unit 600 analyzing the captured images M13, 23, 43 (FIG. 5). .
  • the contact detection unit 800 determines that both the pens 1 and 2 are non-contact.
  • the contact detection unit 800 determines that one of the pens 1 and 2 is in contact. Specifically, when the three-dimensional position of the light included in the captured image M43 substantially matches the three-dimensional position of the light included in the captured image M13 (first phase, third phase), the contact detection unit 800 It is determined that the pen 1 is in contact and the pen 2 is not in contact.
  • the contact detection unit 800 detects the contact of the self light emitting indicator 70 based on the light emission pattern (light emission ID) of the indicator signal light PSL emitted from the self light emitting indicator 70.
  • the contact detection unit 800 determines whether the difference between the Z coordinate value of the tip 81 determined by triangulation and the Z coordinate value of the surface of the screen surface SS is less than a minute tolerance. Whether or not the tip 81 is sufficiently close to the surface of the screen surface SS is detected.
  • the tolerance is set to 2 mm, but the present invention is not limited to this. For example, it is preferable to use a small value of about 2 mm to 6 mm.
  • the control unit 700 instructs based on the detection results of the position detection unit 600 and the contact detection unit 800.
  • the instruction content by the body 780 (self-emission indicator 70, non-emission indicator 80) is determined, and an image corresponding to the instruction content is generated by the projection image generation unit 500, and the projection unit 200 instructs the screen surface SS. Project an image according to the content. For example, when the tip switch 76 or the button switch 73 is turned on in a state where the position of the XY coordinate of the tip 71 is on any button in the tool box TB (FIG. 2B), The button tool is selected.
  • the tip switch 76 or the button switch 73 when the tip switch 76 or the button switch 73 is turned on in a state where the XY coordinates of the tip 71 are at a position other than the tool box TB in the projection screen PS. A process (for example, drawing) by the selected tool is selected.
  • the control unit 700 selects in advance using the XY coordinates (X 71 , Y 71 ) of the tip 71 of the self-light emitting indicator 70 and the XY coordinates (X 81 , Y 81 ) of the tip 81 of the non-light emitting indicator 80.
  • the projected image generation unit 500 draws the pointer or mark so that the pointer or mark being placed is positioned at the position (X 71 , Y 71 ), (X 81 , Y 81 ) in the projection screen PS.
  • the control unit 700 executes processing according to the contents instructed by the self-light emitting indicator 70 and the non-light emitting indicator 80 and causes the projection image generating unit 500 to draw an image including the processing result.
  • contact detection of the self-luminous indicator 70 is performed based on the emission pattern of the indicator signal light PSL emitted by the self-luminous indicator 70. Since the three-dimensional position of the tip 71 of the self-luminous indicator 70 can be obtained by triangulation using images captured by the two cameras 310 and 320, the self-luminous indicator is used using the three-dimensional position. It is also possible to perform contact detection of the tip portion 71 of 70. However, since the indicator signal light PSL emitted from the self-luminous indicator 70 is reflected by the screen surface SS when the self-luminous indicator 70 is in contact with the screen surface SS, the tip position of the self-luminous indicator 70 by triangulation is reflected.
  • the contact detection of the self-light emitting indicator 70 is performed based on the light emission pattern of the indicator signal light PSL emitted by the self-light emitting indicator 70.
  • the contact detection of the body 70 can be executed with higher accuracy.
  • FIG. 6 is a timing chart showing another example of the light emission timing of the projector and the indicator.
  • one cycle includes five phases of a first phase PH1 to a fifth phase PH5.
  • the plurality of self-luminous indicators 70 and the non-luminous indicator 80 are identified and the positions are specified, and the plural self-luminous indicators are identified.
  • a contact can be detected by distinguishing 70.
  • the self-luminous indicator 70 does not include the button switch 73 in the above example is shown.
  • FIG. 6 shows an example in which the pen 21 and the pen 22 are used as the self-luminous indicator 70.
  • the pen ID of the pen 21 is “10”, and the pen ID of the pen 22 is “11”.
  • the self-light emitting indicator 70 emits light according to the set light emission ID in the second phase PH2 to the fourth phase PH4.
  • the cameras 310 and 320 of the imaging unit 300 execute imaging in the second phase PH2 to the fifth phase PH5 in synchronization with the apparatus signal light ASL.
  • FIG. 6 illustrates a case where the contact flag is “0”.
  • the second phase PH2 is a phase for discriminating between the self-luminous indicator 70 and the non-luminous indicator 80.
  • the position detection unit 600 uses the light included in the captured image M15. Is determined to be reflected detection light RDL by the self-luminous indicator 70.
  • the position detection unit 600 determines that the light included in the captured image M15 is reflected detection light RDL by the non-light emitting indicator 80. Determine.
  • the third phase PH3 is a phase in which the pen 21 and the pen 22 are discriminated.
  • the pen 21 does not emit light and the pen 22 emits light. Therefore, for example, when both pens 21 and 22 are used, the three-dimensional position (coordinates) of the bright spot included in the captured image M13 and the three-dimensional position (coordinates) of the bright spot included in the captured image M15 are determined. By comparing, the pen 21 and the pen 22 can be discriminated.
  • 4th phase PH4 is a phase which performs the contact detection which detects the contact to the screen surface SS of the front-end
  • FIG. Similar to the above example, contact can be detected.
  • the fifth phase PH5 is a position detection phase. Similar to the above example, a three-dimensional position can be detected.
  • the indicator 780 pen 21, pen 22, non-light emitting indicator 80
  • 3 Dimensional position and contact can be detected.
  • the 4-bit light emission ID is exemplified as the light emission pattern (light emission ID) of the indicator signal light PSL emitted from the self light emission indicator 70, but the light emission pattern of the indicator signal light PSL is limited to the above embodiment. Instead, it is only necessary to identify a plurality of self-luminous indicators 70 and determine contact / non-contact. Moreover, in the said embodiment, although the position detection and contact determination of the indicator 780 are performed based on the image imaged according to the sequence shown in FIG. 5, it is not limited to the sequence shown in FIG. For example, the fourth phase PH4 may be omitted.
  • the imaging unit 300 includes the two cameras 310 and 320.
  • the imaging unit 300 may include three or more cameras.
  • three-dimensional coordinates (X, Y, Z) are determined based on m images captured by m cameras (m is an integer of 3 or more).
  • m is an integer of 3 or more.
  • three-dimensional coordinates are obtained using a combination of two m C obtained by arbitrarily selecting two images from m images, and a final three-dimensional coordinate is determined using an average value thereof. You may do it. By doing so, it is possible to further increase the detection accuracy of the three-dimensional coordinates.
  • the interactive projection system 900 can operate in the whiteboard mode and the PC interactive mode. However, the system may be configured to operate only in one of these modes. Further, the interactive projection system 900 may be configured to operate only in other modes other than these two modes, and may be configured to be operable in a plurality of modes including these two modes. Good.
  • the irradiation detection light IDL, the reflection detection light RDL, the device signal light ASL, and the indicator signal light PSL shown in FIG. 3 are all near infrared light. A part or all of the light may be light other than near infrared light.
  • the projection screen is projected onto the flat screen plate 920, but the projection screen may be projected onto a curved screen. Also in this case, since the three-dimensional position of the tip of the indicator can be determined using triangulation using the images captured by the two cameras, the positional relationship between the tip of the indicator and the projection screen is determined. Is possible.
  • Modification 6 In the above embodiment, the configuration in which the interactive projector 100 includes the detection light irradiation unit 410 is illustrated, but the configuration may be such that the detection light irradiation unit 410 is not provided.
  • the support member 910 and the like When the interactive projector 100 does not include the detection light irradiation unit 410, the support member 910 and the like have a configuration in which irradiation detection light for detecting the tip of the non-light emitting indicator 80 is irradiated over the screen surface SS and the space in front thereof. May be.
  • both the two cameras 310 and 320 are configured to have an imaging function for receiving and imaging light including visible light, and the tip of the non-light emitting indicator 80 is captured by receiving light including visible light. It may be configured to detect based on the captured image.
  • SYMBOLS 70 Self-light-emitting indicator 71 ... Tip part 72 ... Shaft part 73 ... Button switch 74 ... Signal light receiving part 75 ... Control part 76 ... Tip switch 77 ... Tip light-emitting part 80 ... Non-light-emitting indicator 81 ... Tip part 100 ... Interactive Projector 200 ... Projection unit 210 ... Projection lens 220 ... Light modulation unit 230 ... Light source 300 ... Imaging unit 310 ... First camera 320 ... Second camera 410 ... Detection light irradiation unit 430 ... Signal light transmission unit 500 ... Projection image generation unit 510 ... Projected image memory 600 ... Position detection unit 700 ... Control unit 900 ... Interactive projection system 910 ... Support member 920 ... Screen plate

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　指示体のスクリーン面への接触の検出精度を向上させる。　インタラクティブプロジェクターは、指示体として、投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、発光部を備えない非発光指示体との両方を同時に使用可能であり、スクリーン面上に投写画面を投写する投写部と；投写画面の領域を撮像する第１カメラ及び第２カメラを含む複数台のカメラと；複数台のカメラによって撮像された指示体を含む複数の画像に基づいて投写画面に対する指示体の３次元位置を検出する位置検出部と；指示体の投写画面への接触を検出する接触検出部と；を備え、接触検出部は、自発光指示体の投写画面への接触は発光パターンに基づいて検出し、非発光指示体の投写画面への接触は位置検出部によって検出された３次元位置に基づいて検出する。

Description

インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法
　本発明は、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクター、及び、そのシステムに関する。
　特許文献１，２には、投写画面をスクリーンに投写するとともに、指や発光するペンなどの対象物（object）を含む画像をカメラで撮像し、この撮像画像を用いて対象物の位置を検出することが可能な投写型表示装置（プロジェクター）が開示されている。指などの対象物は、投写画面に対して指示を行うための指示体として利用される。すなわち、プロジェクターは、対象物の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、投写画面に対して指示を行うために利用される対象物を「指示体（pointing element）」と呼ぶ。
特開２０１２－１５０６３６号公報 特表２００８－５２００３４号公報
　典型的なインタラクティブプロジェクターでは、指示体の先端がスクリーンに接しているか否かに応じて、指示体によって指示がなされているか否かを判定する。指示体の接触は、指示体の先端とスクリーンとの間の距離に基づいて検出することができる。しかしながら、複数台のカメラを用いて、指示体の先端の３次元位置を検出する構成のインタラクティブプロジェクターにおいて、指示体として発光するペンを用いた場合、ペンがスクリーン面に接触した状態ではペンが発する光がスクリーン面で反射されるため、ペンの先端位置の検出精度が高くなく、ペンの接触の検出精度が十分でなかった。そのため、発光するペン等の自発光指示体の接触の検出精度の向上が望まれていた。
　本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
（１）本発明の一形態によれば、投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、前記指示体として、前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、前記発光部を備えない非発光指示体との両方を同時に使用可能であり、前記インタラクティブプロジェクターは、スクリーン面上に前記投写画面を投写する投写部と、前記投写画面の領域を撮像する第１カメラ及び第２カメラを含む複数台のカメラと、前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の３次元位置を検出する位置検出部と、前記指示体の前記投写画面への接触を検出する接触検出部と、を備え、前記接触検出部は、前記自発光指示体の前記投写画面への接触の検出は、前記発光パターンに基づいて実行し、前記非発光指示体の前記投写画面への接触の検出は、前記位置検出部によって検出された前記３次元位置に基づいて実行する。
　このインタラクティブプロジェクターでは、自発光指示体と非発光指示体とで、異なる方法で指示体の投写画面への接触を検出している。自発光指示体の投写画面への接触の検出は、発光パターンに基づいて実行されるので、指示体の投写画面への接触の検出精度を向上させることができる。
（２）上記インタラクティブプロジェクターにおいて、前記非発光指示体の検出に用いる検出光を前記投写画面に向けて照射する検出光照射部をさらに備え、前記複数台のカメラは、前記指示体信号光および前記検出光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像してもよい。
　この構成によれば、例えば、検出光として近赤外光を用いて、容易に、精度よく非発光指示体を検出することができる。また、インタラクティブプロジェクターが検出光照射部を備えることにより、プロジェクターによって、検出光の照射タイミングを、カメラによる撮像タイミングに関連づけて、容易に制御することができる。
（３）上記インタラクティブプロジェクターにおいて、前記検出光照射部は、前記検出光を間欠的に前記投写画面に向けて照射し、前記位置検出部は、前記検出光が照射される第1の期間に撮像された第1の画像と、前記検出光が照射されない第２の期間に撮像された第２の画像と、に基づいて、前記自発光指示体と前記非発光指示体とを判別してもよい。
　この構成によれば、検出光が間欠的に照射されるため、検出光の照射有無に対応する画像に基づいて、容易に自発光指示体と非発光指示体とを判別することができる。
　本発明は、種々の形態で実現することが可能であり、例えば、自発光指示体と、平面状又は曲面状のスクリーンと、インタラクティブプロジェクターを備えるシステム、インタラクティブプロジェクターの制御方法又は制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の様々な形態で実現することができる。
インタラクティブプロジェクションシステムの斜視図である。 インタラクションプロジェクションシステムの側面図および正面図である。 インタラクティブプロジェクターと自発光指示体の内部構成を示すブロック図である。 自発光指示体と非発光指示体を利用した操作の様子を示す説明図である。 プロジェクターおよび指示体の発光タイミングを示すタイミングチャートである。 プロジェクターおよび指示体の発光タイミングの他の例を示すタイミングチャートである。
Ａ１．システムの概要：
　図１は、本発明の一実施形態におけるインタラクティブプロジェクションシステム９００の斜視図である。このシステム９００は、インタラクティブプロジェクター１００と、スクリーン板９２０と、自発光指示体７０とを有している。スクリーン板９２０の前面は、投写スクリーン面ＳＳ（projection Screen Surface）として利用される。プロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１では投写スクリーン面ＳＳを鉛直に配置しているが、投写スクリーン面ＳＳを水平に配置してこのシステム９００を使用することも可能である。
　プロジェクター１００は、投写スクリーン面ＳＳ上に投写画面ＰＳ（Projected Screen）を投写する。投写画面ＰＳは、通常は、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面ＳＳ」（又は「スクリーン面ＳＳ」）とは、画像が投写される部材の表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって投写スクリーン面ＳＳ上に投写された画像の領域を意味する。通常は、投写スクリーン面ＳＳの一部に投写画面ＰＳが投写される。
　自発光指示体７０は、発光可能な先端部７１と、使用者が保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３とを有するペン型の指示体である。自発光指示体７０の構成や機能については後述する。このシステム９００では、１つ又は複数の自発光指示体７０とともに、１つ又は複数の非発光指示体８０（非発光のペンや指など）を利用可能である。以下、自発光指示体７０と非発光指示体８０とを区別しない場合は、単に、指示体７８０とも呼ぶ。
　図２（Ａ）は、インタラクティブプロジェクションシステム９００の側面図であり、図２（Ｂ）はその正面図である。本明細書では、スクリーン面ＳＳの左右に沿った方向をＸ方向と定義し、スクリーン面ＳＳの上下に沿った方向をＹ方向と定義し、スクリーン面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「左右方向」とも呼び、Ｙ方向を「上下方向」とも呼び、Ｚ方向を「前後方向」とも呼ぶ。また、Ｙ方向（上下方向）のうち、プロジェクター１００から見て投写画面ＰＳが存在する方向を「下方向」と呼ぶ。なお、図２（Ａ）では、図示の便宜上、スクリーン板９２０のうちの投写画面ＰＳの範囲にハッチングを付している。
　プロジェクター１００は、投写画面ＰＳをスクリーン面ＳＳ上に投写する投写レンズ２１０と、投写画面ＰＳの領域を撮像する第１カメラ３１０及び第２カメラ３２０と、指示体７８０に検出光を照明するための検出光照射部４１０とを有している。検出光としては、例えば近赤外光が使用される。２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する第１の撮像機能を少なくとも有している。２台のカメラ３１０，３２０のうちの少なくとも一方は、更に、可視光を含む光を受光して撮像する第２の撮像機能を有し、これらの２つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、２台のカメラ３１０，３２０は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構（図示せず）をそれぞれ備えることが好ましい。２台のカメラ３１０，３２０は、左右方向（Ｘ方向）の位置が同じで、前後方向（Ｚ方向）に所定の距離を空けて並んで配置されている。２台のカメラ３１０，３２０は、本実施形態に限定されない。例えば、前後方向（Ｚ方向）の位置が同じで、左右方向（Ｘ方向）に所定の距離を空けて並んで配置されてもよい。また、Ｘ，Ｙ，Ｚ全ての方向において位置が異なってもよい。２台のカメラをＺ方向の位置を変えて（前後方向にずらして）配置すると、三角測量による３次元位置の算出におけるＺ座標の精度が高いため、好ましい。
　図２（Ｂ）の例は、インタラクティブプロジェクションシステム９００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体７０や非発光指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。スクリーン面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンにタッチすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム９００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図２（Ｂ）の例では、ユーザーがペンツールを選択した後、自発光指示体７０の先端部７１をスクリーン面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、プロジェクター１００の内部の投写画像作成部（後述）によって行われる。
　なお、インタラクティブプロジェクションシステム９００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム９００は、パーソナルコンピューター（図示せず）から通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
　図３は、インタラクティブプロジェクター１００と自発光指示体７０の内部構成を示すブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、接触検出部８００と、撮像部３００と、検出光照射部４１０と、信号光送信部４３０とを有している。
　制御部７００は、プロジェクター１００内部の各部の制御を行う。また、制御部７００は、位置検出部６００で検出された指示体７８０の３次元位置、および接触検出部８００による指示体７８０の接触検出に基づいて、指示体７８０によって投写画面ＰＳ上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する。
　投写画像生成部５００は、投写画像を記憶する投写画像メモリー５１０を有しており、投写部２００によってスクリーン面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳ（図２（Ｂ））の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
　投写部２００は、投写画像生成部５００で生成された投写画像をスクリーン面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、投写画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によってスクリーン面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の変調部２２０を備えた構成としてもよい。
　検出光照射部４１０は、指示体７８０の先端部を検出するための照射検出光ＩＤＬをスクリーン面ＳＳとその前方の空間にわたって照射する。照射検出光ＩＤＬとしては、例えば近赤外光が使用される。検出光照射部４１０における照射検出光ＩＤＬの照射タイミングについては、後に詳述する。
　信号光送信部４３０は、同期用の近赤外光信号である装置信号光ＡＳＬを送信する機能を有する。プロジェクター１００が起動されると、信号光送信部４３０は、装置信号光ＡＳＬを定期的に発する。自発光指示体７０の先端発光部７７は、装置信号光ＡＳＬに同期して、予め定められた発光パターン（発光シーケンス）を有する近赤外光である指示体信号光ＰＳＬ（後に詳述する）を発する。また、撮像部３００のカメラ３１０，３２０は、指示体７８０の位置検出を行う際に、装置信号光ＡＳＬに同期した所定のタイミングで撮像を実行する。
　撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。前述したように、２台のカメラ３１０，３２０は、検出光の波長を含む波長領域の光を受光して撮像する機能を有する。図３の例では、検出光照射部４１０によって照射された照射検出光ＩＤＬが指示体７８０で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。２台のカメラ３１０，３２０は、更に、自発光指示体７０の先端発光部７７から発せられる近赤外光である指示体信号光ＰＳＬも受光して撮像する。２台のカメラ３１０，３２０の撮像は、検出光照射部４１０から照射検出光ＩＤＬが照射される第１の期間と、検出光照射部４１０から照射検出光ＩＤＬが照射されない第２の期間と、の両方で実行される。
　なお、２台のカメラ３１０，３２０の少なくとも一方は、近赤外光を含む光を用いて撮像する機能に加えて、可視光を含む光を用いて撮像する機能を有することが好ましい。こうすれば、スクリーン面ＳＳ上に投写された投写画面ＰＳをそのカメラで撮像し、その画像を利用して投写画像生成部５００がキーストーン補正を実行することが可能である。１台以上のカメラを利用したキーストーン補正の方法は周知なので、ここではその説明は省略する。
　位置検出部６００は、２台のカメラ３１０，３２０で撮像された画像（以下、「撮像画像」とも呼ぶ。）を分析して、三角測量を利用して指示体７８０の先端部の三次元位置座標を算出する機能を有する。この際、位置検出部６００は、上述の第１の期間と第２の期間における撮像画像を比較することによって、画像内に含まれる個々の指示体７８０が、自発光指示体７０と非発光指示体８０のいずれであるかを判定する（後に詳述する）。
　接触検出部８００は、位置検出部６００による撮像画像の分析結果（位置座標）に基づいて、指示体７８０の投写画面ＰＳ（スクリーン面ＳＳ）への接触を検出する。本実施形態のインタラクティブプロジェクター１００において、接触検出部８００は、自発光指示体７０の投写画面ＰＳへの接触の検出は、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターンに基づいて実行し、非発光指示体８０の投写画面ＰＳへの接触の検出は、位置検出部６００によって検出された３次元位置座標に基づいて実行する。接触検出部８００における指示体７８０の接触の検出方法については、後に詳述する。
　自発光指示体７０には、ボタンスイッチ７３の他に、信号光受信部７４と、制御部７５と、先端スイッチ７６と、先端発光部７７とが設けられている。信号光受信部７４は、プロジェクター１００の信号光送信部４３０から発せられた装置信号光ＡＳＬを受信する機能を有する。先端スイッチ７６は、自発光指示体７０の先端部７１が押されるとオン状態になり、先端部７１が解放されるとオフ状態になるスイッチである。先端スイッチ７６は、通常はオフ状態にあり、自発光指示体７０の先端部７１がスクリーン面ＳＳに接触するとその接触圧によってオン状態になる。先端スイッチ７６がオフ状態のときには、制御部７５は、先端スイッチ７６がオフ状態であることを示す特定の第１の発光パターンで先端発光部７７を発光させることによって、第１の発光パターンを有する指示体信号光ＰＳＬを発する。一方、先端スイッチ７６がオン状態になると、制御部７５は、先端スイッチ７６がオン状態であることを示す特定の第２の発光パターンで先端発光部７７を発光させることによって、第２の発光パターンを有する指示体信号光ＰＳＬを発する。これらの第１の発光パターンと第２の発光パターンは、互いに異なるので、接触検出部８００は、２台のカメラ３１０，３２０で撮像された画像の分析結果を位置検出部６００から取得して、分析結果に基づいて、先端スイッチ７６がオン状態かオフ状態かを識別することが可能である。
　自発光指示体７０のボタンスイッチ７３は、先端スイッチ７６と同じ機能を有する。従って、制御部７５は、ユーザーによってボタンスイッチ７３が押された状態では上記第２の発光パターンで先端発光部７７を発光させ、ボタンスイッチ７３が押されていない状態では上記第１の発光パターンで先端発光部７７を発光させる。換言すれば、制御部７５は、先端スイッチ７６とボタンスイッチ７３の少なくとも一方がオンの状態では上記第２の発光パターンで先端発光部７７を発光させ、先端スイッチ７６とボタンスイッチ７３の両方がオフの状態では上記第１の発光パターンで先端発光部７７を発光させる。
　但し、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ７３に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ７３を押すと、右クリックの指示がプロジェクター１００の制御部７００に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てた場合には、先端発光部７７は、先端スイッチ７６のオン／オフ状態及びボタンスイッチ７３のオン／オフ状態に応じて、互いに異なる４つの発光パターンで発光する。この場合には、自発光指示体７０は、先端スイッチ７６とボタンスイッチ７３のオン／オフ状態の４つの組み合わせを区別しつつ、プロジェクター１００に伝達することが可能である。
　図４は、自発光指示体７０と非発光指示体８０を利用した操作の様子を示す説明図である。この例では、自発光指示体７０の先端部７１と非発光指示体８０の先端部８１はいずれもスクリーン面ＳＳから離れている。自発光指示体７０の先端部７１のＸＹ座標（Ｘ７１，Ｙ７１）は、ツールボックスＴＢの消しゴムボタンＥＲＢの上にある。また、ここでは、自発光指示体７０の先端部７１の機能を表すツールとしてマウスポインターＰＴが選択されており、マウスポインターＰＴの先端ＯＰ７１が消しゴムボタンＥＲＢの上に存在するように、マウスポインターＰＴが投写画面ＰＳに描画されている。前述したように、自発光指示体７０の先端部７１の三次元位置は、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量で決定される。従って、投写画面ＰＳ上において、三角測量で決定された先端部７１の三次元座標（Ｘ７１，Ｙ７１，Ｚ７１）のうちのＸＹ座標（Ｘ７１，Ｙ７１）の位置にマウスポインターＰＴの先端にある操作ポイントＯＰ７１が配置されようにマウスポインターＰＴが描画される。すなわち、マウスポインターＰＴの先端ＯＰ７１は、自発光指示体７０の先端部７１の三次元座標（Ｘ７１，Ｙ７１，Ｚ７１）のうちのＸＹ座標（Ｘ７１，Ｙ７１）に配置され、この位置においてユーザーの指示が行われる。例えば、ユーザーは、この状態で自発光指示体７０の先端部７１を投写画面ＰＳ上に接触させて、消しゴムツールを選択することが可能である。また、ユーザーは、この状態で自発光指示体７０のボタンスイッチ７３を押すことによって、消しゴムツールを選択することも可能である。このように、本実施形態では、自発光指示体７０がスクリーン面ＳＳから離間した状態にある場合にも、ボタンスイッチ７３を押すことによって、先端部７１のＸＹ座標（Ｘ７１，Ｙ７１）に配置される操作ポイントＯＰ７１における投写画面ＰＳの内容に応じた指示をプロジェクター１００に与えることが可能である。
　図４（Ｂ）では、また、非発光指示体８０の先端部８１の機能を表すツールとしてペンツールＰＥが選択されており、ペンツールＰＥが投写画面ＰＳに描画されている。前述したように、非発光指示体８０の先端部８１の三次元位置も、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量で決定される。従って、投写画面ＰＳ上において、三角測量で決定された先端部８１の三次元座標（Ｘ８１，Ｙ８１，Ｚ８１）のうちのＸＹ座標（Ｘ８１，Ｙ８１）の位置にペンツールＰＥの先端にある操作ポイントＯＰ８１が配置されようにペンツールＰＥが描画される。但し、非発光指示体８０を利用してユーザーが指示をプロジェクター１００に与える際には、非発光指示体８０の先端部８１を投写画面ＰＳ上に接触させた状態でその指示（描画やツールの選択など）が行なわれる。
　図４の例では、指示体７８０の先端部が投写画面ＰＳから離れている場合にも、個々の指示体によって選択されたツール（マウスポインターＰＴやペンツールＰＥ）が投写画面ＰＳに描画されて表示される。従って、ユーザーが指示体の先端部を投写画面ＰＳに接触していない場合にも、その指示体によってどのツールが選択されているのかを理解し易く、操作が容易であるという利点がある。また、ツールの操作ポイントＯＰが指示体の先端部の三次元座標のうちのＸＹ座標の位置に配置されるようにそのツールが描画されるので、ユーザーが、利用中のツールの位置を適切に認識できるという利点がある。
　なお、このインタラクティブプロジェクションシステム９００は、複数の自発光指示体７０を同時に利用可能に構成されてもよい。この場合には、上述した指示体信号光ＰＳＬの発光パターンは、複数の自発光指示体７０を識別できる固有の発光パターンであることが好ましい。より具体的に言えば、Ｎ個（Ｎは２以上の整数）の自発光指示体７０を同時に利用可能な場合には、指示体信号光ＰＳＬの発光パターンは、Ｎ個の自発光指示体７０を区別できるものであることが好ましい。なお、１組の発光パターンに複数回の単位発光期間が含まれている場合に、１回の単位発光期間では、発光と非発光の２値を表現することができる。ここで、１回の単位発光期間は、自発光指示体７０の先端発光部７７が、オン／オフの１ビットの情報を表現する期間に相当する。１組の発光パターンがＭ個（Ｍは２以上の整数）の単位発光期間で構成される場合には、１組の発光パターンによって２Ｍ個の状態を区別できる。従って、１組の発光パターンを構成する単位発光期間の数Ｍは、次式を満足するように設定されることが好ましい。
　　Ｎ×Ｑ≦２Ｍ　　　　…（１）
ここで、Ｑは自発光指示体７０のスイッチ７３，７６で区別される状態の数であり、本実施形態の例ではＱ＝２又はＱ＝４である。例えば、Ｑ＝４の場合には、Ｎ＝２のときにはＭを３以上の整数に設定し、Ｎ＝３～４のときにはＭを４以上の整数に設定することが好ましい。このとき、位置検出部６００（又は制御部７００）がＮ個の自発光指示体７０、及び、各自発光指示体７０のスイッチ７３，７６の状態を識別する際には、１組の発光パターンのＭ個の単位発光期間において各カメラ３１０，３２０でそれぞれ撮像されたＭ枚の画像を用いてその識別を実行する。なお、このＭビットの発光パターンは、照射検出光ＩＤＬをオフの状態に維持した状態で指示体信号光ＰＳＬをオン又はオフに設定したパターンであり、カメラ３１０，３２０で撮像される画像には非発光指示体８０が写らない。そこで、非発光指示体８０の位置を検出するために用いる画像を撮像するために、照射検出光ＩＤＬをオン状態とした１ビットの単位発光期間を更に追加することが好ましい。但し、位置検出用の単位発光期間では、指示体信号光ＰＳＬはオン／オフのいずれでも良い。この位置検出用の単位発光期間で得られた画像は、自発光指示体７０の位置検出にも利用することが可能である。
　図３に描かれている５種類の信号光の具体例をまとめると以下の通りである。
（１）投写画像光ＩＭＬ：スクリーン面ＳＳに投写画面ＰＳを投写するために、投写レンズ２１０によってスクリーン面ＳＳ上に投写される画像光（可視光）である。
（２）照射検出光ＩＤＬ： 指示体７８０（自発光指示体７０及び非発光指示体８０）の先端部を検出するために、検出光照射部４１０によってスクリーン面ＳＳとその前方の空間にわたって照射される近赤外光である。
（３）反射検出光ＲＤＬ：照射検出光ＩＤＬとして照射された近赤外光のうち、指示体７８０（自発光指示体７０及び非発光指示体８０）によって反射され、２台のカメラ３１０，３２０によって受光される近赤外光である。
（４）装置信号光ＡＳＬ：プロジェクター１００と自発光指示体７０との同期をとるために、プロジェクター１００の信号光送信部４３０から定期的に発せられる近赤外光である。
（５）指示体信号光ＰＳＬ：装置信号光ＡＳＬに同期したタイミングで、自発光指示体７０の先端発光部７７から発せられる近赤外光である。指示体信号光ＰＳＬの発光パターンは、自発光指示体７０のスイッチ７３，７６のオン／オフ状態に応じて変更される。また、複数の自発光指示体７０を識別する固有の発光パターンを有する。
　本実施形態において、自発光指示体７０と非発光指示体８０の先端部の位置検出、及び、自発光指示体７０と非発光指示体８０により指示される内容の判別は、それぞれ以下のように実行される。
Ａ２．指示体の位置検出および接触検出：
　図５は、プロジェクターおよび指示体の発光タイミングを示すタイミングチャートである。本実施形態におけるインタラクティブプロジェクションシステム９００では、図５に示すシーケンスに従って、指示体７８０（自発光指示体７０，非発光指示体８０）の位置検出および接触検出（指示体７８０の先端のスクリーン面ＳＳへの接触の検出）が行われる。図５に示すシーケンスは、第１サイクルＣＹ１～第４サイクルＣＹ４の４つのサイクルを備え、各サイクルは、第１フェーズＰＨ１～第４フェーズの４つのフェーズを備える。すなわち、本シーケンスでは、第１フェーズＰＨ１から第４フェーズＰＨ４を４回繰り返すことによって、複数の自発光指示体７０と非発光指示体８０とを区別して位置を特定すると共に、複数の自発光指示体７０を区別して接触を検出することができる。１つのフェーズが前述した単位発光期間に相当する。図５では、自発光指示体７０としてペン１，ペン２を用いた例を示している。ペン１のペンＩＤは「１０」、ペン２のペンＩＤは「０１」である。これに、ボタンスイッチフラグ（ＯＦＦ＝「０」，ＯＮ＝「１」）、および接触フラグ（非接触＝「０」，接触＝「１」）を加えたものを、上記した発光パターン（発光ＩＤ）としている。自発光指示体７０は、第３フェーズＰＨ３において、設定された発光ＩＤに従って発光する。なお、撮像部３００のカメラ３１０，３２０は、装置信号光ＡＳＬに同期して、第２フェースＰＨ２，第３フェーズ，第４フェーズにおいて、撮像を実行する。図５では、ボタンスイッチフラグが「０」、接触フラグが「０」の場合を図示している。
　本実施形態におけるインタラクティブプロジェクションシステム９００では、インタラクティブプロジェクター１００の信号光送信部４３０が発する装置信号光ＡＳＬ（同期信号）に同期して、自発光指示体７０と検出光照射部４１０が、それぞれ発光する。
　プロジェクター１００が起動されると、プロジェクター１００の信号光送信部４３０から同期用の装置信号光ＡＳＬが発せられ、第１サイクルＣＹ１の第１フェーズＰＨが開始される。信号光送信部４３０は、各サイクルの第１フェーズＰＨ１の開始のタイミングで装置信号光ＡＳＬを発光する。本実施形態において、装置信号光ＡＳＬとして、２つの同期バースト信号が発光される。
　自発光指示体７０は、信号光受信部７４において装置信号光ＡＳＬを受信すると、第２フェーズＰＨ２および第４フェーズＰＨ４において、指示体信号光ＰＳＬを発光する。本シーケンスにおいて、第１～第４フェーズの各時間は、同一の時間に設定されているため、自発光指示体７０は、信号光受信部７４において装置信号光ＡＳＬを受信して、第１フェーズの開始タイミングを認識すると、第２～第４フェーズの開始タイミングを認識することができる。
　また、自発光指示体７０は、上述の通り、第３フェーズでは、設定された発光ＩＤに従って発光する。すなわち、第３フェーズＰＨ３では、自発光指示体７０の個体および接触の有無によって、サイクル毎に発光／非発光が異なる。すなわち、後述するように、第３フェーズＰＨ３は、自発光指示体７０の個体の判別および自発光指示体７０の接触を検出するフェーズである。
　インタラクティブプロジェクター１００の検出光照射部４１０は、装置信号光ＡＳＬに同期して、第２フェーズＰＨ２および第４フェーズＰＨ４において、照射検出光ＩＤＬを発光し、第３フェーズＰＨ３においては照射検出光ＩＤＬを発光しない。照射検出光ＩＤＬは、指示体７８０によって反射されるため、第２フェーズＰＨ２および第４フェーズＰＨ４において反射検出光ＲＤＬが生じる。本実施形態における第２フェーズＰＨ２および第４フェーズＰＨ４が、請求項における第１の期間に相当し、第３フェーズＰＨ３が、請求項における第２の期間に相当する。
　撮像部３００のカメラ３１０，３２０は、装置信号光ＡＳＬに同期して、第２フェースＰＨ２，第３フェーズ，第４フェーズにおいて、撮像を実行する。カメラ３１０，３２０は、自発光指示体７０の発光に応じたタイミングで、撮像を実行する。この際、指示体信号光ＰＳＬのパルス幅よりわずかに長い露光時間で、撮像を実行することが好ましい。露光時間をこのように設定することにより、他の光源からのノイズを抑制することができる。本実施形態において、第ｋサイクル（ｋ＝１，２，３，４）の第ｈフェーズ（ｈ＝１，２，３，４）において、撮像部３００によって撮像された画像を、撮像画像Ｍｋｈと呼ぶ（図５）。
　第２フェーズＰＨ２および第４フェーズＰＨ４は、位置検出のフェーズである。第２フェーズＰＨ２および第４フェーズＰＨ４において、第１カメラ３１０，３２０によって撮像された画像には、自発光指示体７０が発した指示体信号光ＰＳＬと、指示体７８０（自発光指示体７０，非発光指示体８０）による反射光ＲＤＬが含まれる。位置検出部６００は、２台のカメラ３１０，３２０によって撮像された画像に基づいて、三角測量に従って、指示体７８０（自発光指示体７０，非発光指示体８０）の先端の３次元位置を検出する。
　自発光指示体７０の場合は、自発光指示体７０の先端部７１に配置された先端発光部７７から発せられる指示体信号光ＰＳＬが、撮像画像に含まれる。そのため、自発光指示体７０の先端部７１の３次元位置は、撮像画像に含まれる輝点に基づいて、三角測量に従って算出される。
　一方、非発光指示体８０の場合は、非発光指示体８０によって反射された反射検出光ＲＤＬが、撮像画像に含まれる。２台のカメラ３１０，３２０により撮像された２枚の画像における非発光指示体８０の先端部８１の位置は、テンプレートマッチングや特徴抽出等の周知の技術を利用して決定することができる。例えば、テンプレートマッチングによって指である非発光指示体８０の先端部８１を認識する場合には、指に関する複数のテンプレートを予め準備しておき、２台のカメラ３１０，３２０により撮像された画像において、これらのテンプレートに適合する部分を検索することによって指の先端部８１を認識することが可能である。非発光指示体８０の先端部８１の３次元位置は、テンプレートマッチング等によって認識された先端部８１に基づいて、三角測量にしたがって算出される。
　第３フェーズＰＨ３は、指示体７８０の判別を行うフェーズである。上述の通り、第３フェーズＰＨ３において、インタラクティブプロジェクター１００の検出光照射部４１０は、照射検出光ＩＤＬを照射しない。そのため、照射検出光ＩＤＬの反射光である反射検出光ＲＤＬは生じない。一方、自発光指示体７０は、上述の通り、第３フェーズＰＨ３において発光ＩＤに従って発光するため、サイクル毎に発光／非発光が異なる。すなわち、第３フェーズＰＨ３において撮像部３００によって撮像された画像に含まれる光は、自発光指示体７０が発する指示体信号光ＰＳＬである。図５に示す例の場合、ペン１は、第１サイクルＣＹ１の第３フェーズＰＨ３において発光し、ペン２は、第２サイクルＣＹ２の第３フェーズＰＨ３において発光する。そのため、例えば、第２フェーズＰＨ２および第４フェーズＰＨ４において撮像された画像に３つの光（反射検出光ＲＤＬについては、パターンマッチング等により検出された非発光指示体８０先端部８１の光）が含まれている場合に、位置検出部６００は、これら３つの光のうち、第１サイクルＣＹ１の第３フェーズＰＨ３において撮像された画像に含まれる光の３次元位置（座標）に略一致する座標の光が、ペン１の３次元位置（座標）であると判別する。ここで、２つの位置が略一致するか否かは、Ｘ，Ｙ，Ｚ座標それぞれにおける２点間の距離が２ｍｍ以内か否かに応じて判別する。本実施形態において、２つの位置が略一致すると判定する閾値を、２ｍｍに設定しているが、これに限定されない。例えば、２ｍｍ～６ｍｍ程度の小さな値を使用することが好ましい。位置検出部６００は、同様に、第２サイクルＣＹ２の第３フェーズＰＨ３において撮像された画像に含まれる光の３次元位置（座標）に略一致する座標の光が、ペン２の３次元位置（座標）であると判別する。位置検出部６００は、自発光指示体７０の判別が終了すると、第２フェーズＰＨ２および第４フェーズＰＨ４において撮像された画像に含まれる３つの光のうち、残りの１点の３次元位置が非発光指示体８０の先端部８１の３次元位置であると判別する。また、自発光指示体７０のボタンスイッチ７３がＯＮの場合には、第３サイクルＣＹ３の第３フェーズにおいて発光する。位置検出部６００は、上記と同様に、ペン１およびペン２を区別して、ボタンスイッチ７３のＯＮ／ＯＦＦを判別する。
　また、第３フェーズＰＨ３は、自発光指示体７０の先端部７１のスクリーン面ＳＳへの接触を検出する接触検出を行うフェーズでもある。上述の通り、自発光指示体７０が発光する指示体信号光ＰＳＬの発光ＩＤの４ビットめは、接触フラグである。したがって、第４サイクルＣＹ４の第３フェーズＰＨ３において撮像された画像（撮像画像Ｍ４３）に光が含まれるか否かに基づいて、自発光指示体７０の接触を検出することができる。接触検出部８００は、位置検出部６００が撮像画像Ｍ１３，２３，４３(図５)を分析した結果に基づいて、自発光指示体７０の個体（ペン１，２）を区別して接触を検出する。接触検出部８００は、撮像画像４３に光が含まれないと判定すると、ペン１，２共に非接触であると判定する。撮像画像Ｍ４３に１つの光が含まれる場合は、接触検出部８００は、ペン１，２のいずれか一方が接触していると判定する。具体的には、接触検出部８００は、撮像画像Ｍ４３に含まれる光の３次元位置が、撮像画像Ｍ１３（第１サイクル第３フェーズ）に含まれる光の３次元位置と略一致する場合、「ペン１は接触」、「ペン２は非接触」と判定する。一方、撮像画像Ｍ４３に含まれる光の３次元位置が、撮像画像Ｍ２３（第２サイクル第３フェーズ）に含まれる光の３次元位置と略一致する場合、「ペン１は非接触」、「ペン２は接触」と判定する。撮像画像４３に２つの光が含まれる場合は、「ペン１，２共に接触」と判定する。このように、接触検出部８００は、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターン（発光ＩＤ）に基づいて、自発光指示体７０の接触を検出する。
　接触検出部８００は、非発光指示体８０の接触検出については、三角測量で決定した先端部８１のＺ座標値と、スクリーン面ＳＳの表面のＺ座標値との差が微小な許容差以下か否か、すなわち、先端部８１がスクリーン面ＳＳの表面に十分に近いか否かに応じて検出する。本実施形態において、許容差を２ｍｍに設定しているが、これに限定されない。例えば、２ｍｍ～６ｍｍ程度の小さな値を使用することが好ましい。
　指示体７８０の先端部の３次元位置の検出と接触検出およびボタンスイッチ７３のＯＮ／ＯＦＦ判別が終了すると、制御部７００は、位置検出部６００および接触検出部８００の検出結果に基づいて、指示体７８０（自発光指示体７０，非発光指示体８０）による指示内容を判別して、指示内容に応じた画像を投写画像生成部５００に生成させて、投写部２００によってスクリーン面ＳＳ上に指示内容に応じた画像を投写させる。例えば、先端部７１のＸＹ座標の位置がツールボックスＴＢ(図２（Ｂ））内のいずれかのボタンの上にある状態で先端スイッチ７６またはボタンスイッチ７３がオンになった場合には、そのボタンのツールが選択される。また、図２（Ｂ）に例示したように、先端部７１のＸＹ座標が投写画面ＰＳ内のツールボックスＴＢ以外の位置にある状態で先端スイッチ７６またはボタンスイッチ７３がオンになった場合には、選択されたツールによる処理（例えば描画）が選択される。制御部７００は、自発光指示体７０の先端部７１のＸＹ座標（Ｘ７１，Ｙ７１），非発光指示体８０の先端部８１のＸＹ座標（Ｘ８１，Ｙ８１）を利用し、予め選択されているポインターやマークが投写画面ＰＳ内の位置（Ｘ７１，Ｙ７１），（Ｘ８１，Ｙ８１）に配置されるように、そのポインターやマークを投写画像生成部５００に描画させる。また、制御部７００は、自発光指示体７０、非発光指示体８０によって指示された内容に従った処理を実行して、投写画像生成部５００にその処理結果を含む画像を描画させる。
　上述のように、本実施形態では、自発光指示体７０の接触検出を、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターンに基づいて行っている。自発光指示体７０の先端部７１の三次元位置は、２台のカメラ３１０，３２０で撮像された画像を用いた三角測量によって求めることができるので、この三次元位置を用いて自発光指示体７０の先端部７１の接触検出を実行することも可能である。しかしながら、自発光指示体７０がスクリーン面ＳＳに接触した状態では自発光指示体７０が発する指示体信号光ＰＳＬがスクリーン面ＳＳで反射されるため、三角測量による自発光指示体７０の先端位置のＺ座標の検出精度が、非発光指示体８０に比べて低くなる傾向がある。これに対して、本実施形態のインタラクティブプロジェクター１００によれば、自発光指示体７０の接触検出を、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターンに基づいて行うため、自発光指示体７０の接触検出をより精度良く実行できる。
Ａ３．他の例：
　図６は、プロジェクターおよび指示体の発光タイミングの他の例を示すタイミングチャートである。図６に示すシーケンスは、１サイクルが第１フェーズＰＨ１～第５フェーズＰＨ５の５つのフェーズを備える。この例では、第１フェーズＰＨ１から第５フェーズＰＨ５を１回実行することによって、複数の自発光指示体７０と非発光指示体８０とを区別して位置を特定すると共に、複数の自発光指示体７０を区別して接触を検出することができる。この例では、自発光指示体７０が上記の例におけるボタンスイッチ７３を備えない構成を示す。図６では、自発光指示体７０としてペン２１，ペン２２を用いた例を示している。ペン２１のペンＩＤは「１０」、ペン２２のペンＩＤは「１１」である。これに、接触フラグ（非接触＝「０」，接触＝「１」）を加えたものを、上記した発光パターン（発光ＩＤ）としている。自発光指示体７０は、第２フェーズＰＨ２～第４フェーズＰＨ４において、設定された発光ＩＤに従って発光する。撮像部３００のカメラ３１０，３２０は、装置信号光ＡＳＬに同期して、第２フェーズＰＨ２～第５フェーズＰＨ５において、撮像を実行する。図６では、接触フラグが「０」の場合を図示している。
　この例において、第２フェーズＰＨ２は自発光指示体７０と非発光指示体８０との判別を行うフェーズである。例えば、第２フェーズＰＨ２において撮像された撮像画像Ｍ１２にも、第５フェーズＰＨ５において撮像された撮像画像Ｍ１５にも光が含まれる場合には、位置検出部６００は、撮像画像Ｍ１５に含まれる光は自発光指示体７０による反射検出光ＲＤＬであると判別する。一方、撮像画像Ｍ１２に光が含まれず、撮像画像Ｍ１５に光が含まれる場合には、位置検出部６００は、撮像画像Ｍ１５に含まれる光は非発光指示体８０による反射検出光ＲＤＬであると判別する。
　第３フェーズＰＨ３は、ペン２１とペン２２の判別を行うフェーズである。上述の通り、第３フェーズＰＨ３において、ペン２１は発光せず、ペン２２は発光する。そのため、例えば、ペン２１，２２両方を用いている場合に、撮像画像Ｍ１３に含まれる輝点の３次元位置（座標）と、撮像画像Ｍ１５に含まれる輝点の３次元位置（座標）とを比較することにより、ペン２１とペン２２の判別を行うことができる。
　第４フェーズＰＨ４は、自発光指示体７０の先端部７１のスクリーン面ＳＳへの接触を検出する接触検出を行うフェーズである。上記の例と同様に、接触を検出することができる。第５フェーズＰＨ５は、位置検出のフェーズである。上記の例と同様に、３次元位置を検出することができる。このように、この例では、第１フェーズＰＨ１～第５フェーズＰＨ５を１回実行すること（１サイクル）で、指示体７８０（ペン２１，ペン２２，非発光指示体８０）を区別して、３次元位置および接触を検出することができる。
Ｂ．変形例：
　なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
・変形例１：
　上記実施形態では、自発光指示体７０が発する指示体信号光ＰＳＬの発光パターン（発光ＩＤ）として４ビットの発光ＩＤを例示したが、指示体信号光ＰＳＬの発光パターンは上記実施形態に限定されず、複数の自発光指示体７０を識別して、接触／非接触を判定可能に構成されればよい。また、上記実施形態において、指示体７８０の位置検出および接触判定は、図５に示すシーケンスに従って撮像された画像に基づいて実行されているが、図５に示すシーケンスに限定されない。例えば、第４フェーズＰＨ４を省略してもよい。
・変形例２：
　上記実施形態では、撮像部３００が２台のカメラ３１０，３２０を有しているものとしたが、撮像部３００は３台以上のカメラを有していてもよい。後者の場合には、ｍ台（ｍは３以上の整数）のカメラで撮像されたｍ個の画像に基づいて、三次元座標（Ｘ，Ｙ，Ｚ）が決定される。例えば、ｍ個の画像から２個の画像を任意に選択して得られるｍＣ２個の組み合わせを用いてそれぞれ三次元座標を求め、それらの平均値を用いて最終的な三次元座標を決定しても良い。こうすれば、三次元座標の検出精度を更に高めることが可能である。
・変形例３：
　上記実施形態では、インタラクティブプロジェクションシステム９００がホワイトボードモードとＰＣインタラクティブモードとで動作可能であるものとしたが、これらのうちの一方のモードのみで動作するようにシステムが構成されていても良い。また、インタラクティブプロジェクションシステム９００は、これら２つのモード以外の他のモードのみで動作するように構成されていても良く、更に、これら２つのモードを含む複数のモードで動作可能に構成されていてもよい。
・変形例４：
　上記実施形態では、図３に示した照射検出光ＩＤＬと、反射検出光ＲＤＬと、装置信号光ＡＳＬと、指示体信号光ＰＳＬとがすべて近赤外光であるものとしたが、これらのうちの一部又は全部を近赤外光以外の光としてもよい。
・変形例５：
　上記実施形態では、投写画面が平面状のスクリーン板９２０に投写されるものとしていたが、投写画面が曲面状のスクリーンに投写されるものとしても良い。この場合にも、２台のカメラで撮像された画像を用い、三角測量を利用して指示体の先端部の三次元位置を決定できるので、指示体の先端部と投写画面の位置関係を決定することが可能である。
・変形例６：
　上記実施形態では、インタラクティブプロジェクター１００が検出光照射部４１０を備える構成を例示したが、検出光照射部４１０を備えない構成にしてもよい。インタラクティブプロジェクター１００が検出光照射部４１０を備えない場合、非発光指示体８０の先端を検出するための照射検出光をスクリーン面ＳＳとその前方の空間にわたって照射する構成を、支持部材９１０等が備えてもよい。また、２台のカメラ３１０，３２０の両方を、可視光を含む光を受光して撮像する撮像機能を有する構成とし、非発光指示体８０の先端を、可視光を含む光を受光して撮像した撮像画像に基づいて検出する構成にしてもよい。
　以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。
　　７０…自発光指示体
　　７１…先端部
　　７２…軸部
　　７３…ボタンスイッチ
　　７４…信号光受信部
　　７５…制御部
　　７６…先端スイッチ
　　７７…先端発光部
　　８０…非発光指示体
　　８１…先端部
　　１００…インタラクティブプロジェクター
　　２００…投写部
　　２１０…投写レンズ
　　２２０…光変調部
　　２３０…光源
　　３００…撮像部
　　３１０…第１カメラ
　　３２０…第２カメラ
　　４１０…検出光照射部
　　４３０…信号光送信部
　　５００…投写画像生成部
　　５１０…投写画像メモリー
　　６００…位置検出部
　　７００…制御部
　　９００…インタラクティブプロジェクションシステム
　　９１０…支持部材
　　９２０…スクリーン板

Claims (5)

  1. 　投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
    　前記指示体として、前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、前記発光部を備えない非発光指示体との両方を同時に使用可能であり、
    　前記インタラクティブプロジェクターは、
    　スクリーン面上に前記投写画面を投写する投写部と、
    　前記投写画面の領域を撮像する第１カメラ及び第２カメラを含む複数台のカメラと、
    　前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の３次元位置を検出する位置検出部と、
    　前記指示体の前記投写画面への接触を検出する接触検出部と、
    を備え、
    　前記接触検出部は、
    　前記自発光指示体の前記投写画面への接触は、前記発光パターンに基づいて検出し、
    　前記非発光指示体の前記投写画面への接触は、前記位置検出部によって検出された前記３次元位置に基づいて検出する、インタラクティブプロジェクター。
  2. 　請求項１に記載のインタラクティブプロジェクターにおいて、
    　前記非発光指示体の検出に用いる検出光を前記投写画面に向けて照射する検出光照射部をさらに備え、
    　前記複数台のカメラは、前記指示体信号光および前記検出光の波長を含む波長領域の光を受光して前記投写画面の領域を撮像する、
    インタラクティブプロジェクター。
  3. 　請求項２に記載のインタラクティブプロジェクターにおいて、
    　前記検出光照射部は、
    　前記検出光を間欠的に前記投写画面に向けて照射し、
    　前記位置検出部は、
    　前記検出光が照射される第1の期間に撮像された第1の画像と、前記検出光が照射されない第２の期間に撮像された第２の画像と、に基づいて、前記自発光指示体と前記非発光指示体とを判別する、
    　インタラクティブプロジェクター。
  4. 　インタラクティブプロジェクティングシステムであって、
    　請求項１から請求項３のいずれか一項に記載のインタラクティブプロジェクターと、
    　前記投写画面が投写されるスクリーン面を有するスクリーンと、
    　前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、を備えるインタラクティブプロジェクティングシステム。
  5. 　投写画面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターの制御方法であって、
    　前記インタラクティブプロジェクターは、前記指示体として、前記投写画面への接触時と非接触時とで異なる発光パターンで指示体信号光を発光する発光部を備える自発光指示体と、前記発光部を備えない非発光指示体との両方を同時に使用可能であり、
    　スクリーン面上に前記投写画面を投写し、
    　第１カメラ及び第２カメラを含む複数台のカメラによって前記投写画面の領域を撮像し、
    　前記複数台のカメラによって撮像された前記指示体を含む複数の画像に基づいて、前記投写画面に対する前記指示体の３次元位置を検出し、
    　前記自発光指示体の前記投写画面への接触を、前記発光パターンに基づいて検出し、
    　前記非発光指示体の前記投写画面への接触を、前記指示体の前記３次元位置に基づいて検出する、インタラクティブプロジェクターの制御方法。
PCT/JP2016/001606 2015-03-27 2016-03-18 インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法 WO2016157807A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020177027896A KR20170122259A (ko) 2015-03-27 2016-03-18 인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법
CN201680012869.5A CN107430465B (zh) 2015-03-27 2016-03-18 交互式投影仪、交互式投影系统和交互式投影仪的控制方法
EP16771700.8A EP3276466A4 (en) 2015-03-27 2016-03-18 Interactive projector, interactive projection system, and method for controlling interactive projector
US15/559,365 US10275097B2 (en) 2015-03-27 2016-03-18 Interactive projector, interactive projection system, and interactive projector control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015065669A JP6477131B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法
JP2015-065669 2015-03-27

Publications (1)

Publication Number Publication Date
WO2016157807A1 true WO2016157807A1 (ja) 2016-10-06

Family

ID=57006658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001606 WO2016157807A1 (ja) 2015-03-27 2016-03-18 インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法

Country Status (7)

Country Link
US (1) US10275097B2 (ja)
EP (1) EP3276466A4 (ja)
JP (1) JP6477131B2 (ja)
KR (1) KR20170122259A (ja)
CN (1) CN107430465B (ja)
TW (1) TW201636786A (ja)
WO (1) WO2016157807A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218182A1 (ja) * 2019-04-24 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
US12017137B2 (en) 2019-04-15 2024-06-25 Sony Interactive Entertainment Inc. Device including plurality of markers

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296142B2 (en) * 2015-12-22 2019-05-21 Ricoh Company, Ltd. Information display device, system, and recording medium
KR101989998B1 (ko) * 2016-11-09 2019-06-17 (주)이즈커뮤니케이션즈 가상의 터치 스크린이 구현되는 컴퓨터 입력 시스템
JP6763554B2 (ja) * 2016-12-22 2020-09-30 Ｎｅｃディスプレイソリューションズ株式会社 カメラ装置、電子黒板システム及び描画信号生成方法
JP6733566B2 (ja) * 2017-01-25 2020-08-05 富士通株式会社 情報処理方法、情報処理システム、及び光学装置
US20200012359A1 (en) * 2017-02-07 2020-01-09 Flatfrog Laboratories Ab Stylus button control
JP6935713B2 (ja) * 2017-09-27 2021-09-15 セイコーエプソン株式会社 位置検出装置、位置検出システム及び位置検出装置の制御方法
JP7124375B2 (ja) 2018-03-26 2022-08-24 セイコーエプソン株式会社 電子ペン、表示システムおよび電子ペンの制御方法
JP2019174513A (ja) * 2018-03-27 2019-10-10 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP7014009B2 (ja) * 2018-03-29 2022-02-01 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
JP6787363B2 (ja) * 2018-05-10 2020-11-18 セイコーエプソン株式会社 操作デバイス、位置検出システム及び操作デバイスの制御方法
US10983553B2 (en) * 2018-08-24 2021-04-20 Synaptics Incorporated System and method for synchronizing sensing signals of integrated circuit chips
JP7251094B2 (ja) 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示システム、及び、位置検出方法
JP7251095B2 (ja) * 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示装置、表示システム、及び、位置検出方法
JP2020135593A (ja) * 2019-02-22 2020-08-31 セイコーエプソン株式会社 指示体、指示体の制御方法、及びインタラクティブシステム
WO2020183519A1 (ja) * 2019-03-08 2020-09-17 Ｎｅｃディスプレイソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、表示システム、表示方法及び電子筆記具
JP2021026609A (ja) 2019-08-07 2021-02-22 セイコーエプソン株式会社 プロジェクションシステム、位置検出システム、及び位置検出システムの制御方法
KR102216804B1 (ko) * 2019-11-15 2021-02-17 (주)이즈커뮤니케이션즈 정보 기기에 정보를 입력하는 정보 입력 장치
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
JP7338659B2 (ja) * 2021-03-30 2023-09-05 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186589A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp プロジェクター、指示体、インタラクティブシステムおよび制御方法
JP2015038777A (ja) * 2014-11-12 2015-02-26 セイコーエプソン株式会社 位置検出システム、表示システム及び情報処理システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914783A (en) * 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
CN1459705A (zh) * 2002-05-23 2003-12-03 高启烈 具有光学位置侦测的触碰面板装置
US20030234346A1 (en) * 2002-06-21 2003-12-25 Chi-Lei Kao Touch panel apparatus with optical detection for location
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
CN102566827A (zh) * 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
JP2012150636A (ja) 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
JP6141596B2 (ja) * 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法
US9904414B2 (en) * 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
JP6244627B2 (ja) * 2013-01-09 2017-12-13 セイコーエプソン株式会社 画像表示装置、プロジェクター、および画像表示装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186589A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp プロジェクター、指示体、インタラクティブシステムおよび制御方法
JP2015038777A (ja) * 2014-11-12 2015-02-26 セイコーエプソン株式会社 位置検出システム、表示システム及び情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3276466A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12017137B2 (en) 2019-04-15 2024-06-25 Sony Interactive Entertainment Inc. Device including plurality of markers
WO2020218182A1 (ja) * 2019-04-24 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
JP2020181321A (ja) * 2019-04-24 2020-11-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
JP7288792B2 (ja) 2019-04-24 2023-06-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
US11794095B2 (en) 2019-04-24 2023-10-24 Sony Interactive Entertainment Inc. Information processing apparatus and device information derivation method

Also Published As

Publication number Publication date
US10275097B2 (en) 2019-04-30
JP2016186676A (ja) 2016-10-27
KR20170122259A (ko) 2017-11-03
TW201636786A (zh) 2016-10-16
CN107430465B (zh) 2020-06-09
JP6477131B2 (ja) 2019-03-06
EP3276466A4 (en) 2018-10-17
CN107430465A (zh) 2017-12-01
US20180074654A1 (en) 2018-03-15
EP3276466A1 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
JP6477131B2 (ja) インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法
CN107094247B (zh) 位置检测装置及其对比度调整方法
US10133366B2 (en) Interactive projector and interactive projection system
JP6477130B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
CN107407995B (zh) 交互式投影仪、交互式投影系统以及交互式投影仪的控制方法
JP6485160B2 (ja) インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法
JP6459706B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6503828B2 (ja) インタラクティブプロジェクションシステム，指示体，およびインタラクティブプロジェクションシステムの制御方法
JP6451446B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6690271B2 (ja) 位置検出システム、位置検出装置、および位置検出方法
US9958958B2 (en) Interactive projector and method of controlling interactive projector
JP6690272B2 (ja) 位置検出システム、自発光指示体、および固有情報取得方法
JP2017138775A (ja) 位置検出装置、位置検出システム、及び、位置検出方法
JP2016186679A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771700

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016771700

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15559365

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177027896

Country of ref document: KR

Kind code of ref document: A