WO2015052765A1 - 投射型映像表示装置、操作検出装置及び投射型映像表示方法 - Google Patents

投射型映像表示装置、操作検出装置及び投射型映像表示方法 Download PDF

Info

Publication number
WO2015052765A1
WO2015052765A1 PCT/JP2013/077304 JP2013077304W WO2015052765A1 WO 2015052765 A1 WO2015052765 A1 WO 2015052765A1 JP 2013077304 W JP2013077304 W JP 2013077304W WO 2015052765 A1 WO2015052765 A1 WO 2015052765A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
detection
unit
image
finger
Prior art date
Application number
PCT/JP2013/077304
Other languages
English (en)
French (fr)
Inventor
沙希子 成川
孝志 松原
森　直樹
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to JP2015541328A priority Critical patent/JP6105075B2/ja
Priority to EP13895170.2A priority patent/EP3056975B1/en
Priority to CN201380079895.6A priority patent/CN105723303B/zh
Priority to US15/027,340 priority patent/US10025430B2/en
Priority to PCT/JP2013/077304 priority patent/WO2015052765A1/ja
Publication of WO2015052765A1 publication Critical patent/WO2015052765A1/ja
Priority to US16/009,628 priority patent/US10719171B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present invention relates to a projection-type image display device that detects a user operation, an operation detection device, and a projection-type image display method.
  • Japanese Patent Laid-Open No. 2004-228688 aims at “detecting operation information without using a special device” (see paragraph [0006] of the specification), and “uses together with illumination means and imaging means as means for achieving the purpose”
  • An operation detecting device that is illuminated by the illuminating means, and that causes the imaging means to image the operator and the operator's image data obtained by the imaging means based on the operator's image data.
  • Patent Document 2 provides “providing an electronic pen system configured such that an electronic pen and a finger can be used on an equal basis and used in parallel” (see paragraph [0008] of the specification).
  • an electronic pen a touch panel body including a touch surface on which a touch operation is performed with the electronic pen and a finger, and a position detection device that detects a touch position of the electronic pen and the finger on the touch surface”
  • An electronic pen system comprising: a display device that displays a required image using the touch surface as a display screen; and a control device that causes the display device to display an image according to position detection information acquired from the position detection device.
  • the control device determines whether the position detection information is from the electronic pen or a finger.
  • An indicator discriminating means a first control means for performing a predetermined pen input process in response to a touch operation with the electronic pen; a second control means for performing a predetermined finger input process in response to a finger touch operation;
  • the electronic pen system (see paragraph [0009] of the specification) is described in which the pen input process of the first control unit and the finger input process of the second control unit are executed in parallel. .
  • Patent Document 1 a specific part of a user who is illuminated is imaged, and a pointing operation and its position are detected based on the captured image data.
  • the operation cannot be performed using an electronic pen or the like.
  • the touch position of the electronic pen and the finger on the touch surface is detected using a touch panel body.
  • the position detection device that detects the touch position is integrated with the touch panel body, and the touch position cannot be detected without a sensor on the operation surface.
  • the present application includes a plurality of means for solving the above-described problems.
  • the present invention is a projection-type video display device that projects and displays a video, and a video projection unit that projects the video; At least one illumination unit that irradiates the operation surface at least partially overlapping the image projection surface on which the image projection unit projects an image with illumination light different from the projection light of the image projection unit; and the operation surface
  • An image capturing unit that captures the image, a first detection unit that performs a first detection process for detecting a position where the first operation target that emits light at the tip contacts the operation surface, and a second operation target that does not emit light
  • a second detection unit that performs a second detection process different from the first detection process for detecting a position where an object is in contact with the operation surface; and controls the operation of the projection display apparatus, and 1 detector or the second detector Is characterized characterized in that the video projection unit based on a result of a control unit for controlling to change at least a portion of the image to be projected
  • the present invention is also an operation detection device that detects an operation for operating a projection-type image display device that projects and displays an image, wherein a position at which a first operation object whose tip emits light contacts an operation surface is detected.
  • a second detection that is different from the first detection unit that performs a first detection process for detection and the first detection process that detects a position at which a second operation target that does not emit light contacts the operation surface.
  • a second detection unit that performs processing.
  • the present invention is also a projection-type image display method for projecting and displaying an image, wherein the image is projected, and the projected image is projected onto an operation surface at least partially overlapping the surface of the projected image. Irradiating illumination light different from the projection light, imaging the operation surface, performing a first detection process for detecting the position where the first operation object whose tip emits light contacts the operation surface, and does not emit light A second detection process different from the first detection process for detecting a position where the second operation object touches the operation surface is performed, and the detection in the first detection process or the second detection process is performed. It is characterized in that at least a part of the projected video is changed based on the result.
  • the present invention it is possible to correctly detect the contact position of the electronic pen and the finger on the operation surface without providing a touch sensor or the like on the operation surface, and to improve the user operability. There is an effect that a detection device and a projection type image display method can be provided.
  • the front view which shows an example of the shape of a shadow in case a finger and a wall surface are non-contact.
  • the top view which shows an example of the shape of a shadow in case a finger and a wall surface are non-contact.
  • the front view which shows an example of the shape of a shadow when a finger
  • the top view which shows an example of the shape of a shadow when a finger
  • toe and a wall surface The figure which shows an example of the detail of S908 of FIG. 9A.
  • the figure which shows an example of the state of operation by a different operation position The figure which shows an example of the state of operation by a different operation target.
  • toe The figure which shows an example of a process in case a state switches frequently in FIG. 12A.
  • the figure which shows an example of the state which displays as an icon that operation with a finger cannot be used.
  • the figure which shows an example of the state which displays a message that operation by a finger cannot be used.
  • the figure which shows an example of the state which carries out the lamp display that the operation with a finger cannot be used.
  • the figure which shows an example of the state which notifies by voice that operation with a finger cannot be used.
  • Embodiment 1 a method of detecting the contact point coordinates of an electronic pen and the contact point coordinates of a finger without using a touch sensor or the like by using one camera and two lights will be described.
  • FIG. 1 is a block diagram showing a first example of the configuration of the operation detection device.
  • FIG. 2 is a block diagram showing a second example of the configuration of the operation detection device.
  • FIG. 3 is an overview diagram of the operation detection device according to the configuration of the second example.
  • reference numeral 101 denotes a coordinate detection apparatus
  • reference numeral 102 denotes a camera (hereinafter also referred to as an imaging unit)
  • reference numerals 103 and 104 denote illumination
  • reference numeral 105 denotes a finger contact position detection unit
  • reference numeral 106 denotes a pen contact position detection unit
  • reference numeral 107 Is a pen / finger availability determination unit
  • 108 is a communication unit
  • 109 is a control unit.
  • Reference numeral 150 denotes an operation target device, 151 a communication unit, 152 a setting input unit, 153 a control unit, 154 a video projection unit, 155 a display unit, 156 a light emitting unit, and 157 an audio output unit.
  • 120 is detection result data
  • 170 is an electronic pen.
  • the units 102 to 109 and 151 to 157 are independent, but may be configured with one or a plurality of components as necessary.
  • 105 to 107 may be configured to perform the processing by one or a plurality of central processing units (CPUs).
  • CPUs central processing units
  • all the units 102 to 109 are all inside the coordinate detection device 101 and each unit 151 to 157 is all inside the operation target device 150, but as shown in FIGS. 2 and 3,
  • One or a plurality of configuration requirements may be provided externally and may be coupled by a network connection or a universal serial bus (USB) connection.
  • the coordinate detection device 101 and the operation target device 150 may be combined to form a single device as a whole.
  • the camera 102 has an image sensor, a lens, a filter, and the like, and takes an image.
  • the illuminations 103 and 104 include a light emitting diode, a circuit board, a lens, and the like, and irradiate an area captured by the camera 102.
  • the lights 103 and 104 may be blinked so that the lights 103 and 104 are alternately lit.
  • the lights 103 and 104 may be temporarily turned off when the lights 103 and 104 are switched. Also good.
  • 103 and 104 may be blinked at the same timing.
  • the illumination light may be invisible.
  • the camera 102 and the illuminations 103 and 104 are configured by an infrared camera and infrared illumination, and an infrared image is captured to detect a finger contact position described later. Processing may be performed.
  • a filter may be added to the infrared camera so that light that is not in the infrared region is partially or entirely shielded.
  • the finger contact position detection unit 105 includes a circuit board, software, and the like, and detects a finger contact position from an image captured by the camera 102. A method for detecting the contact position of the finger will be described later with reference to FIG.
  • the pen contact position detection unit 106 includes a circuit board, software, and the like, and detects the contact position of the electronic pen 170 from the image captured by the camera 102. A method for detecting the contact position of the electronic pen will be described later with reference to FIGS. 6A to 6C.
  • the pen / finger availability determination unit 107 includes a circuit board, software, and the like, and determines whether or not a finger operation can be used from an image captured by the camera 102. The determination method will be described later with reference to FIG.
  • the communication unit 108 includes a network connection, a USB connection, an ultrasonic unit, an infrared communication device, and the like, and is an interface that can communicate with a device outside the coordinate detection device 101 such as a display or a projector.
  • the control unit 109 includes a circuit board, software, and the like, and includes a camera 102, an illumination 103, an illumination 104, a finger contact position detection unit 105, a pen contact position detection unit 106, a pen / finger availability determination unit 107, and a communication unit 108. Control.
  • the detection result data 120 is data that the coordinate detection device 101 outputs to the operation target device 150 via the communication unit 108, and includes finger contact point coordinates, pen contact point coordinates, pen / finger availability information, and the like.
  • the operation target device 150 is, for example, a projector, receives the detection result data 120, and displays an image according to an operation with a user's finger or pen.
  • the communication unit 151 includes a network connection, a USB connection, an ultrasonic unit, an infrared communication device, and the like, and is an interface that can communicate with a device outside the operation target device 150.
  • the setting input unit 152 includes a button, a touch panel, and the like, and is an interface that receives user input.
  • the control unit 153 includes a circuit board, software, and the like, and controls the communication unit 151, the setting input unit 152, the video projection unit 154, the display unit 155, the light emitting unit 156, the audio output unit 157, and the electronic pen 170.
  • the image projection unit 154 includes a light source lamp, a liquid crystal panel, a lens, and the like, and projects an image on a projection surface.
  • the light projected from the image projection unit 154 is light in the visible region shorter than a certain wavelength, and the light irradiated from the illuminations 103 and 104 is light in an invisible region longer than a certain wavelength, the user can Only light projected from the video projection unit 154 can be visually recognized.
  • a band pass filter or the like may be used.
  • the display unit 155 includes a circuit board, a liquid crystal display, and the like, and displays information such as characters and images. This is not a display unit for displaying the video projected by the video projection unit 154 but a display unit for displaying information different from the video information.
  • the light emitting unit 156 includes a circuit board, a light emitting element, and the like, and creates a state such as lighting, blinking, and extinguishing.
  • the voice output unit 157 includes a circuit board, an amplifier, a speaker, and the like, and outputs a voice message, a sound effect, and the like.
  • the electronic pen 170 has a circuit board, a light emitting element, and the like. Details of the electronic pen will be described later with reference to FIGS. 5A to 5C.
  • An area captured by the camera 102 that is, an area where the illuminations 103 and 104 irradiate illumination light is an operation surface for the user to operate an image projected by the image projection unit 154 using, for example, a finger or the electronic pen 170. means.
  • a user instruction on the operation surface at least a part of the video projected by the video projection unit 154 is changed, or the whole is switched to another video.
  • the operation surface overlaps at least a part of the image projection surface projected by the image projection unit 154, and the user points a part of the image projected by the image projection unit 154 using, for example, a finger or the electronic pen 170.
  • the finger contact position detection unit 105, the pen contact position detection unit 106, and the pen / finger use availability determination unit 107 detect a user operation and determine whether or not the finger and the electronic pen 170 can be used, as will be described later. Is the main component. These three components can be collectively referred to as an operation detection determination unit.
  • a device having the operation detection determination unit or a device having the finger contact position detection unit 105 and the pen contact position detection unit 106 can be referred to as an operation detection device.
  • 4A to 4D show an example of the overview of the operation detection device and the state of the user 200 who operates the operation detection device.
  • the user 200 is operating the operation detection device with a finger
  • FIGS. 4C and 4D the user 200 is operating the electronic pen 170.
  • FIG. 5A is a diagram illustrating an example of the configuration of the electronic pen 170.
  • FIG. 5B and FIG. 5C are diagrams illustrating an example of a state when the tip of the electronic pen is not in contact and when the tip is in contact.
  • 170 is an electronic pen
  • 171 is a light emitting element
  • 172 is a tip contact detection unit
  • 173 is a light emission control unit.
  • the tip contact detection unit 172 includes a circuit board, a pressure sensor, and the like, and determines whether the tip of the electronic pen 170 is in contact with a wall surface or the like.
  • the light emission control unit 173 includes a circuit board, software, and the like. Based on the determination result of the tip contact detection unit 172, as shown in FIG. 5B, when the tip of the electronic pen 170 is not in contact, the light emitting element 171 is As shown in FIG. 5C, control is performed so that the light emitting element 171 is turned on when the tip of the electronic pen 170 is in contact.
  • the light emitting element 171 is turned on when the tip of the electronic pen 170 is in contact, and the light emitting element 171 is turned on when not in contact. You may control so that it may become. Or you may control so that the blink of the light emitting element 171 may become a different frequency at the time of contact and non-contact.
  • an operation unit that emits light from the tip represented by the electronic pen 170 may be referred to as a first operation object, and an operation unit that does not emit light, represented by a finger, may be referred to as a second operation object.
  • the camera 102 and the light emitting element 171 may be configured by an infrared camera and infrared illumination, respectively, and may perform processing for detecting a pen contact position described later by capturing an infrared image.
  • a filter may be added to the infrared camera so that light that is not in the infrared region is partially or completely shielded for imaging.
  • 6A to 6C show an example of processing for detecting a contact point between the electronic pen 170 and the wall surface 201 in the pen contact position detection unit 106.
  • FIG. 6A shows a processing flow.
  • the processing flow shown in FIG. 6A is a one-round flow in which the processing of S601 to S604 is executed once each. In practice, this flow is repeated continuously, and after S603 and S604, the processing returns to S601. .
  • S602 it is determined whether or not the light emitting area satisfies a predetermined condition.
  • the various conditions in S602 are set so that the light emitting area is satisfied when the light emitting area is caused by the light emission of the electronic pen 170, and is not satisfied when the light emitting area is caused by other things.
  • FIG. 6B is a diagram showing an example of details of S602 in FIG. 6A.
  • FIG. 6C is a diagram illustrating an example of details of S602 and S603 in FIG. 6A.
  • the center of gravity 650 of the light emitting area 651 is detected as the contact point of the pen tip. Or you may detect the gravity center position of the point group on the periphery of the light emission area
  • the series of flows shown in FIG. 6A ends.
  • step S602 is supplemented. If the coordinate detection apparatus 101 detects only the contact position of the electronic pen 170, the illuminations 103 and 104 are not necessary. However, in this embodiment, illumination is used to detect the contact position of the finger. As a result, when illumination light is irradiated to an object having a high reflectance of light such as metal, a bright light-emitting region as indicated by 652 in FIG. 6C is imaged by the camera 102. S602 is a process that can be omitted if the light emitter is only the light emitting element 171 of the electronic pen 170. However, when a light other than the pen tip emits bright light as described above, the pen contact position is erroneously detected. In order to prevent this, it is a process for confirming whether various conditions are satisfied. That is, S602 works effectively in avoiding erroneous detection.
  • the processing in the pen contact position detection unit 106 may use another image processing algorithm for obtaining the same result.
  • FIGS. 7A to 7D are diagrams illustrating an example of a difference in shadow shape depending on whether or not the finger 400 and the wall surface 201 are in contact with each other.
  • FIG. 7A when the finger 400 is not in contact with the wall surface 201, a shadow 401 projected by the illumination 104 and a shadow 402 projected by the illumination 103 are formed on both sides of the finger 400, respectively. 401 and shadow 402 are in a state of being separated from each other.
  • FIG. 7B illustrates the principle of creating a shadow as shown in FIG. 7A.
  • the light emitted by the illumination 104 is blocked by the finger 400, and a shadow 401 is formed on the wall surface 201.
  • the light emitted by the illumination 103 is blocked by the finger 400, and a shadow 402 is formed on the wall surface 201. Therefore, in the image captured by the camera 101, the shadow 401 and the shadow 402 are separated from each other.
  • FIG. 7C when the fingertip of the finger 400 is in contact with the wall surface 201, the shadow 401 and the shadow 402 are close to each other at the position of the fingertip of the finger 400.
  • FIG. 7D illustrates the principle of creating a shadow as shown in FIG. 7C.
  • the light emitted by the illumination 104 is blocked by the finger 400, and a shadow 401 is formed on the wall surface 201.
  • the light emitted by the illumination 103 is blocked by the finger 400, and a shadow 402 is formed on the wall surface 201. Therefore, in the image captured by the camera 102, the shadow 401 and the shadow 402 are close to each other at the position of the fingertip.
  • FIGS. 8A to 9B a method for detecting the contact position between the finger and the wall surface will be described.
  • FIG. 8A to 8E are diagrams illustrating an example of a difference in shadow shape depending on the distance between the finger 400 and the wall surface 201.
  • FIG. 8A to 8E are diagrams illustrating an example of a difference in shadow shape depending on the distance between the finger 400 and the wall surface 201.
  • FIG. 8A shows a state in which the shape of the shadow changes depending on the distance between the finger 400 and the wall surface 201, but when the distance between the finger 400 and the wall surface 201 is closest, the shadow 401 and the shadow 402 are at the positions of the fingertips. It will be in an approaching state.
  • the distance between the shadow 401 and the shadow 402 gradually increases.
  • the distance between the finger 400 and the wall surface 201 is the longest, the shadow 401 and the shadow 402 are in a state of being separated from each other. As described above, the distance between the shadow 401 and the shadow 402 increases as the finger 400 moves away from the wall surface 201.
  • 8B to 8E illustrate a method of defining the distance between the shadow 401 and the shadow 402 by replacing the distance between the two feature points.
  • feature points 403 and 404 are set at the tips of the respective shadows, and the distance d between the feature points can be defined as the distance between the shadow 401 and the shadow 402.
  • FIG. 8C feature points 403 and 404 are set outside the portion corresponding to each shadow finger, and the distance d between the feature points is defined as the distance between the shadow 401 and the shadow 402. it can.
  • FIG. 8C feature points 403 and 404 are set outside the portion corresponding to each shadow finger, and the distance d between the feature points is defined as the distance between the shadow 401 and the shadow 402. it can.
  • FIG. 8C feature points 403 and 404 are set outside the portion corresponding to each shadow finger, and the distance d between the feature points is defined as the distance between the shadow 401 and the shadow 402. it can.
  • FIG. 8C feature points 403 and 404 are set outside the portion
  • feature points 403 and 404 can be set at the outermost portions of each shadow, and the distance d between the feature points can be defined as the distance between the shadow 401 and the shadow 402. .
  • feature points 403 and 404 are set outside the portion corresponding to the wrist of each shadow, and the distance d between the feature points is defined as the distance between the shadow 401 and the shadow 402. it can.
  • FIG. 9A and 9B are diagrams illustrating an example of processing for detecting a contact point between the finger 400 and the wall surface 201 in the finger contact position detection unit 105.
  • FIG. 9A and 9B are diagrams illustrating an example of processing for detecting a contact point between the finger 400 and the wall surface 201 in the finger contact position detection unit 105.
  • FIG. 9A shows a processing flow.
  • FIG. 9A shows a one-round flow in which each of the processes of S901 to S908 is executed once. In practice, this flow is repeated continuously, and after S906 and S908, the process returns to S901.
  • S ⁇ b> 901 it is determined whether or not two shadows relating to a finger or a hand are detected in an image captured by the camera 102. If it has been detected, the process advances to step S902. If it has not been detected, the series of flows shown in FIG. 9A ends.
  • S904 it is determined whether or not the distance d between the feature point 403 and the feature point 404 is smaller than a predetermined value. If it is smaller than the predetermined value, the process proceeds to S905, and if it is greater than the predetermined value, the process proceeds to S906.
  • FIG. 9B is a diagram showing an example of the details of S908 in FIG. 9A.
  • a midpoint 950 of the tip 941 and the tip 942 is detected as a contact point between the finger 400 and the wall surface 201.
  • the series of flows shown in FIG. 9A ends.
  • processing in the finger contact position detection unit 105 may use another image processing algorithm for obtaining the same result.
  • the finger contact point is detected by the processing procedure shown in FIGS. 9A and 9B, for example, when a part other than the tip of the finger, such as a part of the palm or a joint of a folded finger, touches the wall surface 201 unintentionally, Alternatively, when a part of the hand holding the electronic pen 170 comes into contact with the wall surface 201, the contact point is not detected. As described above, when a part other than the tip of the finger comes into contact with the wall surface 201, it is determined that the contact is not intended by the user, and an effect of avoiding detection of the contact point is obtained by the present embodiment.
  • the coordinate detection apparatus 101 has both the finger contact position detection unit 105 and the pen contact position detection unit, which is one feature of the present embodiment.
  • FIG. 10A and FIG. 10B are diagrams illustrating an example of a state of operation with different operation positions and operation targets.
  • FIG. 10A shows the difference in shadow shape depending on the user's operation position. Even when the operation position of the user 200 deviates from the center of the wall surface 201 or deviates from between the illuminations 103 and 104, the positional relationship between the camera 102, the illumination 103, and the illumination 104 does not change. Therefore, in the captured image of the camera 102, as shown in the figure, the finger 400 is in the center, and the state where shadows 401 and 402 are formed on both sides thereof is maintained. Therefore, even when the user's operation position deviates from the center of the wall surface 201, the shadows 401 and 402 can be detected, and all the detection methods and control methods described with reference to FIGS. 7A to 9B can be similarly applied. it can.
  • FIG. 10B shows a state where the finger 400 and the electronic pen 171 which are two different operation targets are operated.
  • the finger contact position detection unit 105 and the pen contact position detection unit 106 are independent of each other. If both are operated in parallel, the contact position between the finger and the pen can be detected simultaneously. .
  • the contact point coordinates of the electronic pen and the contact point coordinates of the finger are detected separately, it is possible to realize different operations and display states depending on whether the electronic pen touches or the finger touches. Become.
  • the contact point coordinates of the electronic pen and the contact point coordinates of the finger are detected using one camera and two lights, and are output to the operation target device as detection result data. According to the present embodiment, it is possible to correctly detect the contact position of the electronic pen or the finger on the operation surface without providing a touch sensor or the like on the operation surface. Thereby, there exists an effect that the operativity of the user with respect to an operation target apparatus can be improved.
  • Example 2 describes a method for notifying the user of the situation when a finger contact point cannot be detected by the operation detection device.
  • FIG. 11 is a diagram illustrating an example of a state in which light from the outside is applied to the wall surface.
  • external light such as fluorescent light, incandescent light, and sunlight
  • external light 1101 is external light (external light) such as fluorescent light, incandescent light, and sunlight, and is a light source different from the above-described illuminations 103 and 104.
  • external light 1101 is strongly applied to the wall surface 201, the shadows 401 and 402 are deformed or thinned to reduce the difference in brightness from the surroundings.
  • the camera 102 cannot accurately capture the shape, or the finger contact position detection unit 106 cannot accurately detect the contact position between the finger 400 and the wall surface 201.
  • the electronic pen 170 is not easily affected by the external light 1101 because the light emitting element 171 emits light by itself, and the pen contact position detection unit 107 makes contact between the electronic pen 170 and the wall surface 201 even in an environment where external light is irradiated. The position can be detected accurately.
  • the operability of the operation target device is improved by notifying the user so that the user can grasp the situation. Details of the notification method will be described later with reference to FIGS. 12A and 12B. Further, by controlling the lighting states of the illuminations 103 and 104 in a similar situation by specially controlling the operation of the electronic pen 170, the contact position of the electronic pen 170 is more stable in an environment where the external light 1101 is irradiated. Can be detected. Details of the lighting state control method will be described later with reference to FIGS. 16A and 16B.
  • the pen / finger availability determination unit 107 determines whether or not the operation using the finger is available. For example, in a situation where only the illuminations 103 and 104 are lit and the external light 1101 is not irradiated at all, the brightness of the image captured by the camera 102 is stored in advance as data. Thereafter, if the brightness of the currently captured image is greater than a certain value than the stored data, it can be estimated that the amount of external light 1101 is large. As a result, it can be determined that a finger operation cannot be used.
  • the illumination 103, 104 is temporarily turned off, that is, an image is taken with only the external light 1101 being irradiated, and the brightness of the image at that time is greater than a certain value, the amount of the external light 1101 is large. It can be determined that the operation with the finger cannot be used.
  • the determination result is reflected in the pen / finger availability information in the detection result data 120 and is output from the communication unit 108 to the operation target device 150.
  • FIG. 12A and FIG. 12B are diagrams illustrating an example of a process for notifying whether or not a finger operation can be used.
  • FIG. 12A shows a processing flow.
  • the processing flow shown in FIG. 12A is a one-round flow in which the processing of S1201 to S1207 is performed once each. However, this flow is actually repeated continuously, and after S1204, S1205, S1206, and S1207, the processing proceeds to S1201. Shall return.
  • the pen / finger availability determination unit 107 determines whether or not a finger operation can be used, for example, using the method described above. If it can be used, the process proceeds to S1202, and if it cannot be used, the process proceeds to S1203.
  • S1202 it is determined whether or not the finger operation availability state has changed since the previous time. That is, it is determined whether or not there is a change in the current determination result with respect to the determination result in S1201. If there is a change, that is, if the finger operation is switched from the usable state to the unusable state, the process proceeds to S1204. If there is no change, that is, if the finger operation is still available, the process proceeds to S1206.
  • the finger contact position detection unit 105 may interrupt the process of detecting the finger contact position. As a result, the processing load on the finger contact position detection unit 105 is reduced, and the processing capacity corresponding to that is spent on the pen contact position detection unit 106, thereby improving the processing speed of detecting the pen contact position.
  • the communication unit 108 may be controlled not to output the contact point coordinates of the finger. As a result, it is possible to obtain an effect of preventing the finger contact point coordinates with low accuracy detected in a state where the shapes of the shadows 401 and 402 are collapsed from being output to the operation target device 150.
  • notification is performed each time when the availability state of the operation by the finger is frequently switched. However, frequent notifications may bother the user. In order to reduce this, as shown in FIG. 12B, after switching from a state where the finger operation cannot be used to a state where the finger operation can be used, notification may be performed after a certain period of time has passed.
  • FIG. 12B is a diagram illustrating an example of processing when the state frequently switches in FIG. 12A.
  • notification is not performed every time the state is switched, but the following processing is performed, for example.
  • T1 and T8 the state is changed to a state where the finger operation cannot be used, and at the same time, notification that the finger operation cannot be used is started.
  • FIG. 13A and FIG. 13B are diagrams illustrating an example of a state in which a projected video is used to notify that an operation with a finger cannot be used. That is, here, the light projected by the video projection unit 154 includes message information for making the notification. Of course, both a first display state indicating that a finger can be operated and a second display state indicating that a finger cannot be operated may be included.
  • Whether or not the finger operation can be used is notified by projecting a message from the image projection unit 154 to the wall surface 201 as shown in 1301 and 1302 in FIG. 13A, for example. Or as shown to 1303, 1304 in FIG. 13B, an icon is projected and notified.
  • FIG. 14A to FIG. 14C are diagrams illustrating an example of a state in which an operation using a finger cannot be used by a means other than a projected image.
  • Whether or not the finger operation can be used is notified by displaying a message on the display unit 155, for example, as shown in FIG. 14A.
  • the light emitting unit 156 switches between turning on and off the error lamp for notification.
  • a voice message or sound effect is output from the voice output unit 157 and notified.
  • control unit 153 controls the electronic pen 170 so that the light emitting element 171 emits light in different colors depending on whether the operation with the finger can be used or not. May be notified.
  • FIG. 15 is a diagram illustrating an example of a setting menu presented to the user.
  • the setting menu is an interface for the user to make settings regarding notification when finger operation cannot be used.
  • the setting menu is activated by the setting input unit 152 and projected onto the wall surface 201 by the video projection unit 154 or displayed on the display unit 155. Providing a setting menu interface brings about an effect that a notification when a finger operation cannot be used can be set according to the user's preference.
  • the user can select whether to perform notification when finger operation is not available. If notification is selected, it is possible to select by any means such as message display, icon display, voice display, and error lamp display.
  • 12A to 15 illustrate the case where the contact point of the electronic pen 170 can be detected and the finger contact point cannot be detected in the operation detection device. For example, the remaining amount of the battery of the electronic pen 170 has decreased. In other cases, the contact point of the electronic pen cannot be detected, and the contact point of the finger can be detected. Also in such a case, it may be similarly notified that the operation with the electronic pen cannot be used.
  • the decrease in the battery level of the electronic pen 170 can be detected by, for example, the pen / finger usability determination unit 107 by a decrease in the luminance or area of the light emitting region 651.
  • the coordinate detection apparatus 101 includes the pen / finger availability determination unit 107 in addition to the finger contact position detection unit 105 and the pen contact position detection unit. It has become.
  • a finger operation it is determined whether or not a finger operation is available based on an image photographed by a camera in an environment where external light (external light) is irradiated.
  • the user is notified. Thereby, the user can grasp the state of the operation target device, and the user's operability with respect to the operation target device can be improved.
  • Example 3 describes a method of changing the lighting state of the illumination when the finger contact point cannot be detected by the operation detection device.
  • the amount of light irradiated by the illuminations 103 and 104 is reduced or reduced, when the electronic pen 170 comes into contact with the wall surface 201, the difference in brightness between the light emitting element 171 and the surrounding area becomes large. 651 can be detected more accurately. As a result, the contact position of the electronic pen 170 can be detected more stably.
  • FIG. 16A and FIG. 16B show an example of processing for switching the lighting state of the illumination according to the availability of the operation by the finger.
  • FIG. 16A shows a processing flow.
  • the process flow shown in FIG. 16A is a one-round flow in which the processes of S1601 to S1607 are executed once each. However, this flow is actually repeated continuously, and after S1604, S1605, S1606, and S1607, the process proceeds to S1601. Shall return.
  • S1601 the pen / finger availability determination unit 107 determines whether or not a finger operation can be used. If it can be used, the process proceeds to S1602, and if it cannot be used, the process proceeds to S1603.
  • S1602 it is determined whether or not the finger operation availability state has changed since the previous time. That is, it is determined whether or not there is a change in the current determination result with respect to the determination result in S1601. If there is a change, that is, if the finger operation is switched from the usable state to the unusable state, the process proceeds to S1604. If there is no change, that is, if the finger operation is still available, the process proceeds to S1606.
  • the lighting state is switched to a lighting state specialized for pen operation, that is, the lights 103 and 104 are turned off or turned off.
  • the series of flows shown in FIG. 16A is finished.
  • the lighting state of the lighting is switched every time the use availability state of the finger is frequently switched.
  • FIG. 12B after switching from the state where the finger operation cannot be used to the state where it can be used, the lighting state of the illumination is similar to the case where the notification is made after a certain period of time has elapsed since the state where the finger operation can be used. Switching may be performed after a certain period of time or more has elapsed in which the finger operation can be used.
  • FIG. 16B is a diagram illustrating an example of processing when the state frequently switches in FIG. 16A.
  • the finger availability state is switched at the same timing as that shown in FIG. 12B.
  • switching of the lighting state of the illumination is performed as follows, for example.
  • the lighting state is not switched because there is a possibility that the finger operation can be used for a certain period of time or more, and there is a possibility of switching to a state where it cannot be used again in a short time.
  • T1 and T8 the state is switched to a state where the finger operation cannot be used, and at the same time, the state is switched to the lighting state specialized for the pen operation.
  • stable detection of the contact point of the electronic pen is realized by controlling the lighting state of the illuminations 102 and 103, but the control unit 153 instead of or in parallel with that method.
  • the electronic pen 170 may be controlled more. For example, when the finger operation cannot be used, if the light emission intensity of the light emitting element 171 is increased, the difference in brightness between the light emitting element 171 and the surrounding area increases when the electronic pen 170 comes into contact with the wall surface 201. The contact position of 170 can be detected stably. On the other hand, when the finger operation can be used, the power consumed by the electronic pen 170 can be suppressed by canceling the increase in the light emission intensity of the light emitting element 171.
  • the coordinate detection apparatus 101 includes the pen / finger availability determination unit 107 in addition to the finger contact position detection unit 105 and the pen contact position detection unit. It has become.
  • a finger operation it is determined whether or not a finger operation is available based on an image photographed by a camera in an environment where external light (external light) is irradiated.
  • the illumination is switched to a state specialized for the operation of the electronic pen, that is, a light-off state or a light-down state. This makes it possible to detect the contact position of the electronic pen stably even in an environment where external light is irradiated. Moreover, the effect of suppressing power consumption can be obtained by turning off or reducing the lighting in this way.
  • 101 Coordinate detection device, 102: Camera, 103: Illumination, 104: Illumination, 105: Finger contact position detection unit, 106: Pen contact position detection unit, 107: Pen / finger availability determination unit, 108: Communication unit, 109 : Control unit, 120: detection result data, 150: operation target device, 151: communication unit, 152: setting input unit, 153: control unit, 154: video projection unit, 155: display unit, 156: light emitting unit, 157: Audio output unit, 170: electronic pen, 171: light emitting element, 172: tip contact detection unit, 173: light emission control unit, 200: user, 201: wall surface, 202: imaging range, 400: finger, 401, 402: shadow, 403, 404: Feature points, 650: Pen point contact point, 651, 652: Light emitting area, 941, 942: Shadow tip, 950: Finger contact point, 1101: External light, 1301, 130 2: Message, 1303, 1304: Icon.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

　操作面上にタッチセンサなどを設けることなく、操作面に対する電子ペンと指の接触位置を正しく検出する投射型映像表示装置を提供する。映像を含む光を投射し、前記光が投射された映像投射面と少なくとも一部が重なった操作面に前記映像を含む光とは異なる照明光を照射し、前記操作面を撮像する。先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行い、発光しない第２の操作対象物が前記操作面に接する位置を検出するための第２の検出処理を行い、前記第１の検出処理または前記第２の検出処理における検出結果に基づき前記表示する映像の少なくとも一部を変更する。

Description

投射型映像表示装置、操作検出装置及び投射型映像表示方法
　本発明は、ユーザの操作を検出する投射型映像表示装置、操作検出装置及び投射型映像表示方法に関する。
　特許文献１には、「特殊な機器を用いることなく操作情報を検出すること」（明細書の段落［０００６］参照）を目的とし、その目的を達成する手段として「照明手段及び撮像手段と共に使用される操作検出装置であって、前記照明手段により照らされた状態で操作者を前記撮像手段に撮像させる手段と、前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段とを具備することを特徴とする」操作検出装置とそのプログラム（明細書の段落［０００７］参照）が記載されている。
　また特許文献２には、「電子ペンと指とを対等に使い分けて並行して使用することができるように構成された電子ペンシステムを提供すること」（明細書の段落［０００８］参照）を課題とし、その解決手段として「電子ペンと、この電子ペン及び指によるタッチ操作が行われるタッチ面を備えたタッチパネル体と、前記タッチ面上で電子ペン及び指のタッチ位置を検出する位置検出装置と、前記タッチ面を表示画面として所要の画像を表示する表示装置と、前記位置検出装置から取得した位置検出情報に応じた画像を前記表示装置に表示させる制御装置と、を備えた電子ペンシステムであって、前記制御装置は、前記位置検出装置から位置検出情報を受信した際に、その位置検出情報が前記電子ペン及び指のいずれによるものかを判別する指示物判別手段と、前記電子ペンによるタッチ操作に応じて所定のペン入力処理を行なう第１の制御手段と、指のタッチ操作に応じて所定の指入力処理を行なう第２の制御手段と、を備え、前記第１の制御手段のペン入力処理と前記第２の制御手段の指入力処理とを並行して実行させる」電子ペンシステム（明細書の段落［０００９］参照）が記載されている。
特開２００８－５９２８３号公報 特開２０１１－１４３５５７号公報
　特許文献１では、照明が当たったユーザの特定部位を撮像し、撮像された画像データをもとに指差し動作とその位置を検出する。しかしながら、ユーザが物体を把持して操作を行うことに関しては考慮されていないため、電子ペン等を用いて操作を行うことができない。
　特許文献２では、タッチパネル体を用いて、タッチ面上に対する電子ペン及び指のタッチ位置を検出する。しかしながら、タッチ位置を検出する位置検出装置はタッチパネル体と一体化しており、操作面上にセンサがないとタッチ位置を検出することができない。
　上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
　本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、本発明は映像を投射して表示する投射型映像表示装置であって、前記映像を投射する映像投射部と、該映像投射部が映像を投射する映像投射面と少なくとも一部が重なった操作面に前記映像投射部の投射光とは異なる照明光を照射する少なくとも一つ以上の照明部と、前記操作面を撮像する撮像部と、先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部と、前記投射型映像表示装置の動作を制御し、前記第１の検出部または前記第２の検出部における検出結果に基づき前記映像投射部が投射する映像の少なくとも一部を変更するよう制御する制御部とを有することを特徴特徴としている。
　また本発明は、映像を投射して表示する投射型映像表示装置を操作するための操作を検出する操作検出装置であって、先端が発光する第１の操作対象物が操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、発光しない第２の操作対象物が操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部とを有することを特徴とを特徴としている。
　また本発明は、映像を投射して表示する投射型映像表示方法であって、前記映像を投射し、前記投射された投射映像の面と少なくとも一部が重なった操作面に、前記投射映像の投射光とは異なる照明光を照射し、前記操作面を撮像し、先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行い、発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行い、前記第１の検出処理または前記第２の検出処理における検出結果に基づき前記投射映像の少なくとも一部を変更することを特徴とを特徴としている。
　本発明によれば、操作面上にタッチセンサなどを設けることなく、操作面に対する電子ペンと指の接触位置を正しく検出することができ、ユーザの操作性を向上した投射型映像表示装置、操作検出装置及び投射型映像表示方法を提供できるという効果がある。
操作検出装置の構成の第一例を示すブロック図。 操作検出装置の構成の第二例を示すブロック図。 第二例の構成による操作検出装置の概観図。 操作検出装置の概観及び指で操作するユーザの状態の一例を示す図。 操作検出装置の概観及び指で操作するユーザの状態の一例を示す図。 操作検出装置の概観及び電子ペンで操作するユーザの状態の一例を示す図。 操作検出装置の概観及び電子ペンで操作するユーザの状態の一例を示す図。 電子ペンの構成の一例を示す図。 電子ペンの先端非接触時の状態の一例を示す図。 電子ペンの先端接触時の状態の一例を示す図。 電子ペンと壁面との接触点を検出する処理フローの一例を示す図。 図６ＡのＳ６０２の詳細の一例を示す図。 図６ＡのＳ６０２とＳ６０３の詳細の一例を示す図。 指と壁面とが非接触である場合の影の形状の一例を示す正面図。 指と壁面とが非接触である場合の影の形状の一例を示す上面図。 指と壁面とが接触した場合の影の形状の一例を示す正面図。 指と壁面とが接触した場合の影の形状の一例を示す上面図。 指と壁面との距離による影の形状の違いの一例を示す図。 特徴点と影の距離の関係の一例を示す図。 特徴点と影の距離の関係の一例を示す図。 特徴点と影の距離の関係の一例を示す図。 特徴点と影の距離の関係の一例を示す図。 指と壁面との接触点を検出する処理フローの一例を示す図。 図９ＡのＳ９０８の詳細の一例を示す図。 異なる操作位置による操作の状態の一例を示す図。 異なる操作対象による操作の状態の一例を示す図。 外部からの光が壁面に照射されている状態の一例を示す図。 指による操作の利用可否を通知する処理フローの一例を示す図 図１２Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図。 指による操作が利用できないことをメッセージ表示する状態の一例を示す図。 指による操作が利用できないことをアイコン表示する状態の一例を示す図。 指による操作が利用できないことをメッセージ表示する状態の一例を示す図。 指による操作が利用できないことをランプ表示する状態の一例を示す図。 指による操作が利用できないことを音声で通知する状態の一例を示す図。 ユーザに対して提示する設定メニューの一例を示す図。 照明の点灯状態を切り替える処理フローの一例を示す図。 図１６Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図。
　以下、図面を用いて実施例を説明する。
　実施例１では、１つのカメラと２つの照明とを用いることにより、例えばタッチセンサなどを設けることなく、電子ペンの接触点座標、及び指の接触点座標を検出する方法について説明する。
　図１は、操作検出装置の構成の第一例を示すブロック図である。
　図２は、操作検出装置の構成の第二例を示すブロック図である。
　図３は、第二例の構成による操作検出装置の概観図である。
　図１と図２において、１０１は座標検出装置であり、１０２はカメラ（以下、撮像部とも呼ぶ）、１０３及び１０４は照明、１０５は指接触位置検出部、１０６はペン接触位置検出部、１０７はペン/指利用可否判定部、１０８は通信部、１０９は制御部である。１５０は操作対象装置であり、１５１は通信部、１５２は設定入力部、１５３は制御部、１５４は映像投射部、１５５は表示部、１５６は発光部、１５７は音声出力部である。１２０は検出結果データ、１７０は電子ペンである。
　なお、図１では１０２～１０９、１５１～１５７の各部は独立しているが、必要に応じて１または複数の構成要件で構成してもよい。例えば、１０５～１０７は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成してもよい。また、図１では１０２～１０９の各部を全て座標検出装置１０１の内部に、１５１～１５７の各部を全て操作対象装置１５０の内部に有しているが、図２及び図３に示すように、１または複数の構成要件を外部に有し、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続によって結合しても良い。あるいは、座標検出装置１０１と操作対象装置１５０を結合し、全体で１つの装置となるように構成しても良い。
　カメラ１０２は、イメージセンサ、レンズ、フィルタ等を有し、画像を撮像する。
　照明１０３及び１０４は、発光ダイオード、回路基板、レンズ等を有し、カメラ１０２が撮像する領域を照射する。照明１０３、１０４は常時点灯させる他に、１０３と１０４が交互に点灯するようにそれぞれ点滅させても良いし、これに加えて１０３と１０４の点灯が切り替わる際に一時的に両者を消灯させても良い。あるいは、１０３と１０４を同じタイミングで点滅させても良い。照明の光は不可視であっても良く、例えばカメラ１０２、照明１０３、１０４を、赤外カメラと赤外照明で構成し、赤外画像を撮像することで、後述する指の接触位置を検出する処理を行っても良い。赤外カメラと赤外照明で構成する場合に、赤外カメラにフィルタを追加し、赤外領域でない光を一部あるいは全て遮蔽して撮像するようにしても良い。
　指接触位置検出部１０５は、回路基板やソフトウェア等を有し、カメラ１０２で撮像した画像から指の接触位置を検出する。指の接触位置の検出方法については、図９を用いて後述する。
　ペン接触位置検出部１０６は、回路基板やソフトウェア等を有し、カメラ１０２で撮像した画像から電子ペン１７０の接触位置を検出する。電子ペンの接触位置の検出方法については図６Ａ乃至図６Ｃを用いて後述する。
　ペン/指利用可否判定部１０７は、回路基板やソフトウェア等を有し、カメラ１０２で撮像した画像から、指による操作の利用可否を判定する。判定方法については図１１を用いて後述する。
　通信部１０８は、ネットワーク接続やＵＳＢ接続、超音波ユニット、赤外線通信装置等を有し、ディスプレイやプロジェクタ等、座標検出装置１０１の外部にある装置と通信できるインタフェースである。
　制御部１０９は、回路基板やソフトウェア等を有し、カメラ１０２、照明１０３、照明１０４、指接触位置検出部１０５、ペン接触位置検出部１０６、ペン/指利用可否判定部１０７、通信部１０８を制御する。
　検出結果データ１２０は、座標検出装置１０１が通信部１０８を介して操作対象装置１５０に出力するデータであり、指の接触点座標、ペンの接触点座標、ペン/指利用可否情報等が含まれる。操作対象装置１５０は例えばプロジェクタであり、検出結果データ１２０を受け、ユーザの指やペンによる操作に応じて映像表示を行う。
　通信部１５１は、ネットワーク接続、ＵＳＢ接続、超音波ユニット、赤外線通信装置等を有し、操作対象装置１５０の外部にある装置と通信できるインタフェースである。
　設定入力部１５２は、ボタン、タッチパネル等で構成され、ユーザの入力を受け付けるインタフェースである。
　制御部１５３は、回路基板、ソフトウェア等を有し、通信部１５１、設定入力部１５２、映像投射部１５４、表示部１５５、発光部１５６、音声出力部１５７、電子ペン１７０を制御する。
　映像投射部１５４は、光源ランプ、液晶パネル、レンズ等を有し、投射面に対して映像を投射する。ここで、映像投射部１５４より投射する光をある一定の波長よりも短い可視領域の光、照明１０３、１０４より照射する光をある一定の波長よりも長い不可視領域の光とすれば、ユーザは映像投射部１５４より投射する光のみを視認できるようになる。投射する光の波長を制御するために、帯域通過フィルタ等を用いても良い。
　表示部１５５は、回路基板、液晶ディスプレイ等を有し、文字、画像等の情報を表示する。これは、映像投射部１５４が投射する映像を表示するための表示部ではなく、該映像情報とは別な情報を表示するための表示部である。
　発光部１５６は、回路基板、発光素子等を有し、点灯、点滅、消灯等の状態を作り出す。
　音声出力部１５７は、回路基板、増幅器、スピーカ等を有し、音声メッセージ、効果音等を出力する。
　電子ペン１７０は、回路基板、発光素子等を有する。電子ペンの詳細については図５Ａ乃至図５Ｃを用いて後述する。
　カメラ１０２が撮像する領域、即ち照明１０３、１０４が照明光を照射する領域とは、映像投射部１５４が投射する映像を、例えば指、電子ペン１７０を用いてユーザが操作するための操作面を意味する。該操作面におけるユーザの指示に応じて、映像投射部１５４が投射する映像は、少なくともその一部が変更され、或いは全体が別な映像に切り替えられる。操作面は、映像投射部１５４が投射する映像投射面と少なくもその一部が重なっており、ユーザは映像投射部１５４が投射する映像の一部を、例えば指、電子ペン１７０を用いて指すことにより、前記した指示を行う。
　また、指接触位置検出部１０５、ペン接触位置検出部１０６、ペン/指利用可否判定部１０７は、後記するように、ユーザの操作を検出し、指、電子ペン１７０の利用可否を判定するための主要な構成要素である。これら三つの構成要素をまとめて操作検出判定部と呼ぶことができる。この操作検出判定部を有する装置、或いは指接触位置検出部１０５とペン接触位置検出部１０６を有する装置を、操作検出装置と呼ぶことができる。
　図４Ａ乃至図４Ｄは、操作検出装置の概観及び操作するユーザ２００の状態の一例を示すものである。図４Ａと図４Ｂではユーザ２００が指で、図４Ｃと図４Ｄではユーザ２００が電子ペン１７０で、操作検出装置を操作している。
　図５Ａは、電子ペン１７０の構成の一例を示す図である。
　図５Ｂ及び図５Ｃは、電子ペンの先端非接触時及び先端接触時の状態の一例を示す図である。
　図５Ａにおいて、１７０は電子ペンであり、１７１は発光素子、１７２は先端接触検出部、１７３は発光制御部である。先端接触検出部１７２は、回路基板、感圧センサ等を有し、電子ペン１７０の先端が壁面等に接触しているか否かを判定する。発光制御部１７３は、回路基板、ソフトウェア等を有し、先端接触検出部１７２の判定結果に基づいて、図５Ｂに示すように、電子ペン１７０の先端が接触していない場合は発光素子１７１が消灯するように制御し、図５Ｃに示すように、電子ペン１７０の先端が接触している場合は発光素子１７１が点灯するように制御する。あるいは、電子ペン１７０の先端が接触している場合は発光素子１７１が点灯し、接触していない場合は点滅するように制御する等、接触時と非接触時で、発光素子１７１が異なる状態となるように制御を行っても良い。あるいは、接触時と非接触時で、発光素子１７１の点滅が異なる周波数となるように制御を行っても良い。
　ユーザは、前記操作面を電子ペン１７０または指を用いて操作する。このため以下では、電子ペン１７０に代表される先端が発光する操作部を第１の操作対象物、指に代表される発光しない操作部を第２の操作対象物と呼ぶことがある。
　なお、カメラ１０２と発光素子１７１はそれぞれ赤外カメラと赤外照明で構成し、赤外画像を撮像することで後述するペンの接触位置を検出する処理を行っても良い。また、赤外カメラと赤外照明で構成する場合に、赤外カメラにフィルタを追加し、赤外領域でない光を一部あるいは全て遮蔽して撮像するようにしても良い。
　次に、図６Ａ乃至図６Ｃでは、電子ペンと壁面との接触位置を検出する方法について説明する。
　図６Ａ乃至図６Ｃは、ペン接触位置検出部１０６において、電子ペン１７０と壁面２０１との接触点を検出する処理の一例を示すものである。
　図６Ａは、処理フローを示す。図６Ａに示す処理フローは、Ｓ６０１～Ｓ６０４の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ６０３、Ｓ６０４の後はＳ６０１に戻るものとする。
　まず、Ｓ６０１では、カメラ１０２によって撮影される画像において、ペン接触位置検出部１０６において明るく発光する領域が検出されているか否かを判断する。検出されている場合はＳ６０２に進み、検出されていない場合は図６Ａに示す一連のフローを終了する。
　Ｓ６０２では、発光領域が所定の条件を満たすか否かを判定する。Ｓ６０２における各種条件は、発光領域が電子ペン１７０の発光に起因する場合は満たされるように、それ以外のものに起因する場合は満たされないように設定されている。
　図６Ｂは、図６ＡのＳ６０２の詳細の一例を示す図である。
　図６Ｃは、図６ＡのＳ６０２とＳ６０３の詳細の一例を示す図である。
　図６Ｂに示すように面積、周囲長、縦方向の最大長、横方向の最大長、縦横比等の特徴が上限値と下限値の間に収まるか確認し、例えば図６Ｃに示す発光領域６５１は条件を満たす、発光領域６５２は条件を満たさないと判定する。判定の結果、条件を満たす場合はＳ６０３に進み、条件を満たさない場合はＳ６０４に進む。
　Ｓ６０３では、図６Ｃに示すように、発光領域６５１の重心６５０をペン先の接触点として検出する。あるいは、発光領域６５１の周上の点群の重心位置をペン先の接触点として検出しても良い。Ｓ６０３の処理が終わると、図６Ａに示す一連のフローを終了する。
　Ｓ６０４では、発光領域はペンによるものではないと判定する。Ｓ６０４の処理が終わると、図６Ａに示す一連のフローを終了する。
　ここでＳ６０２のステップの動作を補足する。座標検出装置１０１において電子ペン１７０のみの接触位置を検出するのであれば照明１０３、１０４は必要ないが、本実施例では指の接触位置も合わせて検出するために照明を利用している。その結果、金属等の光の反射率が高い物体に照明光が照射された場合に、図６Ｃの６５２に示すような明るく発光する領域が、カメラ１０２によって撮像されることになる。Ｓ６０２は、発光体が電子ペン１７０の発光素子１７１のみであれば省略可能な処理であるが、上記のようにペン先以外のものが明るく発光した場合に、ペンの接触位置を誤って検出することを防ぐため、各種条件が満たされるかを確認するための処理である。即ち、Ｓ６０２は誤った検出を避けるうえで有効に作用する。
　なお、ペン接触位置検出部１０６における処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。
　図７Ａ乃至図７Ｄは、指４００と壁面２０１との接触有無による影の形状の違いの一例を示す図である。
　図７Ａに示すように、指４００が壁面２０１に接触していない場合は、指４００の両側にそれぞれ、照明１０４によって投影される影４０１と、照明１０３によって投影される影４０２とができ、影４０１と影４０２はそれぞれが離れた状態となる。図７Ｂは、図７Ａに示すような影ができる原理を説明している。指の先端の方向から見た場合、照明１０４が照射する光が指４００で遮断され、壁面２０１上に影４０１ができる。また、照明１０３が照射する光が指４００で遮断され、壁面２０１上に影４０２ができる。したがって、カメラ１０１が撮像する画像において、影４０１と影４０２はそれぞれが離れた状態となる。
　一方、図７Ｃに示すように、指４００の指先が壁面２０１に接触している場合は、影４０１と影４０２は、指４００の指先の位置で接近した状態となる。図７Ｄは、図７Ｃに示すような影ができる原理を説明している。指の先端の方向から見た場合、照明１０４が照射する光が指４００で遮断され、壁面２０１上に影４０１ができる。また、照明１０３が照射する光が指４００で遮断され、壁面２０１上に影４０２ができる。したがって、カメラ１０２が撮像する画像において、影４０１と影４０２は指先の位置で接近した状態となる。
　次に、図８Ａ乃至図９Ｂでは、指と壁面との接触位置を検出する方法について説明する。
　図８Ａ乃至図８Ｅは、指４００と壁面２０１との距離による影の形状の違いの一例を示す図である。
　図８Ａは、指４００と壁面２０１との距離によって影の形状が変化する状態を示しているが、指４００と壁面２０１との距離が最も近い場合では、影４０１と影４０２は指先の位置で接近した状態となる。指４００と壁面２０１が離れると、影４０１と影４０２との距離は次第に大きくなる。指４００と壁面２０１との距離が最も遠い場合では、影４０１と影４０２はそれぞれが離れた状態となる。このように、影４０１と影４０２との距離は、指４００が壁面２０１から離れるにしたがって、大きくなる。
　図８Ｂ乃至図８Ｅは、影４０１と影４０２との距離を、２つの特徴点間の距離に置き換えて定義する方法を説明している。例えば図８Ｂに示すように各影の先端にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。あるいは、図８Ｃに示すように各影の指に相当する部分の外側にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。あるいは、図８Ｄに示すように各影の最も外側に位置する部分にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。あるいは、図８Ｅに示すように各影の手首に相当する部分の外側にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。
　図９Ａ及び図９Ｂは、指接触位置検出部１０５において、指４００と壁面２０１との接触点を検出する処理の一例を示す図である。
　図９Ａは、処理フローを示す。図９Ａに示すのはＳ９０１～Ｓ９０８の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ９０６、Ｓ９０８の後はＳ９０１に戻るものとする。まず、Ｓ９０１では、カメラ１０２によって撮影される画像において、指や手に関する２つの影が検出されているか否かを判断する。検出されている場合はＳ９０２に進み、検出されていない場合は図９Ａに示す一連のフローを終了する。
　Ｓ９０２では、指や手に関する２つの影において、それぞれ特徴点４０３と特徴点４０４を検出する。Ｓ９０２の処理が終わると、Ｓ９０３に進む。
　Ｓ９０３では、特徴点４０３と特徴点４０４との距離ｄを測定する。Ｓ９０３の処理が終わると、Ｓ９０４に進む。
　Ｓ９０４では、特徴点４０３と特徴点４０４との距離ｄが所定の値より小さいか否かを判定する。所定の値よりも小さい場合はＳ９０５に進み、所定の値以上である場合はＳ９０６に進む。
　Ｓ９０５では、指４００が壁面２０１に接触していると判定する。Ｓ９０５の処理が終わると、Ｓ９０７に進む。
　Ｓ９０６では、指４００が壁面２０１に接触していないと判定する。Ｓ９０６の処理が終わると、図９Ａに示す一連のフローを終了する。
　Ｓ９０７では、図９Ｂに示すように、指や手に関する２つの影において、それぞれ先端９４１と先端９４２を検出する。Ｓ６０７の処理が終わると、Ｓ９０８に進む。
　図９Ｂは、図９ＡのＳ９０８の詳細の一例を示す図である。
　Ｓ９０８では、図９Ｂに示すように、先端９４１と先端９４２の中点９５０を指４００と壁面２０１との接触点として検出する。Ｓ９０８の処理が終わると、図９Ａに示す一連のフローを終了する。
　なお、指接触位置検出部１０５における処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。
　図９Ａ及び図９Ｂに示す処理手順で指の接触点検出を行うと、例えば手のひらの一部、折り曲げた指の関節等、指の先端以外の部分が意図せずに壁面２０１に接触した場合、あるいは電子ペン１７０を握る手の一部が壁面２０１に接触した場合には接触点は検出されない。このように、指の先端以外の部位が壁面２０１に接触した場合には、それをユーザの意図しない接触と判断して、接触点の検出を回避する効果が本実施例により得られる。
　ユーザが指した位置を判断するための、先の図６ＡのＳ６０２乃至Ｓ６０４における電子ペン１７０を使用する際の方法と、図９ＡのＳ９０４乃至Ｓ９０８における指を使用する際の方法とを比較すれば明らかなように、双方の方法は全く異なっている。したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部との双方を有することは、本実施形態の一つの特徴となっている。
　図１０Ａ及び図１０Ｂは、異なる操作位置及び操作対象による操作の状態の一例を示す図である。
　図１０Ａは、ユーザの操作位置による影の形状の違いを示す。ユーザ２００の操作位置が壁面２０１の中心からずれたり、照明１０３と１０４の間から外れたりした場合でも、カメラ１０２と照明１０３、照明１０４の位置関係は変わらない。そのため、カメラ１０２の撮像画像においては、図中に示すように指４００が中央にあり、その両側に影４０１、４０２ができる状態が保たれる。したがって、ユーザの操作位置が壁面２０１の中心からずれた場合においても、影４０１、４０２の検出が可能であり、図７Ａ乃至図９Ｂで説明した検出方法や制御方法を同様にすべて適用することができる。
　図１０Ｂは、異なる２つの操作対象である指４００と電子ペン１７１によって操作する状態を示す。座標検出装置１０１において指接触位置検出部１０５とペン接触位置検出部１０６は互いに独立しており、両者を並行して動作させれば、指とペンの接触位置を同時に検出することも可能となる。また、電子ペンの接触点座標と指の接触点座標は区別して検出されるため、電子ペンが接触した場合と、指が接触した場合とで、異なる操作や表示状態を実現することも可能となる。
　上述したように、本実施例では１つのカメラと２つの照明とを用いて、電子ペンの接触点座標、及び指の接触点座標を検出し、検出結果データとして操作対象装置に出力する。本実施例によれば、操作面上にタッチセンサ等を設けることなく、操作面に対する電子ペンや指の接触位置を正しく検出することができる。これにより、操作対象装置に対するユーザの操作性を向上できるという効果がある。
　実施例２では、操作検出装置において指の接触点検出ができない場合に、ユーザに対してその状況を通知する方法について説明する。
　図１１は、外部からの光が壁面に照射されている状態の一例を示す図である。
　１１０１は蛍光灯、白熱灯の光、太陽光等の外部からの光（外光）であり、前記した照明１０３、１０４とは異なる光源である。このような外光１１０１が壁面２０１に強く照射されると、影４０１、４０２は形状が崩れ、あるいは薄くなって周囲との明暗の差が小さくなるなどする。これにより、カメラ１０２によってその形状を正確に捉えられなくなる、あるいは指接触位置検出部１０６において指４００と壁面２０１の接触位置を正確に検出できなくなる等の現象が発生する。一方、電子ペン１７０については発光素子１７１が自発光するため外光１１０１の影響を受けにくく、外光が照射されている環境下でも、ペン接触位置検出部１０７において電子ペン１７０と壁面２０１の接触位置を正確に検出することができる。
　このように電子ペン１７０による操作のみが利用可能で、指４００による操作が利用できない状況では、ユーザがその状況を把握できるように通知することで、操作対象装置の操作性が向上する。通知方法の詳細については、図１２Ａ及び図１２Ｂを用いて後述する。また、同様な状況で照明１０３、１０４の点灯状態を電子ペン１７０の操作に特化して制御することで、外光１１０１が照射されている環境下において、電子ペン１７０の接触位置をより安定して検出することができる。点灯状態の制御方法の詳細については、図１６Ａ及び図１６Ｂを用いて後述する。
　指による操作が利用可能な状態か否かについては、ペン/指利用可否判定部１０７において判定する。例えば照明１０３、１０４のみが点灯していて外光１１０１が全く照射されていない状況で、カメラ１０２が撮影する画像の輝度を予めデータとして保持する。その後、現在撮影している画像の輝度が保持しているデータよりも一定値以上大きければ、外光１１０１の量が多いと推定できる。その結果、指による操作が利用できないと判定できる。あるいは、一時的に照明１０３、１０４を消灯して、すなわち外光１１０１のみが照射されている状態で撮像し、その時の画像の輝度がある一定値よりも大きければ、外光１１０１の量が多く、指による操作が利用できないと判定できる。判定結果は、検出結果データ１２０のペン/指利用可否情報に反映され、通信部１０８から操作対象装置１５０に対して出力される。
　図１２Ａ及び図１２Ｂは、指による操作の利用可否を通知する処理の一例を示す図である。
　図１２Ａは、処理フローを示す。図１２Ａに示す処理フローは、Ｓ１２０１～Ｓ１２０７の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ１２０４、Ｓ１２０５、Ｓ１２０６、Ｓ１２０７の後はＳ１２０１に戻るものとする。まず、Ｓ１２０１では、ペン/指利用可否判定部１０７において指操作を利用できる状態か否かを、例えば前記した方法を用いて判断する。利用できる場合はＳ１２０２に進み、利用できない場合はＳ１２０３に進む。
　Ｓ１２０２では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１２０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できる状態から利用できない状態に切り替わった場合はＳ１２０４に進む。変化がない場合、すなわち今現在も指操作が利用できる状態である場合はＳ１２０６に進む。
　Ｓ１２０３では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１２０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できない状態から利用できる状態に切り替わった場合はＳ１２０５に進む。変化がない場合、すなわち今現在も指操作が利用できない状態である場合はＳ１２０７に進む。
　Ｓ１２０４では、指操作を利用できない旨の通知を開始し、この処理が終わると図１２Ａに示す一連のフローを終了する。
　Ｓ１２０５では、指操作を利用できる旨の通知を開始し、この処理が終わると図１２Ａに示す一連のフローを終了する。
　Ｓ１２０６では、指操作を利用できる旨の通知を継続する。ただし、この処理を省略し、利用可否状態に変化がない場合は、ユーザに対して同じ通知を継続しないようにしても良い。Ｓ１２０６の処理が終わると、図１２Ａに示す一連のフローを終了する。
　Ｓ１２０７では、指操作を利用できない旨の通知を継続する。ただし、この処理を省略し、利用可否状態に変化がない場合は、ユーザに対して同じ通知を継続しないようにしても良い。Ｓ１２０７の処理が終わると、図１２Ａに示す一連のフローを終了する。
　なお、Ｓ１２０１おいて指操作を利用できない状態であると判定した場合、指接触位置検出部１０５において、指の接触位置を検出する処理を中断しても良い。これにより、指接触位置検出部１０５における処理負荷が下がり、その分の処理能力をペン接触位置検出部１０６に費やすことで、ペンの接触位置を検出する処理速度を向上させる効果が得られる。あるいは、通信部１０８において、指の接触点座標を出力しないように制御しても良い。これにより、影４０１、４０２の形状が崩れた状態で検出した精度の低い指の接触点座標を、操作対象装置１５０に対して出力することを防ぐ効果が得られる。
　図１２Ａに示す処理フローに従って処理を行うと、指による操作の利用可否状態が頻繁に切り替わる場合にもその都度通知が行われる。しかし、頻繁に通知を行うとユーザを煩わせる可能性がある。これを軽減するために図１２Ｂに示すように、指操作を利用できない状態から利用できる状態に切り替わった後は、利用できる状態がある一定時間以上経過してから通知を行うようにしても良い。
　図１２Ｂは、図１２Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図である。図１２Ｂでは、時刻ｔ＝Ｔ１、Ｔ３、Ｔ５、Ｔ８において指操作を利用できる状態からできない状態に、ｔ＝Ｔ２、Ｔ４、Ｔ６において指操作を利用できない状態からできる状態に切り替わっている。この場合、状態が切り替わる度に通知を行うのではなく、例えば以下のように処理する。
　ｔ＝Ｔ２、Ｔ４、Ｔ６では指操作を利用できる状態になってから一定時間以上経過しておらず、短時間で再び利用できない状態に切り替わる可能性があるため、通知を行わない。前記一定時間とは、図中のｔ＝Ｔ７とｔ＝Ｔ６の間の時間とする。ｔ＝Ｔ７では、ｔ＝Ｔ６において指操作を利用できる状態に切り替わってから一定時間以上経過したことが確認できるため、指操作を利用できる旨の通知を開始する。ｔ＝Ｔ１、Ｔ８では、指操作を利用できない状態に切り替わると同時に、指操作を利用できない旨の通知を開始する。ｔ＝Ｔ３、Ｔ５では、ｔ＝Ｔ１において指操作を利用できない旨の通知を行った後、一度も利用できる旨の通知が行われないまま、再び利用できない状態に切り替わっているため、通知を行わない。
　図１３Ａ及び図１３Ｂは、指による操作が利用できないことを、投射映像を用いて通知する状態の一例を示す図である。即ち、ここでは映像投射部１５４が投射する光は、前記通知をするためのメッセージ情報を含んでいる。もちろん、指による操作ができる状態であることを示す第１の表示状態と、指による操作ができない状態であることを示す第２の表示状態との双方が含まれていて良い。
　指操作を利用できる状況か否かは、例えば図１３Ａにおいて１３０１、１３０２に示すように、映像投射部１５４より壁面２０１にメッセージを投射して通知する。あるいは図１３Ｂにおいて１３０３、１３０４に示すように、アイコンを投射して通知する。
　図１４Ａ乃至図１４Ｃは、指による操作が利用できないことを、投射映像以外の手段によって通知する状態の一例を示す図である。
　指操作を利用できる状況か否かは、例えば図１４Ａに示すように、表示部１５５にメッセージを表示して通知する。あるいは図１４Ｂに示すように、発光部１５６においてエラーランプの点灯と消灯を切り替えて通知する。あるいは図１４Ｃに示すように、音声出力部１５７より音声メッセージや効果音を出力して通知する。
　あるいは上記以外の方法として、制御部１５３より電子ペン１７０を制御し、指による操作が利用できる時とできない時とで発光素子１７１を異なる色で発光させる等、ペンの状態の変化によって利用可否状態を通知するようにしても良い。
　図１５は、ユーザに対して提示する設定メニューの一例を示す図である。
　設定メニューは、指操作を利用できない場合の通知に関して、ユーザが設定を行うためのインタフェースである。設定メニューは設定入力部１５２によって起動され、映像投射部１５４によって壁面２０１に投射、あるいは表示部１５５に表示される。設定メニューのインタフェースを設けることは、指操作を利用できない場合の通知を、ユーザの嗜好に応じて設定できる効果をもたらす。
　設定メニューでは、ユーザは指操作が利用できない場合の通知を行うか否かを選択できる。また、通知を行うことを選択した場合、メッセージ表示、アイコン表示、音声による表示、エラーランプによる表示をはじめとする、どのような手段によって通知を行うかを選択できる。
　図１２Ａ乃至図１５では、操作検出装置において電子ペン１７０の接触点が検出可能で、指の接触点が検出不能な場合について説明を行ったが、例えば電子ペン１７０の電池の残量が減った場合等は、逆に電子ペンの接触点が検出不能で、指の接触点が検出可能となる。このような場合についても、電子ペンによる操作を利用できない旨を同様に通知するようにしても良い。電子ペン１７０の電池の残量が減ったことは、例えばペン/指利用可否判定部１０７において、発光領域６５１の輝度の低下、面積の減少等により検出することができる。
　したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部のほかにペン／指利用可否判定部１０７を有することは、本実施形態の一つの特徴となっている。
　上述したように、本実施例では外部からの光（外光）が照射されている環境において、カメラで撮影した画像に基づいて指操作を利用可能な状態か否かを判断する。指操作を利用できない状態と判断した場合には、ユーザに対して通知を行う。これにより、ユーザは操作対象装置の状態を把握することができ、操作対象装置に対するユーザの操作性を向上できるという効果がある。
　実施例３では、操作検出装置において指の接触点検出ができない場合に、照明の点灯状態を変更する方法について説明する。
　図１１で説明したように、蛍光灯、白熱灯の光、太陽光等の外部からの光（外光）１１０１が壁面２０１に強く照射されると、電子ペン１７０による操作のみが利用可能で、指４００による操作が利用できない状態が発生する。このように外光が照射されている環境下において、照明１０３、１０４の点灯状態を電子ペン１７０の操作に特化して制御すると、電子ペン１７０の接触位置を、より安定して検出することができる。電子ペン１７０の操作に特化した点灯状態とは、例えば照明１０３、１０４を消灯、あるいは減灯させた状態である。照明１０３、１０４が照射する光量がなくなる、あるいは減ると、電子ペン１７０が壁面２０１に接触した場合に発光素子１７１と周囲との明暗の差が大きくなり、ペン接触位置検出部１０６において、発光領域６５１を、より正確に検出することができる。その結果、電子ペン１７０の接触位置を、より安定して検出することができる。
　図１６Ａ及び図１６Ｂは、指による操作の利用可否に応じて、照明の点灯状態を切り替える処理の一例を示すものである。
　図１６Ａは、処理フローを示す。図１６Ａに示す処理フローは、Ｓ１６０１～Ｓ１６０７の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ１６０４、Ｓ１６０５、Ｓ１６０６、Ｓ１６０７の後はＳ１６０１に戻るものとする。まず、Ｓ１６０１では、ペン/指利用可否判定部１０７において指操作を利用できる状態か否かを判断する。利用できる場合はＳ１６０２に進み、利用できない場合はＳ１６０３に進む。
　Ｓ１６０２では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１６０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できる状態から利用できない状態に切り替わった場合はＳ１６０４に進む。変化がない場合、すなわち今現在も指操作が利用できる状態のままである場合はＳ１６０６に進む。
　Ｓ１６０３では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１６０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できない状態から利用できる状態に切り替わった場合はＳ１６０５に進む。変化がない場合、すなわち今現在も指操作が利用できない状態のままである場合はＳ１６０７に進む。
　Ｓ１６０４では、ペン操作に特化した点灯状態に切り替え、即ち照明１０３、１０４を消灯または減灯し、この処理が終わると図１６Ａに示す一連のフローを終了する。
　Ｓ１６０５では、ペン操作に特化した点灯状態を解除し、即ち照明１０３、１０４を通常の明るさに戻し、この処理が終わると図１６Ａに示す一連のフローを終了する。
　Ｓ１６０６では、ペン操作に特化した点灯状態の解除を継続し、この処理が終わると、図１６Ａに示す一連のフローを終了する。
　Ｓ１６０７では、ペン操作に特化した点灯状態を継続し、この処理が終わると、図１６Ａに示す一連のフローを終了する。
　図１６Ａに示す処理フローに従って処理を行うと、指による操作の利用可否状態が頻繁に切り替わる場合にも、その都度照明の点灯状態が切り替わる。図１２Ｂで、指操作を利用できない状態から利用できる状態に切り替わった後は、利用できる状態がある一定時間以上経過してから通知を行うようにしたのと同様に、照明の点灯状態についても、指操作を利用できる状態がある一定時間以上経過してから切り替えるようにしても良い。
　図１６Ｂは、図１６Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図である。図１６Ｂでは、図１２Ｂで示したタイミングと同様のタイミングで指の利用可否状態が切り替わっている。この場合、照明の点灯状態の切り替えは、例えば以下のように処理する。
　ｔ＝Ｔ２、Ｔ４、Ｔ６では指操作を利用できる状態になってから一定時間以上経過しておらず、短時間で再び利用できない状態に切り替わる可能性があるため、点灯状態の切り替えを行わない。前記一定時間とは、図中のｔ＝Ｔ７とｔ＝Ｔ６の間の時間とする。ｔ＝Ｔ７では、ｔ＝Ｔ６において指操作を利用できる状態に切り替わってから一定時間以上経過したことが確認できるため、ペン操作に特化した点灯状態を解除する。ｔ＝Ｔ１、Ｔ８では、指操作を利用できない状態に切り替わると同時にペン操作に特化した点灯状態に切り替える。ｔ＝Ｔ３、Ｔ５では、ｔ＝Ｔ１においてペン操作に特化した点灯状態に切り替えた後、一度も点灯状態を変更しないまま再び指操作を利用できない状態に切り替わるため、点灯状態の切り替えを行わない。
　図１６Ａ及び図１６Ｂでは、照明１０２、１０３の点灯状態を制御することで安定した電子ペンの接触点検出を実現しているが、その方法の代わりに、あるいはその方法と並行して制御部１５３より電子ペン１７０を制御しても良い。例えば、指操作を利用できない状態の時は、発光素子１７１の発光強度を強めれば、電子ペン１７０が壁面２０１に接触した場合に発光素子１７１と周囲との明暗の差が大きくなり、電子ペン１７０の接触位置を安定して検出できるようになる。逆に、指操作を利用できる状態の時は、発光素子１７１の発光強度を強めることを解除すれば、電子ペン１７０において消費する電力を抑えることができる。
　したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部のほかにペン／指利用可否判定部１０７を有することは、本実施形態の一つの特徴となっている。
　上述したように、本実施例では外部からの光（外光）が照射されている環境において、カメラで撮影した画像に基づいて指操作を利用可能な状態か否かを判断する。指操作を利用できない状態と判断した場合には、照明を電子ペンの操作に特化した状態、すなわち消灯や減灯の状態に切り替える。これにより、外光が照射されている環境においても、安定した電子ペンの接触位置検出が可能となる。また、このように照明を消灯あるいは減灯させることにより、消費電力を抑える効果も得られる。
　なお、上述した実施形態は本発明の説明のための一例であり、本発明の範囲を実施形態にのみ限定する趣旨はない。各実施形態に対して多様な変更を加えた実施形態を考えることができるが、いずれも本発明の範疇にある。
　１０１：座標検出装置、１０２：カメラ、１０３：照明、１０４：照明、１０５：指接触位置検出部、１０６：ペン接触位置検出部、１０７：ペン/指利用可否判定部、１０８：通信部、１０９：制御部、１２０：検出結果データ、１５０：操作対象装置、１５１：通信部、１５２：設定入力部、１５３：制御部、１５４：映像投射部、１５５：表示部、１５６：発光部、１５７：音声出力部、１７０：電子ペン、１７１：発光素子、１７２：先端接触検出部、１７３：発光制御部、２００：ユーザ、２０１：壁面、２０２：撮像範囲、４００：指、４０１，４０２：影、４０３，４０４：特徴点、６５０：ペン先の接触点、６５１，６５２：発光領域、９４１，９４２：影の先端、９５０：指の接触点、１１０１：外光、１３０１，１３０２：メッセージ、１３０３，１３０４：アイコン。

Claims (15)

  1. 　映像を投射して表示する投射型映像表示装置であって、
    　前記映像を投射する映像投射部と、
    　該映像投射部が映像を投射する映像投射面と少なくとも一部が重なった操作面に前記映像投射部の投射光とは異なる照明光を照射する少なくとも一つ以上の照明部と、
    　前記操作面を撮像する撮像部と、
    　先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、
    　発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部と、
    　前記投射型映像表示装置の動作を制御し、前記第１の検出部または前記第２の検出部における検出結果に基づき前記映像投射部が投射する映像の少なくとも一部を変更するよう制御する制御部と
    　を有することを特徴とする投射型映像表示装置。
  2. 　請求項１に記載の投射型映像表示装置において、
    　前記映像投射部による投射映像の表示状態は、
    　前記投射映像中に前記第１の検出処理と前記第２の検出処理との双方の検出処理が機能する状態であることを示すための表示を行う第１の表示状態と、
    　前記投射映像中に前記第１の検出処理は機能するが前記第２の検出処理は機能しない状態であることを示すための表示を行う第２の表示状態と
    　を有することを特徴とする投射型映像表示装置。
  3. 　請求項１に記載の投射型映像表示装置において、
    　前記制御部は、
    　前記第１の検出部と前記第２の検出部との双方が前記検出を行える状態からいずれか一方が前記検出を行えない状態に変わった場合、或いは、前記第１の検出部と前記第２の検出部のいずれか一方が前記検出を行えない状態から双方が前記検出を行える状態に変わった場合には、
    　状態が変わったことを通知するように制御する
    　ことを特徴とする投射型映像表示装置。
  4. 　請求項３に記載の投射型映像表示装置において、
    　前記制御部は、
    　前記映像投射部が投射する投射映像を用いて状態が変わったことを通知するように制御する
    　ことを特徴とする投射型映像表示装置。
  5. 　請求項３に記載の投射型映像表示装置において、
    　該投射型映像表示装置は映像表示部を備え、
    　前記制御部は、
    　前記映像表示部に表示する映像を用いて状態が変わったことを通知するように制御する
    　ことを特徴とする投射型映像表示装置。
  6. 　請求項３に記載の投射型映像表示装置において、
    　該投射型映像表示装置は音声出力部を備え、
    　前記制御部は、
    　前記音声出力部から出力する音声を用いて状態が変わったことを通知するように制御する
    　ことを特徴とする投射型映像表示装置。
  7. 　請求項３に記載の投射型映像表示装置において、
    　該投射型映像表示装置は発光部を備え、
    　前記制御部は、
    　前記発光部が発光する光を用いて状態が変わったことを通知するように制御する
    　ことを特徴とする投射型映像表示装置。
  8. 　請求項３に記載の投射型映像表示装置において、
    　前記制御部は、
    　前記第１の操作対象物が発光する光を用いて状態が変わったことを通知するように制御する
    　ことを特徴とする投射型映像表示装置。
  9. 　請求項１に記載の投射型映像表示装置において、
    　前記制御部は、
    　前記第１の検出部と前記第２の検出部とのいずれか一方が前記検出を行えない場合には、前記検出を行えない検出部の動作を停止するように制御する
    　ことを特徴とする投射型映像表示装置。
  10. 　請求項１に記載の投射型映像表示装置において、
    　前記制御部は、
    　前記第１の検出部において検出した光の特徴が前記第１の操作対象物が発光した光の特徴とは異なる場合には、前記第１の検出部において検出した光に基づく制御を停止するように制御する
    　ことを特徴とする投射型映像表示装置。
  11. 　請求項１に記載の投射型映像表示装置において、
    　前記制御部は、
    　前記第１の検出部と前記第２の検出部との双方が前記検出を行える状態であるか、いずれか一方が前記検出を行えない状態であるかに応じて、前記照明部の発光量、発光時間、発光周波数、発光パターンのうちの少なくとも１つを異ならせるように制御する
    　ことを特徴とする投射型映像表示装置。
  12. 　映像を投射して表示する投射型映像表示装置を操作するための操作を検出する操作検出装置であって、
    　先端が発光する第１の操作対象物が操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、
    　発光しない第２の操作対象物が操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部と
    　を有することを特徴とする操作検出装置。
  13. 　請求項１２に記載の操作検出装置において、
    　前記第１の検出処理と前記第２の検出処理とが機能する状態であるか否かを判定する利用可否判定部
    　を有することを特徴とする操作検出装置。
  14. 　映像を投射して表示する投射型映像表示方法であって、
    　前記映像を投射し、
    　前記投射された投射映像の面と少なくとも一部が重なった操作面に、前記投射映像の投射光とは異なる照明光を照射し、
    　前記操作面を撮像し、
    　先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行い、
    　発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行い、
    　前記第１の検出処理または前記第２の検出処理における検出結果に基づき前記投射映像の少なくとも一部を変更する
    　ことを特徴とする投射型映像表示方法。
  15. 　請求項１４に記載の投射型映像表示方法において、
    　前記投射映像の表示状態は、
    　前記投射映像中に前記第１の検出処理と前記第２の検出処理との双方の検出処理が機能する状態であることを示すための表示を行う第１の表示状態と、
    　前記投射映像中に前記第１の検出処理は機能するが前記第２の検出処理は機能しない状態であることを示すための表示を行う第２の表示状態と
    　を有することを特徴とする投射型映像表示方法。
PCT/JP2013/077304 2013-10-08 2013-10-08 投射型映像表示装置、操作検出装置及び投射型映像表示方法 WO2015052765A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015541328A JP6105075B2 (ja) 2013-10-08 2013-10-08 投射型映像表示装置、操作検出装置及び投射型映像表示方法
EP13895170.2A EP3056975B1 (en) 2013-10-08 2013-10-08 Projection type image display device, manipulation detection device and projection type image display method
CN201380079895.6A CN105723303B (zh) 2013-10-08 2013-10-08 投影型影像显示装置、操作检测装置及投影型影像显示方法
US15/027,340 US10025430B2 (en) 2013-10-08 2013-10-08 Projection type image display device, manipulation detection device and projection type image display method
PCT/JP2013/077304 WO2015052765A1 (ja) 2013-10-08 2013-10-08 投射型映像表示装置、操作検出装置及び投射型映像表示方法
US16/009,628 US10719171B2 (en) 2013-10-08 2018-06-15 Projection type image display device, manipulation detection device and projection type image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/077304 WO2015052765A1 (ja) 2013-10-08 2013-10-08 投射型映像表示装置、操作検出装置及び投射型映像表示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/027,340 A-371-Of-International US10025430B2 (en) 2013-10-08 2013-10-08 Projection type image display device, manipulation detection device and projection type image display method
US16/009,628 Continuation US10719171B2 (en) 2013-10-08 2018-06-15 Projection type image display device, manipulation detection device and projection type image display method

Publications (1)

Publication Number Publication Date
WO2015052765A1 true WO2015052765A1 (ja) 2015-04-16

Family

ID=52812616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/077304 WO2015052765A1 (ja) 2013-10-08 2013-10-08 投射型映像表示装置、操作検出装置及び投射型映像表示方法

Country Status (5)

Country Link
US (2) US10025430B2 (ja)
EP (1) EP3056975B1 (ja)
JP (1) JP6105075B2 (ja)
CN (1) CN105723303B (ja)
WO (1) WO2015052765A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017002250A1 (ja) * 2015-07-01 2017-01-05 日立マクセル株式会社 表示システム、電子ペン装置、電子ペン装置発光制御方法
JPWO2016171166A1 (ja) * 2015-04-20 2018-02-22 株式会社リコー 座標検知装置、電子黒板、画像表示システム、座標検知方法
CN108351684A (zh) * 2015-11-13 2018-07-31 麦克赛尔株式会社 操作检测装置、操作检测方法以及影像显示系统
JPWO2017056147A1 (ja) * 2015-09-28 2018-08-09 マクセル株式会社 照明装置
JP2019519035A (ja) * 2016-05-13 2019-07-04 センソブライト・インダストリーズ・リミテッド・ライアビリティ・カンパニーＳｅｎｓｏｂｒｉｇｈｔ Ｉｎｄｕｓｔｒｉｅｓ， Ｌｌｃ タッチパネル
KR20200088628A (ko) * 2019-01-15 2020-07-23 임성민 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템
JP2022153981A (ja) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム
JP7458987B2 (ja) 2018-09-13 2024-04-01 キッセイ薬品工業株式会社 イミダゾピリジノン化合物

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
JP2016038902A (ja) * 2014-08-06 2016-03-22 株式会社リコー 接触検出システム、情報処理方法、情報処理装置、及びプログラム
US10521050B2 (en) * 2014-11-13 2019-12-31 Maxell, Ltd. Projection video display apparatus and video display method
CN106980416A (zh) * 2016-01-18 2017-07-25 中强光电股份有限公司 触控显示系统及其触控方法
US20180059863A1 (en) * 2016-08-26 2018-03-01 Lenovo (Singapore) Pte. Ltd. Calibration of pen location to projected whiteboard
JP6919266B2 (ja) * 2017-03-28 2021-08-18 セイコーエプソン株式会社 光射出装置および画像表示システム
WO2019171827A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019159748A (ja) * 2018-03-13 2019-09-19 セイコーエプソン株式会社 画像投写システム、指示体及び画像投写システムの制御方法
CN111837096A (zh) * 2018-03-23 2020-10-27 株式会社和冠 三维位置指示器及三维位置检测系统
JP2021197028A (ja) * 2020-06-17 2021-12-27 セイコーエプソン株式会社 位置検出方法、プロジェクターの制御方法、位置検出装置およびプロジェクター
US20230113359A1 (en) * 2020-10-23 2023-04-13 Pathway Innovations And Technologies, Inc. Full color spectrum blending and digital color filtering for transparent display screens
US20220360755A1 (en) * 2020-10-23 2022-11-10 Ji Shen Interactive display with integrated camera for capturing audio and visual information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273091A (ja) * 2000-03-24 2001-10-05 Seiko Epson Corp 多重解像度画像解析による指示位置検出
JP2007086962A (ja) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd 画面位置指示システム及び画面位置指示方法
JP2008059283A (ja) 2006-08-31 2008-03-13 Nippon Telegr & Teleph Corp <Ntt> 操作検出装置とそのプログラム
JP2011143557A (ja) 2010-01-12 2011-07-28 Panasonic Corp 電子ペンシステム

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
US6963937B1 (en) * 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
KR20030072591A (ko) * 2001-01-08 2003-09-15 브이케이비 인코포레이티드 데이터 입력 디바이스
JP4185825B2 (ja) * 2003-07-01 2008-11-26 キヤノン株式会社 座標入力装置及びその制御方法、情報処理装置、プログラム
US7460110B2 (en) * 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7499027B2 (en) 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7692639B2 (en) 2006-02-10 2010-04-06 Microsoft Corporation Uniquely identifiable inking instruments
US8587526B2 (en) * 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US20100177053A2 (en) * 2008-05-09 2010-07-15 Taizo Yasutake Method and apparatus for control of multiple degrees of freedom of a display
TW201032105A (en) * 2009-02-19 2010-09-01 Quanta Comp Inc Optical sensing screen and panel sensing method
US8514187B2 (en) * 2009-09-30 2013-08-20 Motorola Mobility Llc Methods and apparatus for distinguishing between touch system manipulators
KR101623214B1 (ko) * 2010-01-06 2016-05-23 삼성전자주식회사 다기능 펜 및 다기능 펜의 사용 방법
US8482539B2 (en) 2010-01-12 2013-07-09 Panasonic Corporation Electronic pen system
JP5486977B2 (ja) * 2010-03-24 2014-05-07 株式会社日立ソリューションズ 座標入力装置及びプログラム
JP5709405B2 (ja) 2010-05-18 2015-04-30 株式会社タイトー 画像認識によるラクガキ装置
GB2487043B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction and illumination system and method
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
US9031847B2 (en) * 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
JP6031750B2 (ja) * 2011-11-25 2016-11-24 株式会社リコー 表示制御装置、画像表示システム、表示制御方法およびプログラム
JP6141596B2 (ja) 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法
CA2862446C (en) * 2012-01-11 2018-07-10 Smart Technologies Ulc Interactive input system and method
JP2013175142A (ja) 2012-01-27 2013-09-05 Sharp Corp 座標入力装置、及び座標入力システム
US20130257811A1 (en) * 2012-03-29 2013-10-03 Hitachi Solutions, Ltd. Interactive display device
TWI470511B (zh) * 2012-06-06 2015-01-21 Wistron Corp 雙模輸入裝置
US9575712B2 (en) * 2012-11-28 2017-02-21 Microsoft Technology Licensing, Llc Interactive whiteboard sharing
JP5728592B1 (ja) * 2013-05-30 2015-06-03 株式会社東芝 電子機器および手書き入力方法
EP3028113A4 (en) * 2013-07-31 2017-04-05 Hewlett-Packard Development Company, L.P. System with projector unit and computer
WO2015047401A1 (en) * 2013-09-30 2015-04-02 Hewlett-Packard Development Company, L.P. Projection system manager
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
CN108664173B (zh) * 2013-11-19 2021-06-29 麦克赛尔株式会社 投影型影像显示装置
GB2523077A (en) * 2013-12-23 2015-08-19 Light Blue Optics Ltd Touch sensing systems
GB2522249A (en) * 2014-01-20 2015-07-22 Promethean Ltd Active pointing device detection
JP6375672B2 (ja) * 2014-01-21 2018-08-22 セイコーエプソン株式会社 位置検出装置、及び位置検出方法
JP6398248B2 (ja) * 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
JP6248723B2 (ja) * 2014-03-17 2017-12-20 株式会社リコー 座標検知システム、座標検知方法、情報処理装置及びプログラム
WO2015143618A1 (en) * 2014-03-25 2015-10-01 Intel Corporation Switchable input modes for external display operation
JP6269227B2 (ja) * 2014-03-25 2018-01-31 セイコーエプソン株式会社 表示装置、プロジェクター、および表示制御方法
US9740338B2 (en) * 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
TWI522722B (zh) * 2014-06-06 2016-02-21 中強光電股份有限公司 光源裝置及其調整方法
WO2015198688A1 (ja) * 2014-06-26 2015-12-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016038902A (ja) * 2014-08-06 2016-03-22 株式会社リコー 接触検出システム、情報処理方法、情報処理装置、及びプログラム
US10048856B2 (en) * 2014-12-30 2018-08-14 Microsoft Technology Licensing, Llc Configuring a user interface based on an experience mode transition
JP6485160B2 (ja) * 2015-03-27 2019-03-20 セイコーエプソン株式会社 インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273091A (ja) * 2000-03-24 2001-10-05 Seiko Epson Corp 多重解像度画像解析による指示位置検出
JP2007086962A (ja) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd 画面位置指示システム及び画面位置指示方法
JP2008059283A (ja) 2006-08-31 2008-03-13 Nippon Telegr & Teleph Corp <Ntt> 操作検出装置とそのプログラム
JP2011143557A (ja) 2010-01-12 2011-07-28 Panasonic Corp 電子ペンシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3056975A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016171166A1 (ja) * 2015-04-20 2018-02-22 株式会社リコー 座標検知装置、電子黒板、画像表示システム、座標検知方法
CN107835975A (zh) * 2015-04-20 2018-03-23 株式会社理光 坐标检测装置、电子黑板、图像显示系统、以及坐标检测方法
EP3287879A4 (en) * 2015-04-20 2018-04-25 Ricoh Company, Ltd. Coordinate detection device, electronic blackboard, image display system, and coordinate detection method
WO2017002250A1 (ja) * 2015-07-01 2017-01-05 日立マクセル株式会社 表示システム、電子ペン装置、電子ペン装置発光制御方法
JPWO2017056147A1 (ja) * 2015-09-28 2018-08-09 マクセル株式会社 照明装置
US10942607B2 (en) 2015-11-13 2021-03-09 Maxell, Ltd. Manipulation detection device and video display system that are capable detecting an object on a video display surface
CN108351684A (zh) * 2015-11-13 2018-07-31 麦克赛尔株式会社 操作检测装置、操作检测方法以及影像显示系统
JP2019519035A (ja) * 2016-05-13 2019-07-04 センソブライト・インダストリーズ・リミテッド・ライアビリティ・カンパニーＳｅｎｓｏｂｒｉｇｈｔ Ｉｎｄｕｓｔｒｉｅｓ， Ｌｌｃ タッチパネル
JP7458987B2 (ja) 2018-09-13 2024-04-01 キッセイ薬品工業株式会社 イミダゾピリジノン化合物
KR20200088628A (ko) * 2019-01-15 2020-07-23 임성민 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템
KR102156539B1 (ko) 2019-01-15 2020-09-16 임성민 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템
JP2022153981A (ja) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム
JP7338659B2 (ja) 2021-03-30 2023-09-05 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム

Also Published As

Publication number Publication date
US20160253043A1 (en) 2016-09-01
EP3056975B1 (en) 2020-08-12
US10025430B2 (en) 2018-07-17
CN105723303B (zh) 2019-01-22
EP3056975A4 (en) 2017-06-21
JPWO2015052765A1 (ja) 2017-03-09
CN105723303A (zh) 2016-06-29
US10719171B2 (en) 2020-07-21
US20180292950A1 (en) 2018-10-11
JP6105075B2 (ja) 2017-03-29
EP3056975A1 (en) 2016-08-17

Similar Documents

Publication Publication Date Title
JP6105075B2 (ja) 投射型映像表示装置、操作検出装置及び投射型映像表示方法
US11606851B2 (en) Lighting apparatus
US10915186B2 (en) Projection video display apparatus and video display method
US20120044140A1 (en) Information display system and program, and optical input system, projection-type images and display apparatus
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
JP2008250774A (ja) 情報機器操作装置
JP2007086962A (ja) 画面位置指示システム及び画面位置指示方法
JPWO2017056147A1 (ja) 照明装置
JP2016071402A (ja) 位置検出装置、プロジェクター、及び、位置検出方法
US10795467B2 (en) Display device, electronic blackboard system, and user interface setting method
JP2002116878A (ja) 画像生成システム、プレゼンテーションシステムおよび情報記憶媒体
JP2010083206A (ja) 車載用電子機器操作装置
JP6075193B2 (ja) 携帯端末装置
TWI518553B (zh) 具多模式之互動投影系統及其指示裝置與控制方法
JP2006338328A (ja) 操作システム、処理装置、指示装置、操作方法およびプログラム
JP2002229735A (ja) 情報処理装置
JP2023118228A (ja) 表示方法および表示装置
JP2017204224A (ja) 情報入力システム及び電子ペン
JP2017182246A (ja) 表示装置および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13895170

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15027340

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015541328

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2013895170

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013895170

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE