WO2015075767A1 - 投射型映像表示装置 - Google Patents

投射型映像表示装置 Download PDF

Info

Publication number
WO2015075767A1
WO2015075767A1 PCT/JP2013/081131 JP2013081131W WO2015075767A1 WO 2015075767 A1 WO2015075767 A1 WO 2015075767A1 JP 2013081131 W JP2013081131 W JP 2013081131W WO 2015075767 A1 WO2015075767 A1 WO 2015075767A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
display
video
finger
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/081131
Other languages
English (en)
French (fr)
Inventor
長谷川　実
中嶋　満雄
孝志 松原
沙希子 成川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Priority to US15/037,164 priority Critical patent/US9927923B2/en
Priority to PCT/JP2013/081131 priority patent/WO2015075767A1/ja
Priority to CN201380080630.8A priority patent/CN105706028B/zh
Priority to JP2015548896A priority patent/JP5973087B2/ja
Priority to CN201810532207.1A priority patent/CN108664173B/zh
Publication of WO2015075767A1 publication Critical patent/WO2015075767A1/ja
Anticipated expiration legal-status Critical
Priority to US15/889,817 priority patent/US10191594B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Definitions

  • the present invention relates to a projection type video display device that projects an image.
  • a technology has been devised for controlling the display orientation to be easy for the user to see when the projection display device projects an image on a horizontal surface such as a desk.
  • a projection display device installed above a projectile includes an imaging unit, obtains a user interface image that captures an operator's motion, and controls a display screen based on the result of motion detection. Says.
  • Patent Document 2 describes a method in which a display device installed above a projectile recognizes the position and operation of the user, the shape of the projectile, and controls the display position, display orientation, and the like accordingly.
  • Patent Documents 1 and 2 are intended to display an image on a projectile that can be easily moved, such as a desk, from a display device installed above the projectile, and the display device according to the movement of the projectile There are issues with ease of use, such as the need for movement.
  • the point to be photographed for performing movement recognition is far from the imaging unit of the display device installed above, and the point to be photographed is one of the body of the user.
  • the accuracy of recognition due to the fact that it is difficult to take a picture because it is shielded by the part.
  • the present invention is a projection-type image display device, wherein the projection image is projected onto a surface that is at least partially overlapped with an image projection unit that projects an image, and an image projection surface that the image projection unit projects. And at least one illumination unit that emits illumination light different from the above, an imaging unit that captures an image using reflected light of the illumination light, and an operator's finger touching the video projection surface based on an image captured by the imaging unit And a display control unit configured to control to change at least one partial video included in the video projected by the video projection unit based on a detection result by the detection unit.
  • the projection type image display device is characterized in that it is installed on a surface of the image projection surface and projects the image.
  • the figure explaining the determination of the approach degree by a feature point The figure explaining determination of the contact point by a feature point.
  • the figure which shows the processing flow of the operation detection method The figure which shows the processing flow of the operation detection method.
  • the figure which shows an example of the control according to the pointing direction The figure which shows that a user exists close to a rectangular desk.
  • the figure which shows an example of the parallel movement by finger operation The figure which shows an example of the parallel movement by finger operation.
  • the figure which shows an example of the rotational movement by finger operation The figure which shows an example of the rotational movement by finger operation.
  • the figure which shows an example of operation which increases the number of display screens by finger operation The figure which shows an example of operation which increases the number of display screens by finger operation.
  • the figure which shows an example of operation which expands the display screen by finger operation The figure which shows an example of operation which expands the display screen by finger operation.
  • the figure which shows an example of multiple finger operation The figure which shows an example of multiple finger operation.
  • the figure which shows an example of multiple finger operation The figure which shows an example of multiple finger operation.
  • the figure which shows an example of multiple finger operation The figure which shows an example of multiple finger operation.
  • the figure which shows an example of multiple finger operation The figure which shows an example of multiple finger operation.
  • the figure which shows an example of multiple finger operation The figure which shows an example of multiple finger operation.
  • the figure which shows an example of multiple finger operation The figure which shows an example of multiple finger operation.
  • the figure which shows an example of menu or detailed information display operation. The figure which shows an example of menu or detailed information display operation.
  • the figure which shows an example of menu or detailed information display operation The figure which shows an example of menu or detailed information display operation.
  • the figure which shows an example of menu or detailed information display operation The figure which shows an example of menu or detailed information display operation.
  • the figure which shows an example of menu or detailed information display operation The figure which shows an example of menu or detailed information display operation.
  • FIG. 1 shows an example in which two images 202 and 203 with different rotation angles are projected onto a desk with a projection display device 201 installed on a desk, for a plurality of users who see different directions.
  • video projection onto a “desk” is described as an example, but the “desk” is an example of a video projection surface. Therefore, the present embodiment may target other video projection surfaces (may be other structures and floors).
  • the maximum range 210 in which the projection display device 205 can optically project an image is indicated by a broken line.
  • the maximum projection range 210 may also be shown in the following drawings.
  • the projection display device 205 projects two display screens 202 and 203 as an example. Display screens 202 and 203 correspond to OSD (on-screen display) screens to be described later. That is, the images displayed on the display screens 202 and 203 are partial images within the maximum projection range 210.
  • a method of displaying the design drawing of the apparatus over the entire maximum projection range 210 and displaying the explanatory drawing of the design drawing on the display screens 202 and 203 can be considered.
  • FIG. 2 shows an example of a configuration diagram of the projection display device 205 with an operation detection function in which the user controls the display screen by gesture input in such a case.
  • the projection display device 205 with an operation detection function includes a camera 100, two illuminations 101 and 102, a shadow area extraction unit 104, a feature point detection unit 105, an approach degree detection unit 106, a contact point detection unit 107, a contour detection unit 108, A direction detection unit 109, a control unit 110, a display control unit 111, a drive circuit unit 112, an input terminal unit 113, an input signal processing unit 114, and a projection unit 115 are included.
  • the control unit 110 generates detection result data of operation states such as the degree of finger approach to the operation surface detected by each detection unit, the contact point coordinates, and the pointing direction.
  • the display control unit 111 generates display control data such as an operation mode, a pointer display position, and a pointer display direction based on the detection result, and performs display control on a video signal that passes through the input terminal 113 and the input signal processing unit 114. Perform processing based on the data.
  • the processed video signal is processed by the drive circuit unit 112 for projection, and is projected from the projection unit 115 onto the projection.
  • description of buffers, memories, and the like is omitted, but necessary buffers, memories, and the like may be mounted as appropriate.
  • FIG. 3 is a diagram illustrating an example of a state in which the user 3 performs an operation on the display screen 203 of the projection display device 205 with an operation detection function.
  • the user 3 performs a desired operation by bringing the finger 30, which is an operation unit, close to the display screen 203 of the projectile 204 and contacting a certain position. That is, for example, the display screen 203 of the projection 204 that is a desk surface is also an operation surface for the user 3 to operate the projection display device 205.
  • the operation by the user 3 will be described in detail later.
  • the projection display device 205 with an operation detection function includes two lights 101 and 102 and a camera 100.
  • the two lights 101 and 102 irradiate the finger 30 of the user 3, and the camera 100 images the finger 30 and the vicinity thereof. Since the shadow shape of the finger 30 changes when the finger 30 approaches or comes into contact with the projectile 204, the projection display device 205 analyzes the image of the camera 100 and detects the degree of finger approach, the contact point, and the pointing direction. .
  • the projection display device 205 with the operation detection function when the illuminations 101 and 102 irradiate the finger 30, the chance of light being shielded can be reduced.
  • the camera 100 includes an image sensor, a lens, and the like, and captures an image including the finger 30 that is an operation unit of the user 3.
  • the two illuminations 101 and 102 are composed of a light emitting diode, a circuit board, a lens, and the like.
  • the projection light 204 and the finger 30 of the user 3 are irradiated with illumination light, and the shadow of the finger 30 appears in the image captured by the camera 100. Project.
  • the illuminations 101 and 102 may be infrared illumination, and the camera 100 may be an infrared camera.
  • the infrared light image captured by the camera 100 can be obtained separately from the visible light image that is the image of the image signal projected from the projection display device 205 with an operation detection function.
  • the illumination light / imaging light may be any light outside visible light that can be separated from the projected image of the projection display device 205, and therefore, ultraviolet light may be used instead of infrared light.
  • the shadow area extraction unit 104 extracts a shadow area from an image obtained by the camera 100 and generates a shadow image.
  • the difference image is generated by subtracting the background image of the projectile 204 captured in advance from the captured image at the time of detecting the operation, the luminance of the difference image is binarized with a predetermined threshold Lth, and the area below the threshold is a shadow area What should I do?
  • a so-called labeling process is performed in which shadow areas that are not connected to each other are distinguished from each other as different shadows. By the labeling process, it is possible to identify which finger corresponds to the extracted plurality of shadows, that is, two pairs of shadows corresponding to one finger.
  • the feature point detection unit 105 detects a specific position (hereinafter referred to as a feature point) in the shadow image extracted by the shadow region extraction unit 104.
  • a feature point a specific position (hereinafter referred to as a feature point) in the shadow image extracted by the shadow region extraction unit 104.
  • the tip position corresponding to the fingertip position
  • Various methods are used for feature point detection.
  • the tip position it can be detected from the coordinate data of the pixels that make up the shadow image, or a part that matches the specific shape of the feature point is imaged. It can also be detected by recognition or the like. Since one feature point is detected from one shadow, two points are detected for one finger (two shadows).
  • the proximity detection unit 106 measures a distance d between two feature points detected by the feature point detection unit 105, and detects a gap s (approach A) between the finger and the operation surface based on the distance d. Thereby, it is determined whether the finger is in contact with the operation surface or not.
  • the contact point detection unit 107 detects the contact point of the finger with respect to the operation surface based on the position of the feature point, and determines the coordinates. calculate.
  • the contour detection unit 108 extracts the contour of the shadow region from the shadow image extracted by the shadow region extraction unit 104.
  • the contour image can be obtained by scanning the shadow image in a certain direction to determine the start pixel of the contour tracking, and tracking the neighboring pixels of the start pixel counterclockwise.
  • the direction detection unit 109 extracts a substantially straight line segment from the contour line detected by the contour detection unit 108. Then, the pointing direction of the finger on the operation surface is detected based on the extracted direction of the contour line.
  • each detection unit described above is not limited to the above method, and other image processing algorithms may be used.
  • Each detection unit described above can be configured not only by hardware based on a circuit board but also by software.
  • the control unit 110 controls the operation of the entire apparatus, and generates detection result data such as the degree of finger approach to the operation surface detected by each detection unit, contact point coordinates, and pointing direction.
  • the display control unit 111 generates display control data such as an operation mode, a pointer position, and a pointer direction based on the detection result data such as the finger approach degree, the contact point coordinates, and the pointing direction generated by the control unit 110 and inputs them. Processing based on the display control data is performed on the video signal that passes through the terminal 113 and the input signal processing unit 114.
  • the drive circuit unit 112 performs processing for projecting the processed video signal as a display video.
  • the display image is projected from the projection unit 115 to the projectile.
  • Each unit so far has been described as an example provided in one projection display device 205 with an operation detection function. However, a part of these units may be configured as separate units and connected by transmission lines. Absent.
  • FIG. 4A and FIG. 4B are diagrams showing the shape of the shadow of the user's finger generated by the two illuminations.
  • 4A shows a state where the finger 30 and the projectile 204 are not in contact
  • FIG. 4B shows a state where they are in contact.
  • the finger 30 when the finger 30 is not in contact with the projectile 204 (gap s), the light from the two illuminations 101 and 102 is blocked by the finger 30, and shadows 401 and 402 (shown by diagonal lines), respectively. Is formed. In the camera image, the two shadows 401 and 402 exist on both sides of the finger 30 apart from each other.
  • the two shadows 401 and 402 are close to each other at the position of the fingertip of the finger 30. .
  • a partial area of the shadows 401 and 402 is hidden behind the finger 30, but this hidden part is not included in the shadow area.
  • the contact between the finger 30 and the operation surface 204 is determined using the property that the shadow 401 and the shadow 402 are close to each other (especially the distance between the feature points). .
  • FIG. 5 is a diagram showing the influence of the shape of the shadow depending on the operation position of the user.
  • the camera images when the user's operation position is shifted from the center of the projection 204 to the left (user position 3) and when the user's operation position is shifted to the right (user position 3 ') are compared.
  • the positional relationship of the shadows 401 (401 ') and 402 (402') with respect to the finger 30 (30 ') does not change in those camera images. That is, the shadows 401 (401 ') and 402 (402') always exist on both sides of the finger 30 (30 ') regardless of the user operation position.
  • FIG. 6 is a diagram showing the relationship between the gap between the finger and the operation surface and the shape of the shadow.
  • the distance between the two shadows 401 and 402 formed on both sides of the finger 30 varies depending on the gap s between the finger 30 and the projectile 204.
  • feature points 601 and 602 are set inside the respective shadows 401 and 402, and the distance d between the feature points is measured.
  • a feature point is set at the tip position (fingertip position) of the shadow.
  • the distance d between the feature points 601 and 602 is the minimum value. It becomes.
  • FIG. 7 is a diagram for explaining the approach degree determination in the approach degree detection unit 106.
  • the finger approach degree A is determined based on the distance d between the feature points.
  • four threshold values d1, d2, d3, d4 (where d1 ⁇ d2 ⁇ d3 ⁇ d4) are determined for the distance d between feature points. Accordingly, the degree of approach A is classified into five levels (levels 1 to 5), and the larger the level value, the smaller the gap s between the finger 30 and the projectile 204.
  • the proximity A is classified into four levels (levels 4 to 1) using threshold values d2 to d4.
  • the degree of approach A is determined to be the minimum level 1.
  • the degree of approach is classified into five stages using four thresholds, but the number of degrees of approach is not limited to this, and may be set as appropriate according to the control content.
  • FIG. 8 is a diagram for explaining the determination of the contact point in the contact point detection unit 107.
  • the shapes of the shadows 401 and 402 when the finger 30 is in contact with the projectile 204 are shown.
  • the feature points 601 and 602 are set at the tip positions of the shadows 401 and 402, respectively.
  • the midpoint P of the two feature points 601 and 602 is regarded as a contact point between the finger 30 and the projectile 204, and its coordinates Can be calculated.
  • the feature points 601 and 602 are set at the tip positions of the respective shadows 401 and 402.
  • setting of the feature points is easy and the position of the contact point P is also set. Since it exists in the vicinity, it can be easily determined.
  • FIG. 9 is a diagram showing a case where feature points are set at other positions.
  • the feature points 601 and 602 are set at the tip positions of the shadows 401 and 402, whereas in FIG. 9, the feature points 601 'and 602' are set at the longitudinal intermediate positions of the shadows.
  • the distance d ′ between the feature points 601 ′ and 602 ′ changes as the distance between the shadows 401 and 402 changes, it is possible to determine the proximity A between the finger 30 and the projectile 204.
  • the contact point P ′ is shifted in the longitudinal direction from the position of the feature points 601 ′ and 602 ′, the distance (correction amount) from the feature points 601 ′ and 602 ′ to the expected contact point P ′. ) Is obtained in advance, and the contact point P ′ can be obtained by correcting it in advance.
  • the feature points can be set at other positions in the shadows 401 and 402.
  • FIG. 10 is a diagram showing the shape of a shadow when operating with a plurality of fingers.
  • a plurality of fingers 31, 32... Are brought into contact with the operation surface with the hands open, the left shadows 411, 421... And the right shadows 412, 422. Is formed.
  • feature points are set for each shadow.
  • feature points 611 and 612 for the shadows 411 and 412 and feature points 621 and 622 for the shadows 421 and 422 are shown.
  • the approaching degree and the contact point of each finger 31, 32 can be obtained.
  • contact with a plurality of fingers can be detected independently even when the hand is opened, so that it can be applied to a multi-touch operation.
  • FIG. 11A to 11C are diagrams for explaining determination of the pointing direction in the direction detection unit 109.
  • FIG. The shapes of the shadows 401 and 402 when the direction of the finger 30 (pointing direction) is tilted are shown, and the direction of the shadows 401 and 402 also changes as the pointing direction changes.
  • the contour detection unit 108 first detects contour lines 501 and 502 for the shadows 401 and 402. In detecting the contour line, a curved line portion such as a fingertip is removed to detect a contour line composed of a substantially straight line segment. Thereafter, the direction detection unit 109 determines the pointing direction by the following method.
  • inner contour lines 501 and 502 with respect to the shadows 401 and 402 are used. Then, one of the inclination directions 701 and 702 of the inner contour lines 501 and 502 is determined as the pointing direction.
  • outer contour lines 501 'and 502' for the shadows 401 and 402 are used. Then, one of the inclination directions 701 'and 702' of the outer contour lines 501 'and 502' is determined as the pointing direction.
  • inner contour lines 501 and 502 for the shadows 401 and 402 are used. Then, the inclination direction 703 of the middle line of the inner contour lines 501 and 502 is determined as the pointing direction. In this case, since it is obtained from the average direction of the two contour lines 501 and 502, the accuracy becomes higher.
  • the middle line direction of the outer contour lines 501 ′ and 502 ′ may be the pointing direction.
  • FIG. 12A and 12B are diagrams illustrating a processing flow of the operation detection method according to the first embodiment.
  • FIG. 12A is a flow of detection of the degree of approach and the contact point
  • FIG. 12B is a flow of detection of the pointing direction.
  • the shadow region extraction unit 104 obtains a difference image by subtracting the background from the image captured by the camera 100, and extracts a portion whose luminance is equal to or less than the threshold value Lth as a shadow region. At this time, a so-called labeling process is performed in which shadow areas that are not connected to each other are distinguished from each other as different shadows.
  • the feature point detection unit 105 detects a feature point for each shadow subjected to the labeling process. For example, as shown in FIG. 6, the tip positions of the shadows 401 and 402 are detected as feature points 601 and 602.
  • the distance d between the two detected feature points 601 and 602 is measured.
  • the contact point detection unit 107 detects the contact point between the finger 30 and the projectile 204. For example, as shown in FIG. 8, the midpoint P of the two feature points 601 and 602 is used as a contact point, and the coordinates are calculated. If the feature point setting method is different from the above (tip position), the contact point position may be corrected according to the setting method.
  • the above processing flow is repeatedly executed to detect the operation following the change in the operation state.
  • the shadow area extraction unit 104 subtracts the background from the image captured by the camera 100 to obtain a difference image, and extracts a part whose luminance is equal to or less than the threshold value Lth as a shadow area. This is the same as S1001.
  • the contour detection unit 108 detects a contour line (substantially straight line portion) for each shadow subjected to the labeling process. For example, as shown in FIG. 11C, contour lines 501 and 502 inside shadows 401 and 402 are detected. At this time, a curved portion such as a fingertip is removed from these contour lines, and a substantially straight line segment is detected.
  • the direction detection unit 109 determines that the middle line inclination direction 703 of each of the contour lines 501 and 502 is the pointing direction. Note that the pointing direction may be determined by the method shown in FIG. 11A or 11B.
  • the above processing flow is repeatedly executed to detect the operation following the change in the operation state.
  • the approach and contact point detection processing of FIG. 12A and the pointing direction detection processing of FIG. 12B can be performed in parallel.
  • FIG. 13 is a diagram illustrating an example of control according to the degree of finger approach in the display control unit 121.
  • the operation mode and the pointer display are switched according to the degree of approach A between the finger 30 and the projectile 204.
  • the contact operation mode is set at level 5 (contact state) where the degree of approach A is the highest.
  • the operation mode is switched to the aerial operation mode at levels 4 and 3 where the approach degree A is relatively high, and to the operation off mode at levels 2 and 1 where the approach degree A is relatively low.
  • the user 3 can operate the operation target device in a state where the user 3 is lifted from the projectile 204 in addition to the state where the finger 30 is in contact with the projectile 204.
  • the operation is switched to the operation off mode, and an operation unintended by the user can be prevented.
  • the pointer display switching is performed so that the pointer is displayed at levels 5 and 4 where the approach degree A is relatively high, and is not displayed at 3, 2 and 1 where the approach degree A is relatively low.
  • the user 3 can confirm the pointer before the finger 30 comes into contact with the projectile 204, and the position of the pointer at the time of contact can be easily adjusted.
  • the operability to the operation target device is improved.
  • FIG. 14A to 14C are diagrams illustrating an example of control according to the pointing direction in the display control unit 121.
  • FIG. 14A to 14C are diagrams illustrating an example of control according to the pointing direction in the display control unit 121.
  • FIG. 14A shows a case where the display position of the pointer 800 is corrected according to the pointing direction 700.
  • the pointer 800 if the pointer 800 is displayed at the same position as the contact point P detected by the contact point detection unit 107, the pointer 800 is hidden by the finger 30 and becomes difficult to be seen by the user 3. Therefore, the pointer 800 is displayed by being shifted by a predetermined amount in front of the fingertip along the pointing direction 700 detected by the direction detecting unit 109. As a result, the pointer 800 is easy to see from the user 3.
  • the display position shift amount (correction amount) of the pointer 800 may be changed in accordance with the approach degree A of the finger 30. For example, the correction amount is increased when the approach degree A is low, and the correction amount is decreased when the approach degree A is high. Thereby, as the finger 30 of the user 3 approaches the projectile 204, the position of the pointer 800 approaches the fingertip, and the user 3 can perform a highly accurate operation by using the display position of the pointer 800 as a guide.
  • FIG. 14B shows a case where the display direction of the pointer 800 is corrected according to the pointing direction 700.
  • the display direction of the pointer 800 is displayed in accordance with the pointing direction 700 detected by the direction detection unit 109. As a result, the discrepancy with the pointing direction 700 is eliminated, and a sense of discomfort with the user 3 can be eliminated.
  • FIG. 14C shows a case where the position of the contact point is corrected according to the pointing direction 700. Since the contact point P detected by the contact point detection unit 107 is determined from the position of the feature point, it may deviate from the position where it actually contacts the projectile 204. For example, when the feature point is set as the shadow tip position, it shifts to the finger tip side (nail tip) position rather than the actual contact position (often the part of the finger belly). Therefore, the contact point position is corrected by a predetermined amount on the base side of the finger along the pointing direction 700 detected by the direction detection unit 109 (P ⁇ P ′′). Thereby, the contact point between the finger 30 and the projectile 204 is determined. It can be acquired more accurately.
  • the above is the detection method of the operation content of the user 3 by the pointing detection in the projection display device 205 with an operation detection function.
  • the operation can be performed if there is an elongated object including the finger. This is much easier to use than the light-emitting pen method in which a predetermined light is emitted from the pen tip and the recognition process is performed, and it is not necessary to secure a dedicated light-emitting pen or the like.
  • the number of display screens before operation, display orientation, display position, display size, etc. are determined by a method such as the following example.
  • a display screen setting set by default in the projection display device with operation detection function 205 may be used.
  • the user may manually set the number of display screens, display orientation, display size, etc. by setting conditions.
  • the direction in which the finger or arm is inserted is estimated and the position where the person exists is identified, or the number of users is identified from the number of fingers or arms that are inserted. You may make it set the display direction and the number of display screens which are easy to do.
  • the number and position of users, the shape of the projectile, etc. may be recognized, and the number of display screens, display position, display orientation, display size, etc. may be determined accordingly.
  • the projection display device installed on the desk is close to the recognized object or shielded from the recognized object by an obstacle. This is advantageous because it is less frequent.
  • FIGS. 15 to 18 show examples of a method for determining the display orientation of the display screen by recognizing the shape of the projectile.
  • FIGS. 15 and 16 show examples of projection onto a rectangular desk. As shown in FIG. 15, the fact that the user 3 is in the vicinity of the projection 204 that is a rectangular desk is photographed and recognized by the camera 100 of the projection display device 205 with an operation detection function. Furthermore, the position of the edge of the desk of the closest part 302 between the user 3 and the edge of the desk is recognized. The display direction is determined in such a direction that the edge direction of the position 302 is parallel to the bottom of the display image and the position of 302 is on the lower side, that is, the display image 202 as shown in FIG.
  • FIGS. 17 and 18 are examples of projection onto a circular desk.
  • the fact that the user 3 is in the vicinity of the projectile 204, which is a circular desk, is photographed and recognized by the camera 100 of the projection display device 205 with operation detection function. Further, the position of the desk edge of the closest part 303 between the user 3 and the desk edge is recognized.
  • the display direction is determined in such a direction that the edge direction of the position 303 is parallel to the bottom of the display image and the position of 303 is on the lower side, that is, the display image 202 as shown in FIG.
  • FIGS. 15 to 18 an example in which the position of the user 3 and the shape of the projectile are photographed by the camera 100 has been shown.
  • the camera 100 basically photographs the operation of the user 3 by detecting the pointing. Therefore, another camera for photographing the position of the user 3 and the shape of the projectile may be provided.
  • FIG. 3 when a plurality of images are displayed, the same operation is performed on the positions of a plurality of people, and the display directions are determined.
  • 19 and 20 show an example in which a plurality of display images are displayed. In both cases, a plurality of persons and their positions are detected, and the display position and the display direction are determined from the position and shape of the desk edge closest to the position.
  • the display direction can be automatically determined from the shape of the edge of the desk closest to the user 3.
  • FIGS. 21A to 24B show an example in which the display screen determined by these methods is operated by a screen operation by the user 3 gesture. It is assumed that the fingertip shown in each figure is in contact with the projectile 204.
  • FIG. 21A shows a state before operation
  • FIG. 21B shows a state after operation. The same applies to FIGS. 22A to 24B.
  • the maximum range 210 in which the projection display device 205 can optically project an image is indicated by a broken line.
  • the display screens 202 and 203 are displayed within the display range of the maximum projection range 210 like OSD. That is, the display screens 202 and 203 are partial images in the projectable range 210.
  • 21A and 21B are examples of parallel movement.
  • the finger touching the display screen 203 is moved in the vertical direction, the horizontal direction, or the licking direction without changing the orientation.
  • the display screen in which the finger is in contact moves as much as the movement of the finger. This makes it possible to move one of the display screens to a position desired by the user.
  • 22A and 22B are examples of rotational movement.
  • the finger touching the display screen 203 is rotated.
  • FIG. 22B only the display screen in contact with the finger in the display screen rotates the display direction in accordance with the movement of the finger. This makes it possible to rotate one of the display screens in the direction desired by the user.
  • the pointing direction can be detected. Therefore, as shown in FIG. 22B, the rotation operation of the display screen can be realized even when the direction of the finger is rotated without changing the position of the contact point itself. This is a rotation operation that is difficult to achieve with a touch sensor such as a tablet terminal, and can be realized only with the configuration of this embodiment.
  • the size of the display screen before the rotation is determined based on the relationship between the shape of the optically projectable range of the projection display device 205 and the position and shape of the display screen to be rotated. It may not be possible to rotate. In this case, the display screen may be reduced in parallel with the rotation operation. If the display screen needs to be reduced when rotating in one direction, the display screen is reduced by rotating it halfway, and then returned to the original angle when rotated in the opposite direction. You may return to the original size.
  • 23A and 23B are examples of operations for increasing the number of display screens.
  • the finger touching the outside of the display screen 200 is moved toward the outside of the opposite side to move the display screen in half.
  • two screens that display the same content as the content displayed on the display screen 200, such as cell division, are created from where the display screen is cut in half (display screens 202 and 203). ). This makes it possible to increase the number of display screens as desired by the user.
  • 24A and 24B are examples of operations for enlarging the display screen. Position the two fingers in contact with the display screen 202 in FIG. 24A as if they were placed on the opposite vertices of the rectangle, and push the diagonal line connecting the opposite vertices in FIG. Increase the distance. Then, the screen is enlarged by the amount that only the operated display screen 202 is expanded. If it is moved in the reverse direction, an operation can be performed in which the screen is reduced and an area outside the display screen 202 is displayed. As a result, the display screen can be enlarged or reduced as desired by the user.
  • 25A and 25B are examples of rotating the display screen 203 by operating two fingers. As shown in FIG. 25A, when both two fingers are in contact with the desk in the display screen 203, the inclination of the straight line connecting the contact points of the two fingers changes as shown in FIG. 25B. If it is detected that two fingers have moved, the projection display device with operation detection function 205 changes the display angle of the display screen 203 to correspond to the change in the tilt. As a result, the display screen can be rotated.
  • both of the contact points of the two fingers are not in one display screen (for example, one In the case where only the contact point of the finger is within the display screen 203 and the contact point of the other finger is outside the display screen 203), the slope of the straight line connecting the contact points of the two fingers as shown in FIG. Even if two fingers move so as to change, the display angle of the display screen 203 may not be changed.
  • the control unit 110 detects two fingers having a time difference of less than 1 second in contact with the desk, and the combinations of the two fingers are shown in FIGS. 25A to 26B. What is necessary is just to judge that it is the combination of the finger
  • the contact position of these two fingers used in the determination process for the contact position of these two fingers and the range of the display screen 203 is the first position where these two fingers contact the desk from the air. May be used.
  • the display screen rotation process need not be started.
  • the determination of whether or not to start the rotation process can be simplified by determining only the first position where two fingers contact the desk from the air, and the control unit 110 There is an effect that the processing efficiency is improved.
  • FIGS. 27A and 27B are examples in which the display screen 202 is enlarged by operating two fingers.
  • FIG. 27A when both two fingers are in contact with the desk in the display screen 202, the distance of the straight line connecting the contact points of the two fingers is increased as shown in FIG. 27B.
  • the projection display device with operation detection function 205 changes the display size of the display screen 202 so as to correspond to the change in the length. Thereby, the display screen can be enlarged.
  • the display screen is reduced.
  • the control unit 110 may determine the target finger combination. For example, among the plurality of fingers detected by the camera 100, the control unit 110 detects two fingers having a time difference of less than 1 second in contact with the desk, and the combinations of the two fingers are shown in FIGS. 27A to 28B. What is necessary is just to judge that it is the combination of two fingers made into object by the process demonstrated by (1).
  • the contact position of these two fingers and the contact position of these two fingers used in the determination process for the range of the display screen 202 described above are the first positions where these two fingers contact the desk from the air. May be used. When these fingers move from the outside of the display screen 202 while touching the desk, the display screen size changing process need not be started.
  • the determination as to whether or not to start the resizing process can be simplified by determining only the first position where two fingers touch the desk from the air, and the control unit 110 can be simplified. This has the effect of improving the processing efficiency.
  • the determination process described above it is possible to clearly identify the display screen that is the target of the size change processing operation among the plurality of display screens.
  • the projection display device with an operation detection function that can be installed on a desk can perform an operation by pointing detection and the like with high accuracy.
  • Example 2 of the present invention will be described.
  • the projection display device with an operation detection function shown in FIG. 2 includes illuminations 101 and 102, and a method for detecting shadows of illumination light from two different directions is shown in Example 1. If visible light is used as the illumination light, a shadow generated by a pointing operation is reflected on the display screen, which may make it difficult to see the display screen. In view of this, it is preferable to use illumination of visible light such as infrared light as illumination light, and to use a corresponding camera such as an infrared camera as the camera 100.
  • Fig. 29 shows a flowchart for operating this function.
  • the control unit 110 determines that the pointing cannot be detected from the image captured by the camera, and notifies the display control unit 111 of it.
  • Detection standards include objects such as fingers that are not detected in advance for a long time, visible light is blocked over a wide area, and objects that do not move for a long time. Take as an example.
  • the display control unit 111 creates a video in which a warning caption such as “abnormal pointing detection. Check for foreign objects between the camera and the illumination unit and the display screen” is inserted in the display screen, and the video created in S2005. Is displayed. This display is continued until the camera 100 captures the situation where the blocker of visible light is removed.
  • control unit 110 determines from the image captured by the camera 100 whether or not the blocker of visible light is removed. If the light blocker is removed, in S2007, the control unit 110 notifies the display control unit 111 that the pointing detection function has been restored.
  • the display control unit 111 creates a normal display screen from which the warning subtitle is deleted, and returns to the normal display screen in S2009.
  • the above is an example of a series of operations.
  • Example 3 of the present invention will be described.
  • the projection display device described in the first embodiment of the present invention various screen operations can be performed by a viewer's gesture operation (pointing operation) as described above.
  • the operations that can be input in the projection display device according to the present embodiment are operations that cannot be performed with a finger touch detection type tablet, and the user may be unfamiliar. Therefore, the projection display device according to the third embodiment of the present invention includes an operation guide display function in addition to the configuration and function of the projection display device according to the first or second embodiment.
  • FIG. 30 shows an example of the operation guide display in the present embodiment.
  • the projection display device 205 displays one display content on the display screen 3000 projected onto the desk. The vertical and horizontal directions in the display content are as shown in the figure.
  • a plurality of operation guide displays 3001, 3002, and 3003 are displayed at different angles with respect to this display content.
  • An example of the operation guide display is a so-called OSD (on-screen display), and the display control unit 111 is controlled by the control unit 110 based on data stored in a storage unit (not shown) inside the projection display device 205. Is superimposed on the input signal.
  • OSD on-screen display
  • a gesture operation can be performed on the side A. It is unlikely that there will be viewers.
  • display content is displayed in an easy direction, if only the operation guide 3001 in the same direction as the top, bottom, left, and right of the display content is displayed, viewers existing on the remaining two sides (for example, sides B and D) The user does not know how to operate, and must move to the position of side C.
  • each of the three sides B, C, and D is displayed. May be displayed so as to correspond to the left and right directions of the plurality of operation guide displays 3001, 3002, and 3003. If displayed in this way, for example, any of viewers existing on the other three sides B, C, and D other than the direction of one side A where the projection display device 205 is installed can be operated. It becomes easy to understand how.
  • the operation guide display may be a diagram illustrating an operation gesture, a diagram illustrating the operation gesture and its explanatory text, a text describing the operation gesture, or an animation indicating the operation gesture. Or a combination of these may be used.
  • the operation guide display timing may be the timing of operation input of a remote control button (not shown).
  • a question mark may be displayed in a small corner at one corner of the display screen, and the operation guide display as shown in FIG. 30 may be performed at the timing when the viewer's finger touch or gesture operation on the question mark is detected.
  • FIGS. 31A to 31D show operations when displaying detailed information of a display image and displaying a menu screen when the projection display device 205 displays one display screen 200 on the desk 204.
  • FIG. 31A to 31D show operations when displaying detailed information of a display image and displaying a menu screen when the projection display device 205 displays one display screen 200 on the desk 204.
  • a gesture in which two fingers with different pointing directions are in contact as shown in FIG. 31A may be used.
  • the two contact points do not have to be completely in contact with each other, and may be set to be a predetermined distance or less set in design.
  • a gesture in which three fingers are in contact with the display surface as shown in FIG. 31B is used. Also good.
  • gestures shown in FIGS. 31A and 31B are examples, and other gestures may be used as long as they are distinguishable from other operations.
  • the control unit 110 of the projection display device 205 determines that it is a detailed information display operation, and displays detailed information 3101 as shown in FIG. 31C. To do.
  • the control unit 110 of the projection display device 205 determines that the operation is a menu screen display operation, and the menu screen is displayed as shown in FIG. 31D. 3102 is displayed.
  • the control unit 110 of the projection display device 205 determines that the operation is to perform both detailed information display and menu screen display.
  • the detailed information 3101 shown in 31C and the menu screen 3102 shown in FIG. 31D may be displayed together.
  • the display position of the detailed information 3101 shown in FIG. 31C and the display position of the menu screen 3102 shown in FIG. 31D may be displayed in a predetermined position in or near the display screen 200.
  • the detailed information 3101 is displayed at a position corresponding to the contact point of the finger of the gesture shown in FIG. 31A or the position (position of the middle finger of the three fingers) where the gesture shown in FIG. 31B is detected.
  • the menu screen 3102 may be displayed.
  • An example of the detailed information 3101 may be the nature of the displayed video (input resolution, frame rate, interlace, progressive, etc.), and if the input video includes supplementary information such as title information. This information may be acceptable. Further, in the case of a projection display device having a plurality of input terminals and capable of inputting video from different input sources, information for identifying these input sources may be used.
  • menu items displayed on the menu screen 3102 may include a language switching menu used in the menu, an image quality adjustment menu such as brightness and contrast of a display image, and a keystone correction processing menu.
  • a menu item for switching the input source may be displayed.
  • FIGS. 32A and 32B are gestures for increasing the number of display screens and display examples thereof similar to those in FIGS. 23A and 23B, and the description thereof is omitted because it has already been described in the first embodiment.
  • FIG. 32C shows an example in which the gesture shown in FIG. 31A is detected at a position where the touch point of the finger is included in the display screen 202 among the plurality of display screens 202 and 203 generated by the operation for increasing the number of display screens. Show.
  • the control unit 110 of the projection display device 205 displays individual detailed information or individual menu screen display about the display screen 202 in the vicinity of the display screen 202 (or within the screen). Or display combining these.
  • the individual menu screen shown in FIG. 32D displays individual menu items for the display screen 202.
  • an image quality adjustment menu for the display image on the display screen 202 (not for adjusting the image quality for the display image on the display screen 203) may be displayed.
  • switching of the input source of the display video displayed on the display screen 202 (input about the display video on the display screen 203) Menu items for performing source switching) may be displayed.
  • the menu item for keystone correction is not displayed in the individual menu display for the display screen 202. It is good also as an aspect which cannot be operated even if it displays.
  • the individual detailed information shown in FIG. 32D displays individual detailed information about the display screen 202. What is necessary is just to display the information etc. which identify input sources, such as the property of the image
  • the input source can be switched from the menu screen for the display screen 202 shown in FIG. 32D.
  • the properties, title information, input source, and the like of the images displayed on the display screen 202 and the display screen 203 are different, it is useful for the viewer that the detailed information on each display screen can be confirmed individually. .
  • FIGS. 32A to 32D the example of the gesture of FIG. 31A is used as the gesture for displaying the individual detailed information or the individual menu screen, but the gesture of FIG. 31B may be used.
  • FIG. 33A to FIG. 33D after the display screen rotation operation described in FIG. 22A, FIG. 22B, FIG. 25A, and FIG. 25B is performed, individual detailed information display or individual menu screen display for each display screen is performed. An example of performing this will be described.
  • FIG. 33A and FIG. 33B are display screen rotation operation gestures similar to those shown in FIG. 22A and FIG. 22B and their display examples. Since they have already been described in the first embodiment, description thereof will be omitted.
  • FIG. 33C shows a state in which one display screen 203 among the plurality of display screens 202 and 203 is rotated by the rotation operation of the display screen, and the position where the finger contact point is included in the display screen 203 is shown in FIG. An example in which the illustrated gesture is detected is illustrated.
  • the control unit 110 of the projection display device 205 displays individual detailed information or individual menu screen display about the display screen 203 in the vicinity of the display screen 203 (or within the screen).
  • the individual detailed information display or the individual menu screen display is performed at an angle corresponding to the display angle of the display screen 203.
  • the contents of the individual detailed information display or the individual menu screen display for the display screen 203 are the same as the description for the display screen 202 in FIGS. 32A to 32D, and therefore the repetitive description is omitted.
  • FIG. 33A to FIG. 33D the example of the gesture of FIG. 31B is used as the gesture for displaying the individual detailed information or the individual menu screen, but the gesture of FIG. 31A may be used.
  • FIGS. 34A to 34D an example will be described in which, when a plurality of display screens are displayed, an entire menu for all display screens is displayed instead of individual menus for each screen.
  • the gestures similar to those of FIG. 31A or FIG. 31B are used as gestures for displaying the entire menu, as in FIGS. 32A to 32D and 33A to 33D.
  • this is different from FIGS. 32A to 32D and FIGS. 33A to 33D.
  • the contact point of the finger of the gesture in FIG. 31A is detected outside a plurality of display screens, it is determined as a gesture for starting the entire menu display.
  • three fingers in the same gesture as in FIG. 31B are detected outside a plurality of display screens, the gesture is determined as a gesture for starting the entire menu display. This will be specifically described below with reference to the drawings.
  • the projection display device 205 displays the display screen 202 and the display screen 203 on the desk 204.
  • the gesture of FIG. 31A is detected, and the contact point of the finger is detected at a position that is neither the display screen 202 nor the display screen 203.
  • the control unit 110 of the projection display device 205 controls the display control unit 111 to display the entire menu 3401 as shown in FIG. 34B. Further, overall detailed information 3402 that is detailed information about the entire screen may be displayed.
  • the menu item of the overall menu 3401 may display a menu for overall image quality adjustment that simultaneously adjusts the image quality of display images on all display screens.
  • a language switching menu item for switching the language used in the entire menu may be displayed.
  • trapezoidal correction menu items that could not be used in individual menu display on individual screens may be used in the overall menu 3401.
  • the number of display screens may be used. Further, in the case of a projection display device having a plurality of input terminals and capable of inputting video from different input sources, a plurality of display screens and a list of input sources may be displayed.
  • the gesture of FIG. 31B may be used instead of the gesture of FIG. 31A.
  • the projection display device 205 displays the display screen 202 and the display screen 203 on the desk 204, but the display screen 203 is displayed at a different angle from the display screen 202 by the rotation process.
  • the gesture of FIG. 31A is detected, and the contact point of the finger is detected at a position that is neither the display screen 202 nor the display screen 203.
  • the control unit 110 of the projection display device 205 controls the display control unit 111 to display the entire menu 3401 as shown in FIG. 34D.
  • individual detailed information 3403 and 3404 may be displayed for each of the plurality of display screens.
  • a menu item for setting ON / OFF of each gesture recognition function described in each embodiment may be provided.
  • all the gesture recognition functions may be turned off.
  • the projection display device 205 is operated based on an operation signal corresponding to a button operation on the remote controller or the main body.
  • the one-finger movement gesture recognition process shown in FIG. 21A and the one-finger rotation gesture recognition process shown in FIG. 21B may be individually turned off. This is effective when there is a possibility of misrecognition when explaining with a stick.
  • a menu item for selecting whether to recognize the one-finger rotation gesture shown in FIG. 21B or the two-finger rotation gesture shown in FIGS. 25A and 25B may be displayed.
  • the projection display device 205 there are cases where there is a merit in setting ON / OFF individually for each gesture recognized by the projection display device 205.
  • all the gestures described in FIG. 21A and after may be configured so that ON / OFF can be set from the menu screen.
  • the ON / OFF setting of these gestures may be applied only to the corresponding display screen.
  • 100 camera, 101, 102: illumination, 104: shadow area extraction unit, 105: feature point detection unit, 106: proximity detection unit, 107: contact point detection unit, 108: contour detection unit, 109: direction detection unit, 110: control unit, 111: display control unit, 112: drive circuit unit, 113: input terminal, 114: input signal processing unit, 115: projection unit, 201: projection display device, 202, 203: display screen, 204: Projection, 205: Projection display device with operation detection function, 3: User, 30, 31, 32: Finger, 401, 402, 403, 404, 405: Shadow, 501, 502: Outline, 601, 602: Features Point: 700, 701, 702, 703: Pointing direction, 800: Pointer, P: Contact point.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　机面をはじめとする投射物に画像を投射して表示する投射型映像表示装置において、ユーザの位置とジェスチャ動作を反映した表示画面を所定の領域に表示する。机面に設置される投射型映像表示装置に照明とカメラを設け、ユーザの指によるジェスチャを検出し、ジェスチャに応じて例えばメニュー画面、操作ガイドを表示する。指の影をカメラが撮影してジェスチャが検出される。ジェスチャに応じて表示画面が移動、回転、分割、拡大縮小され、或いはメニュー画面が表示される。机の辺の方向を考慮して表示方向が定められる。

Description

投射型映像表示装置
　本発明は，画像を投射する投射型映像表示装置に関するものである。
　投射型表示装置が机のような水平面に映像を投射する際に，表示向きをユーザにとって見やすい向きに制御する技術が考案されている。
　特許文献１では，投射物上方に設置される投射型表示装置が撮像部を備えて，操作者の動きを撮影するユーザーインターフェース画像を入手し，その動き検出の結果によって表示画面を制御する技術について述べている。
　また，特許文献２では投射物上方に設置される表示装置が，ユーザの位置や動作，投射物の形状を認識し，それに応じて表示位置や表示向き等を制御する方法について述べている。
特開２００９－６４１０９号公報 特開２０１３－７６９２４号公報
　特許文献１および２の技術は投射物上方に設置された表示装置から，机のような移動が容易な投射物に映像を表示することを意図しており，投射物の移動に応じて表示装置の移動を要するなど，使い勝手に課題がある。
　また，ユーザの位置や動作等を認識するためには，上方に設置した表示装置の撮像部からでは，動作認識を行うための撮影すべきポイントが遠い，撮影すべきポイントがユーザの体の一部に遮蔽され撮影が困難になる，などにより認識の精度に課題がある。
　また，ユーザの位置や動作等を認識したうえで，これを利用して如何に表示装置の使い勝手をよくするかについては、さらに工夫の余地があると考えられる。
　前記した課題を解決するため、本発明は投射型映像表示装置であって、映像を投射する映像投射部と、前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に前記投射映像とは異なる照明光を照射する少なくとも１つの照明部と、前記照明光の反射光により撮像を行う撮像部と、前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、前記検出部による検出結果に基づいて前記映像投射部が投射する映像の含む少なくとも一つの部分映像を変更するよう制御する表示制御部とを有することを特徴としている。
　また、前記投射型映像表示装置は、前記映像投射面での面上に設置されて前記映像を投射することを特徴としている。
　本発明によれば、使い勝手のよい投射型映像表示装置を提供することができ、装置の普及に寄与することができるという効果がある。
机上に設置した投射型表示装置で机上に映像を投射する例を示す図。 ジェスチャ入力で表示画面を制御する操作検出機能付投射型表示装置の構成の一例を示す図。 操作検出機能付投射型表示装置の表示画面に対してユーザが操作を行う状態の一例を示す図。 ２つの照明で生じるユーザの指の影の形状を示す図。 ２つの照明で生じるユーザの指の影の形状を示す図。 ユーザの操作位置による影の形状を示す図。 指と操作面の間隙と影の形状との関係を示す図。 特徴点による接近度の判定を説明する図。 特徴点による接触点の決定を説明する図。 特徴点を他の位置に設定した場合を示す図。 複数の指で操作する場合の影の形状を示す図。 輪郭線による指さし方向の決定を説明する図。 輪郭線による指さし方向の決定を説明する図。 輪郭線による指さし方向の決定を説明する図。 操作検出方法の処理フローを示す図。 操作検出方法の処理フローを示す図。 指の接近度に応じた制御の一例を示す図。 指さし方向に応じた制御の一例を示す図。 指さし方向に応じた制御の一例を示す図。 指さし方向に応じた制御の一例を示す図。 長方形の机に近接してユーザが存在することを示す図。 ユーザ位置と長方形机の縁の形状から決定した表示方向を示す図。 円状の机に近接してユーザが存在することを示す図。 ユーザ位置と円形机の縁の形状から決定した表示方向を示す図。 長方形机に近接する複数の人を検出して表示位置と表示方向を決定する一例を示す図。 円形机に近接する複数の人を検出して表示位置と表示方向を決定する一例を示す図。 指操作による平行移動の一例を示す図。 指操作による平行移動の一例を示す図。 指操作による回転移動の一例を示す図。 指操作による回転移動の一例を示す図。 指操作による表示画面数を増加させる操作の一例を示す図。 指操作による表示画面数を増加させる操作の一例を示す図。 指操作による表示画面を拡大させる操作の一例を示す図。 指操作による表示画面を拡大させる操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 可視外光が異常に遮断された時の動作の一例を示すフローチャート図。 操作ガイド表示の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。
　以下、本発明の実施形態について図面を用いて説明する。
　図１は，机上に設置した投射型表示装置２０１で，異なる方向を見る複数のユーザに対して回転角度の異なる２つの映像２０２，２０３を机上に投射する例を示している。なお、以下の説明で「机」への映像投射を例として説明しているが、当該「机」は、映像投射面の一例である。よって、本実施例は、その他の映像投射面（その他の構造物の面や床でもよい）を対象としてもよい。投射型表示装置２０１を机上に設置することにより，机を移動した際の投射型表示装置２０１の位置の調整を基本的には不要としている。
　図１においては，投射型表示装置２０５が画像を光学的に投射できる最大の範囲２１０を破線で示している。最大投射範囲２１０は、以下の図面でも示されることがある。最大投射範囲２１０の中に投射型表示装置２０５は，一例として二つの表示画面２０２と２０３を投射している。表示画面２０２と２０３は、後記するＯＳＤ（オンスクリーンディスプレイ）の画面に相当する。即ち、表示画面２０２，２０３に表示される画像は最大投射範囲２１０の中の部分画像である。
　例えば、机の周囲にいる人に対して，装置の設計図を最大投射範囲２１０の全体に表示し，表示画面２０２，２０３に設計図の解説資料を表示するような使い方が考えられる。
　図２に，このようなケースにおいて，ユーザがジェスチャ入力で表示画面を制御する操作検出機能付投射型表示装置２０５の構成図の一例を示す。操作検出機能付投射型表示装置２０５は，カメラ１００，２つの照明１０１と１０２，影領域抽出部１０４，特徴点検出部１０５，接近度検出部１０６，接触点検出部１０７，輪郭検出部１０８，方向検出部１０９，制御部１１０，表示制御部１１１，駆動回路部１１２，入力端子部１１３，入力信号処理部１１４，投射部１１５を含む。制御部１１０は，各検出部で検出した操作面に対する指の接近度，接触点座標，指さし方向などの操作状態の検出結果データを生成する。
　また表示制御部１１１は，検出結果に基づき操作モード，ポインタ表示位置，ポインタ表示方向などの表示制御データを生成し，入力端子１１３および入力信号処理部１１４を経由する映像信号に対して，表示制御データに基づいた処理を行う。処理された映像信号は駆動回路部１１２で投射に必要な処理がなされ，投射部１１５から投射物に対して投射される。なお、図２にはバッファやメモリ等の記載は省略しているが、必要なバッファやメモリ等は適宜搭載すればよい。
　図３は，操作検出機能付投射型表示装置２０５の表示画面２０３に対してユーザ３が操作を行う状態の一例を示す図である。ユーザ３は操作部である指３０を，投射物２０４の表示画面２０３に接近させ，またある位置に接触させることで所望の操作を行う。即ち、例えば机面である投射物２０４の内，表示画面２０３はユーザ３が投射型表示装置２０５に対して操作を行うための操作面でもある。ユーザ３による操作については，後に詳しく述べる。
　操作検出機能付投射型表示装置２０５は，２つの照明１０１と１０２，カメラ１００を備える。２つの照明１０１と１０２はユーザ３の指３０を照射し，カメラ１００は指３０とその近傍を撮像する。指３０が投射物２０４に接近または接触すると指３０の影の形状が変化することから，投射型表示装置２０５はカメラ１００の画像を解析し，指の接近度，接触点，指さし方向を検出する。
　なお，操作検出機能付投射型表示装置２０５を机上に設置することにより，照明１０１と１０２が指３０を照射する際に，光が遮蔽される機会を低減することができる。
　次に，図２に示した操作検出機能付投射型表示装置２０５の各部の動作の一例を説明する。カメラ１００は，イメージセンサ，レンズなどで構成され，ユーザ３の操作部である指３０を含む画像を撮像する。２つの照明１０１と１０２は，発光ダイオード，回路基板，レンズなどで構成され，投射物２０４およびユーザ３の指３０に照明光を照射して，カメラ１００で撮像する画像内に指３０の影を投影する。
　なお，照明１０１と１０２は赤外光照明とし，カメラ１００は赤外光カメラで構成しても良い。これにより，カメラ１００で撮像する赤外光画像を，操作検出機能付投射型表示装置２０５から投写される映像信号の映像である可視光映像から分離して取得することができる。なお、照明光・撮像光は、投射型表示装置２０５の投写映像と分離できる可視光外光線であればよいので、赤外光でなく、紫外光を用いてもよい。
　影領域抽出部１０４は，カメラ１００で得られた画像から影領域を抽出し影画像を生成する。例えば，操作検出時の撮像画像から予め撮像した投射物２０４の背景画像を減算して差分画像を生成し，差分画像の輝度を所定の閾値Ｌｔｈで二値化して，閾値以下の領域を影領域とすれば良い。さらに，抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する，いわゆるラベリング処理を行う。ラべリング処理により，抽出した複数の影についてどの指に対応するか，すなわち１本の指に対応する対となる２つの影を識別することができる。
　特徴点検出部１０５は，影領域抽出部１０４で抽出した影画像内の特定の位置（以下，特徴点と呼ぶ）を検出する。例えば特徴点として，影画像内の先端位置（指先位置に対応）を検出する。特徴点検出のためには種々の手法が用いられるが，先端位置の場合はその影画像を構成する画素の座標データから検出可能であり，あるいは特徴点の持つ特有の形状に一致する部分を画像認識などにより検出することでも可能である。特徴点は１つの影から１箇所検出されるので，１本の指（２つの影）に対しては２か所検出される。
　接近度検出部１０６は，特徴点検出部１０５で検出した２つの特徴点間の距離ｄを測定し，距離ｄに基づいて指と操作面との間隙ｓ（接近度Ａ）を検出する。これにより，指が操作面に接触しているか，接触していないかを判定する。
　接触点検出部１０７は，接近度検出部１０６により指が操作面に接触していると判定した場合，その特徴点の位置に基づいて，操作面に対する指の接触点を検出し，その座標を算出する。
　輪郭検出部１０８は，影領域抽出部１０４で抽出した影画像から影領域の輪郭を抽出する。例えば，影画像内を一定の方向に走査して輪郭追跡の開始画素を決定し，開始画素の近傍画素を反時計回りで追跡することで輪郭が得られる。
　方向検出部１０９は，輪郭検出部１０８で検出した輪郭線からほぼ直線状の線分を抽出する。そして，抽出した輪郭線の方向に基づいて，操作面上の指の指さし方向を検出する。
　なお，上記した各検出部の処理は，上記手法に限らず，他の画像処理のアルゴリズムを用いても良い。また，上記した各検出部は，回路基板によるハードウェアだけでなく，ソフトウェアで構成することもできる。
　制御部１１０は，装置全体の動作を制御し，各検出部で検出した操作面に対する指の接近度，接触点座標，指さし方向などの検出結果データを生成する。
　表示制御部１１１は，制御部１１０で生成した指の接近度，接触点座標，指さし方向などの検出結果データに基づいて，操作モード，ポインタ位置，ポインタ方向などの表示制御データを生成し，入力端子１１３および入力信号処理部１１４を経由する映像信号に対して，表示制御データに基づいた処理を行う。
　駆動回路部１１２は，処理された映像信号を表示映像として投射するための処理を行う。表示画像は投射部１１５から投射物に対して投射される。
　ここまでの各部は一つの操作検出機能付投射型表示装置２０５に装備されている例として説明したが，これらの一部が別ユニットとして構成され，伝送線で接続される構成であっても構わない。
　図４Ａと図４Ｂは，２つの照明で生じるユーザの指の影の形状を示す図である。図４Ａは指３０と投射物２０４が接触していない状態，図４Ｂは接触している状態である。
　図４Ａに示すように指３０が投射物２０４に接触していない状態（間隙ｓ）では，２つの照明１０１，１０２からの光は指３０で遮断され，それぞれ影４０１，４０２（斜線で示す）が形成される。カメラ画像では，２つの影４０１，４０２は指３０の両側に互いに離れて存在する。
　一方、図４Ｂに示すように指３０の指先が投射物２０４に接触している状態（間隙ｓ＝０）では，２つの影４０１，４０２は，指３０の指先の位置で接近して存在する。なお，影４０１，４０２の一部領域は指３０の陰に隠れているが，この隠れた部分は影領域には含めない。本実施例では，指３０が投射物２０４に接近すると影４０１と影４０２と間隔（特に特徴点間の距離）が接近する性質を利用して，指３０と操作面２０４との接触を判定する。
　図５は，ユーザの操作位置による影の形状の影響を示す図である。ここでは，ユーザの操作位置が投射物２０４の中央から左側にずれた場合（ユーザ位置３）と，右側にずれた場合（ユーザ位置３’）のカメラ画像を比較している。このときカメラ１００から見たユーザの操作位置は変化するが，それらのカメラ画像では，指３０（３０’）に対する影４０１（４０１’），４０２（４０２’）の位置関係は変わらない。すなわち，ユーザ操作位置に関係なく，常に指３０（３０’）の両側に影４０１（４０１’）と４０２（４０２’）が存在する。これは，カメラ１００と照明１０１，１０２の位置関係により一義的に決定されるからである。従って，ユーザが投射物２０４に対してどの位置で操作しても２つの影４０１，４０２の検出が可能であり，本実施例の操作検出方法が有効に適用できる。
　図６は，指と操作面の間隙と影の形状との関係を示す図である。指３０の両側に形成される２つの影４０１，４０２の間隔は，指３０と投射物２０４との間隙ｓによって変化する。２つの影４０１，４０２の間隔を定義するために，それぞれの影４０１，４０２の内部に特徴点６０１，６０２（×印で示す）を設定し，特徴点間の距離ｄを測定する。ここでは影の先端位置（指先位置）に特徴点を設定している。指３０と投射物２０４の間隙ｓが大きい場合には，２つの影４０１，４０２の間隔は大きく，２つの特徴点６０１，６０２の距離ｄも大きい。指３０が投射物２０４に接近するに従い，特徴点６０１，６０２の距離ｄは小さくなり，指３０が投射物２０４に接触すると（間隙ｓ＝０），特徴点６０１，６０２の距離ｄは最小値となる。
　図７は，接近度検出部１０６における接近度の判定を説明する図である。ここでは，特徴点間の距離ｄに基づき指の接近度Ａの判定を行う。指の接近度Ａを判定するために，特徴点間の距離ｄに対する４個の閾値ｄ１，ｄ２，ｄ３，ｄ４（ただし，ｄ１＜ｄ２＜ｄ３＜ｄ４）を定める。これにより接近度Ａを５段階（レベル１～５）に分類し，レベル値が大きいほど，指３０と投射物２０４との間隙ｓが小さいものとする。まず，指３０が投射物２０４に接触した状態（間隙ｓ＝０）を識別するための閾値ｄ１を定め，距離ｄ＜ｄ１の場合には，接近度Ａは最大レベル５（接触状態）であると判定する。それ以外の非接触状態については，閾値ｄ２～ｄ４を用いて接近度Ａを４段階（レベル４～１）に分類する。このうちｄ＞ｄ４の場合は，接近度Ａは最小レベル１であると判定する。この例では４個の閾値により接近度を５段階に分類したが，接近度の分類数はこれに限らず，制御内容に合わせて適宜設定すれば良い。
　図８は，接触点検出部１０７における接触点の決定を説明する図である。指３０が投射物２０４に接触した状態での影４０１，４０２の形状を示し，ここでは特徴点６０１，６０２を，それぞれの影４０１，４０２の先端位置に設定している。この場合は，２つの特徴点６０１，６０２は接触点である指先位置に近いことから，２つの特徴点６０１，６０２の中点Ｐを指３０と投射物２０４との接触点と見なし，その座標を算出することができる。
　上記の例では，特徴点６０１，６０２を，それぞれの影４０１，４０２の先端位置に設定しているが，この方法によれば特徴点の設定が容易であり，また，接触点Ｐの位置もその近傍に存在するので容易に決定できる。
　図９は，特徴点を他の位置に設定した場合を示す図である。図８では特徴点６０１，６０２を影４０１，４０２の先端位置に設定したのに対し，図９では各影の長手方向中間位置に特徴点６０１’，６０２’を設定している。この場合にも，影４０１，４０２の間隔の変化に伴い特徴点６０１’，６０２’間の距離ｄ’が変化するので，指３０と投射物２０４の接近度Ａの判定を行うことができる。なお，この場合の接触点Ｐ’は特徴点６０１’，６０２’の位置から長手方向にずれることになるので，特徴点６０１’，６０２’から予想される接触点Ｐ’までの距離（補正量）を予め求めておき，これで補正することで接触点Ｐ’を求めることが可能である。同様にして，特徴点を影４０１，４０２内のこれ以外の位置に設定することもできる。
　図１０は，複数の指で操作する場合の影の形状を示す図である。手を開いた状態で複数の指３１，３２・・・を操作面に接触させた際に，各指に対し，左側の影４１１，４２１・・・と，右側の影４１２，４２２・・・が形成される。そして，各影に対して特徴点を設定する。ここでは，影４１１，４１２に対する特徴点６１１，６１２と，影４２１，４２２に対する特徴点６２１，６２２を示す。対応する特徴点６１１，６１２，あるいは特徴点６２１，６２２間の距離ｄを測定することで，それぞれの指３１，３２の接近度や接触点を求めることができる。これより本実施例によれば，手を開いた状態でも複数の指についての接触を独立して検出できるので，マルチタッチ操作に適用可能となる。
　図１１Ａ～図１１Ｃは，方向検出部１０９における指さし方向の決定を説明する図である。指３０の方向（指さし方向）を傾けたときの影４０１，４０２の形状を示し，指さし方向の変化に伴って影４０１，４０２の向きも変化する。指さし方向を検出するために，まず輪郭検出部１０８にて影４０１，４０２に対する輪郭線５０１，５０２を検出する。なお，輪郭線の検出では，指先などの曲線部分を除去して，略直線状の線分からなる輪郭線を検出する。その後，方向検出部１０９は次の方法で指さし方向を決定する。
　図１１Ａでは，影４０１，４０２に対する内側の輪郭線５０１，５０２を使用する。そして，内側の輪郭線５０１，５０２の傾き方向７０１，７０２のいずれかを指さし方向として決定する。
　図１１Ｂでは，影４０１，４０２に対する外側の輪郭線５０１’，５０２’を使用する。そして，外側の輪郭線５０１’，５０２’の傾き方向７０１’，７０２’のいずれかを指さし方向として決定する。
　図１１Ｃでは，影４０１，４０２に対する内側の輪郭線５０１，５０２を使用する。そして，内側の輪郭線５０１，５０２の中線の傾き方向７０３を指さし方向として決定する。この場合には２つの輪郭線５０１，５０２の平均方向から求めるので，より精度が高くなる。なお，外側の輪郭線５０１’，５０２’の中線方向を指さし方向としても良い。
　図１２Ａと図１２Ｂは，実施例１における操作検出方法の処理フローを示す図である。図１２Ａは接近度と接触点の検出，図１２Ｂは指さし方向の検出のフローである。
　まず，図１１Ａの接近度と接触点の検出方法から説明する。
　Ｓ１００１では，影領域抽出部１０４は，カメラ１００で撮像した画像から背景を減算して差分画像を求め，輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する。その際，抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する，いわゆるラベリング処理を行う。
　Ｓ１００２では，特徴点検出部１０５は，ラベリング処理した各影に対して特徴点を検出する。例えば図６のように，各影４０１，４０２の先端位置を特徴点６０１，６０２として検出する。
　Ｓ１００３では，検出した２つの特徴点６０１，６０２間の距離ｄを測定する。
　Ｓ１００４では，接近度検出部１０６は，距離ｄに基づいて指３０と投射物２０４の接近度Ａを判定する。判定では，例えば図７を用いて距離ｄを閾値ｄ１～ｄ４と比較し，接近度Ａをレベル１～５に分類する。そしてｄ＜ｄ１の場合は，接近度Ａ＝５（接触状態）と判定する。
　Ｓ１００５では，判定した接近度Ａは接触時のレベル（＝５）か否かを判定する。判定結果が接近度Ａ＝５であればＳ１００６へ進み，それ以外（非接触状態）の場合は終了する。
　Ｓ１００６では，接触点検出部１０７は，指３０と投射物２０４の接触点を検出する。例えば図８のように，２つの特徴点６０１，６０２の中点Ｐを接触点とし，その座標を算出する。特徴点の設定方法が上記（先端位置）と異なる場合は，その設定方法に応じて接触点位置を補正すれば良い。
　なお，操作状態においては以上の処理フローを繰り返して実行し，操作状態の変化に追従した操作検出を行うものとする。
　次に，図１２Ｂの指さし方向の検出方法を説明する。
　Ｓ１０１１では，影領域抽出部１０４は，カメラ１００で撮像した画像から背景を減算して差分画像を求め，輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する。これは前記Ｓ１００１と同様である。
　Ｓ１０１２では，輪郭検出部１０８は，ラベリング処理した各影に対して輪郭線（略直線部）を検出する。例えば図１１Ｃのように，影４０１，４０２の内側の輪郭線５０１，５０２を検出する。その際，これらの輪郭線のうち指先などの曲線部分を除去して，略直線状の線分を検出する。
　Ｓ１０１３では，方向検出部１０９は，各輪郭線５０１，５０２の中線の傾き方向７０３を指さし方向と判定する。なお，指さし方向の判定は，図１１Ａ或いは図１１Ｂに示す方法でも良い。
　なお，操作状態においては以上の処理フローを繰り返して実行し，操作状態の変化に追従した操作検出を行うものとする。
　また，図１２Ａの接近度と接触点の検出処理と図１２Ｂの指さし方向検出処理は，並行して行うことができる。
　図１３は，表示制御部１２１における指の接近度に応じた制御の一例を示す図である。
　指３０と投射物２０４との接近度Ａに応じて，操作モードとポインタ表示の切り替えを示している。
　操作モードに関しては，接近度Ａが最も高いレベル５（接触状態）では接触操作モードとする。それ以外の非接触状態で接近度Ａが比較的高いレベル４，３では空中操作モードに，接近度Ａが比較的低いレベル２，１では操作オフモードに切り替える。このような制御により，ユーザ３は指３０を投射物２０４に接触させた状態に加え，投射物２０４から浮かせた状態においても操作対象装置の操作が可能となる。また，指３０が投射物２０４から一定距離以上離れている場合には，操作オフモードに切り替わり，ユーザの意図しない操作を防ぐことができる。
　またポインタ表示に関しては，接近度Ａが比較的高いレベル５，４ではポインタを表示し，接近度Ａが比較的低い３，２，１ではポインタを表示しないように切り替える。このような制御により，ユーザ３は指３０が投射物２０４に接触する前の段階でポインタを確認することができ，接触時のポインタの位置を合わせ易くなる。以上の制御により，操作対象装置への操作性が向上する。
　図１４Ａ～図１４Ｃは，表示制御部１２１における指さし方向に応じた制御の一例を示す図である。
　図１４Ａは，指さし方向７００に応じてポインタ８００の表示位置を補正する場合である。ポインタ８００を表示する際，接触点検出部１０７において検出した接触点Ｐと全く同じ位置に表示すると，ポインタ８００が指３０に隠れてユーザ３から見えにくくなる。そこで，方向検出部１０９で検出した指さし方向７００に沿ってポインタ８００を指先前方に所定量だけずらして表示する。これによりポインタ８００はユーザ３から見やすくなる。
　また，上記に加えて，指３０の接近度Ａに応じてポインタ８００の表示位置のずらし量（補正量）を変更しても良い。例えば接近度Ａが低いときには補正量を大きくし，接近度Ａが高いときには補正量を小さくする。これにより，ユーザ３の指３０が投射物２０４に近づくに従ってポインタ８００の位置が指先に近づき，ユーザ３はポインタ８００の表示位置を目安にすることで精度の良い操作ができるようになる。
　図１４Ｂは，指さし方向７００に応じてポインタ８００の表示方向を補正する場合である。矢印形状のポインタ８００を表示する際，例えば図１４Ａのように指さし方向７００と無関係に常に一定の方向に表示すると，ポインタ８００の表示方向が指さし方向７００と一致せずユーザ３に対し違和感を与えることがある。そこで，方向検出部１０９において検出した指さし方向７００にポインタ８００の表示方向を合わせて表示する。これにより指さし方向７００との不一致がなくなり，ユーザ３に対する違和感を解消できる。
　図１４Ｃは，指さし方向７００に応じて接触点の位置を補正する場合である。接触点検出部１０７において検出される接触点Ｐは特徴点の位置から決定されるので，実際に投射物２０４と接触する位置からずれることがある。例えば，特徴点を影の先端位置とする場合，実際の接触位置（指の腹の部分となることが多い）よりも指の先端側（爪先）の位置にずれてしまう。そこで，方向検出部１０９において検出した指さし方向７００に沿って，指の付け根側に接触点位置を所定量だけ補正する（Ｐ→Ｐ”）。これにより，指３０と投射物２０４の接触点をより正確に取得することができる。
　以上が，操作検出機能付投射型表示装置２０５における指さし検出等によるユーザ３の操作内容の検出方法である。以上説明した方式による指さしジェスチャによる接触点および指さし方向の検出方式では、指を含む細長い物体があれば操作が可能である。これは、ペン先から所定の光を発光して認識処理を行う発光ペン方式に比べて、専用の発光ペン等を確保しておく必要がない点で大幅に使い勝手がよい。
　続いて，ユーザ３がこれまで説明したような指さし等の操作によって実現する画面操作について説明する。
　操作前の表示画面数，表示の向き，表示の位置，表示の大きさ等は以下に示す例などの方法で決定される。
　例えば，操作検出機能付投射型表示装置２０５にディフォルトで設定された表示画面の設定でも良い。
　また，ユーザが条件設定して表示画面数，表示の向き，表示の大きさ等を手動決定しても良い。
　また，前述の指さし検出等により，指や腕が差し出される方向を推定して人の存在する位置を特定し，或いは差し出される指や腕の数からユーザの人数を特定するなどにより，視認しやすい表示向きや表示画面数を設定するようにしても良い。
　また，ユーザの人数や位置，投射物の形状等を認識し，それに応じて表示画面数，表示位置，表示向き，表示の大きさ等を決定しても良い。このようなユーザの人数や位置，投射物の形状等の認識において，机上に設置される投射型表示装置は，認識物との距離が近いことや，認識物との間を障害物によって遮蔽される頻度が少ないことなどから，有利である。
　図１５～１８に投射物の形状等を認識して，表示画面の表示向きを決定する方法の例を示す。図１５および１６は長方形状の机に投射する場合の例である。図１５のようにユーザ３が長方形状の机である投射物２０４付近にいることが操作検出機能付投射型表示装置２０５のカメラ１００で撮影され，認識される。さらにユーザ３と机の縁との最接近部３０２の机の縁の位置が認識される。この３０２の位置の縁の方向と表示映像の底辺が平行，かつ３０２の位置が下側となる向き，すなわち図１６の表示映像２０２のように表示される向きに表示方向を決定する。
　図１７および１８は円形の机に投射する場合の例である。図１７のようにユーザ３が円形の机である投射物２０４付近にいることが操作検出機能付投射型表示装置２０５のカメラ１００で撮影され，認識される。さらにユーザ３と机の縁との最接近部３０３の机の縁の位置が認識される。この３０３の位置の縁の方向と表示映像の底辺が平行，かつ３０３の位置が下側となる向き，すなわち図１８の表示映像２０２のように表示される向きに表示方向を決定する。
　なお，この図１５～１８の説明で，ユーザ３の位置や，投射物の形状の撮影をカメラ１００で行う例を示したが，カメラ１００は基本的に指さし検出等によるユーザ３の操作を撮影するためのものであるので，ユーザ３の位置や，投射物の形状を撮影するための別のカメラを備えてもよい。
　図３に示したように複数の映像を表示する場合には，複数の人の位置に対して同様の作業を行い，それぞれ表示する向きを決定するようにすればよい。図１９と２０に複数の表示映像を表示する場合の例を示す。いずれも複数の人とその位置を検出し，その位置から最も接近した机の縁の位置と形状から表示位置と表示方向を決定している。
　このようにユーザ３に最も近い机の縁の形状から自動的に表示方向を決めることが可能となる。
　これらの方法により決定された表示画面を，ユーザ３のジェスチャによる画面操作で動作させる場合の例を図２１Ａ～図２４Ｂに示す。各図に示された指先は，投射物２０４に接触しているものとする。例えば図２１Ａが操作前，図２１Ｂが操作後の状態を示す。図２２Ａ～図２４Ｂも同様である。
　図２１Ａ以下の図面の多くにおいては図１と同様に，投射型表示装置２０５が画像を光学的に投射できる最大の範囲２１０を破線で示している。前記したように，表示画面２０２と２０３はＯＳＤのように最大投射範囲２１０の表示範囲内に表示される。即ち、表示画面２０２，２０３は投射可能範囲２１０における部分画像である。
　図２１Ａと図２１Ｂは平行移動の例である。図２１Ａで表示画面２０３に接触させた指を，向きを変えずに上下方向，左右方向，ななめ方向いずれかに移動させる。すると，図２１Ｂのように表示画面のうち指が接触している表示画面のみが指の動きと同じだけ移動する。これによりユーザが望む位置に表示画面の一つを移動させることが可能になる。
　図２２Ａと図２２Ｂは回転移動の例である。図２２Ａで表示画面２０３に接触させた指を回転させる。すると，図２２Ｂのように表示画面のうち指が接触している表示画面のみが指の動きに合わせて表示向きを回転させる。これによりユーザの所望の向きに表示画面の一つを回転させることが可能になる。
　本実施例の構成では、指さし方向を検出することができる。よって、図２２Ｂで示すように、接触点の位置自体は変化させずに、指の方向を回転させた場合でも表示画面の回転操作を実現できる。これは、タブレット端末等のタッチセンサでは実現が困難な回転操作であり、本実施例の構成によって初めて実現が可能となる。
　また、表示画面の回転操作の際に、投射型表示装置２０５の光学的な投射可能範囲の形状と、回転対象となる表示画面の位置、形状の関係から、回転前の表示画面の大きさのまま回転することができない場合がある。この場合には、回転動作の最中に並行して表示画面の縮小処理を行えばよい。一方の方向に回転する際に表示画面の縮小処理が必要な場合、途中まで回転させて表示画面を縮小した後、逆方向に回転してもとの角度に戻す際には、拡大処理を行ってもとの大きさに戻してもよい。
　図２３Ａと図２３Ｂは表示画面数を増加させる操作の例である。図２３Ａで表示画面２００の外側に接触させた指を，対辺の外側に向かって動かすことで表示画面を半分に切るような動きをする。すると，図２３Ｂのように表示画面は半分に切られたところから細胞分裂のように、表示画面２００で表示されていた内容と同じ内容を表示する画面を２つ作成する（表示画面２０２、２０３）。これによりユーザの所望するように表示画面数を増やすことが可能になる。
　図２４Ａと図２４Ｂは表示画面を拡大させる操作の例である。図２４Ａで表示画面２０２に接触させた２本の指を，長方形の向かい合う頂点上に置いたかのように位置させ，図２４Ｂでその向かい合う頂点同士を結ぶ対角線を押し広げるように２本の指間の距離を広げる。すると，操作された表示画面２０２のみが押し広げた分だけ画面を拡大させる。逆方向に動かせば，画面を縮小してこれまで表示画面２０２の外に外れていた領域を表示させるような操作も可能である。これによりユーザの所望するように表示画面の拡大縮小が可能になる。
　次に、複数の指を用いた表示画面操作の例を、図２５Ａから図２８Ｂを用いて説明する。
　図２５Ａと図２５Ｂは、２本の指の操作により、表示画面２０３を回転させる例である。図２５Ａに示すように、２本の指の両方が、表示画面２０３内で机に接触している場合に、図２５Ｂに示すように２本の指の接触点を結ぶ直線の傾きが変わるように２本の指が動いたことを検出すると、操作検出機能付投射型表示装置２０５は、当該傾きの変化に対応するように表示画面２０３の表示角度を変更する。これにより、表示画面の回転処理が可能となる。
　これに対し、図２６Ａに示すように２本の指の両方が机に接している場合であっても、２本の指の接触点の両方がひとつの表示画面内にない場合（例えば、一方の指の接触点のみが表示画面２０３内にあり、他方の指の接触点は表示画面２０３外にある場合など）は、図２６Ｂに示すように２本の指の接触点を結ぶ直線の傾きが変わるように２本の指が動いたとしても、表示画面２０３の表示角度の変更を行わないようにしてもよい。
　カメラ１００で検出された複数の指のうち、机に接触した時間差が所定の時間内である２本の指を、図２５Ａ～図２６Ｂで説明した処理で対象とする指の組み合わせとして、制御部１１０が判断しても良い。例えば、カメラ１００で検出された複数の指のうち、机に接触した時間差が１秒以内である２本の指を制御部１１０が検出し、当該２本の指の組み合わせを図２５Ａ～図２６Ｂで説明した処理で対象とする指の組み合わせであると判断すればよい。
　なお、上述のこれら２本の指の接触位置と、表示画面２０３の範囲についての判断処理で用いる、これら２本の指の接触位置はこれら２本の指が空中から机に接触した最初の位置を用いればよい。これらの指が机の上を接触しながら表示画面２０３の外から内に移動してきた場合などは、表示画面の回転処理を開始しなくてもよい。このように、回転処理を開始するか否かの判断を、２本の指が空中から机に接触した最初の位置のみで判断することにより、処理を簡素化することができ、制御部１１０の処理効率が向上するという効果がある。また、上述の判断処理によれば、複数の表示画面のうち、回転処理操作の対象となる表示画面を明確に特定することができる。
　次に、図２７Ａと図２７Ｂは、２本の指の操作により、表示画面２０２を拡大する例である。図２７Ａに示すように、２本の指の両方が、表示画面２０２内で机に接触している場合に、図２７Ｂに示すように２本の指の接触点を結ぶ直線の距離が長くなるように２本の指が動いたことを検出すると、操作検出機能付投射型表示装置２０５は、当該長さの変化に対応するように表示画面２０２の表示サイズを変更する。これにより、表示画面の拡大処理が可能となる。なお、２本の指の接触点を結ぶ直線の距離が短くなる場合には、表示画面の縮小処理を行う。
　これに対し、図２８Ａに示すように２本の指の両方が机に接している場合であっても、２本の指の接触点の片方がひとつの表示画面内にない場合（例えば、一方の指の接触点のみが表示画面２０２内にあり、他方の指の接触点は表示画面２０２外にある場合など）は、図２８Ｂに示すように２本の指の接触点を結ぶ直線の長さが変わるように２本の指が動いたとしても、表示画面２０２のサイズの変更を行わないようにしてもよい。
　図２５Ａ～図２６Ｂの例と同様に、カメラ１００で検出された複数の指のうち、机に接触した時間差が所定の時間内である２本の指を、図２７Ａ～図２８Ｂで説明した処理で対象とする指の組み合わせとして、制御部１１０が判断しても良い。例えば、カメラ１００で検出された複数の指のうち、机に接触した時間差が１秒以内である２本の指を制御部１１０が検出し、当該２本の指の組み合わせを図２７Ａ～図２８Ｂで説明した処理で対象とする２本の指の組み合わせであると判断すればよい。
　なお、上述のこれら２本の指の接触位置と、表示画面２０２の範囲についての判断処理で用いる、これら２本の指の接触位置はこれら２本の指が空中から机に接触した最初の位置を用いればよい。これらの指が机の上を接触しながら表示画面２０２の外から内に移動してきた場合などは、表示画面のサイズ変更処理を開始しなくてもよい。このように、サイズ変更処理を開始するか否かの判断を、２本の指が空中から机に接触した最初の位置のみで判断することにより、処理を簡素化することができ、制御部１１０の処理効率が向上するという効果がある。また、上述の判断処理によれば、複数の表示画面のうち、サイズ変更処理操作の対象となる表示画面を明確に特定することができる。
　以上図２５Ａから図２８Ｂを用いて説明した、複数の指を用いた表示画面操作によれば、回転処理やサイズ変更処理の対象となる表示画面を明確に特定することができる。また、制御部の処理を効率化することが可能である。
　以上説明したように，机上に設置可能な操作検出機能付投射型表示装置により，指さし検出等による操作を精度よく行うことができる。
　次に、本発明の実施例２について説明する。
　図２に示した操作検出機能付投射型表示装置には照明１０１，１０２が備えられ，異なる２方向からの照明光の影を検出する方法について実施例１で示した。この照明光として可視光を採用すると，指さし操作によって生じる影が表示画面上に映ってしまい，表示画面を見にくくする可能性がある。そこで，照明光としては赤外光などの可視外光の照明を用い，カメラ１００には赤外カメラなど対応するカメラを用いるのが好ましい。
　このように赤外光などの可視外光を用いる場合の注意点として，可視外光が目に見えないために，照明１０１，１０２の前に障害物を置くなどして照明光を遮る場合に，指さし検出等が行えず，さらにそれにユーザが気づかないという問題がある。
　このような問題を回避するために，指さし検出を妨げるような状況をカメラ１００が検出した場合に，ユーザに対して警告する機能を備えることで解決できる。
　図２９にこの機能を作動させる場合のフローチャートを示す。
　Ｓ２００１で上記のような状況が発生したとする。Ｓ２００２でカメラ１００がこの状況を撮影する。Ｓ２００３で制御部１１０はカメラが撮像した画像から指さしの検出ができないと判断して，表示制御部１１１に通知する。
　検知の基準としては，指等の予め設定された検出物以外のオブジェクトが長時間映っている，広範囲に渡って可視外光が遮られている，長時間不動のオブジェクトが映っている，などが例として挙げられる。
　Ｓ２００４で表示制御部１１１は「指さし検出異常。カメラおよび照明部と表示画面間に異物がないか確認ください。」などの警告の字幕を表示画面に挿入した映像を作成し，Ｓ２００５で作成した映像を表示する。カメラ１００が可視外光の遮断物が除去された状況を撮影するまで、この表示は継続される。
　Ｓ２００６で制御部１１０は可視外光の遮断物が除去されたか否かをカメラ１００が撮影した画像から判定する。光の遮断物が除去されれば、Ｓ２００７で制御部１１０は表示制御部１１１に指さしの検出機能が復帰したことを通知する。
　Ｓ２００８で表示制御部１１１は警告字幕を削除した通常の表示画面を作成して，Ｓ２００９で通常の表示画面に戻る。以上が一連の動作の例である。
　ここまでの説明では警告字幕を表示画面に挿入することにより，ユーザに指さし検出等を妨げるような可視外光の遮断という異常を通知する方法について説明したが，音声による警告や，予め備えた警告ランプの点灯など，他の手段による警告でもかまわない。
　以上説明したように，指さし検出等を妨げるような状況を検出する機能を備え，ユーザに対して警告する機能を備えることで，ユーザの気づかないうちに指さし検出等の機能が中断することを防止することができる。
　次に、本発明の実施例３について説明する。
　本発明の実施例１で説明した投射型表示装置では、既に説明したとおり、鑑賞者のジェスチャ操作（指さし操作）により、様々な画面操作が可能となる。しかしながら、本実施例の投射型表示装置において入力可能な操作は、指タッチ検出型タブレットなどでは不可能な操作もあり、ユーザが不慣れな場合もある。そこで、本発明の実施例３にかかる投射型表示装置では、実施例１または実施例２の投射型表示装置の構成及び機能に加え、操作ガイド表示機能を搭載する。
　図３０に、本実施例における操作ガイド表示の一例を示す。図３０では、投射型表示装置２０５が、机上に投影した表示画面３０００に一つの表示コンテンツを表示している。表示コンテンツにおける上下左右の方向は図に示すとおりである。投射型表示装置２０５のガイド表示の一例は、図３０に示すとおり、この表示コンテンツに対して、複数の操作ガイド表示３００１、３００２、３００３をそれぞれ異なる角度で表示する。当該操作ガイド表示の一例は、いわゆるＯＳＤ（オンスクリーンディスプレイ）であり、投射型表示装置２０５内部の図示しない記憶部に記憶しているデータに基づいて、制御部１１０の制御により、表示制御部１１１が入力信号に重畳して表示する。
　図３０では、表示コンテンツの上下左右方向と同じ方向で表示する操作ガイド３００１のみならず、異なる方向で表示する操作ガイド表示３００２、３００３を表示する。これにより、机の周りに立っているユーザのうち、表示コンテンツを正面から鑑賞している鑑賞者のみならず、表示コンテンツを正面以外の角度から鑑賞している鑑賞者にも操作の仕方を伝えることができる。
　特に、図３０に示すように、矩形の表示画面３０００の辺Ａ～Ｄのうち、一つの辺Ａ側に投射型表示装置２０５が設置されている状況では、当該辺Ａ側にジェスチャ操作可能な鑑賞者が存在する可能性は低い。ここで、投射型表示装置２０５が設置されている辺Ａ側以外の、他の３つの辺Ｂ、Ｃ、Ｄ側に鑑賞者がおり、そのうち一つの辺（例えば辺Ｃ）の位置から鑑賞しやすい方向に表示コンテンツが表示されている場合に、当該表示コンテンツの上下左右と同じ方向の操作ガイド３００１だけを表示すると、残りの２辺（例えば辺Ｂ、Ｄ）側に存在する鑑賞者は、操作の仕方がわからず、わざわざ辺Ｃの位置まで移動せざるを得ない。
　これに対し、本実施例の投射型表示装置２０５では、それぞれ異なる角度で複数の操作ガイド表示を表示可能であるので、図３０に示すように、３つの辺Ｂ、Ｃ、Ｄのそれぞれの辺の方向が、複数の操作ガイド表示３００１、３００２、３００３の左右方向に対応するように表示すればよい。このように表示すれば、例えば、投射型表示装置２０５が設置されている一つの辺Ａの方向以外の、他の３つの辺Ｂ、Ｃ、Ｄ側に存在する鑑賞者のいずれもが、操作の仕方を理解しやすくなる。
　なお、操作ガイド表示は、操作ジェスチャを図示した図でもよく、操作ジェスチャを図示した図とその説明テキストでもよく、操作ジェスチャを説明したテキストでもよく、操作ジェスチャを示すアニメーションでもよい。またはこれらの組み合わせでもよい。
　また、操作ガイド表示のタイミングは、図示しないリモコンボタンの操作入力のタイミングで行ってもよい。または、表示画面の片隅にクエスチョンマークを小さく表示しておき、当該クエスチョンマークに対する鑑賞者の指タッチかジェスチャ操作を検出したタイミングで、図３０に示すような操作ガイド表示を行ってもよい。
　以上説明した本実施例の操作ガイド表示によれば、鑑賞者にとって使い勝手の良い操作ガイド表示が可能となる。
　次に、本発明の実施例４について説明する。
　本発明の実施例１で説明した投射型表示装置では、既に説明したとおり、ユーザのジェスチャ操作（指さし操作）により、様々な画面操作が可能となる。本実施例では、実施例１、２、３の投射型表示装置の構成及び機能に加え、以下に、表示映像についての詳細情報やメニュー画面表示機能を搭載する例を説明する。
　図３１Ａ～図３１Ｄは、投射型表示装置２０５が机２０４上に一つの表示画面２００を表示している場合に、表示映像の詳細情報やメニュー画面表示を行う際の動作を示す。
　表示映像の詳細情報やメニュー画面表示を行う際に認識するジェスチャの例として、図３１Ａに示すような、指さし方向の異なる２本の指が接触している状態にあるジェスチャを用いてもよい。ここで、２つの接触点は完全に接触している必要は無く、設計上設定する所定の距離以下であることを条件としてもよい。また、表示映像の詳細情報やメニュー画面表示を行う際に認識するジェスチャの別の例として、図３１Ｂに示すような、３本の指が表示面に接触している状態にあるジェスチャを用いてもよい。
　なお、図３１Ａと図３１Ｂに示したジェスチャは一例であり、他の操作と区別可能なジェスチャであれば、他のジェスチャであってもかまわない。
　本実施例では、図３１Ａまたは図３１Ｂに示したジェスチャを検出した場合に、投射型表示装置２０５の制御部１１０は、詳細情報表示操作と判別し、図３１Ｃに示すように詳細情報３１０１を表示する。
　また、別の例としては、図３１Ａまたは図３１Ｂに示したジェスチャを検出した場合に、投射型表示装置２０５の制御部１１０は、メニュー画面表示操作と判別し、図３１Ｄに示すようにメニュー画面３１０２を表示する。
　また、別の例としては、図３１Ａまたは図３１Ｂに示したジェスチャを検出した場合に、投射型表示装置２０５の制御部１１０は、詳細情報表示とメニュー画面表示を両方行う操作と判別し、図３１Ｃに示す詳細情報３１０１の表示と図３１Ｄに示すメニュー画面３１０２の表示をともに行っても良い。
　なお、図３１Ｃに示す詳細情報３１０１の表示と図３１Ｄに示すメニュー画面３１０２の表示の位置は、表示画面２００の中または近傍の所定の位置に表示すればよい。また、別の例としては、図３１Ａに示すジェスチャの指の接触点や図３１Ｂに示したジェスチャを検出した位置（３本の指の中央の指の位置）に応じた位置に、詳細情報３１０１またはメニュー画面３１０２を表示してもよい。
　なお、詳細情報３１０１の例としては、表示されている映像の性質（入力時の解像度、フレームレート、インターレース、プログレッシブ等）でもよく、入力映像にタイトル情報等の付帯情報が含まれている場合は、この情報でもよい。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、これらの入力ソースを識別する情報でもよい。
　なお、メニュー画面３１０２で示されるメニュー項目の例としては、メニューで用いる言語切り替えメニューや、表示映像の明るさ、コントラスト等の画質調整メニュー、台形補正処理メニューなどを表示してもよい。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、入力ソースの切り替えを行うためのメニュー項目を表示してもよい。
　次に、図３２Ａと図３２Ｂを用いて、図２３Ａと図２３Ｂで説明した表示画面数の増加操作を行った後に、表示画面ごとに個別詳細情報表示または個別メニュー画面表示を行う場合の例を説明する。
　図３２Ａと図３２Ｂは、図２３Ａと図２３Ｂと同様の表示画面数の増加操作のジェスチャとその表示例であり、既に実施例１で説明済みであるので説明を省略する。図３２Ｃは、表示画面数の増加操作により生成された複数の表示画面２０２、２０３のうち、表示画面２０２内に指の接触点が含まれる位置で図３１Ａに示したジェスチャが検出された例を示している。この場合、投射型表示装置２０５の制御部１１０は、図３２Ｄに示すように、表示画面２０２近傍（または画面内でもよい。）に、表示画面２０２についての個別詳細情報表示または個別メニュー画面表示、またはこれらを組み合わせた表示を行う。
　この場合、図３２Ｄに示す個別メニュー画面は、表示画面２０２についての個別のメニュー項目を表示する。例えば、表示画面２０２の表示映像についての画質調整メニュー（表示画面２０３の表示映像についての画質調整を行うものではない）を表示しても良い。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、表示画面２０２に表示される表示映像の入力ソースの切り替え（表示画面２０３の表示映像についての入力ソースの切り替えを行うものではない）を行うためのメニュー項目を表示してもよい。また、複数の表示画面の一つである表示画面２０２についてだけ、台形補正を行うことは不自然であるので、当該表示画面２０２についての個別メニュー表示では、台形補正のメニュー項目を表示しないか、表示しても操作できないような態様としてもよい。
　同様に、図３２Ｄに示す個別詳細情報は、表示画面２０２についての個別の詳細情報を表示する。表示画面２０２に示されている映像の性質、タイトル情報等、入力ソースを識別する情報等を表示すればよい。入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、図３２Ｄに示す表示画面２０２についてのメニュー画面から入力ソースの切り替えを行うことが可能である。このとき、表示画面２０２と表示画面２０３で表示される映像の性質、タイトル情報、入力ソース等は異なることとなるので、それぞれの表示画面の詳細情報が個別に確認できることは鑑賞者にとって有益である。
　なお、図３２Ａ～図３２Ｄでは、個別詳細情報表示または個別メニュー画面表示のためのジェスチャとして、図３１Ａのジェスチャの例を用いたが、図３１Ｂのジェスチャを用いてもよい。
　次に、図３３Ａ～図３３Ｄを用いて、図２２Ａ、図２２Ｂ、図２５Ａ、図２５Ｂで説明した表示画面の回転操作を行った後に、表示画面ごとの個別詳細情報表示または個別メニュー画面表示を行う場合の例を説明する。
　図３３Ａと図３３Ｂは、図２２Ａ及び図２２Ｂと同様の表示画面の回転操作のジェスチャとその表示例であり、既に実施例１で説明済みであるので説明を省略する。図３３Ｃは、複数の表示画面２０２、２０３のうち、一方の表示画面２０３が、表示画面の回転操作により回転された状態で、表示画面２０３内に指の接触点が含まれる位置で図３１Ｂに示したジェスチャが検出された例を示している。この場合、投射型表示装置２０５の制御部１１０は、図３３Ｄに示すように、表示画面２０３の近傍（または画面内でもよい。）に、表示画面２０３についての個別詳細情報表示または個別メニュー画面表示、またはこれらを組み合わせた表示を行い、この際、表示画面２０３の表示角度に対応する角度で、これらの個別詳細情報表示または個別メニュー画面表示を行う。表示画面２０３についての個別詳細情報表示または個別メニュー画面表示の内容については、図３２Ａ～図３２Ｄにおける表示画面２０２についての説明と同様であるので、再度の説明は省略する。
　回転された表示画面については、当該表示画面を鑑賞しやすい位置にいる鑑賞者がジェスチャ操作して個別詳細情報表示または個別メニュー画面表示を表示する可能性が高い。よって、図３３Ｄに示すように、個別詳細情報表示または個別メニュー画面表示を表示画面の角度に対応する角度で表示することにより、鑑賞者が鑑賞している画面を操作しやすくなるという利点がある。
　なお、図３３Ａ～図３３Ｄでは、個別詳細情報表示または個別メニュー画面表示のためのジェスチャとして、図３１Ｂのジェスチャの例を用いたが、図３１Ａのジェスチャを用いてもよい。
　次に、図３４Ａ～図３４Ｄを用いて、複数の表示画面を表示している場合に、画面毎の個別メニューではなく、全表示画面を対象とする全体メニューを表示する例について説明する。図３４Ａ～図３４Ｄの例では、全体メニューを表示するためのジェスチャとして、図３２Ａ～図３２Ｄや図３３Ａ～図３３Ｄと同様に図３１Ａまたは図３１Ｂと同様のジェスチャを用いるが、ジェスチャの検出位置が、図３２Ａ～図３２Ｄや図３３Ａ～図３３Ｄと異なる。例えば、図３１Ａのジェスチャの指の接触点が、複数の表示画面外で検出された場合に、全体メニュー表示開始のジェスチャと判別する。同様に、図３１Ｂと同様のジェスチャにおける３本の指が複数の表示画面外で検出された場合に、全体メニュー表示開始のジェスチャと判別する。以下、図を用いて具体的に説明する。
　図３４Ａの例では、投射型表示装置２０５が机２０４の上に、表示画面２０２および表示画面２０３を表示している。ここで、図３１Ａのジェスチャが検出されており、指の接触点が、表示画面２０２でも表示画面２０３でもない位置に検出されている。この場合、投射型表示装置２０５の制御部１１０は、表示制御部１１１を制御し、図３４Ｂに示すように、全体メニュー３４０１を表示する。また、画面全体に関する詳細情報である全体詳細情報３４０２を表示しても良い。
　ここで、全体メニュー３４０１のメニュー項目は、すべての表示画面の表示映像についての画質調整を同時に行う全体画質調整のメニューを表示してもよい。また、全体メニューで用いる言語を切り替えるための言語切り替えメニュー項目を表示してもよい。また、個別の画面での個別メニュー表示では使用できなかった台形補正のメニュー項目について、全体メニュー３４０１では使用できるようにしてもよい。
　また、全体詳細情報３４０２の例としては、表示画面の数などでもよい。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、複数の表示画面と入力ソースの一覧表を表示してもよい。
　なお、図３４Ａの例では、図３１Ａのジェスチャに替えて図３１Ｂのジェスチャを用いても良い。
　次に、図３４Ｃの例では、投射型表示装置２０５が机２０４の上に、表示画面２０２および表示画面２０３を表示しているが、表示画面２０３は回転処理により表示画面２０２と異なる角度で表示されている。ここで、図３１Ａのジェスチャが検出されており、指の接触点が、いずれも表示画面２０２でも表示画面２０３でもない位置に検出されている。この場合、投射型表示装置２０５の制御部１１０は、表示制御部１１１を制御し、図３４Ｄに示すように、全体メニュー３４０１を表示する。また図３４Ｄの表示例のように、このとき、複数の表示画面のそれぞれについて個別詳細情報３４０３、３４０４を表示してもよい。
　ここで、図３３Ｄの例では、個別詳細情報を表示する際には、個別の表示画面の表示角度に対応する角度で表示していた。これに対し、図３４Ｄのように、全体メニュー３４０１を表示している場合は、全体メニュー３４０１の操作者が見やすいように、個別の表示画面２０３の表示角度とは関係なく、全体メニュー３４０１の表示角度と同じ角度で表示したほうが好適である。
　以上の説明において、図３４Ｂの例では全体メニュー表示とともに全体詳細表示を行い、図３４Ｄの例では全体メニュー表示とともに個別詳細情報表示を行っているが、これはいずれの表示であってもよい。また、全体メニューだけ表示してもよい。さらに、全体メニュー表示と全体詳細表示と個別詳細情報表示をすべて表示してもよい。
　なお、本実施例で説明したメニュー画面（個別メニュー画面、全体メニュー画面）においては、各実施例で説明した各ジェスチャ認識機能のＯＮ／ＯＦＦを設定するメニュー項目を設けても良い。例えば、すべてのジェスチャ認識機能をＯＦＦにしてもよい。この場合は、リモコンや本体のボタン操作に応じた操作信号に基づいて投射型表示装置２０５が操作される。また、図２１Ａに示す一本指移動ジェスチャの認識処理や図２１Ｂに示す一本指回転ジェスチャの認識処理などを個別にＯＦＦできるようにしてもよい。差し棒などで説明する際に誤認識する可能性がある場合などに有効である。
　また、回転動作について、図２１Ｂに示す一本指回転ジェスチャと図２５Ａと図２５Ｂに示す２本指回転ジェスチャのどちらを認識するかを選択するメニュー項目を表示してもよい。このように、場合によっては、投射型表示装置２０５が認識するジェスチャ毎に個別にＯＮ／ＯＦＦを設定することにメリットがある場合がある。このような場合には、例えば、図２１Ａ以降で説明したすべてのジェスチャについて、メニュー画面からそれぞれＯＮ／ＯＦＦを設定可能なように構成すればよい。個別メニュー画面の場合は、対応する表示画面についてのみ、これらのジェスチャのＯＮ／ＯＦＦ設定を適用すればよい。
　以上説明した本実施例の詳細情報表示やメニュー表示によれば、鑑賞者にとって使い勝手の良い詳細情報表示やメニュー表示が可能となる。
　１００：カメラ、１０１，１０２：照明、１０４：影領域抽出部、１０５：特徴点検出部、１０６：接近度検出部、１０７：接触点検出部、１０８：輪郭検出部、１０９：方向検出部、１１０：制御部、１１１：表示制御部、１１２：駆動回路部、１１３：入力端子、１１４：入力信号処理部、１１５：投射部、２０１：投射型表示装置、２０２，２０３：表示画面、２０４：投射物、２０５：操作検出機能付投射型表示装置、３：ユーザ、３０，３１，３２：指、４０１，４０２，４０３，４０４，４０５：影、５０１，５０２：輪郭線、６０１，６０２：特徴点：７００，７０１，７０２，７０３：指さし方向、８００：ポインタ、Ｐ：接触点。

Claims (11)

  1. 　映像を投射する映像投射部と、
    　前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に前記投射映像とは異なる照明光を照射する少なくとも１つの照明部と、
    　前記照明光の反射光により撮像を行う撮像部と、
    　前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、
    　前記検出部による検出結果に基づいて前記映像投射部が投射する映像の含む少なくとも一つの部分映像を変更するよう制御する表示制御部と
    　を有することを特徴とする投射型映像表示装置。
  2. 　請求項１に記載の投射型映像表示装置であって、
    　前記検出部は、さらに、操作者の指の方向を検出する
    　ことを特徴とする投射型映像表示装置。
  3. 　請求項１または請求項２に記載の投射型映像表示装置であって、
    　前記映像投射部が映像を投射する映像投射面と少なくとも一部が重なる面に、前記投射映像とは異なる照明光を互いに異なる位置から照射する２つの照明部
    　を有することを特徴とする投射型映像表示装置。
  4. 　請求項１に記載の投射型映像表示装置であって、
    　前記検出部が、前記操作者の指の前記映像投射面に接する位置が移動したことを検出した場合には、
    　前記表示制御部は、前記映像投射部が投射する映像のうち前記指が位置する部分映像を前記指の移動に基づいて移動する
    　ことを特徴とする投射型映像表示装置。
  5. 　請求項１に記載の投射型映像表示装置であって、
    　前記検出部が、前記操作者の指の前記映像投射面に接する方向が回転したことを検出した場合には、
    　前記表示制御部は、前記映像投射部が投射する映像のうち前記指が位置する部分映像を前記指の方向に基づいて回転する
    　ことを特徴とする投射型映像表示装置。
  6. 　請求項１に記載の投射型映像表示装置であって、
    　前記検出部が、前記操作者の指が前記映像投射面に接しながら前記部分映像を横断したことを検出した場合には、
    　前記表示制御部は、前記映像投射部が投射する映像のうち前記部分映像を前記指が横断した位置と方向に基づいて分割する
    　ことを特徴とする投射型映像表示装置。
  7. 　請求項１に記載の投射型映像表示装置であって、
    　前記検出部が、前記操作者の二本の指の前記映像投射面に接する位置間隔が拡大又は縮小したことを検出した場合には、
    　前記表示制御部は、前記映像投射部が投射する映像のうち前記二本の指が位置する部分映像を前記二本の指が移動した方向に基づいて拡大又は縮小する
    　ことを特徴とする投射型映像表示装置。
  8. 　請求項１に記載の投射型映像表示装置であって、
    　前記映像投射部が投射する映像は、複数の前記部分映像を含み、
    　前記検出部において、前記操作者の指が前記部分映像に接した時に前記指の方向を含め所定の方法で接したことを検出した場合には、
    　前記表示制御部は、前記部分映像に固有なメニュー表示画面を前記部分映像に表示するよう前記映像投射部を制御する
    　ことを特徴とする投射型映像表示装置。
  9. 　請求項１に記載の投射型映像表示装置であって、
    　前記映像投射部が投射する映像は、複数の前記部分映像を含み、
    　前記検出部において、前記操作者の指が前記部分映像のいずれにも含まれない映像投射面に接した時に前記指の方向を含め所定の方法で接したことを検出した場合には、
    　前記表示制御部は、前記映像表示面の全体に係るメニュー表示画面を前記映像表示面に表示するよう前記映像投射部を制御する
    　ことを特徴とする投射型映像表示装置。
  10. 　請求項１に記載の投射型映像表示装置であって、
    　前記映像投射面の面上に設置されて前記映像を投射する
    　ことを特徴とする投射型映像表示装置。
  11. 　請求項１に記載の投射型映像表示装置であって、
    　前記検出部が前記操作者の指の位置を検出する際の障害物を検出した場合には、
    　前記表示制御部は、障害物を検出したことを前記操作者に知らせるための映像を投射するよう前記映像投射部を制御する
    　ことを特徴とする投射型映像表示装置。
PCT/JP2013/081131 2013-11-19 2013-11-19 投射型映像表示装置 Ceased WO2015075767A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/037,164 US9927923B2 (en) 2013-11-19 2013-11-19 Projection-type video display device
PCT/JP2013/081131 WO2015075767A1 (ja) 2013-11-19 2013-11-19 投射型映像表示装置
CN201380080630.8A CN105706028B (zh) 2013-11-19 2013-11-19 投影型影像显示装置
JP2015548896A JP5973087B2 (ja) 2013-11-19 2013-11-19 投射型映像表示装置
CN201810532207.1A CN108664173B (zh) 2013-11-19 2013-11-19 投影型影像显示装置
US15/889,817 US10191594B2 (en) 2013-11-19 2018-02-06 Projection-type video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/081131 WO2015075767A1 (ja) 2013-11-19 2013-11-19 投射型映像表示装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/037,164 A-371-Of-International US9927923B2 (en) 2013-11-19 2013-11-19 Projection-type video display device
US15/889,817 Continuation US10191594B2 (en) 2013-11-19 2018-02-06 Projection-type video display device

Publications (1)

Publication Number Publication Date
WO2015075767A1 true WO2015075767A1 (ja) 2015-05-28

Family

ID=53179077

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081131 Ceased WO2015075767A1 (ja) 2013-11-19 2013-11-19 投射型映像表示装置

Country Status (4)

Country Link
US (2) US9927923B2 (ja)
JP (1) JP5973087B2 (ja)
CN (2) CN105706028B (ja)
WO (1) WO2015075767A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556963A (zh) * 2015-09-24 2017-04-05 北京京东尚科信息技术有限公司 投影装置以及投影方法
JP2018205478A (ja) * 2017-06-02 2018-12-27 セイコーエプソン株式会社 表示装置および表示装置の制御方法
JP2022076371A (ja) * 2020-11-09 2022-05-19 株式会社Ｎｔｔドコモ 情報処理装置

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001898B1 (en) 2011-07-12 2018-06-19 Domo, Inc. Automated provisioning of relational information for a summary data visualization
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
WO2016018372A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. White flash generation from a light emitting diode (led) projector
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US11410633B2 (en) * 2015-11-16 2022-08-09 Verizon Patent And Licensing Inc. Orientation selection
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US11076137B1 (en) * 2016-06-20 2021-07-27 Amazon Technologies, Inc. Modifying projected images
WO2018042923A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
WO2018150757A1 (ja) * 2017-02-17 2018-08-23 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
JP6919266B2 (ja) * 2017-03-28 2021-08-18 セイコーエプソン株式会社 光射出装置および画像表示システム
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
JP2019060963A (ja) * 2017-09-25 2019-04-18 ソニー株式会社 表示処理装置、表示処理方法及びプログラム
CN107992191A (zh) * 2017-10-30 2018-05-04 捷开通讯(深圳)有限公司 一种电子设备及其控制方法、电子设备摄像头模组
CN108093232B (zh) * 2017-11-08 2019-09-13 歌尔科技有限公司 一种悬挂式投影仪分屏显示的方法、装置和悬挂式投影仪
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ， インコーポレイテッド 光学導波管上の反射防止性コーティング
CN111712751B (zh) 2017-12-20 2022-11-01 奇跃公司 用于增强现实观看设备的插入件
EP4415355A3 (en) 2018-03-15 2024-09-04 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
JP7650662B2 (ja) 2018-05-30 2025-03-25 マジック リープ， インコーポレイテッド 小型の可変焦点構成
CN112601975B (zh) 2018-05-31 2024-09-06 奇跃公司 雷达头部姿势定位
US10825424B2 (en) 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
JP7421505B2 (ja) * 2018-06-08 2024-01-24 マジック リープ， インコーポレイテッド 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
JP7374981B2 (ja) 2018-07-10 2023-11-07 マジック リープ， インコーポレイテッド クロス命令セットアーキテクチャプロシージャ呼出のためのスレッドウィービング
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
EP4650919A3 (en) 2018-08-02 2026-01-21 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. DRIFT CORRECTION BASED ON UNMERGED LAYING OF MELTED LAYING OF A TOTEM IN A USER INTERACTION SYSTEM
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
USD895664S1 (en) * 2018-08-24 2020-09-08 Microsoft Corporation Display screen with animated graphical user interface
USD933079S1 (en) 2018-08-24 2021-10-12 Microsoft Corporation Display screen with animated graphical user interface
USD915451S1 (en) 2018-08-24 2021-04-06 Microsoft Corporation Display screen with animated graphical user interface
CN113196138B (zh) 2018-11-16 2023-08-25 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
USD896269S1 (en) * 2018-12-11 2020-09-15 Beijing Microlive Vision Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
CN109509407B (zh) * 2018-12-12 2021-12-10 深圳市万普拉斯科技有限公司 显示装置
JP7543274B2 (ja) 2018-12-21 2024-09-02 マジック リープ， インコーポレイテッド 導波管内の全内部反射を助長するための空気ポケット構造
USD904432S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD904431S1 (en) * 2019-01-04 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD920997S1 (en) * 2019-01-04 2021-06-01 Samsung Electronics Co., Ltd. Refrigerator with transitional graphical user interface
EP3939030B1 (en) 2019-03-12 2025-10-29 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
CN120812326A (zh) 2019-05-01 2025-10-17 奇跃公司 内容提供系统和方法
CN110119208B (zh) * 2019-05-15 2021-04-30 京东方科技集团股份有限公司 悬浮显示成像装置及悬浮显示触控方法
WO2021021670A1 (en) 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VISUALIZATION SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
CN111831161B (zh) * 2020-07-23 2023-10-03 吕嘉昳 基于触摸方法自动识别显示屏幕中触点位置的方法
CN112306442B (zh) * 2020-11-20 2023-05-12 Oppo广东移动通信有限公司 跨设备的内容投屏方法、装置、设备及存储介质
JP7625869B2 (ja) * 2021-01-25 2025-02-04 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
CN112929734B (zh) * 2021-02-05 2023-09-05 维沃移动通信有限公司 投屏方法、装置和电子设备
CN114442851B (zh) * 2022-01-28 2024-11-22 深圳Tcl新技术有限公司 激光处理方法、装置、存储介质、显示设备及激光设备
CN115278185B (zh) * 2022-07-29 2024-07-02 歌尔科技有限公司 投影区域检测方法、装置、桌面投影机及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320921A (ja) * 1995-05-25 1996-12-03 Oki Electric Ind Co Ltd ポインティングシステム
JP2005148555A (ja) * 2003-11-18 2005-06-09 Ricoh Co Ltd 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
JP2005318268A (ja) * 2004-04-28 2005-11-10 Fuji Electric Systems Co Ltd 投射表示装置および投射表示システム
JP2009064109A (ja) * 2007-09-04 2009-03-26 Canon Inc 画像投影装置及びその制御方法
JP2009237337A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 投写型映像表示装置及びこれを用いた投写型映像表示システム
JP2010237347A (ja) * 2009-03-31 2010-10-21 Hitachi Ltd 投射型表示装置
JP2011004386A (ja) * 2009-06-19 2011-01-06 Avaya Inc プラガブルコンタクトレゾリューション
US20110185300A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Brush, carbon-copy, and fill gestures
WO2011118313A1 (ja) * 2010-03-24 2011-09-29 株式会社日立ソリューションズ 座標入力装置及びプログラム
JP2012104096A (ja) * 2010-10-14 2012-05-31 Nikon Corp プロジェクタ
JP2012113653A (ja) * 2010-11-26 2012-06-14 Canon Inc 制御装置、入力装置、入力判定方法、プログラム
WO2012120958A1 (ja) * 2011-03-04 2012-09-13 株式会社ニコン 投影装置
JP2012238293A (ja) * 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置
JP2013114647A (ja) * 2011-12-01 2013-06-10 Exvision Inc ジェスチャー入力システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243074B1 (en) * 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
KR20030072591A (ko) * 2001-01-08 2003-09-15 브이케이비 인코포레이티드 데이터 입력 디바이스
JP4700539B2 (ja) 2006-03-22 2011-06-15 パナソニック株式会社 表示装置
CN101038671A (zh) * 2007-04-25 2007-09-19 上海大学 基于立体视觉三维手指运动轨迹跟踪方法
JP4933389B2 (ja) 2007-09-14 2012-05-16 株式会社リコー 画像投影表示装置、画像投影表示方法、画像投影表示プログラム及び記録媒体
JP5214223B2 (ja) * 2007-11-15 2013-06-19 船井電機株式会社 プロジェクタ
JP2009250772A (ja) 2008-04-04 2009-10-29 Sony Corp 位置検出システム、位置検出方法、プログラム、物体判断システム、および物体判断方法
JP2010224015A (ja) * 2009-03-19 2010-10-07 Sanyo Electric Co Ltd 投写型映像表示装置及び記載ボード及び投写映像システム
JP5396975B2 (ja) 2009-04-01 2014-01-22 船井電機株式会社 画像表示装置
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP5374266B2 (ja) 2009-07-22 2013-12-25 株式会社シロク 光学式位置検出装置
EP2461237B1 (en) 2009-07-30 2020-06-24 Sharp Kabushiki Kaisha Portable display device, control method for the same, program for the same, and storage medium for the same
JP2011043876A (ja) 2009-08-19 2011-03-03 Brother Industries Ltd 画像表示装置
JP5412227B2 (ja) * 2009-10-05 2014-02-12 日立コンシューマエレクトロニクス株式会社 映像表示装置、および、その表示制御方法
JP5141701B2 (ja) * 2010-02-25 2013-02-13 株式会社ニコン プロジェクタ
JP2012068690A (ja) 2010-09-21 2012-04-05 Univ Of Tsukuba 手指ジェスチャ検出装置
JP2012185630A (ja) 2011-03-04 2012-09-27 Nikon Corp 投影装置
JP2012194915A (ja) 2011-03-17 2012-10-11 Seiko Epson Corp 画像表示システム
JP5845783B2 (ja) 2011-09-30 2016-01-20 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
US9354809B2 (en) * 2011-10-03 2016-05-31 Furuno Electric Co., Ltd. Display device, display program and display method
WO2013051052A1 (ja) 2011-10-03 2013-04-11 古野電気株式会社 情報表示装置、情報表示方法及び情報表示プログラム
JP2013148802A (ja) 2012-01-23 2013-08-01 Nikon Corp プロジェクタ
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
KR102137240B1 (ko) * 2013-04-16 2020-07-23 삼성전자주식회사 디스플레이 영역을 조절하기 위한 방법 및 그 방법을 처리하는 전자 장치

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320921A (ja) * 1995-05-25 1996-12-03 Oki Electric Ind Co Ltd ポインティングシステム
JP2005148555A (ja) * 2003-11-18 2005-06-09 Ricoh Co Ltd 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
JP2005318268A (ja) * 2004-04-28 2005-11-10 Fuji Electric Systems Co Ltd 投射表示装置および投射表示システム
JP2009064109A (ja) * 2007-09-04 2009-03-26 Canon Inc 画像投影装置及びその制御方法
JP2009237337A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 投写型映像表示装置及びこれを用いた投写型映像表示システム
JP2010237347A (ja) * 2009-03-31 2010-10-21 Hitachi Ltd 投射型表示装置
JP2011004386A (ja) * 2009-06-19 2011-01-06 Avaya Inc プラガブルコンタクトレゾリューション
US20110185300A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Brush, carbon-copy, and fill gestures
WO2011118313A1 (ja) * 2010-03-24 2011-09-29 株式会社日立ソリューションズ 座標入力装置及びプログラム
JP2012104096A (ja) * 2010-10-14 2012-05-31 Nikon Corp プロジェクタ
JP2012113653A (ja) * 2010-11-26 2012-06-14 Canon Inc 制御装置、入力装置、入力判定方法、プログラム
WO2012120958A1 (ja) * 2011-03-04 2012-09-13 株式会社ニコン 投影装置
JP2012238293A (ja) * 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置
JP2013114647A (ja) * 2011-12-01 2013-06-10 Exvision Inc ジェスチャー入力システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556963A (zh) * 2015-09-24 2017-04-05 北京京东尚科信息技术有限公司 投影装置以及投影方法
JP2018205478A (ja) * 2017-06-02 2018-12-27 セイコーエプソン株式会社 表示装置および表示装置の制御方法
JP2022076371A (ja) * 2020-11-09 2022-05-19 株式会社Ｎｔｔドコモ 情報処理装置
JP7471999B2 (ja) 2020-11-09 2024-04-22 株式会社Ｎｔｔドコモ 情報処理装置

Also Published As

Publication number Publication date
US20180164951A1 (en) 2018-06-14
CN108664173A (zh) 2018-10-16
US10191594B2 (en) 2019-01-29
CN108664173B (zh) 2021-06-29
CN105706028B (zh) 2018-05-29
US20160274733A1 (en) 2016-09-22
CN105706028A (zh) 2016-06-22
JPWO2015075767A1 (ja) 2017-03-16
US9927923B2 (en) 2018-03-27
JP5973087B2 (ja) 2016-08-23

Similar Documents

Publication Publication Date Title
JP5973087B2 (ja) 投射型映像表示装置
JP6791994B2 (ja) 表示装置
US6512507B1 (en) Pointing position detection device, presentation system, and method, and computer-readable medium
US20190121227A1 (en) Projector
JP6075122B2 (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US20140218300A1 (en) Projection device
WO2016021022A1 (ja) 投写型映像表示装置及びその制御方法
US20140139668A1 (en) Projection capture system and method
US20140176735A1 (en) Portable projection capture device
US10276133B2 (en) Projector and display control method for displaying split images
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
JP5817149B2 (ja) 投影装置
JP2012185630A (ja) 投影装置
JP6314177B2 (ja) 投射型映像表示装置
JPH11345087A (ja) プレゼンテ―ションシステム及び位置検出方法
JPH11345085A (ja) ポインティング位置検出装置及び方法、プレゼンテ―ションシステム、情報記憶媒体
CN107239178A (zh) 显示系统、信息处理装置、投影仪及信息处理方法
JP2021015637A (ja) 表示装置
JP2013130915A (ja) 表示装置、プロジェクター、画像表示方法及び表示システム
US20150279336A1 (en) Bidirectional display method and bidirectional display device
JP2015094828A (ja) 画像投影方法、情報入力装置及びプログラム
JP2012181721A (ja) 位置入力装置、プロジェクター、プロジェクターの制御方法、及び、表示システム
JP2018085553A (ja) プロジェクターシステム
JP2012053603A (ja) 情報表示システム
JPH11345086A (ja) ポインティング位置検出装置及び方法、カ―ソル位置制御方法、プレゼンテ―ションシステム、情報記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13897765

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015548896

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15037164

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13897765

Country of ref document: EP

Kind code of ref document: A1