WO2017130504A1 - 画像投影装置 - Google Patents

画像投影装置 Download PDF

Info

Publication number
WO2017130504A1
WO2017130504A1 PCT/JP2016/082469 JP2016082469W WO2017130504A1 WO 2017130504 A1 WO2017130504 A1 WO 2017130504A1 JP 2016082469 W JP2016082469 W JP 2016082469W WO 2017130504 A1 WO2017130504 A1 WO 2017130504A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
unit
finger
projection screen
Prior art date
Application number
PCT/JP2016/082469
Other languages
English (en)
French (fr)
Inventor
裕行 池田
Original Assignee
裕行 池田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 裕行 池田 filed Critical 裕行 池田
Priority to JP2017563699A priority Critical patent/JP6858352B2/ja
Priority to US16/072,436 priority patent/US11513637B2/en
Priority to EP16888089.6A priority patent/EP3410277B1/en
Publication of WO2017130504A1 publication Critical patent/WO2017130504A1/ja
Priority to US17/962,707 priority patent/US11928291B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B21/00—Tables or desks for office equipment, e.g. typewriters, keyboards
    • A47B21/007—Tables or desks for office equipment, e.g. typewriters, keyboards with under-desk displays, e.g. displays being viewable through a transparent working surface of the table or desk
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G03B21/62—Translucent screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B21/00—Tables or desks for office equipment, e.g. typewriters, keyboards
    • A47B21/007—Tables or desks for office equipment, e.g. typewriters, keyboards with under-desk displays, e.g. displays being viewable through a transparent working surface of the table or desk
    • A47B2021/0076—Tables or desks for office equipment, e.g. typewriters, keyboards with under-desk displays, e.g. displays being viewable through a transparent working surface of the table or desk the screen being incorporated in the desk top
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Definitions

  • the present invention relates to an image projection apparatus in which a user performs an input instruction by performing a touch operation on an image projected on a projection screen.
  • Patent Document 1 Currently, with respect to projectors, various techniques for detecting a touch operation when a user performs a touch operation on an image projected on a projection screen have been proposed (for example, see Patent Document 1). (See the prior art described in Patent Document 1).
  • a projected image on a projection screen is captured by a camera installed in the vicinity of the projector, and the difference between the original image of the projected image projected from the projector and the captured image from the camera
  • the touch area on the captured image corresponding to the touch area on the projected image is calculated to obtain an area ratio between the shadow area of the finger and the area of the finger, and the touch area when the area ratio becomes smaller than a predetermined value. It is determined that the hand is touched.
  • the touch operation includes various operations such as a tap operation, a double tap operation, a long press operation (long tap), a drag operation, a flick operation, and a scroll operation.
  • the technique described in Patent Document 1 has a problem that these various operations cannot be accurately determined. For example, when a user performs a double-tap operation, the user touches the image twice with the finger so that the finger is not too far from the projection screen. However, in the technique described in Patent Document 1, the shadow region of the finger is used. When the area ratio between the finger area and the finger area is smaller than the predetermined value, it is determined that the hand has touched the touch area. It is difficult to clearly identify whether or not
  • the present invention has been made based on the above circumstances, and an image that can accurately identify the content of the touch operation when the user performs various touch operations on the image projected on the projection screen.
  • An object of the present invention is to provide a projection device.
  • an image projection apparatus has a projection screen, a projection unit that projects and displays a predetermined image on the projection screen, and a function for focusing, and is projected onto the projection screen.
  • An image pickup unit that picks up an image and obtains image data, and generates reference data that identifies the position and size of the image projected on the projection screen in the image pickup range based on the image data obtained by the image pickup unit Among the image data obtained by the reference data generation unit and the imaging unit, there is image data in which there is a finger or an indicator that the user has operated on the image projected on the projection screen.
  • An image data extraction unit that extracts image data focused on a finger or an indicator, and imaging based on the image data extracted by the image data extraction unit
  • a position data generation unit that generates position data for specifying the position of the finger or the pointing unit in the enclosure, and an operation determination that determines the content of the operation by the finger or the pointing tool based on the image data extracted by the image data extraction unit Corresponding to the operation by the finger or the pointing tool based on the content of the operation determined by the operation determining unit, the position data generated by the position data generating unit, and the reference data generated by the reference data generating unit
  • An input control unit for recognizing the content of the input instruction and controlling the projection unit so as to project an image corresponding to the recognized content of the input instruction onto the projection screen.
  • the imaging unit be adjusted so as to be in focus within a range from the projection screen to a position separated by a predetermined distance back and forth along the vertical direction.
  • the imaging unit has a function of focusing
  • the image data extraction unit is configured to apply the image projected on the projection screen by the user among the image data obtained by the imaging unit. Then, image data in which the finger or the pointing tool that has been operated is present and image data that is in focus on the finger or pointing tool is extracted. For this reason, for example, if the imaging unit is adjusted so as to focus within a range that is a certain short distance back and forth along the vertical direction from the projection screen, it is extracted by the image data extraction unit. Since the image data includes only the image data in which the finger or the pointing tool is present in the vicinity of the projection screen, the operation determination unit performs the finger or instruction based on the image data extracted by the image data extracting unit.
  • the input control unit includes the content of the operation performed by the finger or the pointing tool obtained by the determination by the operation determining unit, the position data of the finger or the pointing tool generated by the position data generating unit, and the reference data generating unit.
  • the projection unit recognizes the content of the input instruction corresponding to the operation by the finger or the pointing tool based on the reference data generated in step, and projects an image according to the recognized content of the input instruction on the projection screen. To control. Therefore, when the user performs various touch operations on the image projected on the projection screen, the image projection apparatus of the present invention can accurately recognize an input instruction corresponding to the touch operation.
  • a frame is drawn on each image projected on the projection screen, or predetermined marks are drawn on the four corners of each image projected on the projection screen, and reference data generation is performed.
  • the unit may recognize the position of the frame or mark of the image in the imaging range based on the image data obtained by the imaging unit, and use the data regarding the recognized frame or mark position as reference data. .
  • the reference data generation unit can easily generate reference data regarding the position and size of the image.
  • the projection screen is for displaying an image by irradiating projection light from the back side thereof, and the projection unit projects the image from the back side of the projection screen, and the imaging unit
  • the image data may be acquired by capturing an image from the back side of the projection screen.
  • the image data extraction unit extracts the finger from the image data captured through the projection screen.
  • a finger or an indicator that recognizes a shape or shape and color corresponding to the pointing tool, and that has operated the image with respect to the image data including the recognized shape, or the shape and color. It is desirable to obtain it as existing image data.
  • the projection screen may be for displaying an image by irradiating projection light from the surface side thereof.
  • the projection unit displays the image from the surface of the projection screen.
  • the imaging unit captures an image from the surface side of the projection screen and acquires image data.
  • the image data extraction unit applies the laser light from the laser pointer to the projection screen when the user irradiates the projection screen.
  • the shape and / or color of the laser light from the laser pointer is recognized from the image data obtained by the imaging unit, and the recognized shape of the laser light and
  • the image data in which the color is present may be acquired as the image data in which the finger or the pointing tool operated by the user on the image is present.
  • the image projection apparatus is provided with a screen for attaching the projection screen so that the distance between the projection screen and the projection unit and the distance between the projection screen and the imaging unit are maintained substantially constant. It is desirable to further provide a stand. By using such a screen installation table, the user can easily set the positional relationship between the projection screen and the projection unit and the positional relationship between the projection screen and the imaging unit.
  • the image projection apparatus can accurately recognize an input instruction corresponding to the touch operation when the user performs various touch operations on the image projected on the projection screen.
  • FIG. 1 is a schematic configuration diagram of a computer terminal including an image projection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a computer terminal provided with the image projection apparatus of this embodiment.
  • 3 (a) is a schematic perspective view of the screen installation table
  • FIG. 3 (b) is a schematic side view showing the state of folding the screen installation table
  • FIG. 3 (c) is the screen installation table in the folded state. It is a schematic plan view.
  • FIG. 4 is a diagram showing an example of an image on the character input screen.
  • FIG. 5 is a diagram schematically showing a finger portion whose shape or color has changed when the user touches the projection screen with the finger.
  • FIG. 6 is a diagram illustrating an example of an image of a character input screen in which the character key image is highlighted when the user performs a tap operation on the character key image.
  • FIG. 7 is a flowchart for explaining the procedure of input processing in the image projection apparatus of this embodiment.
  • FIG. 8 is a schematic configuration diagram of a computer terminal including a front projection type image projection apparatus which is a modification of the present invention.
  • FIG. 9A is a schematic perspective view of a smartphone provided with the image projection apparatus of the present invention, and FIG. 9B is a schematic side view of the smartphone.
  • FIG. 10A is a schematic perspective view of a wristwatch provided with the image projection apparatus of the present invention, and FIG. 10B is a diagram showing a state when a projection screen is installed in the wristwatch.
  • FIG. 9A is a schematic perspective view of a smartphone provided with the image projection apparatus of the present invention
  • FIG. 10B is a diagram showing a state when a projection screen is installed in the wristwatch.
  • FIG. 11A is a diagram showing an example of an automobile provided with the rear projection type image projection apparatus of the present invention
  • FIG. 11B is an example of an automobile provided with the front projection type image projection apparatus of the present invention
  • FIG. FIG. 12 is a diagram showing an example of a desk provided with the image projection apparatus of the present invention
  • FIG. 13 is a diagram showing an example of a compact mirror provided with the image projection apparatus of the present invention.
  • FIG. 1 is a schematic configuration diagram of a computer terminal including an image projection apparatus according to an embodiment of the present invention
  • FIG. 2 is a schematic block diagram of the computer terminal including the image projection apparatus of the present embodiment.
  • the image projection apparatus of the present invention recognizes the content of the input instruction corresponding to the operation. Then, an image corresponding to the content of the recognized input instruction is projected onto the projection screen.
  • the computer terminal 1 includes a computer main body 10, a liquid crystal display unit 20, a touch panel 30, and an image projection apparatus 100 according to the present embodiment.
  • the liquid crystal display unit 20 is provided on the upper surface of the casing of the computer main body 10.
  • a touch panel 30 is provided on the screen of the liquid crystal display unit 20.
  • the touch panel 30 detects a position where the touch operation is performed on the screen of the liquid crystal display unit 20 and outputs contact position information indicating the detected position to the computer main body 10. (Not shown) is provided. Various screens such as a menu screen, an application screen, and a character input screen are displayed on the screen of the liquid crystal display unit 20. Instead of the liquid crystal display unit 20, a (touch panel) display other than the liquid crystal may be used.
  • the image projection apparatus 100 of this embodiment plays a role as a display device and an input device in the computer terminal 1.
  • the image projection apparatus 100 a rear projection type apparatus that projects an image from the back side of the projection screen is used.
  • the image projection apparatus 100 includes a projection screen 110, a projection unit 120, an imaging unit 130, a control unit 140, a storage unit 150, and a screen installation table 160.
  • the projection unit 120, the imaging unit 130, the control unit 140, and the storage unit 150 are provided in the casing of the computer main body 10.
  • the control unit 140 controls the image projection apparatus 100, but also performs overall control of the computer terminal 1 in the present embodiment. That is, the control unit 140 also serves as a control unit of the computer main body 10.
  • the control unit that controls the image projection apparatus 100 and the control unit of the computer main body 10 may be provided separately.
  • a transmissive screen that is, a rear projection screen for displaying an image by irradiating projection light from the back side thereof is used.
  • the projection screen 110 is a single piece of hardware type and is fixed to the screen installation table 160.
  • a folding type is used as the screen installation table 160.
  • 3A is a schematic perspective view of the screen installation table 160
  • FIG. 3B is a schematic side view showing the screen installation table 160 when folded
  • FIG. 3C is a screen installation in the folded state.
  • 3 is a schematic plan view of a table 160.
  • the screen installation table 160 is for installing the projection screen 110 and the computer main body 10 so that the projection screen 110 and the computer main body 10 are arranged in a predetermined positional relationship.
  • the screen installation table 160 includes two base portions 161 a and 161 b and two pole portions 162 and 162.
  • FIG. 3 shows a screen installation table 160 on which only the projection screen 110 is installed.
  • Each base part 161a, 161b is a substantially rectangular plate-like member, and the two base parts 161a, 161b are connected so as to be foldable. Further, in one base portion 161a, two pole portions 162 and 162 are attached to an end portion opposite to the side connected to the other base portion 161b.
  • Each pole portion 162, 162 is a rod-like member, and a groove is formed along the central axis on the opposite side surface.
  • the projection screen 110 is attached to the screen installation table 160 by being inserted between the grooves of the two pole portions 162 and 162. Further, as shown in FIG. 1, the computer main body 10 is placed on the other base portion 161b.
  • a recess 163 is formed at a predetermined location on the surface of the base portion 161b. The recess 163 is used as a mark indicating a place where the computer main body 10 is installed.
  • the user simply attaches the projection screen 110 between the two pole portions 162 and 162, and arranges the computer main body 10 on the concave portion 163 of the base portion 161b. And the positional relationship between the projection screen 110 and the computer main body 10 can be easily set so that the distance between the projection screen 110 and the imaging unit 130 is substantially constant. Further, by folding the two base portions 161a and 161b as shown in FIG. 3 (b), the screen installation table 160 can be made flat as shown in FIG. 3 (c).
  • the projection unit 120 projects and displays an image of a predetermined screen on the projection screen 110 from the back side of the projection screen 110.
  • the projection screen 110 serves as a display device for the computer terminal 1.
  • the projection screen 110 displays images for various screens such as a menu screen and an operation screen on which various icons are displayed, and a character input screen for inputting characters.
  • FIG. 4 is a diagram showing an example of an image on the character input screen.
  • the character input screen 200 includes a keyboard image 210 and a display area 220 for displaying input characters and the like.
  • the keyboard image 210 is provided with a plurality of character key images associated with each character (including symbols) and a plurality of function key images with a specific function.
  • a frame is drawn on each screen image projected onto the projection screen 110 by the projection unit 120.
  • the image of the character input screen 200 illustrated in FIG. 4 includes a keyboard image 210 and a rectangular outer frame 230 that surrounds the display area 220.
  • the user can give various instructions to the control unit 140 by performing predetermined operations on the image of the screen projected on the projection screen 110 with a finger or an indicator.
  • an indicator rod is used as the indicator.
  • the user performs a predetermined operation by bringing a finger or an indicator into contact with a screen image projected on the projection screen 110 from the surface side of the projection screen 110 or from the surface side of the projection screen 110.
  • An instruction is given by performing a predetermined operation in the vicinity of the screen image projected on the projection screen 110 without bringing a finger or an indicator into contact with the image.
  • the control unit 140 recognizes the content of the instruction and controls the projection unit 120 to project a screen image corresponding to the recognized content of the instruction onto the projection screen 110.
  • a touch operation performed on a normal touch panel that is, a tap operation, a double tap operation, a long press operation (long tap), a drag operation, and a flick are performed.
  • Various operations such as operation and scroll operation are included. Note that each operation in the present embodiment described here means an operation corresponding to a touch operation performed on a normal touch panel regardless of whether the operation is performed by bringing a finger or the like into contact with the image. ing.
  • the imaging unit 130 captures an image projected on the projection screen 110 and acquires image data.
  • the imaging unit 130 includes a camera unit 131, an image processing unit 132, and a camera control unit 133.
  • the camera unit 131 has a lens and an image sensor. As shown in FIG. 1, the camera unit 131 images the projection screen 110 from the back side.
  • the range (imaging range) that can be captured by the camera unit 131 is the entire projection screen 110. Further, in the present embodiment, the camera unit 131 captures an image of a finger or an indicator that the user is operating on the image projected on the projection screen 110 via the transmissive projection screen 110. It is aimed.
  • the image processing unit 132 performs correction processing for the color and gradation of the captured image, and performs image processing such as compression of the image data for the image data captured by the camera unit 131.
  • the camera control unit 133 controls the image processing unit 132 and controls exchange of image data with the control unit 140.
  • the image processing unit 132 may be provided in the control unit 140 instead of the imaging unit 130.
  • the imaging unit 130 has a function of focusing.
  • the camera control unit 133 includes an autofocus control unit 133a.
  • the autofocus control unit 133a adjusts (controls) the camera unit 131 so that the projection screen 110 is in focus.
  • the autofocus control unit 133a performs the camera operation when the imaging operation starts. Focusing processing is performed so that the focus is on a position away from the portion 131 by the predetermined distance.
  • the autofocus control unit 133a adjusts so as to focus within a range from the projection screen 110 to a position separated by a predetermined distance back and forth along the vertical direction.
  • the focus range is limited to a narrow range.
  • a case is considered in which the autofocus control unit 133a adjusts so as to focus within a range from the projection screen 110 to the front and rear of 10 mm along the vertical direction.
  • the imaging unit 130 images the subject in focus.
  • the subject is located farther from the projection screen 110 than the depth of field, the subject cannot be imaged in focus.
  • an auto-focus method an active method in which a subject is irradiated with infrared rays or ultrasonic waves, and the distance is detected by the time until the reflected wave returns and the irradiation angle, or an image captured by the lens of the camera unit 131 is used.
  • a passive method such as a phase difference detection method or a contrast detection method that performs distance measurement using the above-described method may be used.
  • Image data obtained by imaging with the imaging unit 130 is sent to the control unit 140 and stored in the storage unit 150 by the control unit 140.
  • the imaging unit 130 has a still image shooting function and a moving image shooting function, and the control unit 140 acquires still image data as image data or acquires moving image data as necessary. can do.
  • the control unit 140 controls the entire image projection apparatus 100.
  • the control unit 140 controls the projection unit 120 in order to project the screen onto the projection screen 110 or controls imaging by the imaging unit 130.
  • the control unit 140 includes a display control unit 141, a reference data generation unit 142, an image data extraction unit 143, a position data generation unit 144, an operation determination unit 145, An input control unit 146.
  • the display control unit 141 controls the liquid crystal display unit 20 and the projection unit 120. Specifically, when the user performs a touch operation on the liquid crystal display unit 20, the display control unit 141 recognizes the content of the instruction by the touch operation based on the contact position information sent from the touch panel 30. At this time, if the content of the recognized instruction is an instruction to display a predetermined screen on the liquid crystal display unit 20, the display control unit 141 controls the liquid crystal display unit 20 to display the screen on the liquid crystal display unit 20. Let If the recognized instruction content is an instruction to display a predetermined screen image on the projection screen 110, the display control unit 141 controls the projection unit 120 to display the screen image on the projection screen 110. .
  • the display control unit 141 performs a process of adjusting the image so that the image is clearly displayed on the projection screen 110 when the projection unit 120 starts the process of projecting the image.
  • the display control unit 141 controls the liquid crystal display unit 20 to display the same image as the image displayed on the projection screen 110 on the liquid crystal display unit 20. May be.
  • the reference data generation unit 142 generates reference data related to the image projected on the projection screen 110 based on the image data obtained by the imaging unit 130.
  • This reference data is data for specifying the position and size of an image in the imaging range.
  • the position data of the four corners of the outer frame 230 of the screen can be used as the reference data.
  • an XY coordinate system in which the left-right direction is the X-axis direction and the up-down direction Y-axis direction is set within the imaging range of the imaging unit 130.
  • the reference data generation unit 142 recognizes the position of the outer frame 230 on the screen based on the image data obtained by the imaging unit 130, and the data regarding the recognized position of the outer frame 230, that is, the outer frame 230 in the XY coordinate system.
  • the XY coordinates of the four corners are acquired as reference data.
  • the reference data generated by the reference data generation unit 142 is stored in the storage unit 150.
  • the reference data generation unit 142 can easily generate reference data regarding the position and size of the image.
  • the image data extraction unit 143 is image data in which there is a finger or an indicator that is operated by the user on the image projected on the projection screen 110 among the image data obtained by the imaging unit 130.
  • the image data in which the finger or the pointing tool is in focus is extracted.
  • a general image recognition method is used. Therefore, the image data extracted by the image data extraction unit 143 includes only image data in which the finger or the pointing tool exists in the vicinity of the projection screen 110.
  • the extracted image data is stored in the storage unit 150.
  • the image data extraction unit 143 generates data (time data) related to the time at which the image data was captured for each extracted image data, and associates the generated time data with the image data to store the data. 150.
  • processing is performed based on the image data extracted by the image data extraction unit 143.
  • the image data extraction unit 143 is captured via the projection screen 110 when the user performs an operation on the image from the surface side of the projection screen 110 with a finger or an indicator. Recognize the shape or shape and color corresponding to the finger or pointing tool from the image data, and the user selects the image data that has the recognized shape or shape and color for the image. It can be acquired as image data in which the operated finger or pointing tool exists. Further, when the shape or color of the finger or indicator changes on the projection screen 110 when the finger or indicator touches the projection screen 110, the image data extraction unit 143 displays the changed shape or color. The presence of a finger or an indicator may be determined by recognizing it.
  • the image data extraction unit 143 is an image captured through the projection screen 110 when the user performs an operation on the image by bringing a finger or an indicator into contact with the image from the surface side of the projection screen 110. Recognize the change in the shape of the finger or indicator, the change in color, or the change in shape and color from the data, the change in the shape of the recognized finger or indicator, the change in color, Or you may make it acquire the image data in which the change of a shape and a color exists as image data in which the finger
  • the pointing tool a tip whose tip is formed of a soft material and whose tip is easily deformed when touching the projection screen 110 can be used.
  • FIG. 5 schematically shows a finger portion whose shape or color has changed when the user touches the projection screen 110 with a finger.
  • the image data extraction unit 143 can determine that the finger is present when the shape or color of the changed finger part is recognized.
  • the image data extraction unit 143 determines whether or not the graphic is present in the image data, and determines that a finger or an indicator is present if the graphic is present. Since it is easier to recognize the graphic than the recognition of the finger itself, the process of determining the presence of the finger or the like can be performed easily and quickly.
  • rear projection screens are not only transparent but also translucent and milky white.
  • a translucent or milky white projection screen it is difficult to determine whether the finger or the indicator is in focus.
  • This problem can be dealt with by using the following method, for example. That is, when various projection screens such as translucent and milky white are used, at least one image in which the finger or the indicator is in contact with the projection screen is acquired in advance, and these images are used as the finger or the indicator. It is preset as an image that should be judged to be in focus.
  • the image data extraction unit 143 can accurately determine whether the finger or the pointing tool is in focus by comparing the actually captured image data with the preset image.
  • the image data extraction unit 143 performs a process of excluding data on the image currently projected on the projection screen 110 on the image data obtained by the imaging unit 130, and based on the processed image data.
  • the presence of the finger or the pointing tool may be determined. Thereby, the process which judges presence of a finger
  • the position data generation unit 144 generates position data that specifies the position of the finger or the pointing tool in the imaging range of the imaging unit 130 based on the image data extracted by the image data extraction unit 143. Specifically, the position data generation unit 144 is a position where the finger or the pointing tool exists in the XY coordinate system set within the imaging range (for example, the center position of the tip of the finger or the center position of the tip of the pointing tool). ) As XY coordinates. The acquired position data is stored in the storage unit 150 in association with the image data.
  • the operation determination unit 145 determines what kind of operation the operation by the finger or the pointing tool is based on the image data extracted by the image data extraction unit 143.
  • the image data extracted by the image data extraction unit 143 includes only the image data in which the finger or the pointing tool exists in the vicinity of the projection screen 110.
  • the operation determination unit 145 moves the finger or the pointing tool based on the position data and time data associated with each image data for a series of image data obtained in time series. The contents of the operation are determined by checking whether they are present.
  • the operation determination unit 145 determines that the finger or the pointing tool is performing a tap operation when image data in which the position of the finger or the pointing tool has hardly changed is extracted only for a short time. judge. In addition, after the image data in which the position of the finger or the pointing tool has hardly changed is extracted for a short time, and again after a certain period of time, the finger or the pointing tool exists again at substantially the same position. When the image data is extracted within a short time, it is determined that the finger or the pointing tool is performing a double tap operation. Further, when image data in which the position of the finger or the pointing tool hardly changes is extracted for a certain time or more, it is determined that the finger or the pointing tool is performing a long press operation.
  • the operation determination unit 145 determines the content of the operation with the finger or the pointing tool based on the image data extracted by the image data extraction unit 143, so that the content of the operation with the finger or the pointing tool is determined as a tap. It is possible to accurately recognize which operation is one of various operations such as an operation, a double tap operation, a long press operation, and a drag operation. Data relating to the recognized operation content of the finger or pointing tool is stored in the storage unit 150.
  • the imaging unit 130 is adjusted so that the projection screen 110 is focused within a range of 10 mm forward and backward along the vertical direction of the projection screen 110, so the user actually projects a finger or an indicator. Even without touching the screen 110, a tap operation or the like can be performed simply by positioning a finger or an indicator at a distance of about 10 mm from the projection screen 110. Since the image data extraction unit 143 extracts only image data in which the finger or the pointing tool exists within the range of about 10 mm from the projection screen 110, the operation determination unit 145 is extracted by the image data extraction unit 143. By determining the content of the operation with the finger or the pointing tool based on the obtained image data, the content of the operation can be accurately identified.
  • the image data extraction unit 143 makes the touch. It is possible to recognize a change in shape or color at the time and extract image data in which the recognized change in shape or color exists. In this case, since the user operates the projection screen 110 by touching the finger or the pointing tool, the user can perform the operation as if operating the existing touch panel, and the operation determination unit 145 displays the image data. By determining the content of the operation by the finger or the pointing tool based on the image data extracted by the extraction unit 143, the content of the operation can be accurately identified.
  • the input control unit 146 is based on the data regarding the content of the operation determined by the operation determination unit 145, the position data generated by the position data generation unit 144, and the reference data generated by the reference data generation unit 142.
  • the projection unit 120 is controlled to recognize the content of the input instruction corresponding to the operation with the finger or the pointing tool and project an image corresponding to the recognized content of the input instruction onto the projection screen 110.
  • the input control unit 146 selects the menu screen within the imaging range of the imaging unit 130 based on the reference data regarding the screen image.
  • the existing range can be recognized.
  • the input control unit 146 knows the configuration of the menu screen in advance, the input control unit 146 can recognize the position and range of each icon on the menu screen. Therefore, for example, when the user performs a double tap operation of an icon with a finger on the menu screen, the input control unit 146 determines in which icon region the finger position obtained from the finger position data is on the menu screen.
  • the input control unit 146 recognizes that the input instruction corresponding to the current operation is an input instruction to display a screen image related to the operated icon, and displays the screen image related to the icon. A process of displaying on the projection screen 110 is performed.
  • the input control unit 146 determines the imaging range of the imaging unit 130 based on the reference data regarding the image on the screen. The range in which the character input screen 200 exists can be recognized. In addition, since the input control unit 146 knows the configuration of the character input screen 200 in advance, the input control unit 146 can also recognize the range of the keyboard image 210 and the area of each character key image on the character input screen 200. Therefore, for example, when the user performs a tap operation on the character key image with the finger on the keyboard image 210, the input control unit 146 determines which character in the keyboard image 210 has the finger position obtained from the finger position data.
  • the operated character key By examining whether the area corresponds to the area of the key image, the operated character key can be identified, and by examining the contents of the operation, it can be identified that the operation is a tap operation. .
  • the input control unit 146 recognizes that the input instruction corresponding to the current operation is an input instruction of the character corresponding to the operated character key, and displays the image of the input instruction in the display area 220. Process to display.
  • the input control unit 146 recognizes that the user has performed a tap operation on the character key image and has received an instruction to input a character corresponding to the operated character key, the character input screen 200 is displayed. Among them, a process of displaying an image of a screen on which only the operated character key image is highlighted on the projection screen 110 may be performed. As a result, the user can easily confirm the character key operated by the user.
  • FIG. 6 shows an example of an image of the character input screen 200 on which the character key image is highlighted when the user taps the character key image.
  • the storage unit 150 stores various programs and data.
  • the programs stored in the storage unit 150 include, for example, a screen display processing program for performing screen display processing such as screen switching when an operation for selecting an icon is performed on a menu screen, and a character input screen.
  • a character input processing program for performing character input processing when an operation for selecting a character key is performed at 200 is included.
  • the data stored in the storage unit 150 includes, for example, image data for various screens. Further, the storage unit 150 is also used as a working memory.
  • FIG. 7 is a flowchart for explaining a procedure of input processing in the image projection apparatus 100 of the present embodiment.
  • the user for example, operates the touch panel 30 to instruct to display a predetermined screen image on the projection screen 110.
  • the control unit 140 controls the projection unit 120 to display an image of the screen on the projection screen 110 (S1).
  • the control unit 140 starts an imaging operation by the imaging unit 130 (S2).
  • the control unit 140 causes the camera control unit 133 to execute a focusing process (S3).
  • the autofocus control unit 133a of the camera control unit 133 is preliminarily received from the camera unit 131.
  • the camera unit 131 is controlled such that the camera is in focus at a position that is a predetermined distance away.
  • this focusing process can be performed by another method.
  • the projection screen 110 itself is provided with an infrared reflection coating, a frame is provided on the projection screen 110, or reflection portions are provided at the four corners of the projection screen 110, the camera control unit 133 can perform the autofocus function.
  • the distance to the projection screen 110 is detected, and the camera unit 131 can be controlled so that the focus is at a position separated by the detected distance.
  • a reflection part may be provided on the screen installation table 160.
  • the display control unit 141 controls the projection unit 120 to perform a projection image adjustment process so that the image is clearly displayed on the projection screen 110 (S4). Specifically, in the projection image adjustment process, the display control unit 141 determines whether the currently displayed image appears clearly in the image data based on the image data captured by the imaging unit 131. . If the currently displayed image appears clearly, it is recognized that the image is clearly displayed on the projection screen 110. Further, the display control unit 141 performs projection based on the distance information to the projection screen 110 obtained using the autofocus function of the imaging unit 130 and the image data of the projection screen 110 captured by the imaging unit 130. It is also possible to recognize the positional relationship between the unit 120 and the projection screen 110 and control the projection unit 120 to project an image on the projection screen 110 with a size, shape, angle, etc. according to the recognized positional relationship. .
  • the user gives an input instruction to the computer main body 10, so that the screen image projected on the projection screen 110 is viewed from the surface side of the projection screen 110.
  • a predetermined operation is performed with a finger or an indicator.
  • the user's operation is imaged by the imaging unit 130 via the projection screen 110, and the obtained image data is sent to the image processing unit 132.
  • the image processing unit 132 performs predetermined image processing on the image data (S5), and the image data subjected to the image processing is sent to the control unit 140.
  • the reference data generation unit 142 generates reference data related to the image of the screen projected on the projection screen 110 based on the image data obtained by the imaging unit 130 (S6). Specifically, the reference data generation unit 142 acquires the position data (XY coordinates) of the four corners of the outer frame 230 of the screen as shown in FIG. 4, and uses the acquired position data of the four corners of the outer frame 230 as the reference data. To do. This reference data is temporarily stored in the storage unit 150.
  • the image data extraction unit 143 includes a finger or an indicator that has been operated by the user on the screen image projected on the projection screen 110 from the image data obtained by the imaging unit 130.
  • Image data that is in focus and that is in focus with the finger or pointing tool is extracted (S7). Thereby, only the image data in which the finger or the pointing tool exists in the vicinity of the projection screen 110 is acquired.
  • the extracted image data is temporarily stored in the storage unit 150.
  • the image data extraction unit 143 generates time data regarding the time at which the image data was captured for the extracted image data, and stores the generated time data in the storage unit 150 in association with the image data.
  • the position data generation unit 144 positions the finger or the pointing tool based on the image data extracted by the image data extraction unit 143 (for example, the center position of the tip of the finger or the center position of the tip of the pointing tool).
  • the position data (XY coordinates) for specifying is generated (S8).
  • the generated position data is temporarily stored in the storage unit 150 in association with the image data.
  • the operation determination unit 145 determines what kind of operation the operation by the finger or the pointing tool is based on the image data extracted by the image data extraction unit 143 (S9). For example, the operation determination unit 145 determines the operation content of a plurality of image data extracted by the image data extraction unit 143 using position data and time data associated with each image data. Data regarding the recognized contents of the operation with the finger or the pointing tool is temporarily stored in the storage unit 150.
  • the input control unit 146 includes data relating to the content of the operation determined by the operation determination unit 145, position data generated by the position data generation unit 144, and reference data generated by the reference data generation unit 142. Based on this, the content of the input instruction corresponding to the operation with the finger or the pointing tool is recognized (S10), and the projection unit 120 is configured to project the screen image corresponding to the recognized content of the input instruction onto the projection screen 110. Control (S11).
  • the input control unit 146 can identify the icon that is the operation target based on the position data of the finger, Since the operation can be specified based on the data related to the content of the operation, the input instruction corresponding to the current operation is recognized as an input instruction to display a screen related to the operated icon. Can do.
  • the input control unit 146 can specify the character key operated based on the finger position data,
  • the input instruction corresponding to the current operation can be recognized as the input instruction of the character corresponding to the operated character key. it can.
  • step S11 the control unit 140 determines whether an instruction to end image projection is received from the user (S12). If an instruction to end the image projection is received, the input process shown in FIG. 5 ends. On the other hand, if an instruction to end the image projection has not been received, the process proceeds to step S5 and the input process is continued. Note that the user can give an instruction to end the image projection by touching the touch pad 30 or the projection screen 110, for example.
  • the imaging unit has a function of focusing, and the image data extraction unit applies the image projected by the user to the projection screen among the image data obtained by the imaging unit.
  • image data in which a finger or pointing tool that has been operated is present and image data in which the finger or pointing tool is in focus is extracted.
  • the image data extracted by the image data extraction unit may be a finger or an instruction.
  • the operation determination unit determines the content of the operation by the finger or the pointing tool based on the image data extracted by the image data extraction unit. Thus, the contents of the operation can be accurately identified.
  • the input control unit includes data related to the content of the operation by the finger or pointing tool obtained by the operation determining unit, position data of the finger or pointing tool generated by the position data generating unit, and reference data Based on the reference data generated by the generation unit, the content of the input instruction corresponding to the operation by the finger or the pointing tool is recognized, and an image corresponding to the content of the recognized input instruction is projected on the projection screen. Control the projection unit. Therefore, when the user performs various touch operations on the image projected on the projection screen, the image projection apparatus according to the present embodiment can accurately recognize an input instruction corresponding to the touch operation.
  • FIG. 8 shows a schematic configuration diagram of a computer terminal 1a including a front projection type image projection apparatus 100a which is a modification of the present invention.
  • the front projection type image projection apparatus 100a also has a projection screen 1100, a projection unit 120, an imaging unit 130, and a control unit (not shown) as shown in FIG. ), A storage unit (not shown), and a screen installation base (not shown).
  • the projection screen 1100 a front projection screen for displaying an image by irradiating projection light from the surface side is used.
  • the front projection screen is mainly classified into three types: a diffusion screen, a reflection screen, and a regression screen.
  • the diffusing screen has the property that incident light is diffusely reflected in all directions, and has a feature that the viewing angle is very wide.
  • the reflective screen has the property that incident light is reflected at the same reflection angle as the incident angle, and the regressive screen has the property that the reflected light returns in the same direction as the incident light.
  • the projection unit 120 projects an image from the surface of the projection screen 1100, and the imaging unit 130 captures an image from the surface side of the projection screen 1100 and acquires image data.
  • control unit in the image projection apparatus 100a of this modification example is similar to the control unit in the image projection apparatus 100 of the above-described embodiment, and includes a display control unit, a reference data generation unit, an image data extraction unit, and an operation determination unit. And a position data generation unit and an input control unit. These units are the same as those in the image projection apparatus 100 of the above-described embodiment except that the projection unit 120, the imaging unit 130, and the screen installation base are arranged on the surface side of the projection screen 1100.
  • the imaging unit 130 is operated by the projection screen.
  • the state of the operation is imaged from the surface side of 1100.
  • the imaging unit 130 is adjusted so as to be in focus within a range from the projection screen 110 to the front and rear of 15 mm along the vertical direction.
  • the input control unit includes data related to the operation content of the finger or pointing tool obtained by the operation determining unit, position data of the finger or pointing tool generated by the position data generating unit, and a storage unit
  • the content of the input instruction corresponding to the operation by the finger or the pointing tool is recognized based on the reference data for the screen stored in the screen, and an image corresponding to the recognized content of the input instruction is projected on the projection screen 1100.
  • the projection unit 120 is controlled.
  • the image data obtained by the imaging unit 130 includes image data having a content in which a part of the image projected on the projection screen 1100 is hidden by a finger or a pointing tool. It is also possible to recognize the operation performed with the finger or the pointing tool by superimposing the image currently projected on the projection screen 1100 on the image data with the content hidden.
  • the image projection apparatus includes one projection unit.
  • the image projection apparatus may include a plurality of projection units. In this case, it is possible to divide and project one screen on the projection screen using a plurality of projection units.
  • the projection unit may project an image in which blue light or the like is reduced by reducing the amount of blue or purple light onto the projection screen. Thereby, a user-friendly image can be displayed.
  • the image projection apparatus includes one imaging unit, but the image projection apparatus may include a plurality of imaging units.
  • the projection screen is a single piece of a hard type.
  • the projection screen may be a folding screen, a roll-up screen, or the like. May be.
  • a laser pointer that emits laser light may be used as the pointing tool.
  • the operation of turning on the laser beam twice is a double tap operation
  • the operation of moving the laser beam at a predetermined speed or less with the laser beam on is the scrolling operation
  • the operation of moving the laser beam at a predetermined speed or more with the laser beam on is a flick operation Is determined such that an operation of moving the laser light after turning it on a predetermined number of times means a drag operation.
  • the image data extraction unit is obtained by the imaging unit when the user operates the image projected on the projection screen by irradiating the projection screen with laser light from the laser pointer.
  • the shape and / or color of the laser beam from the laser pointer is recognized from the image data, and the user manipulates the image data that has the recognized shape and / or color of the laser beam on the image. It is acquired as image data in which the finger or the pointing tool that has been performed exists.
  • the recognition of the color of the laser beam for example, the frequency of the color of the laser beam may be preset, and the image data extraction unit may consider that the laser beam exists when the preset color is recognized.
  • the cross-sectional shape of the laser light emitted from the laser pointer is not limited to a circle, but may be a star shape, a cross shape, a triangle, or the like. Thereby, the image data extraction unit can easily perform the process of determining the presence of the pointing tool.
  • the projection unit and the imaging unit are provided in the casing of the computer main body.
  • the projection unit and the imaging unit are not included in the casing of the computer main body. You may make it provide in the housing
  • the housing provided with the projection unit and the imaging unit and the housing of the computer main body are respectively provided with a communication unit and a communication control unit, so that the projection unit, the imaging unit, and the control unit Data communication can be performed wirelessly.
  • the projecting unit and / or the imaging unit may be provided in a housing different from the housing in which the control unit is provided.
  • each image projected onto the projection screen by the projection unit has been described.
  • the frame does not necessarily have to be drawn.
  • predetermined marks may be drawn at the four corners of each image projected onto the projection screen by the projection unit.
  • the reference data generation unit recognizes the position of the mark of the image in the imaging range based on the image data obtained by the imaging unit, and uses the data regarding the recognized mark position as the reference data.
  • the screen installation table and the liquid crystal display unit can be omitted.
  • the modification shown in FIG. in the case where the imaging unit is adjusted so that the focus is within the range of 15 mm forward and backward along the vertical direction, the range of focus is 10 mm or 15 mm forward and backward along the vertical direction from the projection screen.
  • the range of focus is 10 mm or 15 mm forward and backward along the vertical direction from the projection screen.
  • it may be a range from the projection screen to the front and rear along the vertical direction up to about 50 mm.
  • the imaging unit is adjusted so as to focus within a range from the projection screen to a position separated by a predetermined distance back and forth along the vertical direction.
  • a predetermined distance is small, the identification accuracy of the operation content is improved, but on the other hand, the operation is difficult for the user.
  • the predetermined distance is large, the operability for the user is improved, but the identification accuracy of the operation content is lowered.
  • the predetermined distance is about 5 to 25 mm in the case of a rear projection type image projection apparatus, and the front projection type image projection is performed. In the case of an apparatus, it is desirable that the distance is about 10 mm to 50 mm.
  • the image data extraction unit is an image in which a finger or an indicator operating the projection screen is present. It is necessary to extract image data that is in focus on the surface of the finger or pointing tool on the side facing the projection screen.
  • the predetermined distance is preferably about 5 mm to 25 mm.
  • the image data extraction unit since the imaging unit captures an image from the surface side of the projection screen, the image data extraction unit has a finger or an indicator operating the projection screen. It is necessary to extract image data that is in focus and that is in focus on the surface of the finger or pointing tool on the side opposite to the side facing the projection screen.
  • the predetermined distance may be about 10 mm to 40 mm considering that the thickness of the finger at the nail portion of the index finger is about 5 mm to 15 mm.
  • the predetermined distance is about 50 mm.
  • the predetermined distance is the same for both the rear projection type image projection device and the front projection type image projection device. It is desirable that it is about 100 mm.
  • the imaging unit is adjusted so as to focus within a range from the projection screen to a position separated by a predetermined distance back and forth along the vertical direction.
  • the center of the in-focus range is not necessarily on the projection screen.
  • a position separated by a distance x / 2 from the projection screen to the rear side along the vertical direction is set as the center of the in-focus range, and from the center to the vertical direction of the projection screen.
  • the imaging unit may be adjusted so that it is focused within a range up to a position separated by a distance x / 2 back and forth.
  • the in-focus range is a range from the projection screen to the position separated by the distance x on the rear side along the vertical direction.
  • a position separated by a distance x / 2 in the vertical direction from the projection screen in the vertical direction is set as the center of the in-focus range, and from the center along the vertical direction of the projection screen.
  • the imaging unit may be adjusted so that it is focused within a range up to a position separated by a distance x / 2 back and forth.
  • the in-focus range is a range from the projection screen to the position separated by the distance x in the front direction along the vertical direction.
  • the image projection apparatus of the present invention can be incorporated into various devices.
  • the image projection apparatus of the present invention can be provided in a mobile terminal such as a smartphone or a mobile phone, a wristwatch, an automobile, a television, or the like.
  • FIG. 9A is a schematic perspective view of a smartphone provided with the image projection apparatus of the present invention
  • FIG. 9B is a schematic side view of the smartphone.
  • the projection unit 120 and the imaging unit 130 are provided adjacent to the upper end of the smartphone 300 as shown in FIG. It attaches to the lower part of the smart phone 300 in the state inclined as shown to 9 (b).
  • the projection screen 110 is a rear projection screen for displaying an image by irradiating projection light from the back side thereof.
  • the control unit and the storage unit of the image projection apparatus of the present invention are built in the smartphone 300.
  • the projection unit 120 displays an image of the menu screen from the back side of the projection screen 110
  • the user performs an input instruction by operating the menu screen from the front side of the projection screen 110 with a finger or an indicator. .
  • FIG. 10A is a schematic perspective view of a wristwatch provided with the image projection apparatus of the present invention
  • FIG. 10B is a diagram showing a state when a projection screen is installed in the wristwatch.
  • the main body of the wristwatch 400 is displayed, and the watch band is omitted.
  • a wristwatch 400 to which the image projection apparatus of the present invention is applied has a function as an information terminal.
  • the control unit and storage unit of the image projection apparatus of the present invention are built in the wristwatch 400.
  • the projection unit 120 and the imaging unit 130 are provided at the upper end of the surface of the wristwatch 400 as shown in FIG.
  • the projection screen 110 a is of a roll type and is stored in the screen storage unit 170.
  • the screen storage 170 is provided at the left end of the wristwatch 400.
  • Hooks 180 and 180 for hooking the projection screen 110a are provided at the right end of the wristwatch 400.
  • the user pulls out the projection screen 110a from the screen storage unit 170 and hooks it on the hooks 180 and 180, thereby projecting the projection screen 110a.
  • the projection unit 120 displays an image of the menu screen from the back surface of the projection screen 110a, the user performs an input instruction by operating the menu screen from the front side of the projection screen 110a with a finger or an indicator. .
  • a projection unit, an imaging unit, a control unit, and a storage unit in the image projection apparatus of the present invention are built in an engine room of an automobile, and a screen projected by the projection unit is projected onto a vehicle body windshield (projection screen).
  • a method of projecting a screen projected by a projection unit onto a control panel (projection screen) by incorporating a projection unit, an imaging unit, a control unit, and a storage unit in an automobile dashboard in the image projection apparatus of the present invention can be considered.
  • the image projection apparatus of the present invention is used as a rear projection type image projection apparatus.
  • FIG. 11A shows an example of an automobile provided with the rear projection type image projection apparatus of the present invention.
  • the projection unit, the imaging unit, the control unit, and the storage unit in the image projection apparatus of the present invention are built in a dashboard unit or an indoor ceiling unit of an automobile, and a screen projected by the projection unit is a vehicle body windshield (projection screen).
  • a method of projecting is conceivable.
  • the image projection apparatus of the present invention is used as a front projection type image projection apparatus.
  • FIG. 11B shows an example of an automobile provided with the front projection type image projection apparatus of the present invention.
  • FIG. 12 shows an example of a desk 500 provided with the image projection apparatus of the present invention.
  • the projection screen 110 is provided on the top plate 510 of the desk 500, and the projection unit, the imaging unit, the control unit, and the storage unit are disposed below the top plate 510.
  • FIG. 13 shows an example of a compact mirror 600 provided with the image projection apparatus of the present invention.
  • 13A is a schematic perspective view of the compact mirror when the mirror is used
  • FIG. 13B is a schematic side view of the compact mirror when the mirror is used
  • FIG. 13C is a diagram of the compact mirror when the image is projected.
  • FIG. 13D is a schematic perspective view
  • FIG. 13D is a schematic side view of the compact mirror at the time of image projection.
  • the compact mirror 600 has a function as an information terminal and includes an upper lid 610, a lower lid 620, a mirror 630, and the image projection apparatus of the present invention, as shown in FIG.
  • the projection unit 120, the imaging unit 130, the control unit, and the storage unit of the image projection apparatus of the present invention are built in the upper lid 610.
  • the projection screen 110 is disposed on the back side of the mirror 630.
  • the image projection apparatus of the present invention can be used by tilting the mirror 630 forward and separating the projection screen 110 from the upper lid 610.
  • the imaging unit has a function of focusing
  • the image data extraction unit is configured such that, among the image data obtained by the imaging unit, the user applies to the projection screen.
  • Image data in which a finger or pointing tool that has performed an operation on the projected image is present and the finger or pointing tool is in focus is extracted. For this reason, for example, if the imaging unit is adjusted so as to focus within a range that is a certain short distance back and forth along the vertical direction from the projection screen, it is extracted by the image data extraction unit.
  • the operation determination unit performs the finger or instruction based on the image data extracted by the image data extracting unit. By determining the content of the operation by the tool, the content of the operation can be accurately identified. Therefore, the image projection apparatus of the present invention is suitable for use in various devices such as computer terminals, portable terminals, watches, automobiles, and televisions, machines or tools.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

使用者が投影スクリーンに投影される画像に対して各種のタッチ操作を行ったときにそのタッチ操作の内容を正確に識別することができる画像投影装置を提供する。撮像部１３０は投影スクリーンにピントが合うように調整されている。画像データ抽出部１４３は、撮像部１３０によって得られた画像データのうち、指等が存在している画像データであってその指等にピントが合っている画像データを抽出する。操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指等による操作の内容を判定する。入力制御部１４６は、当該指等による操作の内容に関するデータと、当該指等の位置データと、投影スクリーンに投影された画像の位置及び大きさを特定する基準データとに基づいて、当該指等による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて投影部１２０を制御する。

Description

画像投影装置
　本発明は、使用者が投影スクリーンに投影された画像に対してタッチ操作を行うことにより入力指示を行う画像投影装置に関するものである。
　現在、プロジェクタに関し、使用者が投影スクリーンに投影された画像に対してタッチ操作を行ったときにそのタッチ操作を検出するさまざまな技術が提案されている（例えば、特許文献１参照。また、この特許文献１に記載されている従来技術を参照。）。この特許文献１に記載された技術では、投影スクリーン上の投影画像をプロジェクタの近傍に設置されたカメラで撮影し、プロジェクタから投影している投影画像の原画像とカメラからの撮影画像との差異を評価し、投影画像上のタッチ領域に相当する撮影画像上のタッチ領域において手指の影の領域と手指の領域との面積比を求め、面積比が所定値よりも小さくなったときにタッチ領域に手がタッチされたと判定している。
特開２０１１－１１８５３３号公報
　ところで、タッチ操作には、タップ操作、ダブルタップ操作、長押し操作（ロングタップ）、ドラッグ操作、フリック操作、スクロール操作等の各種の操作が含まれる。上記特許文献１に記載された技術では、これら各種の操作を正確に判定することができないという問題がある。例えば、使用者は、ダブルタップ操作を行う際に、指があまり投影スクリーンから離れないようにして指で画像に二回触れるが、上記特許文献１に記載された技術では、手指の影の領域と手指の領域との面積比が所定値よりも小さくなったときにタッチ領域に手がタッチされたと判定しているため、ダブルタップ操作について指が画像に二回触れたのか画像にずっと触れているのかを明確に識別することは困難である。
　本発明は上記事情に基づいてなされたものであり、使用者が投影スクリーンに投影される画像に対して各種のタッチ操作を行ったときにそのタッチ操作の内容を正確に識別することができる画像投影装置を提供することを目的とするものである。
　上記の目的を達成するための本発明に係る画像投影装置は、投影スクリーンと、所定の画像を投影スクリーンに投影して表示する投影部と、ピントを合わせる機能を有し、投影スクリーンに投影された画像を撮像して画像データを取得する撮像部と、撮像部によって得られた画像データに基づいてその撮像範囲における、投影スクリーンに投影された画像の位置及び大きさを特定する基準データを生成する基準データ生成部と、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する画像データ抽出部と、画像データ抽出部によって抽出された画像データに基づいてその撮像範囲における当該指又は指示部の位置を特定する位置データを生成する位置データ生成部と、画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定する操作判定部と、操作判定部によって判定された操作の内容と位置データ生成部によって生成された位置データと基準データ生成部によって生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するように投影部を制御する入力制御部と、を具備することを特徴とするものである。ここで、撮像部は、投影スクリーンからその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように調整されていることが望ましい。
　本発明の画像投影装置では、撮像部がピントを合わせる機能を有しており、画像データ抽出部は、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。このため、例えば投影スクリーンからその垂直方向に沿って前後に一定の短い距離だけ離れた位置までの範囲内にピントが合うように撮像部を調整しておけば、画像データ抽出部によって抽出される画像データには、指又は指示具が投影スクリーンの近傍に存在している画像データだけが含まれるので、操作判定部は、その画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。そして、入力制御部は、操作判定部で判定して得られた当該指又は指示具による操作の内容と、位置データ生成部で生成された当該指又は指示具の位置データと、基準データ生成部で生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するように投影部を制御する。したがって、使用者が投影スクリーンに投影された画像に対して各種のタッチ操作を行ったときに、本発明の画像投影装置はそのタッチ操作に応じた入力指示を正確に認識することができる。
　また、本発明に係る画像投影装置において、投影スクリーンに投影される各画像には枠が描かれ若しくは投影スクリーンに投影される各画像の四隅には所定のマークが描かれており、基準データ生成部は、撮像部によって得られた画像データに基づいてその撮像範囲における当該画像の枠又はマークの位置を認識し、その認識した枠又はマークの位置に関するデータを基準データとするようにしてもよい。このように枠又はマークを有する画像を投影スクリーンに投影することにより、基準データ生成部は、その画像の位置及び大きさに関する基準データを容易に生成することができる。
　また、本発明に係る画像投影装置において、投影スクリーンはその裏面側から投影光を照射することにより画像を表示するためのものであり、投影部は投影スクリーンの裏面から画像を投影し、撮像部は投影スクリーンの裏面側から画像を撮像して画像データを取得するようにしてもよい。この場合、画像データ抽出部は、使用者が指又は指示具で投影スクリーンの表面側から画像に対して操作を行ったときに、投影スクリーンを介して撮像された画像データの中から、その指又は指示具に対応する形状、又は形状及び色を認識し、その認識した形状、又は形状及び色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得することが望ましい。また、本発明に係る画像投影装置において、投影スクリーンはその表面側から投影光を照射することにより画像を表示するためのものであってもよく、この場合、投影部は投影スクリーンの表面から画像を投影し、撮像部は投影スクリーンの表面側から画像を撮像して画像データを取得する。
　また、本発明に係る画像投影装置において、指示具としてレーザ光を発するレーザポインタを用いる場合、画像データ抽出部は、使用者がレーザポインタからのレーザ光を投影スクリーンに照射することにより投影スクリーンに投影された画像に対して操作を行ったときに、撮像部によって得られた画像データの中から、レーザポインタからのレーザ光の形状及び／又は色を認識し、その認識したレーザ光の形状及び／又は色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得するようにしてもよい。これにより、指示具としてレーザポインタを用いた場合でも、画像投影装置は使用者からの入力指示を正確に認識することができる。
　更に、本発明に係る画像投影装置は、投影スクリーンと投影部との間の距離及び投影スクリーンと撮像部との間の距離がそれぞれ略一定に保持されるように投影スクリーンを取り付けるためのスクリーン設置台を更に備えることが望ましい。このようなスクリーン設置台を用いることにより、使用者は投影スクリーンと投影部との位置関係及び投影スクリーンと撮像部との位置関係を簡単に設定することができる。
　本発明に係る画像投影装置によれば、使用者が投影スクリーンに投影される画像に対して各種のタッチ操作を行ったときにそのタッチ操作に応じた入力指示を正確に認識することができる。
図１は本発明の一実施形態である画像投影装置を備えるコンピュータ端末の概略構成図である。 図２は本実施形態の画像投影装置を備えるコンピュータ端末の概略ブロック図である。 図３（ａ）はスクリーン設置台の概略斜視図、図３（ｂ）はそのスクリーン設置台を折り畳むときの様子を示す概略側面図、図３（ｃ）は折り畳まれた状態のスクリーン設置台の概略平面図である。 図４は文字入力画面の画像の一例を示す図である。 図５は使用者が投影スクリーンに指を接触させたときに形状又は色が変わった指の部位を模式的に示す図である。 図６は使用者が文字キー画像をタップ操作した場合にその文字キー画像が強調表示された文字入力画面の画像の一例を示す図である。 図７は本実施形態の画像投影装置における入力の処理の手順を説明するためのフローチャートである。 図８は本発明の変形例であるフロントプロジェクション型の画像投影装置を備えるコンピュータ端末の概略構成図である。 図９（ａ）は本発明の画像投影装置が設けられたスマートフォンの概略斜視図、図９（ｂ）はそのスマートフォンの概略側面図である。 図１０（ａ）は本発明の画像投影装置が設けられた腕時計の概略斜視図、図１０（ｂ）はその腕時計において投影スクリーンを設置したときの様子を示す図である。 図１１（ａ）は本発明のリアプロジェクション型の画像投影装置が設けられた自動車の例を示す図、図１１（ｂ）は本発明のフロントプロジェクション型の画像投影装置が設けられた自動車の例を示す図である。 図１２は本発明の画像投影装置が設けられた机の例を示す図である。 図１３は本発明の画像投影装置が設けられたコンパクトミラーの例を示す図である。
　以下に、図面を参照して、本願に係る発明を実施するための形態について説明する。図１は本発明の一実施形態である画像投影装置を備えるコンピュータ端末の概略構成図、図２は本実施形態の画像投影装置を備えるコンピュータ端末の概略ブロック図である。
　本発明の画像投影装置は、使用者が自分の指又は指示具を用いて投影スクリーンに投影された画像に対してタッチ操作を行ったときに、その操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するものである。特に、本実施形態では、この画像投影装置を、コンピュータ端末に組み込んだ場合について説明する。このコンピュータ端末１は、図１及び図２に示すように、コンピュータ本体１０と、液晶表示部２０と、タッチパネル３０と、本実施形態の画像投影装置１００とを有する。液晶表示部２０は、コンピュータ本体１０の筐体の上面に設けられている。液晶表示部２０の画面にはタッチパネル３０が設けられている。このタッチパネル３０には、液晶表示部２０の画面に対して接触操作が行われたときにその接触した位置を検知し、その検知した位置を示す接触位置情報をコンピュータ本体１０に出力する位置検知部（不図示）が備えられている。液晶表示部２０の画面上には、メニュー画面、アプリケーション画面、文字入力画面等の各種の画面が表示される。尚、液晶表示部２０の代わりに、液晶以外の（タッチパネル）ディスプレイを用いてもよい。
　本実施形態の画像投影装置１００は、コンピュータ端末１における表示装置及び入力装置としての役割を果たす。ここで、この画像投影装置１００としては、画像を投影スクリーンの裏面側から投影するリアプロジェクション型のものを用いている。画像投影装置１００は、図１及び図２に示すように、投影スクリーン１１０と、投影部１２０と、撮像部１３０と、制御部１４０と、記憶部１５０と、スクリーン設置台１６０とを備える。投影部１２０、撮像部１３０、制御部１４０及び記憶部１５０は、コンピュータ本体１０の筐体内に設けられている。制御部１４０は、画像投影装置１００を制御するものであるが、本実施形態では、コンピュータ端末１の全体の制御をも行う。すなわち、制御部１４０は、コンピュータ本体１０の制御部としての役割も果たす。尚、画像投影装置１００を制御する制御部とコンピュータ本体１０の制御部とは別個に設けるようにしてもよい。
　投影スクリーン１１０としては、透過型スクリーン、すなわち、その裏面側から投影光を照射することにより画像を表示するためのリアプロジェクションスクリーンを用いている。この投影スクリーン１１０はハードタイプの一枚物であり、スクリーン設置台１６０に固定されている。本実施形態では、スクリーン設置台１６０として折り畳み式のものを用いている。図３（ａ）はスクリーン設置台１６０の概略斜視図、図３（ｂ）はそのスクリーン設置台１６０を折り畳むときの様子を示す概略側面図、図３（ｃ）は折り畳まれた状態のスクリーン設置台１６０の概略平面図である。
　スクリーン設置台１６０は、投影スクリーン１１０及びコンピュータ本体１０が所定の位置関係で配置されるように投影スクリーン１１０及びコンピュータ本体１０を設置するためのものである。このスクリーン設置台１６０は、図３に示すように、二つのベース部１６１ａ，１６１ｂと、二つのポール部１６２，１６２とを備える。ここで、図３には、投影スクリーン１１０だけが設置されたスクリーン設置台１６０を示している。各ベース部１６１ａ，１６１ｂは略長方形状の板状部材であり、二つのベース部１６１ａ，１６１ｂは折り畳み可能に連結されている。また、一方のベース部１６１ａにおいて、他方のベース部１６１ｂと連結されている側と反対側の端部には、二つのポール部１６２，１６２が取り付けられている。各ポール部１６２，１６２は棒状部材であり、対向する側面にはその中心軸に沿って溝が形成されている。投影スクリーン１１０は、二つのポール部１６２，１６２の溝の間に挿入することによりスクリーン設置台１６０に取り付けられる。また、他方のベース部１６１ｂには、図１に示すように、コンピュータ本体１０が載置される。本実施形態では、図３（ａ）に示すように、ベース部１６１ｂの表面の所定箇所に凹部１６３を形成している。この凹部１６３はコンピュータ本体１０を設置する場所を示す目印として利用される。このため、使用者は投影スクリーン１１０を二つのポール部１６２，１６２の間に取り付け、コンピュータ本体１０をベース部１６１ｂの凹部１６３の上に配置するだけで、投影スクリーン１１０と投影部１２０との間の距離及び投影スクリーン１１０と撮像部１３０との間の距離がそれぞれ略一定になるように投影スクリーン１１０とコンピュータ本体１０との位置関係を簡単に設定することができる。また、図３（ｂ）に示すように二つのベース部１６１ａ，１６１ｂを折り畳むことにより、図３（ｃ）に示すようにスクリーン設置台１６０をフラットな状態にすることができる。
　投影部１２０は、所定の画面の画像を投影スクリーン１１０の裏面側から投影スクリーン１１０に投影して表示するものである。本実施形態では、投影スクリーン１１０は、コンピュータ端末１の表示装置としての役割を果たす。このため、投影スクリーン１１０には、各種のアイコンが表示されたメニュー画面や操作画面、文字を入力するための文字入力画面等、各種の画面についての画像が表示される。図４は文字入力画面の画像の一例を示す図である。図４に示すように、文字入力画面２００は、キーボード画像２１０と、入力した文字等を表示するための表示領域２２０とを有する。キーボード画像２１０には、各文字（記号を含む）と対応付けられた複数の文字キー画像と、特定の機能が付与された複数の機能キー画像とが設けられている。また、投影部１２０によって投影スクリーン１１０に投影される各画面の画像には、枠が描かれている。例えば、図４に示す文字入力画面２００の画像は、キーボード画像２１０及び表示領域２２０を囲む長方形の外枠２３０を含んでいる。
　本実施形態では、使用者は投影スクリーン１１０に投影された画面の画像に対して指又は指示具で所定の操作を行うことにより、各種の指示を制御部１４０に与えることができる。ここで、指示具としては例えば指示棒が用いられる。具体的に、使用者は、投影スクリーン１１０の表面側から投影スクリーン１１０に投影された画面の画像に指又は指示具を接触させて所定の操作を行うことにより、又は投影スクリーン１１０の表面側から投影スクリーン１１０に投影された画面の画像の近傍において指又は指示具を当該画像に接触させることなく所定の操作を行うことにより、指示を与える。そして、制御部１４０は、その指示の内容を認識し、その認識した指示の内容に応じた画面の画像を投影スクリーン１１０に投影するように投影部１２０を制御する。ここで、投影スクリーン１１０に投影された画面の画像に対する操作には、通常のタッチパネルに対して行われるタッチ操作、すなわち、タップ操作、ダブルタップ操作、長押し操作（ロングタップ）、ドラッグ操作、フリック操作、スクロール操作等の各種の操作が含まれる。尚、ここに挙げた本実施形態における各操作は、指等を画像に接触させて操作が行われるかどうかとは関係なく、通常のタッチパネルに対して行われるタッチ操作に対応する操作を意味している。
　撮像部１３０は、投影スクリーン１１０に投影された画像を撮像して画像データを取得するものであり、図２に示すように、カメラ部１３１と、画像処理部１３２と、カメラ制御部１３３とを備える。カメラ部１３１はレンズや撮像素子を有するものである。このカメラ部１３１は、図１に示すように、投影スクリーン１１０をその裏面側から撮像する。カメラ部１３１が撮像することができる範囲（撮像範囲）は、投影スクリーン１１０の全体である。また、本実施形態では、カメラ部１３１は、使用者が投影スクリーン１１０に投影された画像に対して操作を行っている指又は指示具を、透過型の投影スクリーン１１０を介して撮像することを目的としている。画像処理部１３２は、カメラ部１３１が撮像した画像データについてその撮像した画像の色や階調の補正処理を行ったり、画像データの圧縮等の画像処理を行ったりするものである。カメラ制御部１３３は、画像処理部１３２を制御したり、制御部１４０との間で画像データのやり取りを制御したりする。尚、本実施形態では、画像処理部１３２が撮像部１３０に設けられている場合について説明するが、画像処理部１３２は、撮像部１３０ではなく、制御部１４０に設けるようにしてもよい。
　また、本実施形態では、撮像部１３０はピントを合わせる機能を有している。このため、カメラ制御部１３３はオートフォーカス制御部１３３ａを備えている。オートフォーカス制御部１３３ａは、投影スクリーン１１０にピントが合うようにカメラ部１３１を調整（制御）する。具体的に、本実施形態では、投影スクリーン１１０とカメラ部１３１との間の距離が予め略一定の値に設定されているので、オートフォーカス制御部１３３ａは、撮像動作が開始した際に、カメラ部１３１から上記予め定められた距離だけ離れた位置にピントが合うようにピント合わせ処理を行う。また、このとき、オートフォーカス制御部１３３ａは、投影スクリーン１１０からその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように調整する。このピントが合う範囲（被写界深度）は狭い範囲に制限される。例えば、本実施形態では、オートフォーカス制御部１３３ａが、投影スクリーン１１０からその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように調整する場合を考える。このため、撮像部１３０は、投影スクリーン１１０に投影された画面の画像に対する操作を行う被写体（指又は指示具）が投影スクリーン１１０の近傍にあれば、その被写体をピントが合った状態で撮像するが、被写体が投影スクリーン１１０から被写界深度よりも遠く離れた位置にあれば、その被写体をピントが合った状態で撮像することはできない。尚、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部１３１のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。
　撮像部１３０で撮像して得られた画像データは制御部１４０に送られ、制御部１４０により記憶部１５０に記憶される。また、撮像部１３０は、静止画像の撮影機能と動画像の撮影機能とを備えており、制御部１４０は必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。
　制御部１４０は、画像投影装置１００の全般を制御する。例えば、制御部１４０は、画面を投影スクリーン１１０に投影するために投影部１２０を制御したり、撮像部１３０による撮像を制御したりする。具体的に、この制御部１４０は、図２に示すように、表示制御部１４１と、基準データ生成部１４２と、画像データ抽出部１４３と、位置データ生成部１４４と、操作判定部１４５と、入力制御部１４６とを備える。
　表示制御部１４１は、液晶表示部２０及び投影部１２０を制御する。具体的に、表示制御部１４１は、使用者が液晶表示部２０においてタッチ操作を行ったときに、タッチパネル３０から送られる接触位置情報に基づいて当該タッチ操作による指示の内容を認識する。このとき、その認識した指示の内容が液晶表示部２０に所定の画面を表示する旨の指示であれば、表示制御部１４１は液晶表示部２０を制御してその画面を液晶表示部２０に表示させる。また、認識した指示の内容が投影スクリーン１１０に所定の画面の画像を表示する旨の指示であれば、表示制御部１４１は投影部１２０を制御してその画面の画像を投影スクリーン１１０に表示させる。また、表示制御部１４１は、投影部１２０が画像を投影する処理を開始した際に、画像が投影スクリーン１１０に明瞭に表示されるようにその画像を調整する処理を行う。表示制御部１４１は、投影スクリーン１１０に画像を表示しているときには、その投影スクリーン１１０に表示されている画像と同じ画像を液晶表示部２０に表示するように液晶表示部２０を制御するようにしてもよい。
　基準データ生成部１４２は、撮像部１３０によって得られた画像データに基づいて、投影スクリーン１１０に投影された画像に関する基準データを生成する。この基準データは、撮像範囲における画像の位置及び大きさを特定するデータである。例えば、図４に示す画面の画像が投影スクリーン１１０に投影されている場合には、その画面の外枠２３０の四隅の位置データを基準データとして用いることができる。具体的に、本実施形態では、撮像部１３０の撮像範囲内に、左右方向をＸ軸方向、上下方向Ｙ軸方向とするＸＹ座標系が設定されている。基準データ生成部１４２は、撮像部１３０によって得られた画像データに基づいて当該画面の外枠２３０の位置を認識し、その認識した外枠２３０の位置に関するデータ、すなわちＸＹ座標系において外枠２３０の四隅のＸＹ座標を、基準データとして取得する。この基準データ生成部１４２で生成された基準データは記憶部１５０に記憶される。このように、本実施形態では、外枠を有する画像を投影スクリーン１１０に投影することにより、基準データ生成部１４２は、その画像の位置及び大きさに関する基準データを容易に生成することができる。
　画像データ抽出部１４３は、撮像部１３０によって得られた画像データのうち、使用者が投影スクリーン１１０に投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。ここで、指又は指示具が存在しているかどうかを判断するには、一般の画像認識の方法が用いられる。したがって、画像データ抽出部１４３によって抽出される画像データには、指又は指示具が投影スクリーン１１０の近傍に存在している画像データだけが含まれる。こうして抽出された画像データは記憶部１５０に記憶される。また、画像データ抽出部１４３は、抽出した各画像データに対してはその画像データが撮像された時刻に関するデータ（時刻データ）を生成し、その生成した時刻データを当該画像データと関連付けて記憶部１５０に記憶する。操作判定部１４５及び位置データ生成部１４４では、この画像データ抽出部１４３で抽出された画像データに基づいて処理が行われることになる。
　具体的に、本実施形態では、画像データ抽出部１４３は、使用者が指又は指示具で投影スクリーン１１０の表面側から画像に対して操作を行ったときに、投影スクリーン１１０を介して撮像された画像データの中から、その指又は指示具に対応する形状、又は形状及び色を認識し、その認識した形状、又は形状及び色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得することができる。また、画像データ抽出部１４３は、指又は指示具が投影スクリーン１１０に接触すると、その投影スクリーン１１０上で指又は指示具の形状又は色が変わるような場合には、その変わった形状又は色を認識して、指又は指示具の存在を判断するようにしてもよい。すなわち、画像データ抽出部１４３は、使用者が投影スクリーン１１０の表面側から画像に指又は指示具を接触させて画像に対して操作を行ったときに、投影スクリーン１１０を介して撮像された画像データの中から、その接触させた際の指又は指示具の形状の変化、色の変化、又は形状及び色の変化を認識し、その認識した指又は指示具の形状の変化、色の変化、又は形状及び色の変化が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得するようにしてもよい。この場合、例えば、指示具としては、その先端を柔らかい素材で形成し、投影スクリーン１１０に触れた際に指示具の先端が容易に変形するようなものを使用することができる。また、一例として、図５に、使用者が投影スクリーン１１０に指を接触させたときに形状又は色が変わった指の部位を模式的に示す。画像データ抽出部１４３は、指を接触させることにより指の形状又は色が変わった場合、その変わった指の部位の形状又は色を認識すると、指が存在していると判断することができる。
　尚、使用者が操作に使用する指又は指示具の先端部（例えば指の腹側）に、星形や十字等の図形を描いたり、或いはそのような図形が描かれたシール等を貼り付けたりしておくことが望ましい。また、指示具の先端部を上記図形の形状に形成するようにしてもよい。この場合、画像データ抽出部１４３は、その図形が画像データに存在しているかどうかを判断し、その図形が存在していれば指又は指示具が存在していると判断する。指等自体の認識に比べて上記図形の認識の方が容易であるので、指等の存在を判断する処理を容易且つ迅速に行うことができる。
　ところで、リアプロジェクションスクリーンとしては、透明なものだけでなく、半透明や乳白色等のものもある。半透明や乳白色等の投影スクリーンを用いた場合、指又は指示具にピントが合っているかどうかの判断は難しい。この問題に対しては、例えば次のような手法を用いて対処することができる。すなわち、半透明や乳白色等の各種の投影スクリーンを用いた場合には、指又は指示具が当該投影スクリーンに接触している少なくとも一つの画像を予め取得し、それらの画像を指又は指示具にピントが合っていると判断すべき画像としてプリセットしておく。画像データ抽出部１４３は、実際に撮像された画像データをプリセットされた画像と比較することにより、指又は指示具にピントがあっているかどうかを正確に判断することができる。
　また、画像データ抽出部１４３は、撮像部１３０によって得られた画像データに対して、投影スクリーン１１０に現在投影されている画像についてのデータを除外する処理を施し、その処理後の画像データに基づいて指又は指示具の存在を判断するようにしてもよい。これにより、指等の存在を判断する処理をより容易且つ迅速に行うことができる。
　位置データ生成部１４４は、画像データ抽出部１４３によって抽出された画像データに基づいて、撮像部１３０の撮像範囲における当該指又は指示具の位置を特定する位置データを生成する。具体的に、位置データ生成部１４４は、撮像範囲内に設定されたＸＹ座標系において、当該指又は指示具の存在する位置（例えば、指の先端の中心位置や指示具の先端部の中心位置）のＸＹ座標を位置データとして取得する。その取得した位置データは当該画像データと関連付けて記憶部１５０に記憶される。
　操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作がどのような内容の操作であるかを判定する。ここで、上述したように、画像データ抽出部１４３によって抽出された画像データには、指又は指示具が投影スクリーン１１０の近傍に存在している画像データだけが含まれている。具体的に、操作判定部１４５は、時系列的に得られた一連の画像データについて各画像データに関連付けられた位置データ及び時刻データに基づいて、指又は指示具がどのような動きをしているのかを調べることにより、操作内容を判定する。
　例えば、操作判定部１４５は、指又は指示具の位置がほとんど変化していない画像データがある短い時間の間にだけ抽出された場合には、その指又は指示具はタップ操作を行っていると判定する。また、指又は指示具の位置がほとんど変化していない画像データがある短い時間の間に抽出された後、一定時間が経過する前に再度、指又は指示具がほぼ同じ位置に存在している画像データがある短い時間の間に抽出された場合には、その指又は指示具はダブルタップ操作を行っていると判定する。また、指又は指示具の位置がほとんど変化していない画像データが一定時間以上にわたって抽出された場合には、その指又は指示具は長押し操作を行っていると判定する。更に、指又は指示具の位置がほとんど変化していない画像データが短い時間の間に抽出され、それに引き続き指又は指示具の位置が順次変化している画像データが抽出された場合には、その指又は指示具はドラッグ操作を行っていると判定する。このように、操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて指又は指示具による操作の内容を判定することにより、当該指又は指示具による操作の内容が、タップ操作、ダブルタップ操作、長押し操作、ドラッグ操作等の各種の操作のうちいずれの操作であるかを正確に認識することができる。その認識した当該指又は指示具による操作の内容に関するデータは記憶部１５０に記憶される。
　また、本実施形態では、投影スクリーン１１０からその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように撮像部１３０を調整しているので、使用者は指又は指示具を実際に投影スクリーン１１０に接触させなくても、投影スクリーン１１０から約１０ｍｍの距離に指又は指示具を位置させるだけで、タップ操作等の操作を行うことができる。画像データ抽出部１４３は、指又は指示具が投影スクリーン１１０から約１０ｍｍまでの範囲内に存在している画像データだけを抽出するので、操作判定部１４５は、その画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。尚、上述したように、指又は指示具が投影スクリーン１１０に接触すると、その投影スクリーン１１０上で指又は指示具の形状又は色が変わるような場合、画像データ抽出部１４３は、その接触させた際の形状又は色の変化を認識し、その認識した形状の変化又は色の変化の存在している画像データを抽出することができる。この場合、使用者は投影スクリーン１１０に指又は指示具を接触させて操作を行うので、既存のタッチパネルを操作するような感覚で操作を行うことができ、また、操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。
　入力制御部１４６は、操作判定部１４５によって判定された操作の内容に関するデータと、位置データ生成部１４４によって生成された位置データと、基準データ生成部１４２によって生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーン１１０に投影するように投影部１２０を制御する。
　例えば、投影スクリーン１１０に投影されている画像がメニュー画面の画像である場合、入力制御部１４６は、その画面の画像に関する基準データに基づいて、撮像部１３０の撮像範囲の中で当該メニュー画面の存在する範囲を認識することができる。また、入力制御部１４６は、当該メニュー画面の構成が予め分かっているので、当該メニュー画面における各アイコンの位置及び範囲を認識することができる。したがって、例えば使用者がメニュー画面に対して指でアイコンのダブルタップ操作を行った場合、入力制御部１４６は、その指の位置データから得られる指の位置が、メニュー画面におけるどのアイコンの領域に対応するのかを調べることにより、操作対象となったアイコンを特定することができ、また、その操作の内容を調べることにより、当該操作がダブルタップ操作であることを特定することができる。その結果、入力制御部１４６は、今回の操作に対応する入力指示が上記操作されたアイコンに関連する画面の画像を表示するという入力指示であると認識し、そのアイコンに関連する画面の画像を投影スクリーン１１０に表示する処理を行う。
　また、投影スクリーン１１０に投影されている画像が図４に示す文字入力画面２００の画像である場合、入力制御部１４６は、その画面の画像に関する基準データに基づいて、撮像部１３０の撮像範囲の中で当該文字入力画面２００の存在する範囲を認識することができる。また、入力制御部１４６は、当該文字入力画面２００の構成が予め分かっているので、当該文字入力画面２００におけるキーボード画像２１０の範囲や、各文字キー画像の領域等も認識することができる。したがって、例えば使用者がキーボード画像２１０に対して指で文字キー画像のタップ操作を行った場合、入力制御部１４６は、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、操作された文字キーを特定することができ、また、その操作の内容を調べることにより、当該操作がタップ操作であることを特定することができる。その結果、入力制御部１４６は、今回の操作に対応する入力指示が上記操作された文字キーに対応する文字の入力指示であると認識し、表示領域２２０にその入力指示された文字の画像を表示する処理を行う。
　尚、入力制御部１４６は、使用者により文字キー画像のタップ操作が行われて、その操作された文字キーに対応する文字の入力指示があったことを認識した場合には、文字入力画面２００のうちその操作された文字キー画像だけが強調表示された画面の画像を投影スクリーン１１０に表示する処理をも行うようにしてもよい。これにより、使用者は自分が操作した文字キーを容易に確認することができる。図６に使用者が文字キー画像をタップ操作した場合にその文字キー画像が強調表示された文字入力画面２００の画像の一例を示す。
　記憶部１５０には、各種のプログラムやデータ等が記憶されている。記憶部１５０に記憶されているプログラムには、例えば、メニュー画面においてアイコンを選択する操作が行われたときに画面の切り替え等の画面表示の処理を行うための画面表示処理用プログラム、文字入力画面２００において文字キーを選択する操作が行われたときに文字入力の処理を行うための文字入力処理用プログラム等が含まれている。また、記憶部１５０に記憶されているデータには、例えば、各種の画面についての画像データが含まれる。更に、この記憶部１５０は作業用のメモリとしても使用される。
　次に、本実施形態の画像投影装置１００における入力の処理について説明する。図７は本実施形態の画像投影装置１００における入力の処理の手順を説明するためのフローチャートである。
　使用者は、例えばタッチパネル３０を操作して所定の画面の画像を投影スクリーン１１０に表示する旨を指示する。制御部１４０（表示制御部１４１）は、その指示を受けると、当該画面の画像を投影スクリーン１１０に表示するように投影部１２０を制御する（Ｓ１）。こうして画像の投影が開始されると、制御部１４０は、撮像部１３０による撮像動作を開始する（Ｓ２）。
　次に、制御部１４０は、カメラ制御部１３３にピント合わせ処理を実行させる（Ｓ３）。具体的に、本実施形態では、投影スクリーン１１０とカメラ部１３１との距離が予め略一定の値に設定されているので、カメラ制御部１３３のオートフォーカス制御部１３３ａは、カメラ部１３１からその予め定められた距離だけ離れた位置にピントがあるようにカメラ部１３１を制御する。また、このピント合わせ処理は別の方法で行うことも可能である。例えば、投影スクリーン１１０自体に赤外線反射コーティングを施したり、投影スクリーン１１０に枠を設けたり、又は投影スクリーン１１０の四隅に反射部を設けたりしておけば、カメラ制御部１３３は、オートフォーカス機能により投影スクリーン１１０までの距離を検知し、その検知した距離だけ離れた位置にピントがあるようにカメラ部１３１を制御することができる。尚、投影スクリーン１１０に反射部を設ける代わりに、スクリーン設置台１６０に反射部を設けるようにしてもよい。
　また、このとき、表示制御部１４１は、投影部１２０を制御して、画像が投影スクリーン１１０に明瞭に表示されるように投影画像調整処理を行う（Ｓ４）。具体的に、この投影画像調整処理では、表示制御部１４１は、撮像部１３１で撮像された画像データに基づいて、その画像データに現在表示している画像が明瞭に現れているかどうかを判断する。そして、現在表示している画像が明瞭に現れていれば、画像が投影スクリーン１１０に明瞭に表示されていると認識する。また、表示制御部１４１は、撮像部１３０のオートフォーカス機能を利用して得られた投影スクリーン１１０までの距離情報と、撮像部１３０で撮像された投影スクリーン１１０の画像データとに基づいて、投影部１２０と投影スクリーン１１０との位置関係を認識し、その認識した位置関係に応じたサイズ・形状・角度等で画像を投影スクリーン１１０に投影するように投影部１２０を制御することも可能である。
　こうして画像が投影スクリーン１１０に明瞭に表示されると、使用者は、コンピュータ本体１０に対して入力指示を行うため、投影スクリーン１１０に投影された画面の画像に対して投影スクリーン１１０の表面側から指又は指示具で所定の操作を行う。かかる使用者による操作の様子は投影スクリーン１１０を介して撮像部１３０で撮像され、その得られた画像データが画像処理部１３２に送られる。そして、画像処理部１３２が画像データに対して所定の画像処理を施し（Ｓ５）、その画像処理を施した画像データが制御部１４０に送られる。
　次に、基準データ生成部１４２は、撮像部１３０によって得られた画像データに基づいて、投影スクリーン１１０に投影された画面の画像に関する基準データを生成する（Ｓ６）。具体的に、基準データ生成部１４２は、図４に示すような画面の外枠２３０の四隅の位置データ（ＸＹ座標）を取得し、その取得した外枠２３０の四隅の位置データを基準データとする。この基準データは記憶部１５０に一時記憶される。
　次に、画像データ抽出部１４３は、撮像部１３０によって得られた画像データのうち、使用者が投影スクリーン１１０に投影された画面の画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する（Ｓ７）。これにより、指又は指示具が投影スクリーン１１０の近傍に存在している画像データだけが取得される。こうして抽出された画像データは記憶部１５０に一時記憶される。また、画像データ抽出部１４３は、抽出した画像データについて、その画像データが撮像された時刻に関する時刻データを生成し、その生成した時刻データを当該画像データと関連付けて記憶部１５０に記憶する。
　次に、位置データ生成部１４４は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具の位置（例えば、指の先端の中心位置や指示具の先端部の中心位置）を特定する位置データ（ＸＹ座標）を生成する（Ｓ８）。この生成した位置データは当該画像データと関連付けて記憶部１５０に一時記憶される。
　その後、操作判定部１４５は、画像データ抽出部１４３によって抽出された画像データに基づいて当該指又は指示具による操作がどのような内容の操作であるかを判定する（Ｓ９）。例えば、操作判定部１４５は、画像データ抽出部１４３によって抽出された複数の画像データについて、それら各画像データと関連付けられている位置データ及び時刻データを利用して、操作内容の判定を行う。この認識した当該指又は指示具による操作の内容に関するデータは記憶部１５０に一時記憶される。
　次に、入力制御部１４６は、操作判定部１４５によって判定された操作の内容に関するデータと、位置データ生成部１４４によって生成された位置データと、基準データ生成部１４２で生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し（Ｓ１０）、その認識した入力指示の内容に応じた画面の画像を投影スクリーン１１０に投影するように投影部１２０を制御する（Ｓ１１）。
　例えば、使用者がメニュー画面に対して指でアイコンのダブルタップ操作を行った場合、入力制御部１４６は、その指の位置データに基づいて操作対象となったアイコンを特定することができ、しかも、その操作の内容に関するデータに基づいて当該操作を特定することができるので、今回の操作に対応する入力指示が上記操作されたアイコンに関連する画面を表示するという入力指示であると認識することができる。また、使用者がキーボード画像２１０に対して指で文字キー画像のタップ操作を行った場合、入力制御部１４６は、その指の位置データに基づいて操作された文字キーを特定することができ、しかも、その操作の内容に関するデータに基づいて当該操作を特定することができるので、今回の操作に対応する入力指示が上記操作された文字キーに対応する文字の入力指示であると認識することができる。
　ステップＳ１１の処理の後、制御部１４０は、使用者から画像投影を終了する旨の指示を受けたかどうかを判断する（Ｓ１２）。画像投影を終了する旨の指示を受けていれば、図５に示す入力の処理が終了する。これに対し、画像投影を終了する旨の指示を受けていなければ、ステップＳ５に移行し、入力の処理を継続する。尚、使用者は、画像投影を終了する旨の指示を、例えばタッチパッド３０や投影スクリーン１１０のタッチ操作により行うことができる。
　本実施形態の画像投影装置では、撮像部がピントを合わせる機能を有しており、画像データ抽出部は、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。このため、例えば投影スクリーンからその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように撮像部を調整しておけば、画像データ抽出部によって抽出される画像データには、指又は指示具が投影スクリーンの近傍に存在している画像データだけが含まれるので、操作判定部は、その画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。そして、入力制御部は、操作判定部で判定して得られた当該指又は指示具による操作の内容に関するデータと、位置データ生成部で生成された当該指又は指示具の位置データと、基準データ生成部で生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーンに投影するように投影部を制御する。したがって、使用者が投影スクリーンに投影された画像に対して各種のタッチ操作を行ったときに、本実施形態の画像投影装置はそのタッチ操作に応じた入力指示を正確に認識することができる。
　尚、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内において種々の変形が可能である。
　例えば、上記の実施形態では、本発明の画像投影装置として、画像を投影スクリーンの裏面側から投影するリアプロジェクション型の画像投影装置を用いた場合について説明したが、画像を投影スクリーンの表面側から投影するフロントプロジェクション型の画像投影装置を用いるようにしてもよい。図８に本発明の変形例であるフロントプロジェクション型の画像投影装置１００ａを備えるコンピュータ端末１ａの概略構成図を示す。このフロントプロジェクション型の画像投影装置１００ａも、上記実施形態の画像投影装置１００と同様に、図８に示すように、投影スクリーン１１００と、投影部１２０と、撮像部１３０と、制御部（不図示）と、記憶部（不図示）と、スクリーン設置台（不図示）とを備える。ここで、投影スクリーン１１００としては、その表面側から投影光を照射することにより画像を表示するためのフロントプロジェクションスクリーンを用いている。具体的に、フロントプロジェクションスクリーンは、主として、拡散型スクリーン、反射型スクリーン、回帰型スクリーンの三種類に分けられる。拡散型スクリーンは、入射光が全方向に拡散反射するという性質を持つものであり、視野角がとても広いという特徴がある。反射型スクリーンは、入射光がその入射角と同じ角度の反射角で反射するという性質を持つものであり、回帰型スクリーンは、入射光の入射方向と同じ方向に反射光が戻るという性質を持つものである。投影部１２０は投影スクリーン１１００の表面から画像を投影し、撮像部１３０は投影スクリーン１１００の表面側から画像を撮像して画像データを取得する。また、この変形例の画像投影装置１００ａにおける制御部は、上記実施形態の画像投影装置１００における制御部と同様に、表示制御部と、基準データ生成部と、画像データ抽出部と、操作判定部と、位置データ生成部と、入力制御部とを備える。これら各部は、投影部１２０、撮像部１３０及びスクリーン設置台が投影スクリーン１１００の表面側に配置される点を除き、上記実施形態の画像投影装置１００におけるものと同様である。
　このフロントプロジェクション型の画像投影装置１００ａでは、使用者が投影スクリーン１１００の表面側からその投影スクリーン１１００に投影された画像に対して指又は指示具で操作を行うとき、撮像部１３０が、投影スクリーン１１００の表面側からその操作の様子を撮像する。ここで、撮像部１３０は、投影スクリーン１１０からその垂直方向に沿って前後１５ｍｍまでの範囲内にピントが合うように調整されている。そして、入力制御部は、操作判定部で判定して得られた当該指又は指示具による操作の内容に関するデータと、位置データ生成部で生成された当該指又は指示具の位置データと、記憶部に記憶されている当該画面に対する基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を投影スクリーン１１００に投影するように投影部１２０を制御する。尚、撮像部１３０によって得られた画像データには、投影スクリーン１１００に投影されている画像の一部分が指や指示具によって隠れている内容の画像データも含まれるが、操作判定部は、その一部分が隠れている内容の画像データに、投影スクリーン１１００に現在投影している画像を重ね合わせて、指又は指示具で行っている操作を認識することも可能である。
　また、上記の実施形態及び図８に示す変形例では、画像投影装置が一つの投影部を備える場合について説明したが、画像投影装置は複数の投影部を備えていてもよい。この場合には、複数の投影部を使用して、一つの画面を投影スクリーンに分割投影することが可能である。
　また、上記の実施形態及び図８に示す変形例において、投影部は、青や紫系統の光量を減らすことによりブルーライト等を削減した画像を投影スクリーンに投影するようにしてもよい。これにより、使用者の目に優しい画像を表示することができる。
　更に、上記の実施形態及び図８に示す変形例では、画像投影装置は一つの撮像部を備える場合について説明したが、画像投影装置は複数の撮像部を備えていてもよい。
　加えて、上記の実施形態及び図８に示す変形例では、投影スクリーンがハードタイプの一枚物である場合について説明したが、投影スクリーンは、折り畳み式のスクリーン、ロール巻き上げ式のスクリーン等であってもよい。
　また、上記の実施形態及び図８に示す変形例において、指示具としてレーザ光を発するレーザポインタを用いるようにしてもよい。この場合、レーザポインタで行う操作の内容については予め設定しておく必要がある。例えば、レーザ光を二回点灯する操作がダブルタップ操作を、レーザ光を点灯したまま所定の速度以下で動かす操作がスクロール操作を、レーザ光を点灯したまま所定の速度以上で動かす操作がフリック操作を、レーザ光を所定回数だけ点灯させた後に動かす操作がドラッグ操作を意味するように定めておく。具体的に、画像データ抽出部は、使用者がレーザポインタからのレーザ光を投影スクリーンに照射することにより投影スクリーンに投影された画像に対して操作を行ったときに、撮像部によって得られた画像データの中から、レーザポインタからのレーザ光の形状及び／又は色を認識し、その認識したレーザ光の形状及び／又は色が存在している画像データを、使用者が画像に対して操作を行った指又は指示具が存在している画像データとして取得する。ここで、レーザ光の色の認識については、例えばレーザ光の色の周波数をプリセットしておき、画像データ抽出部はそのプリセットした色を認識した場合にレーザ光が存在するとみなせばよい。画像の中にそのプリセットした色と同様の色が存在する場合もあり得るが、通常のプレゼンテーション画面等で使用する色には含まれない赤系統の周波数の色をレーザ光の色として使用すれば、レーザ光の色を誤認することはない。したがって、指示具としてレーザポインタを用いた場合でも、本発明の画像投影装置は使用者からの入力指示を正確に認識することができる。尚、レーザポインタが発するレーザ光の断面形状は円形に限らず、星形、十字形、三角形等であってもよい。これにより、画像データ抽出部は、指示具の存在を判断する処理を容易に行うことができる。
　更に、上記の実施形態及び図８に示す変形例では、投影部と撮像部とがコンピュータ本体の筐体内に設けられている場合について説明したが、投影部と撮像部とは、コンピュータ本体の筐体とは別の筐体内に設けるようにしてもよい。この場合、投影部及び撮像部が設けられた筐体とコンピュータ本体の筐体とにはそれぞれ、通信部及び通信制御部を備えておくことにより、投影部及び撮像部と制御部との間のデータ通信を無線で行うことが可能である。一般に、投影部及び／又は撮像部を、制御部が設けられている筐体と別の筐体内に設けるようにしてもよい。
　また、上記の実施形態及び図８に示す変形例では、投影部によって投影スクリーンに投影される各画像に枠が描かれている場合について説明したが、投影部によって投影スクリーンに投影される各画像には必ずしも枠が描かれている必要はない。更に、各画像に枠を描く代わりに、例えば、投影部によって投影スクリーンに投影される各画像の四隅に所定のマークを描くようにしてもよい。この場合、基準データ生成部は、撮像部によって得られた画像データに基づいてその撮像範囲における当該画像のマークの位置を認識し、その認識したマークの位置に関するデータを基準データとする。
　また、上記の実施形態及び図８に示す変形例の画像投影装置においては、スクリーン設置台や液晶表示部を省略することができる。更に、上記の実施形態では、投影スクリーンからその垂直方向に沿って前後１０ｍｍまでの範囲内にピントが合うように撮像部が調整されている場合について、図８に示す変形例では、投影スクリーンからその垂直方向に沿って前後１５ｍｍまでの範囲内にピントが合うように撮像部が調整されている場合について説明したが、ピントが合う範囲は投影スクリーンからその垂直方向に沿って前後１０ｍｍ又は１５ｍｍまでの範囲に限られず、例えば投影スクリーンからその垂直方向に沿って前後５０ｍｍ位までの範囲であってもよい。撮像部は、投影スクリーンからその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように調整されている。一般的に、この所定の距離が小さいと、操作内容の識別精度は向上するが、一方、使用者にとっては操作がしにくくなる。また、この所定の距離が大きいと、使用者にとって操作性が向上するが、一方、操作内容の識別精度は低下する。かかる操作内容の識別精度を高くし、且つ操作性を良くするには、上記所定の距離は、リアプロジェクション型の画像投影装置の場合にあっては、５ｍｍ～２５ｍｍ位、フロントプロジェクション型の画像投影装置の場合にあっては、１０ｍｍ～５０ｍｍ位であるのが望ましい。リアプロジェクション型の画像投影装置では、撮像部が投影スクリーンの裏面側から画像を撮像するので、画像データ抽出部は、投影スクリーンに対して操作を行っている指又は指示具が存在している画像データであって投影スクリーンに対向する側における指又は指示具の面にピントが合っている画像データを抽出する必要がある。この場合、例えば使用者が人指し指でタップ操作を行うと、人指し指における指の腹は投影スクリーンの表面から５ｍｍ～２５ｍｍ位移動すると考えられる。このため、リアプロジェクション型の画像投影装置では、上記所定の距離は５ｍｍ～２５ｍｍ位であるのが望ましい。これに対し、フロントプロジェクション型の画像投影装置では、撮像部が投影スクリーンの表面側から画像を撮像するので、画像データ抽出部は、投影スクリーンに対して操作を行っている指又は指示具が存在している画像データであって投影スクリーンと対向する側と反対側における指又は指示具の面にピントが合っている画像データを抽出する必要がある。例えば使用者が人指し指でタップ操作を行う場合、人指し指の爪部における指の厚さが約５ｍｍ～１５ｍｍであることを考慮すると、上記所定の距離は１０ｍｍ～４０ｍｍ位であればよい。また、フロントプロジェクション型の画像投影装置では、操作する指等が投影部と同じ側に位置しているため、リアプロジェクション型の画像投影装置と比べて操作内容の識別精度が低下することが考えられる。このため、フロントプロジェクション型の画像投影装置では、使用者は指等でオーバーアクション気味に操作をした方がよい場合がある。このようなオーバーアクション気味の操作を行うことを考慮すれば、上記所定の距離は５０ｍｍ位であるのが望ましい。加えて、投影スクリーンのサイズが大きく、指示具として例えば長い指示棒を用いるような場合には、リアプロジェクション型の画像投影装置、フロントプロジェクション型の画像投影装置のいずれにおいても、上記所定の距離は１００ｍｍ位であるのが望ましい。
　更に、上記の実施形態及び図８に示す変形例では、投影スクリーンからその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように撮像部が調整されている場合について説明したが、ピントが合う範囲の中心は必ずしも投影スクリーン上にある必要はない。例えば、リアプロジェクション型の画像投影装置では、投影スクリーンからその垂直方向に沿って後側に距離ｘ／２だけ離れた位置を、ピントが合う範囲の中心とし、その中心から投影スクリーンの垂直方向に沿って前後に距離ｘ／２だけ離れた位置までの範囲内にピントが合うように撮像部は調整されていてもよい。すなわち、この場合、ピントが合う範囲は、投影スクリーンからその垂直方向に沿って後側に距離ｘだけ離れた位置までの範囲となる。また、フロントプロジェクション型の画像投影装置では、投影スクリーンからその垂直方向に沿って前側に距離ｘ／２だけ離れた位置を、ピントが合う範囲の中心とし、その中心から投影スクリーンの垂直方向に沿って前後に距離ｘ／２だけ離れた位置までの範囲内にピントが合うように撮像部は調整されていてもよい。すなわち、この場合、ピントが合う範囲は、投影スクリーンからその垂直方向に沿って前側に距離ｘだけ離れた位置までの範囲となる。
　上記の実施形態及び図８に示す変形例では、本発明の画像投影装置をコンピュータ端末に組み込んだ場合について説明したが、本発明の画像投影装置は様々な機器に組み込むことが可能である。例えば、本発明の画像投影装置を、スマートフォンや携帯電話機等の携帯端末、腕時計、自動車、テレビジョン等に設けることができる。
　図９（ａ）は本発明の画像投影装置が設けられたスマートフォンの概略斜視図、図９（ｂ）はそのスマートフォンの概略側面図である。本発明の画像投影装置をスマートフォン３００に適用する場合には、投影部１２０と撮像部１３０とを図９（ａ）に示すようにスマートフォン３００の上端部に隣接して設け、投影スクリーン１１０を図９（ｂ）に示すように傾けた状態でスマートフォン３００の下部に取り付ける。この投影スクリーン１１０は、その裏面側から投影光を照射することにより画像を表示するためのリアプロジェクションスクリーンである。また、本発明の画像投影装置の制御部及び記憶部はスマートフォン３００に内蔵されている。投影部１２０が投影スクリーン１１０の裏面からメニュー画面の画像を表示したときに、使用者は指又は指示具で投影スクリーン１１０の表面側からメニュー画面に対して操作を行うことにより、入力指示を行う。
　図１０（ａ）は本発明の画像投影装置が設けられた腕時計の概略斜視図、図１０（ｂ）はその腕時計において投影スクリーンを設置したときの様子を示す図である。この図１０では腕時計４００の本体部を表示し、時計バンドを省略している。本発明の画像投影装置を適用する腕時計４００は情報端末としての機能を有する。本発明の画像投影装置の制御部及び記憶部は腕時計４００に内蔵されている。また、投影部１２０と撮像部１３０とは、図１０（ａ）に示すように腕時計４００の表面の上端部に設けられる。投影スクリーン１１０ａはロール式のものであり、スクリーン収納部１７０に収納されている。このスクリーン収納部１７０は腕時計４００の左端部に設けられている。腕時計４００の右端部には、投影スクリーン１１０ａを引っ掛けるためのフック１８０，１８０が設けられている。本発明の画像投影装置を使用する際には、図１０（ｂ）に示すように、使用者は、投影スクリーン１１０ａをスクリーン収納部１７０から引き出し、フック１８０，１８０に引っ掛けることにより、投影スクリーン１１０ａを腕時計４００の表面を覆うように設置する。投影部１２０が投影スクリーン１１０ａの裏面からメニュー画面の画像を表示したときに、使用者は指又は指示具で投影スクリーン１１０ａの表面側からメニュー画面に対して操作を行うことにより、入力指示を行う。
　また、本発明の画像投影装置を自動車に適用する場合にはさまざまな適用方法がある。例えば、本発明の画像投影装置における投影部、撮像部、制御部及び記憶部を自動車のエンジンルーム等に内蔵し、投影部が投影する画面を車体フロントガラス（投影スクリーン）に投影する方法や、本発明の画像投影装置における投影部、撮像部、制御部及び記憶部を自動車のダッシュボード部に内蔵し、投影部が投影する画面をコントロールパネル（投影スクリーン）に投影する方法等が考えられる。これらの方法では、本発明の画像投影装置は、リアプロジェクション型の画像投影装置として使用される。図１１（ａ）に本発明のリアプロジェクション型の画像投影装置が設けられた自動車の例を示す。また、本発明の画像投影装置における投影部、撮像部、制御部及び記憶部を自動車のダッシュボード部又は室内天井部等に内蔵し、投影部が投影する画面を車体フロントガラス（投影スクリーン）に投影する方法が考えられる。この方法では、本発明の画像投影装置は、フロントプロジェクション型の画像投影装置として使用される。図１１（ｂ）に本発明のフロントプロジェクション型の画像投影装置が設けられた自動車の例を示す。
　また、日常生活で使用する机やテーブル等の道具であっても、その道具が端末としての機能を有する場合には、本発明の画像投影装置を当該道具に組み込むことが可能である。図１２に本発明の画像投影装置が設けられた机５００の例を示す。この場合、投影スクリーン１１０は机５００の天板５１０に設けられ、投影部、撮像部、制御部及び記憶部は天板５１０の下側に配置される。次に、図１３に本発明の画像投影装置が設けられたコンパクトミラー６００の例を示す。ここで、図１３（ａ）はミラー使用時のコンパクトミラーの概略斜視図、図１３（ｂ）はミラー使用時のコンパクトミラーの概略側面図、図１３（ｃ）は画像投影時のコンパクトミラーの概略斜視図、図１３（ｄ）は画像投影時のコンパクトミラーの概略側面図である。このコンパクトミラー６００は、情報端末としての機能を有し、図１３に示すように、上蓋６１０と、下蓋６２０と、鏡６３０と、本発明の画像投影装置とを備える。本発明の画像投影装置の投影部１２０、撮像部１３０、制御部及び記憶部は上蓋６１０に内蔵されている。図１３（ａ）,（ｂ）に示すように、投影スクリーン１１０は鏡６３０の裏側に配置されている。図１３（ｃ）,（ｄ）に示すように、鏡６３０を手前に倒し、投影スクリーン１１０を上蓋６１０から離すことにより、本発明の画像投影装置が使用可能な状態になる。
　以上説明したように、本発明の画像投影装置では、撮像部がピントを合わせる機能を有しており、画像データ抽出部は、撮像部によって得られた画像データのうち、使用者が投影スクリーンに投影された画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する。このため、例えば投影スクリーンからその垂直方向に沿って前後に一定の短い距離だけ離れた位置までの範囲内にピントが合うように撮像部を調整しておけば、画像データ抽出部によって抽出される画像データには、指又は指示具が投影スクリーンの近傍に存在している画像データだけが含まれるので、操作判定部は、その画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定することにより、その操作の内容を正確に識別することができる。したがって、本発明の画像投影装置は、コンピュータ端末、携帯端末、腕時計、自動車、テレビジョン等の各種の機器、機械又は道具に組み込んで使用するのに好適である。
　　１，１ａ　コンピュータ端末
　１０　コンピュータ本体
　２０　液晶表示部
　３０　タッチパネル
　１００，１００ａ　画像投影装置
　１１０，１１０ａ,１１００　投影スクリーン
　１２０　投影部
　１３０　撮像部
　１３１　カメラ部
　１３２　画像処理部
　１３３　カメラ制御部
　１３３ａ　オートフォーカス制御部
　１４０　制御部
　１４１　表示制御部
　１４２　基準データ生成部
　１４３　画像データ抽出部
　１４４　位置データ生成部
　１４５　操作判定部
　１４６　入力制御部
　１５０　記憶部
　１６０　スクリーン設置台
　１６１ａ，１６１ｂ　ベース部
　１６２　ポール部
　１６３　凹部
　１７０　スクリーン収納部
　１８０　フック
　２００　文字入力画面
　２１０　キーボード画像
　２２０　表示領域
　２３０　外枠
　３００　スマートフォン
　４００　腕時計
　５００　机
　５１０　天板
　６００　コンパクトミラー
　６１０　上蓋
　６２０　下蓋
　６３０　鏡
 

Claims (11)

  1. 　投影スクリーンと、
    　所定の画像を前記投影スクリーンに投影して表示する投影部と、
    　ピントを合わせる機能を有し、前記投影スクリーンに投影された前記画像を撮像して画像データを取得する撮像部と、
    　前記撮像部によって得られた画像データに基づいてその撮像範囲における、前記投影スクリーンに投影された前記画像の位置及び大きさを特定する基準データを生成する基準データ生成部と、
    　前記撮像部によって得られた画像データのうち、使用者が前記投影スクリーンに投影された前記画像に対して操作を行った指又は指示具が存在している画像データであってその指又は指示具にピントが合っている画像データを抽出する画像データ抽出部と、
    　前記画像データ抽出部によって抽出された画像データに基づいてその撮像範囲における当該指又は指示部の位置を特定する位置データを生成する位置データ生成部と、
    　前記画像データ抽出部によって抽出された画像データに基づいて当該指又は指示具による操作の内容を判定する操作判定部と、
    　前記操作判定部によって判定された操作の内容と前記位置データ生成部によって生成された位置データと前記基準データ生成部によって生成された基準データとに基づいて、当該指又は指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じた画像を前記投影スクリーンに投影するように前記投影部を制御する入力制御部と、
    　を具備することを特徴とする画像投影装置。
  2. 　前記撮像部は、前記投影スクリーンからその垂直方向に沿って前後に所定の距離だけ離れた位置までの範囲内にピントが合うように調整されていることを特徴とする請求項１記載の画像投影装置。
  3. 　前記投影スクリーンに投影される各画像には枠が描かれ若しくは前記投影スクリーンに投影される各画像の四隅には所定のマークが描かれており、前記基準データ生成部は、前記撮像部によって得られた画像データに基づいてその撮像範囲における当該画像の前記枠又は前記マークの位置を認識し、その認識した前記枠又は前記マークの位置に関するデータを基準データとすることを特徴とする請求項１又は２記載の画像投影装置。
  4. 　前記投影スクリーンはその裏面側から投影光を照射することにより画像を表示するためのものであり、前記投影部は前記投影スクリーンの裏面から前記画像を投影し、前記撮像部は前記投影スクリーンの裏面側から前記画像を撮像して画像データを取得することを特徴とする請求項１、２又は３記載の画像投影装置。
  5. 　前記画像データ抽出部は、使用者が指又は指示具で前記投影スクリーンの表面側から前記画像に対して操作を行ったときに、前記投影スクリーンを介して撮像された画像データの中から、その指又は指示具に対応する形状、又は形状及び色を認識し、その認識した形状、又は形状及び色が存在している画像データを、使用者が前記画像に対して操作を行った指又は指示具が存在している画像データとして取得することを特徴とする請求項４記載の画像投影装置。
  6. 　前記画像データ抽出部は、使用者が前記投影スクリーンの表面側から前記画像に指又は指示具を接触させて前記画像に対して操作を行ったときに、前記投影スクリーンを介して撮像された画像データの中から、その接触させた際の指又は指示具の形状の変化、色の変化、又は形状及び色の変化を認識し、その認識した指又は指示具の形状の変化、色の変化、又は形状及び色の変化が存在している画像データを、使用者が前記画像に対して操作を行った指又は指示具が存在している画像データとして取得することを特徴とする請求項４記載の画像投影装置。
  7. 　前記投影スクリーンはその表面側から投影光を照射することにより画像を表示するためのものであり、前記投影部は前記投影スクリーンの表面から前記画像を投影し、前記撮像部は前記投影スクリーンの表面側から前記画像を撮像して画像データを取得することを特徴とする請求項１、２又は３記載の画面投影装置。
  8. 　指示具としてレーザ光を発するレーザポインタを用いる場合、前記画像データ抽出部は、使用者が前記レーザポインタからのレーザ光を前記投影スクリーンに照射することにより前記投影スクリーンに投影された前記画像に対して操作を行ったときに、前記撮像部によって得られた画像データの中から、前記レーザポインタからのレーザ光の形状及び／又は色を認識し、その認識したレーザ光の形状及び／又は色が存在している画像データを、使用者が前記画像に対して操作を行った指又は指示具が存在している画像データとして取得することを特徴とする請求項１、２、３、４、５、６又は７記載の画像投影装置。
  9. 　前記投影スクリーンと前記投影部との間の距離及び前記投影スクリーンと前記撮像部との間の距離がそれぞれ略一定に保持されるように前記投影スクリーンを取り付けるためのスクリーン設置台を更に備えることを特徴とする請求項１、２、３、４、５、６、７又は８記載の画像投影装置。
  10. 　前記基準データ生成部、前記画像データ抽出部、前記位置データ生成部、前記操作判定部及び前記入力制御部は一つの筐体内に設けられており、前記投影部及び／又は前記撮像部はその筐体とは別の筐体内に設けられていることを特徴とする請求項１乃至９のいずれか一項記載の画像投影装置。
  11. 　請求項１乃至１０の何れかの請求項記載の画像投影装置を備えることを特徴とするコンピュータ端末、腕時計、携帯端末又は自動車。
     
PCT/JP2016/082469 2016-01-25 2016-11-01 画像投影装置 WO2017130504A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017563699A JP6858352B2 (ja) 2016-01-25 2016-11-01 画像投影装置
US16/072,436 US11513637B2 (en) 2016-01-25 2016-11-01 Image projection device
EP16888089.6A EP3410277B1 (en) 2016-01-25 2016-11-01 Image projection device
US17/962,707 US11928291B2 (en) 2016-01-25 2022-10-10 Image projection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-011926 2016-01-25
JP2016011926 2016-01-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/072,436 A-371-Of-International US11513637B2 (en) 2016-01-25 2016-11-01 Image projection device
US17/962,707 Continuation US11928291B2 (en) 2016-01-25 2022-10-10 Image projection device

Publications (1)

Publication Number Publication Date
WO2017130504A1 true WO2017130504A1 (ja) 2017-08-03

Family

ID=59397953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082469 WO2017130504A1 (ja) 2016-01-25 2016-11-01 画像投影装置

Country Status (4)

Country Link
US (2) US11513637B2 (ja)
EP (1) EP3410277B1 (ja)
JP (1) JP6858352B2 (ja)
WO (1) WO2017130504A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660779A (zh) * 2018-12-20 2019-04-19 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质
JP2020091639A (ja) * 2018-12-05 2020-06-11 日本信号株式会社 指示特定システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11513637B2 (en) * 2016-01-25 2022-11-29 Hiroyuki Ikeda Image projection device
CN113709706B (zh) * 2021-08-17 2024-03-26 中汽创智科技有限公司 一种车辆座舱的显示控制方法、装置、系统及终端
US12026912B2 (en) * 2021-09-13 2024-07-02 Wen Li Apparatus and methodology for aiming point and aiming device 6DOF detection using image registration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257639A (ja) * 2006-03-20 2007-10-04 Samsung Electronics Co Ltd 映像パターンを利用したポインティング入力装置、方法、およびシステム
US20120262420A1 (en) * 2011-04-15 2012-10-18 Sobel Irwin E Focus-based touch and hover detection
JP2015014882A (ja) * 2013-07-04 2015-01-22 ソニー株式会社 情報処理装置、操作入力検出方法、プログラム、および記憶媒体
JP2015106111A (ja) * 2013-12-02 2015-06-08 株式会社リコー プロジェクションシステム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
WO2001052230A1 (en) 2000-01-10 2001-07-19 Ic Tech, Inc. Method and system for interacting with a display
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
GB0116805D0 (en) * 2001-07-10 2001-08-29 Britannic Overseas Trading Co A human-computer interface with a virtual touch sensitive screen
WO2006086508A2 (en) * 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
EP1983402A4 (en) * 2006-02-03 2013-06-26 Panasonic Corp INPUT DEVICE AND ITS METHOD
JP5510907B2 (ja) 2009-12-01 2014-06-04 学校法人東京電機大学 タッチ位置入力装置及びタッチ位置入力方法
US20110164191A1 (en) * 2010-01-04 2011-07-07 Microvision, Inc. Interactive Projection Method, Apparatus and System
US20120194738A1 (en) * 2011-01-26 2012-08-02 Yongjing Wang Dual mode projection docking device for portable electronic devices
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
CN102768573A (zh) * 2011-05-06 2012-11-07 鸿富锦精密工业（深圳）有限公司 投影机监控系统及方法
JP5756729B2 (ja) 2011-10-05 2015-07-29 日本電信電話株式会社 ジェスチャ認識装置及びそのプログラム
CN103309482A (zh) * 2012-03-12 2013-09-18 富泰华工业（深圳）有限公司 电子设备及其触摸控制方法与触摸控制装置
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
JP5278576B2 (ja) 2012-04-27 2013-09-04 カシオ計算機株式会社 ジェスチャー認識装置、ジェスチャー認識方法及びそのプログラム
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
CN104063143B (zh) * 2013-06-06 2015-09-09 腾讯科技（深圳）有限公司 文件管理方法、装置及电子设备
US9146618B2 (en) * 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
JP6597625B2 (ja) * 2014-10-03 2019-10-30 ソニー株式会社 投射型表示装置
US10656746B2 (en) * 2015-09-18 2020-05-19 Sony Corporation Information processing device, information processing method, and program
US11513637B2 (en) * 2016-01-25 2022-11-29 Hiroyuki Ikeda Image projection device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257639A (ja) * 2006-03-20 2007-10-04 Samsung Electronics Co Ltd 映像パターンを利用したポインティング入力装置、方法、およびシステム
US20120262420A1 (en) * 2011-04-15 2012-10-18 Sobel Irwin E Focus-based touch and hover detection
JP2015014882A (ja) * 2013-07-04 2015-01-22 ソニー株式会社 情報処理装置、操作入力検出方法、プログラム、および記憶媒体
JP2015106111A (ja) * 2013-12-02 2015-06-08 株式会社リコー プロジェクションシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3410277A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091639A (ja) * 2018-12-05 2020-06-11 日本信号株式会社 指示特定システム
JP7182442B2 (ja) 2018-12-05 2022-12-02 日本信号株式会社 指示特定システム
CN109660779A (zh) * 2018-12-20 2019-04-19 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质

Also Published As

Publication number Publication date
EP3410277B1 (en) 2022-07-06
JPWO2017130504A1 (ja) 2018-11-22
US11928291B2 (en) 2024-03-12
US20230071534A1 (en) 2023-03-09
EP3410277A4 (en) 2019-07-24
US20190034033A1 (en) 2019-01-31
JP6858352B2 (ja) 2021-04-14
US11513637B2 (en) 2022-11-29
EP3410277A1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
US7176881B2 (en) Presentation system, material presenting device, and photographing device for presentation
US11928291B2 (en) Image projection device
CN109564495B (zh) 显示装置、存储介质、显示方法及控制装置
US8350896B2 (en) Terminal apparatus, display control method, and display control program
CN105706028B (zh) 投影型影像显示装置
US9432661B2 (en) Electronic device, image display method, and image display program
US11029766B2 (en) Information processing apparatus, control method, and storage medium
CN116126170A (zh) 显示装置及控制装置
EP2687959A1 (en) Detection device, input device, projector, and electronic apparatus
US20140218300A1 (en) Projection device
JP2009031334A (ja) プロジェクタ及びプロジェクタの投射方法
US9544556B2 (en) Projection control apparatus and projection control method
CN107407959B (zh) 基于姿势的三维图像的操纵
CN111052063B (zh) 电子装置及其控制方法
WO2018010440A1 (zh) 一种投影画面调整方法、装置和投影终端
JP6381361B2 (ja) データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
JP2020077209A (ja) 画像読取り装置及び方法
JP2013157845A (ja) 電子鏡およびそのプログラム
US11429200B2 (en) Glasses-type terminal
JP4871226B2 (ja) 認識装置および認識方法
JP5229928B1 (ja) 注視位置特定装置、および注視位置特定プログラム
JP5646532B2 (ja) 操作入力装置、操作入力方法、及び、プログラム
JP2010015127A (ja) 情報表示装置
JP2007310789A (ja) インタフェースデバイス
JP5118663B2 (ja) 情報端末装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16888089

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017563699

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016888089

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016888089

Country of ref document: EP

Effective date: 20180827