WO2019167527A1 - 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム - Google Patents

投影制御装置、投影装置、投影制御方法、及び投影制御プログラム Download PDF

Info

Publication number
WO2019167527A1
WO2019167527A1 PCT/JP2019/003143 JP2019003143W WO2019167527A1 WO 2019167527 A1 WO2019167527 A1 WO 2019167527A1 JP 2019003143 W JP2019003143 W JP 2019003143W WO 2019167527 A1 WO2019167527 A1 WO 2019167527A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
unit
projected
projection control
Prior art date
Application number
PCT/JP2019/003143
Other languages
English (en)
French (fr)
Inventor
正樹 荒井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020502879A priority Critical patent/JP7062751B2/ja
Publication of WO2019167527A1 publication Critical patent/WO2019167527A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • the present invention relates to a projection control device, a projection device, a projection control method, and a projection control program.
  • Patent Documents 1-3 describe a projection apparatus capable of projecting a projection image including a main body image based on image information to be displayed and a margin image in which only light of a specific color is projected around the main body image. ing.
  • Patent Document 1 describes that a blank image is provided to increase the accuracy of gesture recognition.
  • Patent Document 2 describes a projection apparatus that switches between a mode in which only a main body image is projected as a projection image and a mode in which a main body image and a margin image are projected as projection images.
  • the projection apparatus In a mode in which only the main body image is projected, the projection apparatus generates a blank image by reducing the main body image when the main body image becomes invisible because the main body image overlaps with the main body image. I try not to be.
  • Patent Document 3 discloses a projection device that detects that a comment or the like has been entered in a portion on which a blank image is projected, based on a photographed image of a photographing unit, and controls the color of the blank image in order to increase the visibility of the comment. Is described.
  • the projection device recognizes a specific movement (gesture) performed in front of the screen by analyzing a photographed image obtained by photographing a range including the projection image, and generates a projection image according to the recognition result. Changes are made.
  • the environment in which the projection apparatus is used is often dark, and there is a possibility that a gesture cannot be recognized depending on the environment.
  • Patent Document 2 describes switching between a mode for generating a blank image and a mode for not generating a blank image.
  • the purpose of this switching is to prevent an obstacle from overlapping the main body image, and not to improve the accuracy of gesture recognition.
  • the present invention has been made in view of the above circumstances, and a projection control device capable of achieving both improvement in visibility of a projected image and improvement in gesture recognition accuracy, a projection device including the projection control device, a projection control method, and a projection An object is to provide a control program.
  • the projection control apparatus of the present invention includes a moving object detection unit that detects a moving object within the projectable range based on captured image data obtained by capturing an image projectable range of the projection unit by the imaging unit, and the imaging
  • a recognition unit for recognizing a predetermined object shape from image data
  • a determination unit for determining whether or not the moving object part in the captured image data satisfies a condition necessary for recognizing the object shape
  • a control unit that controls an image to be projected from the projection unit onto the projectable range, wherein the control unit projects the first image on at least a part of the projectable range.
  • the determination unit determines that the condition is satisfied, control based on the object shape recognized by the recognition unit is performed, and if the condition is not satisfied, the determination unit determines that the condition is not satisfied.
  • the second image adjacent to at least a portion of the peripheral edge of the first image differs from the and the first image is intended to project.
  • the projection device of the present invention includes the projection control device and the projection unit.
  • the projection device of the present invention includes the projection control device, the projection unit, and the photographing unit.
  • a moving object within the imaging range is obtained based on captured image data obtained by imaging the imaging range by an imaging unit that captures an imaging range including an image projectable range by the projection unit.
  • a moving object detection step for detecting, a recognition step for recognizing a predetermined object shape from the captured image data, and whether the moving object part in the captured image data satisfies a condition necessary for recognizing the object shape
  • a determination step for determining whether or not, and a control step for controlling an image to be projected from the projection unit onto the projectable range, wherein the control step includes applying a first image to at least a part of the projectable range.
  • the region including the region corresponding to the moving object in the projectable range is included in the first A second image different from the image is projected.
  • the projection control program of the present invention is a projection control program for causing a computer to execute the projection control method, and the projection control method is performed by the imaging unit that captures the imaging range including the projectable range of the image by the projection unit.
  • a moving object detection step for detecting a moving object within the shooting range based on shooting image data obtained by shooting the shooting range, a recognition step for recognizing a predetermined object shape from the shooting image data, and the shooting
  • a determination step for determining whether or not the moving object portion in the image data satisfies a condition necessary for recognizing the object shape; and a control step for controlling an image to be projected from the projection unit onto the projectable range;
  • the first image is projected onto at least a part of the projectable range.
  • control based on the object shape recognized in the recognition step is performed, and if it is determined in the determination step that the condition is not satisfied, A second image different from the first image is projected onto a region including a region corresponding to the moving body portion in the projectable range.
  • a projection control device that can achieve both improvement in the visibility of a projected image and improvement in gesture recognition accuracy, a projection device including the projection control device, a projection control method, and a projection control program.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a projector 100 that is an embodiment of a projection apparatus of the present invention. It is a schematic diagram which shows the structural example of the display part 1 of the projector 100 shown in FIG. 6 is a schematic diagram for explaining a relationship between a projectable range by the projection unit 20 and an imaging range by the imaging unit 30. It is a block diagram which shows the internal structure of the system control part 10 of the projector 100 shown in FIG. It is a functional block diagram of the control part 11 shown in FIG. 3 is a flowchart for explaining an operation of projector 100 shown in FIG. 1. It is a schematic diagram which shows the transition state of the image projected on the projection possible range 20A.
  • FIG. 6 is a flowchart for explaining another operation of projector 100 shown in FIG. 1. It is a schematic diagram which shows the example of the image projected on 20 A of projectable ranges in FIG.10 S1. It is a schematic diagram which shows the example of the image projected on 20 A of projectable ranges in FIG.10 S9b. It is a schematic diagram which shows the modification of the image projected on the projection possible range 20A in FIG.6 S9. 10 is a flowchart for explaining a modification of the operation of projector 100 shown in FIG. 1.
  • FIG. 16 It is a figure which shows the modification of the functional block of the control part 11 shown in FIG. 16 is a flowchart for explaining the operation of projector 100 including control unit 11 shown in FIG. 15. It is a schematic diagram which shows the example of the image projected on 20 A of projectable ranges in FIG.15 S10a. 16 is a flowchart for explaining the operation of projector 100 including control unit 11 shown in FIG. 15.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a projector 100 which is an embodiment of the projection apparatus of the present invention.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the display unit 1 of the projector 100 illustrated in FIG. 1.
  • the projector 100 is configured to project an image onto the screen SC and to capture a range including the projected image projected onto the screen SC.
  • the projector 100 includes a display unit 1, a projection optical system 2, a common optical system 3, an optical member 4, a photographing optical system 5, an image sensor 6, and a system control unit 10 that performs overall control. .
  • the display unit 1, the projection optical system 2, the optical member 4, and the common optical system 3 constitute a projection unit 20.
  • An imaging unit 30 is configured by the imaging element 6, the imaging optical system 5, the optical member 4, and the common optical system 3.
  • the display unit 1 displays a projection image based on the input projection image data. As shown in FIG. 2, the display unit 1 includes a light source unit 40 and a light modulation element 44.
  • the light source unit 40 includes an R light source 41r that is a red light source that emits red light, a G light source 41g that is a green light source that emits green light, a B light source 41b that is a blue light source that emits blue light, and a dichroic prism 43.
  • a collimator lens 42 r provided between the R light source 41 r and the dichroic prism 43, a collimator lens 42 g provided between the G light source 41 g and the dichroic prism 43, and a B light source 41 b and the dichroic prism 43.
  • a collimator lens 42b is a red light source that emits red light
  • a G light source 41g that is a green light source that emits green light
  • a B light source 41b that is a blue light source that emits blue light
  • a collimator lens 42 r provided between the R light source 41 r and the dichroic prism 43
  • a collimator lens 42 g provided between the G light source
  • the dichroic prism 43 is an optical member for guiding light emitted from each of the R light source 41r, the G light source 41g, and the B light source 41b to the same optical path. That is, the dichroic prism 43 transmits the red light that has been collimated by the collimator lens 42 r and emits the red light to the light modulation element 44. The dichroic prism 43 reflects the green light that has been collimated by the collimator lens 42 g and emits it to the light modulation element 44. Further, the dichroic prism 43 reflects the blue light that has been collimated by the collimator lens 42 b and emits it to the light modulation element 44.
  • the optical member having such a function is not limited to the dichroic prism. For example, a cross dichroic mirror may be used.
  • Each of the R light source 41r, the G light source 41g, and the B light source 41b uses a light emitting element such as a laser or an LED (Light Emitting Diode).
  • the number of light sources included in the light source unit 40 may be one, two, or four or more.
  • the light modulation element 44 spatially modulates the light emitted from the dichroic prism 43 based on the image data, and the spatially modulated image light (red image light, blue image light, and green image light) is the projection optical system in FIG. 2 is emitted.
  • FIG. 2 shows an example in which a DMD (Digital Micromirror Device) is used as the light modulation element 44.
  • a DMD Digital Micromirror Device
  • the light modulation element 44 for example, LCOS (Liquid crystal on silicon), MEMS (Micro Electro Mechanical System element, or the like). It is also possible to use a liquid crystal display element or the like.
  • the display unit 1 may display an image using a self-luminous organic EL (electro-luminescence) display element, and may cause the displayed image to enter the projection optical system 2.
  • a self-luminous organic EL electro-luminescence
  • an apparatus that displays an image by scanning with laser light may be used.
  • the optical member 4 is composed of, for example, a half mirror, a beam splitter, or a polarizing member.
  • the optical member 4 transmits the image light that has passed through the projection optical system 2 and guides it to the common optical system 3, and reflects the subject light that has passed through the common optical system 3 and guides it to the photographing optical system 5.
  • the projection optical system 2 is an optical system into which image light from the display unit 1 is incident, and includes at least one lens.
  • the light that has passed through the projection optical system 2 enters the optical member 4, passes through the optical member 4, and enters the common optical system 3.
  • the common optical system 3 projects the light that has passed through the projection optical system 2 onto the screen SC that is a projection target, and subjects the screen SC (subjects in a range including the projection image projected by the projection unit 20).
  • An optical system that forms an image and includes at least one lens.
  • the subject light incident on the common optical system 3 from the screen SC side passes through the common optical system 3, is reflected by the optical member 4, and enters the photographing optical system 5.
  • the photographing optical system 5 is an optical system for forming an image of subject light that has passed through the common optical system 3 and reflected by the optical member 4 on the image sensor 6.
  • the photographing optical system 5 is disposed in front of the image sensor 6 and focuses the subject light transmitted through the optical member 4 to form an image on the image sensor 6.
  • the photographing optical system 5 includes at least one lens.
  • “front” refers to a direction away from the image sensor 6 toward the photographic optical system 5.
  • the image sensor 6 is a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • FIG. 3 is a schematic diagram for explaining the relationship between the projectable range by the projection unit 20 and the imaging range by the imaging unit 30.
  • the screen SC has a projectable range 20A, which is the maximum range in which the projection unit 20 can project an image, and the imaging range 30A by the imaging unit 30 defines the projectable range 20A.
  • the range is set to be a little larger than the inclusive projection possible range 20A.
  • the imaging range 30A may be the same as the projectable range 20A.
  • the projectable range 20A is a region onto which a main body image (first image) based on projection image data input to the display unit 1 is projected, and the first region 20B is smaller than the projectable range 20A.
  • a blank image for gesture recognition (second image) that is a region between the first region 20B and the periphery of the projectable range 20A and that is unrelated to the projection image data input to the display unit 1.
  • a second region 20C that is a projectable region.
  • the projector 100 recognizes this gesture by performing a specific gesture at a position overlapping the peripheral portion (for example, the second region 20C) of the projectable range 20A, and performs control corresponding to the gesture.
  • FIG. 4 is a block diagram showing an internal configuration of the system control unit 10 of the projector 100 shown in FIG.
  • the system control unit 10 includes a control unit 11, a ROM (Read Only Memory) 12, and a RAM (Random Access Memory) 13.
  • the control unit 11 has various hardware structures.
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing, such as a CPU (Central Processing Unit) and an FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and perform various processes Examples include a dedicated electrical circuit that is a processor having a circuit configuration that is specifically designed to execute a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • the control unit 11 may be composed of one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). May be.
  • the control unit 11 controls the image data for projection input to the light modulation element 44 of the display unit 1, so that the content of the projection image projected from the projection unit 20 onto the screen SC, the luminance of each pixel of the projection image, or The saturation of each pixel of the projected image is controlled.
  • the control unit 11 controls the image sensor 6 and performs shooting of the subject by the image sensor 6.
  • FIG. 5 is a functional block diagram of the control unit 11 shown in FIG.
  • the control unit 11 functions as a projection control apparatus including an image processing unit 11A, a moving object detection unit 11B, a recognition unit 11C, a determination unit 11D, and a control unit 11E by executing an application program including a projection control program.
  • the image processing unit 11A acquires a captured image signal obtained by the imaging element 6 imaging the imaging range 30A shown in FIG. 3, and processes this to generate captured image data.
  • the moving object detection unit 11B detects a moving object such as a person within the projectable range 20A based on the captured image data generated by the image processing unit 11A.
  • the moving object detection unit 11B compares the feature points of the image data within the projectable range 20A among a plurality of photographed image data obtained by continuously photographing, and has a portion between the two image data. Is detected as a moving object.
  • the recognition unit 11C recognizes a predetermined specific object shape from a portion (hereinafter referred to as a moving object region) detected as a moving object by the moving object detection unit 11B in the captured image data generated by the image processing unit 11A. .
  • the specific object shape is an instruction to change the projection image to the projector 100 (for example, an instruction to change a display image during a presentation, an instruction to zoom the display image, or an operation start instruction for an animation included in the display image).
  • Etc. is stored in advance in the ROM 12 as, for example, the shape of a human hand.
  • the recognition unit 11C searches for a human skin color area from the moving object area, performs pattern matching between the contour of the searched area and the object shape, and the specific object shape is detected in the captured image data. Recognition of whether or not it is included.
  • the determination unit 11D determines whether or not the moving object region of the captured image data satisfies a condition necessary for recognizing the object shape (hereinafter referred to as an object recognition condition).
  • Object recognition conditions include brightness sufficient to detect human skin color, saturation sufficient to detect human skin color, or brightness sufficient to detect human skin color. And there is saturation.
  • the luminance of the moving object region indicates a representative value of luminance such as an average value or a median value of luminances of all pixels constituting the moving object region.
  • the saturation of the moving object region indicates a representative value of saturation such as an average value or a median value of the saturation of all the pixels constituting the moving object region.
  • the control unit 11E controls the image projected from the projection unit 20 onto the projectable range 20A based on the determination result by the determination unit 11D and the recognition result by the recognition unit 11C.
  • FIG. 6 is a flowchart for explaining the operation of the projector 100 shown in FIG. 7 and 8 are schematic diagrams illustrating a transition state of an image projected on the projectable range 20A.
  • control unit 11 causes the projection unit 20 to project a main body image based on the projection image data designated by the user onto the first region 20B in the projectable range 20A of the screen SC (step S1).
  • FIG. 7 shows a state in which the main body image IM1 is projected on the first region 20B in step S1.
  • control unit 11 When projection is started in step S1, the control unit 11 causes the photographing unit 30 to photograph the projection image projected on the screen SC (step S2).
  • a captured image signal is output from the image sensor 6 in the imaging of step S2, this is processed by the image processing unit 11A to generate captured image data, and this captured image data is acquired by the moving object detection unit 11B (step S3). ).
  • the moving object detection unit 11B performs a process of detecting a moving object region from the acquired captured image data. If no moving object region is detected (step S4: NO), the process returns to step S2.
  • step S4 When the moving object area is detected (step S4: YES), the determination unit 11D determines whether or not the detected moving object area satisfies the object recognition condition (step S5).
  • FIG. 7 shows a moving object MV corresponding to a moving object region detected from captured image data.
  • step S5 If it is determined that the detected moving object region satisfies the object recognition condition (step S5: YES), the recognition unit 11C recognizes the specific object shape from the detected moving object region (step S6).
  • step S7 If the specific object shape is not recognized as a result of the process in step S6 (step S7: NO), the process returns to step S2. On the other hand, when a specific object shape is recognized (step S7: YES), the process of step S8 is performed.
  • step S8 the control unit 11E executes control predetermined in correspondence with the object shape recognized in step S6, and returns the process to step S1.
  • This control is performed, for example, by changing the projection image data input to the display unit 1 to another one or by changing the brightness of the projection image data input to the display unit 1 This is control related to image change.
  • step S5 If it is determined in step S5 that the detected moving body region does not satisfy the object recognition condition (step S5: NO), the control unit 11E sends a blank image from the projection unit 20 to the second region 20C of the projectable range 20A. Is projected (step S9).
  • FIG. 8 shows a state in which the blank image IM2 is projected onto the second region 20C of the screen SC in step S9.
  • the margin image IM2 is projected onto the projectable range 20A so as to be adjacent to the entire periphery of the main body image IM1.
  • adjacent includes a state in which a part of the blank image IM2 is superimposed on the periphery of the main body image IM1 and projected.
  • the blank image is an image projected to compensate for the brightness of the second region 20C, and for example, a monochromatic image composed of a single hue is used.
  • a white image that can transmit as much light as possible from the light source unit 40 or an image that is complementary to the color of human skin is preferably used.
  • the “monochromatic image” here is not limited to one hue, and it is needless to say that it includes other various hues.
  • At least one of the brightness and saturation of the blank image is set to a predetermined value (target value) that can satisfy the object recognition condition.
  • step S9 the control unit 11 causes the photographing unit 30 to perform photographing (step S10). Then, when a captured image signal is output from the image sensor 6 in the imaging of step S10, the image processing unit 11A processes this to generate captured image data. Based on the captured image data, the moving object detection unit 11B generates a moving object. Is detected (step S11). After step S11, the process after step S6 is performed.
  • the projector 100 when the user performs a gesture at a position overlapping the second region 20C in a state where the main body image is projected only on the first region 20B, for example, If the brightness of the second area 20C does not reach the brightness necessary for gesture recognition, a blank image IM2 is additionally projected onto the second area 20C as shown in FIG. Since the brightness of the second region 20C is improved by the light constituting the blank image IM2, the recognition accuracy of the gesture can be improved.
  • step S9 in FIG. 6 the control unit 11E does not project a blank image on the entire second area 20C, but corresponds to the moving object area in the second area 20C as shown in FIG.
  • the margin image IM2 may be projected only on a part including a region to be performed (a region overlapping with the moving object MV). According to this configuration, it is possible to reduce changes in the entire projected image projected onto the screen SC, and it is possible to improve the visibility of the main body image.
  • FIG. 10 is a flowchart for explaining another operation of the projector 100 shown in FIG.
  • the flowchart shown in FIG. 10 is the same as the flowchart shown in FIG. 6 except that step S9 is changed to steps S9a and S9b.
  • step S9 is changed to steps S9a and S9b.
  • FIG. 10 the same processes as those in FIG.
  • FIG. 11 is a schematic diagram illustrating an example of an image projected onto the projectable range 20A in step S1 of FIG.
  • FIG. 12 is a schematic diagram illustrating an example of an image projected onto the projectable range 20A in step S9b of FIG.
  • step S5 of FIG. 11 When the determination in step S5 of FIG. 11 is NO, the control unit 11E reduces the main body image IM1 being projected to the projectable range 20A and displays the main body image IM1 in the first region as shown in FIG. 20B (step S9a), and further, the margin image IM2 is projected onto the second area 20C that is vacated by reducing the main body image IM1 (step S9b).
  • step S9b the control unit 11E may project the blank image IM2 only in a region overlapping with the moving object MV, as illustrated in FIG.
  • the main body image can be displayed larger, so that the viewing performance of the projected image can be improved.
  • the control unit 11E When projecting the main body image and the margin image on the screen SC, the control unit 11E preferably projects the line L image added to the boundary between the main body image IM1 and the margin image IM2, as shown in FIG. .
  • the boundary between the main body image and the margin image can be easily recognized, so that the appreciation performance of the main body image can be improved.
  • control unit 11E may improve the viewing performance of the projected image by making at least one of the luminance or the saturation of the blank image different from the main body image instead of adding the line L to the projected image.
  • control unit 11E decreases at least one of the luminance and saturation of the blank image as the distance from the main body image becomes smaller, that is, the closer to the periphery of the projectable range 20A, the lower the target value. By doing so, the boundary between the main body image and the margin image becomes inconspicuous, so that the appreciation performance of the entire projected image can be improved.
  • control unit 11E may gradually change at least one of the luminance or the saturation of the blank image from a value lower than the target value to the target value. By doing so, it is possible to prevent the blank image from being displayed suddenly, and thus the viewing performance of the entire projected image can be improved.
  • the target value of at least one of the luminance and saturation of the blank image described above is a predetermined fixed value, but is not limited thereto.
  • this target value may be determined based on the brightness of the moving object area detected in step S4 of FIG. 6 or FIG. Specifically, the luminance target value may be set higher as the brightness of the moving object region is darker, and the saturation target value may be set higher as the brightness of the moving object region is darker.
  • At least one of the luminance or saturation of the blank image is increased from the initial value until the object recognition condition is satisfied. It may be. The operation in this case will be described with reference to FIG.
  • FIG. 14 is a flowchart for explaining a modified example of the operation of the projector 100 shown in FIG.
  • the flowchart shown in FIG. 14 is obtained by adding step S12 and step S13 to the flowchart shown in FIG. 6 and changing step S9 to step S9c.
  • step S9 the same processes as those in FIG. 14
  • step S5 If the determination in step S5 is NO, the control unit 11E projects a blank image on the second region 20C in step S9c. At this time, the control unit 11E sets at least one of the luminance and the saturation of the blank image to a predetermined initial value.
  • step S10 After the margin image is projected in step S9c, the processes in steps S10 and S11 are performed. After step S11, the determination unit 11D determines whether or not the moving object region detected in step S11 satisfies the object recognition condition (step S12).
  • step S12 If the determination in step S12 is NO, the control unit 11E increases at least one value of the luminance or saturation of the blank image being projected by a predetermined amount (step S13). After step S13, the process returns to step S10. If the determination in step S12 is YES, the processes in and after step S6 are performed.
  • the “predetermined amount” here is not limited to a specific luminance (value) or saturation, and other various values are assumed. For example, the “predetermined amount” is appropriate depending on the environment in which the projection apparatus is used. It is possible to set the brightness (value) and / or saturation.
  • the determination unit 11D preferably determines whether the darkest of the plurality of moving object regions in the captured image data satisfies the object recognition condition.
  • FIG. 15 is a diagram showing a modification of the functional block of the control unit 11 shown in FIG. In FIG. 15, the same components as those in FIG.
  • the control unit 11 illustrated in FIG. 15 executes an application program including a projection control program, thereby causing the image processing unit 11A, the moving object detection unit 11B, the recognition unit 11C, the determination unit 11D, the control unit 11E, and the imaging control unit 11F. It functions as a projection control device provided.
  • the photographing control unit 11F causes the photographing unit 30 to photograph the photographing range 30A in a state where the main body image is changed to the same image as the blank image while the main body image and the blank image are projected on the screen SC.
  • the recognition unit 11C of the control unit 11 illustrated in FIG. Recognize the object shape.
  • FIG. 16 is a flowchart for explaining the operation of projector 100 including control unit 11 shown in FIG.
  • the flowchart shown in FIG. 16 is obtained by changing step S10 of the flowchart shown in FIG. 6 to steps S10a and S10b.
  • step S10 of the flowchart shown in FIG. 6 is changed to steps S10a and S10b.
  • steps S10a and S10b are changed to steps S10a and S10b.
  • Step S10a When the control unit 11E projects a margin image in step S9, the imaging control unit 11F changes the main image being projected to an image of the same color as the margin image, and causes the imaging unit 30 to perform imaging in that state. (Step S10a).
  • step S10a When the process of step S10a is performed, as shown in FIG. 17, the blank image IM2 is projected on the second region 20C of the projectable range 20A, and the first region 20B has the same hue as the blank image IM2. An image IM3 having the same luminance and saturation is projected.
  • the imaging control unit 11F After step S10a, the imaging control unit 11F returns the image IM3 being projected on the first region 20B to the original main body image (step S10b).
  • step S11 When the photographed image data is obtained by photographing with the photographing unit 30 in the state shown in FIG. 17, the moving object region is detected from the photographed image data by the moving object detecting unit 11B (step S11). Thus, recognition of a specific object shape is performed (step S6). Thereafter, the processing after step S7 is performed.
  • FIG. 17 shows an example in which the moving object MV corresponding to the moving object area detected from the captured image data exists across the boundary between the first area 20B and the second area 20C.
  • the blank image is projected in step S9, and the brightness of the moving object area is increased.
  • a part of the moving body region overlaps the main body image, and the object recognition condition may not be satisfied.
  • step S6 can be performed in a state where the object recognition conditions are satisfied, and the gesture recognition accuracy can be improved.
  • step S10a and step S10b of FIG. 16 instead of step S10.
  • step S5 in FIG. 16 the operation when the determination in step S5 in FIG. 16 is NO and the operation when the determination in step S5 in FIG. 6 is NO may be switched.
  • FIG. 18 is a flowchart for explaining the operation of projector 100 including control unit 11 shown in FIG.
  • the flowchart shown in FIG. 18 is obtained by adding step S20, step S9 in FIG. 6, and step S10 in FIG. 6 to the flowchart shown in FIG.
  • the same processes as those in FIGS. 16 and 6 are denoted by the same reference numerals, and description thereof is omitted.
  • step S5 determines whether to perform the control for generating the projection state of FIG. 17 according to the position of the moving object region.
  • the imaging unit 30 may have a configuration provided outside.
  • the system control unit 10 is communicably connected to the imaging unit 30 prepared separately from the projector 100.
  • the projection unit 20, the imaging unit 30, and an electronic device such as a personal computer are separately prepared and installed so that the electronic device can communicate with the projection unit 20 and the imaging unit 30, and the system control unit is connected to the electronic device. It is good also as a structure with 10 functions. According to this configuration, since the system can be realized only by improving the general-purpose projector, the cost required for system construction can be reduced. Further, as shown in FIG. 1, according to the configuration in which the projection unit 20, the imaging unit 30, and the system control unit 10 are all in the same housing, the overlapping area can be corrected with high accuracy. Further, the cost required for system construction can be reduced as compared with the case where the projection unit 20, the photographing unit 30, and the electronic device are individually prepared.
  • a moving object detection unit that detects a moving object within the projectable range based on captured image data obtained by photographing the projectable range of the image by the projection unit by the photographing unit;
  • a recognition unit for recognizing a predetermined object shape from the captured image data;
  • a determination unit that determines whether or not the moving object portion in the captured image data satisfies a condition necessary for recognizing the object shape;
  • a control unit for controlling an image to be projected from the projection unit to the projectable range, In a state where the first image is projected on at least a part of the projectable range, the control unit recognizes the recognition unit by the recognition unit when the determination unit determines that the condition is satisfied.
  • the projection possible range is different from the first image and at least the periphery of the first image.
  • a projection control device that projects a second image adjacent to a part.
  • a projection control apparatus In a state where the first image is projected on the entire projectable range, the control unit reduces the first image when the determination unit determines that the condition is not satisfied.
  • a projection control device that projects the second image onto a portion of the projectable range where the first image is not projected.
  • the projection control apparatus is a projection control apparatus which determines at least one of the brightness
  • the projection control apparatus determines whether or not the darkest part of the plurality of moving object parts in the captured image data satisfies the above condition when a plurality of moving objects are detected by the moving object detection unit. Control device.
  • the projection control apparatus according to any one of (4) to (7),
  • the said control part is a projection control apparatus which adds a line to the boundary of said 1st image and said 2nd image, when projecting said 2nd image.
  • the projection control device In the state where the first image and the second image are projected, the photographing unit is caused to photograph the projectable range in a state where the first image is changed to the same image as the second image.
  • the said recognition part is a projection control apparatus which recognizes the said object shape from the moving body detected by the said moving body detection part from the picked-up image data obtained by the imaging
  • a projection apparatus comprising: the projection control apparatus according to any one of (1) to (11); and the projection unit.
  • a control step for controlling an image to be projected from the projection unit onto the projectable range, In the control step, in the state where the first image is projected on at least a part of the projectable range, when the determination step determines that the condition is satisfied, the recognition recognized by the recognition step is performed.
  • the region including the region corresponding to the moving object in the projectable range is included in the first A projection control method for projecting a second image different from the image.
  • a projection control program for causing a computer to execute a projection control method is: A moving object detection step of detecting a moving object within the shooting range based on the shot image data obtained by shooting the shooting range by a shooting unit that captures a shooting range including a projectable range of an image by the projection unit; A recognition step for recognizing a predetermined object shape from the captured image data; A determination step of determining whether or not the moving object portion in the captured image data satisfies a condition necessary for recognizing the object shape; A control step for controlling an image to be projected from the projection unit onto the projectable range, In the control step, in the state where the first image is projected on at least a part of the projectable range, when the determination step determines that the condition is satisfied, the recognition recognized by the recognition step is performed.
  • the region including the region corresponding to the moving object in the projectable range is included in the first A projection control program for projecting a second image different from the image.
  • a projection control device that can achieve both improvement in the visibility of a projected image and improvement in gesture recognition accuracy, a projection device including the projection control device, a projection control method, and a projection control program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

投影像の視認性向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供する。プロジェクタ（１００）は、撮影部（３０）により撮影して得られる撮影画像データに基づいて、投影可能範囲（２０Ａ）内にある動体を検出する動体検出部（１１Ｂ）と、撮影画像データから特定の物体形状を認識する認識部（１１Ｃ）と、撮影画像データにおける上記動体の部分が、物体形状を認識するために必要な条件を満たすか否かを判定する判定部（１１Ｄ）と、第一の領域（２０Ｂ）に本体画像を投影させている状態において、上記条件を満たすと判定された場合には、認識部（１１Ｃ）によって認識された物体形状に基づいた制御を行い、上記条件を満たさないと判定された場合には、第二の領域（２０Ｃ）に、本体画像とは異なる余白画像を投影させる制御部（１１Ｅ）と、を備える。

Description

投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
　本発明は、投影制御装置、投影装置、投影制御方法、及び投影制御プログラムに関する。
　特許文献１－３には、表示すべき画像情報に基づく本体画像と、この本体画像の周囲において特定色の光のみが投写される余白画像とを含む投影像を投影可能な投影装置が記載されている。
　特許文献１には、ジェスチャ認識の精度を上げるために余白画像を設けることが記載されている。
　特許文献２には、投影像として本体画像のみを投影するモードと、投影像として本体画像と余白画像とを投影するモードとを切り替える投影装置が記載されている。この投影装置は、本体画像のみを投影するモードにおいて本体画像に障害物が重なって本体画像が見えなくなる状況になると、本体画像を縮小することで余白画像を生成し、本体画像に障害物が重ならないようにしている。
　特許文献３には、余白画像が投影された部分にコメント等が記入されたことを撮影部の撮影画像によって検知し、このコメントの視認性を上げるために、余白画像の色を制御する投影装置が記載されている。
日本国特開２０１２－０６５００５号公報 日本国特開２０１３－０６４８２７号公報 日本国特開２０１７－１９８７７９号公報
　投影装置においては、投影像を含む範囲を撮影して得た撮影画像を解析することで、スクリーンの前で行われた特定の動き（ジェスチャ）を認識し、その認識結果に応じて投影像を変更することが行われる。しかし、投影装置の使用される環境は暗いことが多く、環境によってはジェスチャを認識できない可能性がある。
　特許文献１と特許文献３に記載された投影装置のように、余白画像が常に投影される構成では、本体画像の視認性が低下する。また、本体画像の大きさに制限がかかってしまう。
　特許文献２には、余白画像を生成するモードと余白画像を生成しないモードとを切り替えることが記載されている。しかし、この切り替えは、本体画像に障害物が重ならないようにすることが目的であり、ジェスチャ認識の精度向上を目的としていない。
　本発明は、上記事情に鑑みてなされたものであり、投影像の視認性向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供することを目的とする。
　本発明の投影制御装置は、投影部による画像の投影可能範囲を撮影部により撮影して得られる撮影画像データに基づいて、上記投影可能範囲内にある動体を検出する動体検出部と、上記撮影画像データから予め決められた物体形状を認識する認識部と、上記撮影画像データにおける上記動体の部分が、上記物体形状を認識するために必要な条件を満たすか否かを判定する判定部と、上記投影部から上記投影可能範囲に投影させる画像を制御する制御部と、を備え、上記制御部は、上記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、上記条件を満たすと上記判定部により判定された場合には、上記認識部によって認識された上記物体形状に基づいた制御を行い、上記条件を満たさないと上記判定部により判定された場合には、上記投影可能範囲に、上記第一の画像とは異なり且つ上記第一の画像の周縁の少なくとも一部に隣接する第二の画像を、投影させるものである。
　本発明の投影装置は、上記投影制御装置と、上記投影部と、を備えるものである。
　本発明の投影装置は、上記投影制御装置と、上記投影部と、上記撮影部と、を備えるものである。
　本発明の投影制御方法は、投影部による画像の投影可能範囲を含む撮影範囲を撮影する撮影部により上記撮影範囲を撮影して得られる撮影画像データに基づいて、上記撮影範囲内にある動体を検出する動体検出ステップと、上記撮影画像データから予め決められた物体形状を認識する認識ステップと、上記撮影画像データにおける上記動体の部分が、上記物体形状を認識するために必要な条件を満たすか否かを判定する判定ステップと、上記投影部から上記投影可能範囲に投影させる画像を制御する制御ステップと、を備え、上記制御ステップでは、上記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、上記条件を満たすと上記判定ステップにより判定された場合には、上記認識ステップによって認識された上記物体形状に基づいた制御を行い、上記条件を満たさないと上記判定ステップにより判定された場合には、上記投影可能範囲のうちの上記動体の部分に対応する領域を含む領域に、上記第一の画像とは異なる第二の画像を投影させるものである。
　本発明の投影制御プログラムは、投影制御方法をコンピュータに実行させるための投影制御プログラムであって、上記投影制御方法は、投影部による画像の投影可能範囲を含む撮影範囲を撮影する撮影部により上記撮影範囲を撮影して得られる撮影画像データに基づいて、上記撮影範囲内にある動体を検出する動体検出ステップと、上記撮影画像データから予め決められた物体形状を認識する認識ステップと、上記撮影画像データにおける上記動体の部分が、上記物体形状を認識するために必要な条件を満たすか否かを判定する判定ステップと、上記投影部から上記投影可能範囲に投影させる画像を制御する制御ステップと、を備え、上記制御ステップでは、上記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、上記条件を満たすと上記判定ステップにより判定された場合には、上記認識ステップによって認識された上記物体形状に基づいた制御を行い、上記条件を満たさないと上記判定ステップにより判定された場合には、上記投影可能範囲のうちの上記動体の部分に対応する領域を含む領域に、上記第一の画像とは異なる第二の画像を投影させるものである。
　本発明によれば、投影像の視認性向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供することができる。
本発明の投影装置の一実施形態であるプロジェクタ１００の概略構成を示す模式図である。 図１に示すプロジェクタ１００の表示部１の構成例を示す模式図である。 投影部２０による投影可能範囲と撮影部３０による撮影範囲の関係を説明する模式図である。 図１に示すプロジェクタ１００のシステム制御部１０の内部構成を示すブロック図である。 図３に示す制御部１１の機能ブロック図である。 図１に示すプロジェクタ１００の動作を説明するためのフローチャートである。 投影可能範囲２０Ａに投影される画像の遷移状態を示す模式図である。 投影可能範囲２０Ａに投影される画像の遷移状態を示す模式図である。 図６のステップＳ９にて投影可能範囲２０Ａに投影される画像の変形例を示す模式図である。 図１に示すプロジェクタ１００の別の動作を説明するためのフローチャートである。 図１０のステップＳ１にて投影可能範囲２０Ａに投影された画像の例を示す模式図である。 図１０のステップＳ９ｂにて投影可能範囲２０Ａに投影された画像の例を示す模式図である。 図６のステップＳ９にて投影可能範囲２０Ａに投影される画像の変形例を示す模式図である。 図１に示すプロジェクタ１００の動作の変形例を説明するためのフローチャートである。 図５に示す制御部１１の機能ブロックの変形例を示す図である。 図１５に示す制御部１１を含むプロジェクタ１００の動作を説明するためのフローチャートである。 図１５のステップＳ１０ａにて投影可能範囲２０Ａに投影される画像の例を示す模式図である 図１５に示す制御部１１を含むプロジェクタ１００の動作を説明するためのフローチャートである。
　図１は、本発明の投影装置の一実施形態であるプロジェクタ１００の概略構成を示す模式図である。図２は、図１に示すプロジェクタ１００の表示部１の構成例を示す模式図である。
　プロジェクタ１００は、スクリーンＳＣに画像を投影すると共に、スクリーンＳＣに投影された投影像を含む範囲を撮影可能に構成されている。
　プロジェクタ１００は、表示部１と、投影光学系２と、共通光学系３と、光学部材４と、撮影光学系５と、撮像素子６と、全体を統括制御するシステム制御部１０と、を備える。表示部１、投影光学系２、光学部材４、及び共通光学系３により投影部２０が構成されている。撮像素子６、撮影光学系５、光学部材４、及び共通光学系３により撮影部３０が構成されている。
　表示部１は、入力される投影用の画像データに基づいて投影用の画像を表示するものである。図２に示すように、表示部１は、光源ユニット４０と、光変調素子４４と、を備える。
　光源ユニット４０は、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備えている。
　ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
　Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子が用いられる。光源ユニット４０に含まれる光源の数は１つ、２つ、又は４つ以上であってもよい。
　光変調素子４４は、ダイクロイックプリズム４３から出射された光を画像データに基づいて空間変調し、空間変調した画像光（赤色画像光、青色画像光、及び緑色画像光）を図１の投影光学系２に出射する。
　図２は、光変調素子４４としてＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）を用いた例であるが、光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）素子、又は液晶表示素子等を用いることも可能である。
　表示部１は、自発光型の有機ＥＬ（ｅｌｅｃｔｒｏ－ｌｕｍｉｎｅｓｃｅｎｃｅ）表示素子を用いて画像を表示し、表示した画像を投影光学系２に入射させるものであってもよい。また、レーザ光を走査することで画像の表示を行うものを用いてもよい。
　光学部材４は、例えばハーフミラー、ビームスプリッタ―、又は偏光部材等によって構成されている。光学部材４は、投影光学系２を通過した画像光を透過させて共通光学系３に導き、且つ、共通光学系３を通過した被写体光を反射させて撮影光学系５に導く。
　投影光学系２は、表示部１からの画像光が入射される光学系であり、少なくとも１つのレンズを含む。投影光学系２を通過した光は光学部材４に入射され、光学部材４を透過して共通光学系３に入射される。
　共通光学系３は、投影光学系２を通過した光を投影対象物であるスクリーンＳＣに投影し、且つ、スクリーンＳＣ側の被写体（投影部２０によって投影された投影像を含む範囲の被写体）を結像させる光学系であり、少なくとも１つのレンズを含んで構成されている。
　スクリーンＳＣ側から共通光学系３に入射した被写体光は、共通光学系３を通過し、光学部材４にて反射されて、撮影光学系５に入射される。
　撮影光学系５は、共通光学系３を通過して光学部材４にて反射した被写体光を撮像素子６に結像させるための光学系である。撮影光学系５は、撮像素子６の前方に配置されており、光学部材４を透過した被写体光を集光して撮像素子６に結像させる。撮影光学系５は、少なくとも１つのレンズを含んで構成されている。なお、ここでいう「前方」とは、撮像素子６から撮影光学系５に向かって離間する方向をいう。
　撮像素子６は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。
　図３は、投影部２０による投影可能範囲と撮影部３０による撮影範囲の関係を説明する模式図である。
　図３に示すように、スクリーンＳＣには、投影部２０が画像を投影することのできる最大の範囲である投影可能範囲２０Ａが存在し、撮影部３０による撮影範囲３０Ａがこの投影可能範囲２０Ａを含み投影可能範囲２０Ａよりも少し大きい範囲として設定されている。なお、撮影範囲３０Ａは、投影可能範囲２０Ａと同じであってもよい。
　投影可能範囲２０Ａは、表示部１に入力される投影用の画像データに基づく本体画像（第一の画像）が投影される領域であり、且つ投影可能範囲２０Ａよりも小さい第一の領域２０Ｂと、第一の領域２０Ｂと投影可能範囲２０Ａの周縁との間の領域であり、且つ表示部１に入力される投影用の画像データとは無関係のジェスチャ認識用の余白画像（第二の画像）が投影可能な領域である第二の領域２０Ｃと、により構成されている。
　プロジェクタ１００では、投影可能範囲２０Ａの周辺部（例えば第二の領域２０Ｃ）と重なる位置において特定のジェスチャを行うことで、このジェスチャの認識が行われ、そのジェスチャに対応した制御が行われる。
　図４は、図１に示すプロジェクタ１００のシステム制御部１０の内部構成を示すブロック図である。
　システム制御部１０は、制御部１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｓｅｓｓ　Ｍｅｍｏｒｙ）１３と、を備える。
　制御部１１は、ハードウェア的な構造は、各種のプロセッサである。各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｓｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　制御部１１は、表示部１の光変調素子４４に入力する投影用の画像データを制御することで、投影部２０からスクリーンＳＣに投影させる投影像の内容、投影像の各画素の輝度、又は投影像の各画素の彩度等を制御する。また、制御部１１は、撮像素子６を制御して、撮像素子６による被写体の撮影を実行する。
　図５は、図４に示す制御部１１の機能ブロック図である。制御部１１は、投影制御プログラムを含むアプリケーションプログラムを実行することにより、画像処理部１１Ａ、動体検出部１１Ｂ、認識部１１Ｃ、判定部１１Ｄ、及び制御部１１Ｅを備える投影制御装置として機能する。
　画像処理部１１Ａは、撮像素子６が図３に示す撮影範囲３０Ａを撮像して得た撮像画像信号を取得し、これを処理して撮影画像データを生成する。
　動体検出部１１Ｂは、画像処理部１１Ａによって生成された撮影画像データに基づいて、投影可能範囲２０Ａ内にある人等の動体を検出する。
　例えば、動体検出部１１Ｂは、連続して撮影して得られる複数の撮影画像データのうちの投影可能範囲２０Ａ内の画像データの特徴点同士を比較し、２つの画像データ間で動きがある部分を動体として検出する。
　認識部１１Ｃは、画像処理部１１Ａにより生成された撮影画像データのうち、動体検出部１１Ｂによって動体として検出された部分（以下、動体領域という）から、予め決められた特定の物体形状を認識する。
　この特定の物体形状は、プロジェクタ１００に対して投影像の変更の指示（例えばプレゼンテーションを行っているときの表示画像の変更指示、表示画像のズーム指示、又は表示画像に含まれるアニメーションの動作開始指示等）を行うための例えば人の手の形状としてＲＯＭ１２に予め記憶されている。
　具体的には、認識部１１Ｃは、動体領域から人の肌の色の領域をサーチし、サーチした領域の輪郭と物体形状とのパターンマッチングを行って、撮影画像データにこの特定の物体形状が含まれるか否かの認識を行う。
　判定部１１Ｄは、撮影画像データの動体領域が、上記の物体形状を認識するために必要な条件（以下、物体認識条件という）を満たすか否かを判定する。
　物体認識条件としては、人の肌の色を検出できる程度の輝度があること、人の肌の色を検出できる程度の彩度があること、又は、人の肌の色を検出できる程度の輝度及び彩度があること等が挙げられる。
　動体領域の輝度とは、動体領域を構成する全画素の輝度の平均値又は中央値等の輝度の代表値を示す。動体領域の彩度とは、動体領域を構成する全画素の彩度の平均値又は中央値等の彩度の代表値を示す。
　制御部１１Ｅは、判定部１１Ｄによる判定結果と、認識部１１Ｃによる認識結果とに基づいて、投影部２０から投影可能範囲２０Ａに投影させる画像を制御する。
　図６は、図１に示すプロジェクタ１００の動作を説明するためのフローチャートである。図７及び図８は、投影可能範囲２０Ａに投影される画像の遷移状態を示す模式図である。
　まず、制御部１１は、使用者から指定された投影用の画像データに基づく本体画像を投影部２０によってスクリーンＳＣの投影可能範囲２０Ａのうちの第一の領域２０Ｂに投影させる（ステップＳ１）。図７は、ステップＳ１にて、第一の領域２０Ｂに本体画像ＩＭ１が投影された状態を示している。
　ステップＳ１にて投影が開始されると、制御部１１は、スクリーンＳＣに投影された投影像の撮影を撮影部３０に行わせる（ステップＳ２）。
　ステップＳ２の撮影で撮像素子６から撮像画像信号が出力されると、画像処理部１１Ａによってこれが処理されて撮影画像データが生成され、この撮影画像データが動体検出部１１Ｂにより取得される（ステップＳ３）。
　動体検出部１１Ｂは、取得した撮影画像データから動体領域を検出する処理を行い、動体領域が検出されなかった場合（ステップＳ４：ＮＯ）には、ステップＳ２に処理が戻る。
　動体領域が検出された場合（ステップＳ４：ＹＥＳ）には、判定部１１Ｄが、検出された動体領域が物体認識条件を満たすか否かを判定する（ステップＳ５）。図７には、撮影画像データから検出される動体領域に対応する動体ＭＶが示されている。
　検出された動体領域が物体認識条件を満たすと判定されると（ステップＳ５：ＹＥＳ）、認識部１１Ｃは、検出された動体領域から上記の特定の物体形状の認識を行う（ステップＳ６）。
　ステップＳ６の処理の結果、特定の物体形状が認識されなかった場合（ステップＳ７：ＮＯ）にはステップＳ２に処理が戻る。一方、特定の物体形状が認識された場合（ステップＳ７：ＹＥＳ）にはステップＳ８の処理が行われる。
　ステップＳ８において、制御部１１Ｅは、ステップＳ６にて認識された物体形状に対応して予め決められている制御を実行し、ステップＳ１に処理を戻す。この制御は、例えば、表示部１に入力する投影用の画像データを別のものに変更する制御、又は、表示部１に入力している投影用の画像データの輝度を変更する制御等の投影像の変更に関する制御である。
　ステップＳ５において、検出された動体領域が物体認識条件を満たさないと判定されると（ステップＳ５：ＮＯ）、制御部１１Ｅは、投影可能範囲２０Ａの第二の領域２０Ｃに投影部２０から余白画像を投影させる（ステップＳ９）。
　図８は、ステップＳ９にて、スクリーンＳＣの第二の領域２０Ｃに余白画像ＩＭ２が投影された状態を示している。図８に示すように、ステップＳ９の処理により、投影可能範囲２０Ａには、本体画像ＩＭ１の周縁の全てに隣接する形で余白画像ＩＭ２が投影された状態となる。なお、ここでいう「隣接する」とは、本体画像ＩＭ１の周縁に余白画像ＩＭ２の一部が重畳されて投影される状態も含むものとする。
　余白画像は、第二の領域２０Ｃの明るさを補うために投影される画像であり、例えば、単一の色相で構成された単色の画像が用いられる。余白画像としては、光源ユニット４０からの光をなるべく多く透過することのできる白色の画像、又は、人の肌の色の補色の画像等が好ましく用いられる。なお、ここでいう「単色の画像」とは、一つの色相に限定されるものではなく、その他の種々の色相のものを含むことはいうまでもない。
　この余白画像の輝度又は彩度の少なくとも一方は、物体認識条件を満たすことができる程度の予め決められた値（目標値）に設定される。
　ステップＳ９にて余白画像が投影されると、制御部１１は撮影部３０に撮影を行わせる（ステップＳ１０）。そして、このステップＳ１０の撮影で撮像素子６から撮像画像信号が出力されると、画像処理部１１Ａによってこれが処理されて撮影画像データが生成され、この撮影画像データに基づいて動体検出部１１Ｂにより動体が検出される（ステップＳ１１）。ステップＳ１１の後は、ステップＳ６以降の処理が行われる。
　以上のように、プロジェクタ１００によれば、第一の領域２０Ｂにのみ本体画像が投影されている状態において、使用者が第二の領域２０Ｃと重なる位置においてジェスチャを行った場合に、例えばこの第二の領域２０Ｃの明るさがジェスチャの認識に必要な明るさに達していなければ、図８に示すように、第二の領域２０Ｃに余白画像ＩＭ２が追加投影される。この余白画像ＩＭ２を構成している光によって、第二の領域２０Ｃの明るさが向上するため、ジェスチャの認識精度を向上させることができる。
　なお、図６のステップＳ９において、制御部１１Ｅは、第二の領域２０Ｃの全体に余白画像を投影させるのではなく、図９に示すように、第二の領域２０Ｃのうちの動体領域に対応する領域（動体ＭＶと重なっている領域）を含む一部分にのみ余白画像ＩＭ２を投影させてもよい。この構成によれば、スクリーンＳＣに投影される投影像全体の変化を少なくすることができ、本体画像の視認性を向上させることが可能となる。
　ここまでの説明では、図７に示したように、本体画像ＩＭ１を第一の領域２０Ｂに投影することを前提としたが、プロジェクタ１００では、本体画像ＩＭ１を投影可能範囲２０Ａの全体に投影することも可能である。以下では、この場合のプロジェクタ１００の動作について説明する。
　図１０は、図１に示すプロジェクタ１００の別の動作を説明するためのフローチャートである。図１０に示すフローチャートは、ステップＳ９がステップＳ９ａとステップＳ９ｂに変更された点を除いては、図６に示すフローチャートと同じである。図１０において図６と同じ処理には同一符号を付して説明を省略する。
　図１１は、図１０のステップＳ１にて投影可能範囲２０Ａに投影された画像の例を示す模式図である。図１２は、図１０のステップＳ９ｂにて投影可能範囲２０Ａに投影された画像の例を示す模式図である。
　図１１のステップＳ５の判定がＮＯの場合には、制御部１１Ｅは、図１２に示すように、投影可能範囲２０Ａに投影中の本体画像ＩＭ１を縮小してこの本体画像ＩＭ１を第一の領域２０Ｂに投影させ（ステップＳ９ａ）、更に、本体画像ＩＭ１を縮小することで空いた第二の領域２０Ｃに、余白画像ＩＭ２を投影させる（ステップＳ９ｂ）。
　このステップＳ９ａとステップＳ９ｂの処理により、図８と同じ状態が得られる。このため、ジェスチャの認識精度を向上させることができる。なお、ステップＳ９ｂにおいて、制御部１１Ｅは、図９にて例示したように、動体ＭＶと重なる領域だけ余白画像ＩＭ２を投影させてもよい。
　図１０の動作によれば、本体画像をより大きく表示させることができるため、投影像の鑑賞性能を高めることができる。
　制御部１１Ｅは、本体画像と余白画像をスクリーンＳＣに投影させる場合には、図１３に示すように、本体画像ＩＭ１と余白画像ＩＭ２の境界に線Ｌの画像を追加して投影させることが好ましい。線Ｌが追加されることで、本体画像と余白画像の境目を容易に認識することができるため、本体画像の鑑賞性能を高めることができる。
　なお、制御部１１Ｅは、線Ｌを投影像に追加する代わりに、余白画像の輝度又は彩度の少なくとも一方を、本体画像と異ならせることで、投影像の鑑賞性能を高めてもよい。
　例えば、制御部１１Ｅは、余白画像の輝度又は彩度の少なくとも一方を、上記の目標値を下限値として、本体画像から遠ざかるほど、つまり、投影可能範囲２０Ａの周縁に近づくほど、小さくする。このようにすることで、本体画像と余白画像の境目が目立たなくなるため、投影像全体の鑑賞性能を高めることができる。
　また、制御部１１Ｅは、余白画像を投影させる際に、余白画像の輝度又は彩度の少なくとも一方を、上記の目標値よりも低い値からこの目標値となるまで徐々に変化させてもよい。このようにすることで、余白画像が突然表示されるのを防ぐことができるため、投影像全体の鑑賞性能を高めることができる。
　上述した余白画像の輝度又は彩度の少なくとも一方の目標値は、予め決められた固定値としているが、これに限らない。例えば、この目標値を、図６又は図１０のステップＳ４にて検出された動体領域の明るさに基づいて決定してもよい。具体的には、動体領域の明るさが暗いほど、輝度の目標値を高く設定し、動体領域の明るさが暗いほど、彩度の目標値を高く設定すればよい。このようにすることで、物体認識条件をより確実に満たすことが可能となり、ジェスチャ認識精度をより向上させることができる。
　また、余白画像の輝度又は彩度の少なくとも一方の目標値を事前に決めるのではなく、物体認識条件を満たす状態となるまで余白画像の輝度又は彩度の少なくとも一方を初期値から上げていくようにしてもよい。この場合の動作を、図１４を参照して説明する。
　図１４は、図１に示すプロジェクタ１００の動作の変形例を説明するためのフローチャートである。図１４に示すフローチャートは、図６に示すフローチャートに、ステップＳ１２及びステップＳ１３が追加され、ステップＳ９がステップＳ９ｃに変更されたものである。図１４において図６と同じ処理には同一符号を付して説明を省略する。
　ステップＳ５の判定がＮＯの場合には、制御部１１Ｅが、ステップＳ９ｃにて、第二の領域２０Ｃに余白画像を投影させる。このとき、制御部１１Ｅは、余白画像の輝度又は彩度の少なくとも一方を、予め決められた初期値に設定する。
　ステップＳ９ｃにて余白画像が投影された後は、ステップＳ１０、ステップＳ１１の処理が行われる。ステップＳ１１の後、判定部１１Ｄは、ステップＳ１１にて検出された動体領域が物体認識条件を満たすか否かを判定する（ステップＳ１２）。
　ステップＳ１２の判定がＮＯとなると、制御部１１Ｅは、投影中の余白画像の輝度又は彩度の少なくとも一方の値を所定量だけ増やす（ステップＳ１３）。ステップＳ１３の後はステップＳ１０に処理が戻る。ステップＳ１２の判定がＹＥＳとなると、ステップＳ６以降の処理が行われる。ここでいう「所定量」とは、特定の輝度（値）又は彩度に限定されるものではなく、その他の種々の値が想定され、例えば、投影装置の使用される環境に応じて適当な輝度（値）及び／又は彩度を設定することが可能である。
　この構成によれば、より確実に物体認識条件を満たす状態を得ることができ、ジェスチャ認識精度を向上させることができる。
　ここまでは、動体検出部１１Ｂによって検出された動体が１つの例を示したが、動体が複数検出されることも考えられる。この場合には、判定部１１Ｄは、撮影画像データにおける複数の動体領域のうちの最も暗いものが上記の物体認識条件を満たすか否かを判定するのが好ましい。
　このように、最も暗い動体領域が上記の物体認識条件を満たす状態になるように余白画像を投影すれば、他の動体領域についても物体認識条件を満たす状態を得ることができる。この構成によれば、動体領域毎に個別に物体認識条件を満たすか否かの判定を行う必要がないため、処理を高速化することができる。
　図１５は、図５に示す制御部１１の機能ブロックの変形例を示す図である。図１５において図５と同じ構成には同一符号を付して説明を省略する。
　図１５に示す制御部１１は、投影制御プログラムを含むアプリケーションプログラムを実行することにより、画像処理部１１Ａ、動体検出部１１Ｂ、認識部１１Ｃ、判定部１１Ｄ、制御部１１Ｅ、及び撮影制御部１１Ｆを備える投影制御装置として機能する。
　撮影制御部１１Ｆは、本体画像と余白画像がスクリーンＳＣに投影されている状態において、本体画像を余白画像と同じ画像に変更した状態にて、撮影部３０に撮影範囲３０Ａを撮影させる。
　図１５に示す制御部１１の認識部１１Ｃは、撮影制御部１１Ｆの制御によって行われた撮影により得られる撮影画像データから動体検出部１１Ｂにより動体が検出された場合に、この動体から上記の特定の物体形状を認識する。
　図１６は、図１５に示す制御部１１を含むプロジェクタ１００の動作を説明するためのフローチャートである。図１６に示すフローチャートは、図６に示すフローチャートのステップＳ１０がステップＳ１０ａ及びステップＳ１０ｂに変更されたものである。図１６において図６と同じ処理には同一符号を付して説明を省略する。
　制御部１１ＥがステップＳ９において余白画像を投影させると、撮影制御部１１Ｆは、投影中の本体画像を余白画像と同じ単色の画像に変更し、その状態にて、撮影部３０により撮影を行わせる（ステップＳ１０ａ）。
　ステップＳ１０ａの処理が行われると、図１７に示すように、投影可能範囲２０Ａの第二の領域２０Ｃには余白画像ＩＭ２が投影され、第一の領域２０Ｂには、余白画像ＩＭ２と同じ色相で同じ輝度及び彩度の画像ＩＭ３が投影された状態となる。ステップＳ１０ａの後、撮影制御部１１Ｆは、第一の領域２０Ｂに投影中の画像ＩＭ３を元の本体画像に戻す（ステップＳ１０ｂ）。
　図１７に示す状態で撮影部３０により撮影をして撮影画像データが得られると、この撮影画像データから動体検出部１１Ｂによって動体領域が検出され（ステップＳ１１）、この動体領域から、認識部１１Ｃによって特定の物体形状の認識が行われる（ステップＳ６）。その後、ステップＳ７以降の処理が行われる。
　図１７には、撮影画像データから検出された動体領域に対応する動体ＭＶが、第一の領域２０Ｂと第二の領域２０Ｃの境界を跨いで存在している例が示されている。このように、第一の領域２０Ｂと第二の領域２０Ｃの境界を跨いで動体ＭＶが存在しているケースでは、ステップＳ９にて余白画像の投影が行われ、動体領域の明るさがアップしても、動体領域の一部の部分は本体画像と重なってしまっており、物体認識条件が満たされない可能性がある。
　そこで、このようなケースでは、投影可能範囲２０Ａ全体に、余白画像ＩＭ２及びこれと同じ画像ＩＭ３を投影させた状態にて撮影を行い、その撮影で得られる撮影画像データから特定の物体形状の認識を行うことで、物体認識条件を満たした状態にてステップＳ６の処理を実施することができ、ジェスチャ認識精度を高めることができる。
　なお、図１０において、ステップＳ１０の代わりに、図１６のステップＳ１０ａ及びステップＳ１０ｂの処理を行っても同様の効果を得ることができる。
　また、図１６のステップＳ５の判定がＮＯのときの動作と、図６のステップＳ５の判定がＮＯのときの動作とを切り替えられるようにしてもよい。
　図１８は、図１５に示す制御部１１を含むプロジェクタ１００の動作を説明するためのフローチャートである。図１８に示すフローチャートは、図１６に示すフローチャートに、ステップＳ２０と、図６のステップＳ９と、図６のステップＳ１０とが追加されたものである。図１８において図１６及び図６と同じ処理には同一符号を付して説明を省略する。
　ステップＳ５の判定がＮＯとなる場合に、検出されている動体領域が第一の領域２０Ｂと第二の領域２０Ｃの境界にあると判定されると（ステップＳ２０：ＹＥＳ）、ステップＳ９、ステップＳ１０ａ、及びステップＳ１０ｂの処理の後、ステップＳ１１の処理が行われる。一方、検出されている動体領域が第一の領域２０Ｂと第二の領域２０Ｃの境界にないと判定されると（ステップＳ２０：ＮＯ）、ステップＳ９及びステップＳ１０の処理の後、ステップＳ１１の処理が行われる。このように、動体領域の位置によって図１７の投影状態を生成する制御を行うか否かを選択することで、ジェスチャ認識精度を向上させることができる。
　以上説明してきたプロジェクタ１００は、投影部２０と撮影部３０とシステム制御部１０とを備えるものとしたが、撮影部３０は外部に設けられた構成であってもよい。この場合には、システム制御部１０が、プロジェクタ１００とは別に用意された撮影部３０と通信可能に接続される。
　また、投影部２０と撮影部３０とパーソナルコンピュータ等の電子機器とを個別に用意して設置し、この電子機器と投影部２０及び撮影部３０とを通信可能とし、この電子機器にシステム制御部１０の機能を持たせた構成としてもよい。この構成によれば汎用のプロジェクタの改良のみでシステムを実現することができるため、システム構築に要するコストを下げることができる。また、図１に示すように、投影部２０、撮影部３０、及びシステム制御部１０が全て同一筐体内にある構成によれば、重複領域を高精度に補正することができる。また、投影部２０と撮影部３０と電子機器を個別に用意する場合と比較してシステム構築に要する費用を削減することができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
　投影部による画像の投影可能範囲を撮影部により撮影して得られる撮影画像データに基づいて、上記投影可能範囲内にある動体を検出する動体検出部と、
　上記撮影画像データから予め決められた物体形状を認識する認識部と、
　上記撮影画像データにおける上記動体の部分が、上記物体形状を認識するために必要な条件を満たすか否かを判定する判定部と、
　上記投影部から上記投影可能範囲に投影させる画像を制御する制御部と、を備え、
　上記制御部は、上記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、上記条件を満たすと上記判定部により判定された場合には、上記認識部によって認識された上記物体形状に基づいた制御を行い、上記条件を満たさないと上記判定部により判定された場合には、上記投影可能範囲に、上記第一の画像とは異なり且つ上記第一の画像の周縁の少なくとも一部に隣接する第二の画像を、投影させる投影制御装置。
（２）
　（１）記載の投影制御装置であって、
　上記制御部は、上記投影可能範囲の一部に上記第一の画像を投影させている状態において、上記条件を満たさないと上記判定部により判定された場合には、上記投影可能範囲のうちの上記第一の画像が未投影の部分に上記第二の画像を投影させる投影制御装置。
（３）
　（１）又は（２）記載の投影制御装置であって、
　上記制御部は、上記投影可能範囲の全部に上記第一の画像を投影させている状態において、上記条件を満たさないと上記判定部により判定された場合には、上記第一の画像を縮小し、上記投影可能範囲のうちの上記第一の画像が未投影の部分に上記第二の画像を投影させる投影制御装置。
（４）
　（１）から（３）のいずれか１つに記載の投影制御装置であって、
　上記第二の画像は単色の画像である投影制御装置。
（５）
　（４）記載の投影制御装置であって、
　上記制御部は、上記第二の画像の輝度又は彩度の少なくとも一方を、上記条件を満たすか否かの判定対象となった上記動体の部分の明るさに基づいて決定する投影制御装置。
（６）
　（５）記載の投影制御装置であって、
　上記判定部は、上記動体検出部により複数の動体が検出された場合には、上記撮影画像データにおける上記複数の動体の部分のうちの最も暗い部分が上記条件を満たすか否かを判定する投影制御装置。
（７）
　（４）から（６）のいずれか１つに記載の投影制御装置であって、
　上記制御部は、上記第二の画像を投影させる場合には、上記第二の画像の輝度又は彩度の少なくとも一方を上記第一の画像と異ならせる投影制御装置。
（８）
　（７）記載の投影制御装置であって、
　上記制御部は、上記第二の画像を投影させる場合には、上記第二の画像の輝度又は彩度の少なくとも一方を上記第一の画像から遠ざかるほど小さくする投影制御装置。
（９）
　（４）から（８）のいずれか１つに記載の投影制御装置であって、
　上記制御部は、上記第二の画像を投影させる場合には、上記第二の画像の輝度又は彩度の少なくとも一方を目標値まで徐々に変化させる投影制御装置。
（１０）
　（４）から（７）のいずれか１つに記載の投影制御装置であって、
　上記制御部は、上記第二の画像を投影させる場合には、上記第一の画像と上記第二の画像の境界に線を追加する投影制御装置。
（１１）
　（１）から（１０）のいずれか１つに記載の投影制御装置であって、
　上記第一の画像と上記第二の画像が投影されている状態において、上記第一の画像を上記第二の画像と同じ画像に変更した状態にて上記撮影部に上記投影可能範囲を撮影させる撮影制御部を更に備え、
　上記認識部は、その撮影により得られる撮影画像データから上記動体検出部により検出される動体から上記物体形状を認識する投影制御装置。
（１２）
　（１）から（１１）のいずれか１つに記載の投影制御装置と、上記投影部と、を備える投影装置。
（１３）
　（１）から（１１）のいずれか１つに記載の投影制御装置と、上記投影部と、上記撮影部と、を備える投影装置。
（１４）
　投影部による画像の投影可能範囲を含む撮影範囲を撮影する撮影部により上記撮影範囲を撮影して得られる撮影画像データに基づいて、上記撮影範囲内にある動体を検出する動体検出ステップと、
　上記撮影画像データから予め決められた物体形状を認識する認識ステップと、
　上記撮影画像データにおける上記動体の部分が、上記物体形状を認識するために必要な条件を満たすか否かを判定する判定ステップと、
　上記投影部から上記投影可能範囲に投影させる画像を制御する制御ステップと、を備え、
　上記制御ステップでは、上記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、上記条件を満たすと上記判定ステップにより判定された場合には、上記認識ステップによって認識された上記物体形状に基づいた制御を行い、上記条件を満たさないと上記判定ステップにより判定された場合には、上記投影可能範囲のうちの上記動体の部分に対応する領域を含む領域に、上記第一の画像とは異なる第二の画像を投影させる投影制御方法。
（１５）
　（１４）記載の投影制御方法であって、
　上記制御ステップでは、上記投影可能範囲の一部に上記第一の画像を投影させている状態において、上記条件を満たさないと上記判定ステップにより判定された場合には、上記投影可能範囲のうちの上記第一の画像が未投影の部分に上記第二の画像を投影させる投影制御方法。
（１６）
　（１４）記載の投影制御方法であって、
　上記制御ステップでは、上記投影可能範囲の全部に上記第一の画像を投影させている状態において、上記条件を満たさないと上記判定ステップにより判定された場合には、上記第一の画像を縮小し、上記投影可能範囲のうちの上記第一の画像が未投影の部分に上記第二の画像を投影させる投影制御方法。
（１７）
　（１４）から（１６）のいずれか１つに記載の投影制御方法であって、
　上記第二の画像は単色の画像である投影制御方法。
（１８）
　（１７）記載の投影制御方法であって、
　上記制御ステップでは、上記第二の画像の輝度又は彩度の少なくとも一方を、上記条件を満たすか否かの判定対象となった上記動体の部分の明るさに基づいて決定する投影制御方法。
（１９）
　（１８）記載の投影制御方法であって、
　上記判定ステップでは、上記動体検出ステップにより複数の動体が検出された場合には、上記撮影画像データにおける上記複数の動体の部分のうちの最も暗い部分が上記条件を満たすか否かを判定する投影制御方法。
（２０）
　（１７）から（１９）のいずれか１つに記載の投影制御方法であって、
　上記制御ステップでは、上記第二の画像を投影させる場合には、上記第二の画像の輝度又は彩度の少なくとも一方を上記第一の画像と異ならせる投影制御方法。
（２１）
　（２０）記載の投影制御方法であって、
　上記制御ステップでは、上記第二の画像を投影させる場合には、上記第二の画像の輝度又は彩度の少なくとも一方を上記第一の画像から遠ざかるほど小さくする投影制御方法。
（２２）
　（１７）から（２１）のいずれか１つに記載の投影制御方法であって、
　上記制御ステップでは、上記第二の画像を投影させる場合には、上記第二の画像の輝度又は彩度の少なくとも一方を目標値まで徐々に変化させる投影制御方法。
（２３）
　（１７）から（２０）のいずれか１つに記載の投影制御方法であって、
　上記制御ステップでは、上記第二の画像を投影させる場合には、上記第一の画像と上記第二の画像の境界に線を追加する投影制御方法。
（２４）
　（１４）から（２３）のいずれか１つに記載の投影制御方法であって、
　上記第一の画像と上記第二の画像が投影されている状態において、上記第一の画像を上記第二の画像と同じ画像に変更した状態にて上記撮影部に上記投影可能範囲を撮影させる撮影制御ステップを更に備え、
　上記認識ステップでは、その撮影により得られる撮影画像データから上記動体検出ステップにより検出される動体から上記物体形状を認識する投影制御方法。
（２５）
　投影制御方法をコンピュータに実行させるための投影制御プログラムであって、
　上記投影制御方法は、
　投影部による画像の投影可能範囲を含む撮影範囲を撮影する撮影部により上記撮影範囲を撮影して得られる撮影画像データに基づいて、上記撮影範囲内にある動体を検出する動体検出ステップと、
　上記撮影画像データから予め決められた物体形状を認識する認識ステップと、
　上記撮影画像データにおける上記動体の部分が、上記物体形状を認識するために必要な条件を満たすか否かを判定する判定ステップと、
　上記投影部から上記投影可能範囲に投影させる画像を制御する制御ステップと、を備え、
　上記制御ステップでは、上記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、上記条件を満たすと上記判定ステップにより判定された場合には、上記認識ステップによって認識された上記物体形状に基づいた制御を行い、上記条件を満たさないと上記判定ステップにより判定された場合には、上記投影可能範囲のうちの上記動体の部分に対応する領域を含む領域に、上記第一の画像とは異なる第二の画像を投影させる投影制御プログラム。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１８年２月２８日出願の日本特許出願（特願２０１８－０３５４７４）に基づくものであり、その内容は本出願の中に参照として援用される。
　本発明によれば、投影像の視認性向上とジェスチャ認識精度の向上とを両立させることのできる投影制御装置、これを備える投影装置、投影制御方法、及び投影制御プログラムを提供することができる。
１００　プロジェクタ
１　表示部
４０　光源ユニット
４１ｒ　Ｒ光源
４１ｇ　Ｇ光源
４１ｂ　Ｂ光源
４２ｒ、４２ｇ、４２ｂ　コリメータレンズ
４３　ダイクロイックプリズム
４４　光変調素子
２　投影光学系
３　共通光学系
４　光学部材
５　撮影光学系
６　撮像素子
１０　システム制御部
２０Ａ　投影可能範囲
２０Ｂ　第一の領域
２０Ｃ　第二の領域
３０Ａ　撮影範囲
１１　制御部
１１Ａ　画像処理部
１１Ｂ　動体検出部
１１Ｃ　認識部
１１Ｄ　判定部
１１Ｅ　制御部
１１Ｆ　撮影制御部
１２　ＲＯＭ
１３　ＲＡＭ
２０　投影部
３０　撮影部
ＳＣ　スクリーン
ＭＶ　動体
ＩＭ１　本体画像
ＩＭ２　余白画像
Ｌ　線
ＩＭ３　画像
 

Claims (25)

  1. 　投影部による画像の投影可能範囲を撮影部により撮影して得られる撮影画像データに基づいて、前記投影可能範囲内にある動体を検出する動体検出部と、
    　前記撮影画像データから予め決められた物体形状を認識する認識部と、
    　前記撮影画像データにおける前記動体の部分が、前記物体形状を認識するために必要な条件を満たすか否かを判定する判定部と、
    　前記投影部から前記投影可能範囲に投影させる画像を制御する制御部と、を備え、
    　前記制御部は、前記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、前記条件を満たすと前記判定部により判定された場合には、前記認識部によって認識された前記物体形状に基づいた制御を行い、前記条件を満たさないと前記判定部により判定された場合には、前記投影可能範囲に、前記第一の画像とは異なり且つ前記第一の画像の周縁の少なくとも一部に隣接する第二の画像を、投影させる投影制御装置。
  2. 　請求項１記載の投影制御装置であって、
    　前記制御部は、前記投影可能範囲の一部に前記第一の画像を投影させている状態において、前記条件を満たさないと前記判定部により判定された場合には、前記投影可能範囲のうちの前記第一の画像が未投影の部分に前記第二の画像を投影させる投影制御装置。
  3. 　請求項１又は２記載の投影制御装置であって、
    　前記制御部は、前記投影可能範囲の全部に前記第一の画像を投影させている状態において、前記条件を満たさないと前記判定部により判定された場合には、前記第一の画像を縮小し、前記投影可能範囲のうちの前記第一の画像が未投影の部分に前記第二の画像を投影させる投影制御装置。
  4. 　請求項１から３のいずれか１項記載の投影制御装置であって、
    　前記第二の画像は単色の画像である投影制御装置。
  5. 　請求項４記載の投影制御装置であって、
    　前記制御部は、前記第二の画像の輝度又は彩度の少なくとも一方を、前記条件を満たすか否かの判定対象となった前記動体の部分の明るさに基づいて決定する投影制御装置。
  6. 　請求項５記載の投影制御装置であって、
    　前記判定部は、前記動体検出部により複数の動体が検出された場合には、前記撮影画像データにおける前記複数の動体の部分のうちの最も暗い部分が前記条件を満たすか否かを判定する投影制御装置。
  7. 　請求項４から６のいずれか１項記載の投影制御装置であって、
    　前記制御部は、前記第二の画像を投影させる場合には、前記第二の画像の輝度又は彩度の少なくとも一方を前記第一の画像と異ならせる投影制御装置。
  8. 　請求項７記載の投影制御装置であって、
    　前記制御部は、前記第二の画像を投影させる場合には、前記第二の画像の輝度又は彩度の少なくとも一方を前記第一の画像から遠ざかるほど小さくする投影制御装置。
  9. 　請求項４から８のいずれか１項記載の投影制御装置であって、
    　前記制御部は、前記第二の画像を投影させる場合には、前記第二の画像の輝度又は彩度の少なくとも一方を目標値まで徐々に変化させる投影制御装置。
  10. 　請求項４から７のいずれか１項記載の投影制御装置であって、
    　前記制御部は、前記第二の画像を投影させる場合には、前記第一の画像と前記第二の画像の境界に線を追加する投影制御装置。
  11. 　請求項１から１０のいずれか１項記載の投影制御装置であって、
    　前記第一の画像と前記第二の画像が投影されている状態において、前記第一の画像を前記第二の画像と同じ画像に変更した状態にて前記撮影部に前記投影可能範囲を撮影させる撮影制御部を更に備え、
    　前記認識部は、当該撮影により得られる撮影画像データから前記動体検出部により検出される動体から前記物体形状を認識する投影制御装置。
  12. 　請求項１から１１のいずれか１項記載の投影制御装置と、前記投影部と、を備える投影装置。
  13. 　請求項１から１１のいずれか１項記載の投影制御装置と、前記投影部と、前記撮影部と、を備える投影装置。
  14. 　投影部による画像の投影可能範囲を含む撮影範囲を撮影する撮影部により前記撮影範囲を撮影して得られる撮影画像データに基づいて、前記撮影範囲内にある動体を検出する動体検出ステップと、
    　前記撮影画像データから予め決められた物体形状を認識する認識ステップと、
    　前記撮影画像データにおける前記動体の部分が、前記物体形状を認識するために必要な条件を満たすか否かを判定する判定ステップと、
    　前記投影部から前記投影可能範囲に投影させる画像を制御する制御ステップと、を備え、
    　前記制御ステップでは、前記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、前記条件を満たすと前記判定ステップにより判定された場合には、前記認識ステップによって認識された前記物体形状に基づいた制御を行い、前記条件を満たさないと前記判定ステップにより判定された場合には、前記投影可能範囲のうちの前記動体の部分に対応する領域を含む領域に、前記第一の画像とは異なる第二の画像を投影させる投影制御方法。
  15. 　請求項１４記載の投影制御方法であって、
    　前記制御ステップでは、前記投影可能範囲の一部に前記第一の画像を投影させている状態において、前記条件を満たさないと前記判定ステップにより判定された場合には、前記投影可能範囲のうちの前記第一の画像が未投影の部分に前記第二の画像を投影させる投影制御方法。
  16. 　請求項１４記載の投影制御方法であって、
    　前記制御ステップでは、前記投影可能範囲の全部に前記第一の画像を投影させている状態において、前記条件を満たさないと前記判定ステップにより判定された場合には、前記第一の画像を縮小し、前記投影可能範囲のうちの前記第一の画像が未投影の部分に前記第二の画像を投影させる投影制御方法。
  17. 　請求項１４から１６のいずれか１項記載の投影制御方法であって、
    　前記第二の画像は単色の画像である投影制御方法。
  18. 　請求項１７記載の投影制御方法であって、
    　前記制御ステップでは、前記第二の画像の輝度又は彩度の少なくとも一方を、前記条件を満たすか否かの判定対象となった前記動体の部分の明るさに基づいて決定する投影制御方法。
  19. 　請求項１８記載の投影制御方法であって、
    　前記判定ステップでは、前記動体検出ステップにより複数の動体が検出された場合には、前記撮影画像データにおける前記複数の動体の部分のうちの最も暗い部分が前記条件を満たすか否かを判定する投影制御方法。
  20. 　請求項１７から１９のいずれか１項記載の投影制御方法であって、
    　前記制御ステップでは、前記第二の画像を投影させる場合には、前記第二の画像の輝度又は彩度の少なくとも一方を前記第一の画像と異ならせる投影制御方法。
  21. 　請求項２０記載の投影制御方法であって、
    　前記制御ステップでは、前記第二の画像を投影させる場合には、前記第二の画像の輝度又は彩度の少なくとも一方を前記第一の画像から遠ざかるほど小さくする投影制御方法。
  22. 　請求項１７から２１のいずれか１項記載の投影制御方法であって、
    　前記制御ステップでは、前記第二の画像を投影させる場合には、前記第二の画像の輝度又は彩度の少なくとも一方を目標値まで徐々に変化させる投影制御方法。
  23. 　請求項１７から２０のいずれか１項記載の投影制御方法であって、
    　前記制御ステップでは、前記第二の画像を投影させる場合には、前記第一の画像と前記第二の画像の境界に線を追加する投影制御方法。
  24. 　請求項１４から２３のいずれか１項記載の投影制御方法であって、
    　前記第一の画像と前記第二の画像が投影されている状態において、前記第一の画像を前記第二の画像と同じ画像に変更した状態にて前記撮影部に前記投影可能範囲を撮影させる撮影制御ステップを更に備え、
    　前記認識ステップでは、当該撮影により得られる撮影画像データから前記動体検出ステップにより検出される動体から前記物体形状を認識する投影制御方法。
  25. 　投影制御方法をコンピュータに実行させるための投影制御プログラムであって、
    　前記投影制御方法は、
    　投影部による画像の投影可能範囲を含む撮影範囲を撮影する撮影部により前記撮影範囲を撮影して得られる撮影画像データに基づいて、前記撮影範囲内にある動体を検出する動体検出ステップと、
    　前記撮影画像データから予め決められた物体形状を認識する認識ステップと、
    　前記撮影画像データにおける前記動体の部分が、前記物体形状を認識するために必要な条件を満たすか否かを判定する判定ステップと、
    　前記投影部から前記投影可能範囲に投影させる画像を制御する制御ステップと、を備え、
    　前記制御ステップでは、前記投影可能範囲の少なくとも一部に第一の画像を投影させている状態において、前記条件を満たすと前記判定ステップにより判定された場合には、前記認識ステップによって認識された前記物体形状に基づいた制御を行い、前記条件を満たさないと前記判定ステップにより判定された場合には、前記投影可能範囲のうちの前記動体の部分に対応する領域を含む領域に、前記第一の画像とは異なる第二の画像を投影させる投影制御プログラム。
     
PCT/JP2019/003143 2018-02-28 2019-01-30 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム WO2019167527A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020502879A JP7062751B2 (ja) 2018-02-28 2019-01-30 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-035474 2018-02-28
JP2018035474 2018-02-28

Publications (1)

Publication Number Publication Date
WO2019167527A1 true WO2019167527A1 (ja) 2019-09-06

Family

ID=67806006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003143 WO2019167527A1 (ja) 2018-02-28 2019-01-30 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム

Country Status (2)

Country Link
JP (1) JP7062751B2 (ja)
WO (1) WO2019167527A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450937A (zh) * 2019-09-27 2022-05-06 富士胶片株式会社 控制装置、控制方法、控制程序及投影系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063280A1 (ko) * 2022-09-22 2024-03-28 삼성전자 주식회사 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250482A (ja) * 2007-03-29 2008-10-16 Kyushu Institute Of Technology プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム
JP2010250464A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013257686A (ja) * 2012-06-12 2013-12-26 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム
JP2015126281A (ja) * 2013-12-25 2015-07-06 キヤノン株式会社 プロジェクタ、情報処理方法及びプログラム
JP2016071824A (ja) * 2014-10-02 2016-05-09 富士通株式会社 インターフェース装置、手指追跡方法、及び、プログラム
JP2016110517A (ja) * 2014-12-09 2016-06-20 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250482A (ja) * 2007-03-29 2008-10-16 Kyushu Institute Of Technology プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム
JP2010250464A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013257686A (ja) * 2012-06-12 2013-12-26 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム
JP2015126281A (ja) * 2013-12-25 2015-07-06 キヤノン株式会社 プロジェクタ、情報処理方法及びプログラム
JP2016071824A (ja) * 2014-10-02 2016-05-09 富士通株式会社 インターフェース装置、手指追跡方法、及び、プログラム
JP2016110517A (ja) * 2014-12-09 2016-06-20 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450937A (zh) * 2019-09-27 2022-05-06 富士胶片株式会社 控制装置、控制方法、控制程序及投影系统
CN114450937B (zh) * 2019-09-27 2024-04-26 富士胶片株式会社 控制装置、控制方法、存储介质及投影系统

Also Published As

Publication number Publication date
JP7062751B2 (ja) 2022-05-06
JPWO2019167527A1 (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
US8073207B2 (en) Method for displaying face detection frame, method for displaying character information, and image-taking device
US10616506B2 (en) Imaging device for distinguishing foreground
JP3849654B2 (ja) 投射型表示装置
EP3136377B1 (en) Information processing device, information processing method, program
US20100277636A1 (en) Imaging device
WO2023087947A1 (zh) 一种投影设备和校正方法
JP7434487B2 (ja) 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
JP2015037250A (ja) 画像投影装置及びプレゼンテーションシステム
CN104658462A (zh) 投影机以及投影机的控制方法
WO2019167527A1 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
US8078049B2 (en) Imaging apparatus
JP2012181264A (ja) 投影装置、投影方法及びプログラム
WO2020250739A1 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
WO2019176594A1 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
US20100002109A1 (en) Imaging apparatus, method for controlling the imaging apparatus, and computer-readable storage medium storing the same
US20220132080A1 (en) Control device, projection system, control method, and control program
WO2012147368A1 (ja) 撮影装置
JP2011199717A (ja) 投写型表示装置および画像表示方法
JP6903824B2 (ja) 投影装置とその制御方法及び制御プログラム
JP2018159835A (ja) 投影装置
US10474020B2 (en) Display apparatus and method for controlling display apparatus to display an image with an orientation based on a user's position
JP6960522B2 (ja) 投影制御装置、投影制御方法、投影制御プログラム、投影システム
JP2020005049A (ja) 投射システム、プロジェクター、投射システムの制御方法およびプロジェクターの制御方法
JP7537470B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017173402A (ja) プロジェクター及びプロジェクターの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19760426

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502879

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19760426

Country of ref document: EP

Kind code of ref document: A1