WO2022163835A1 - 投写制御方法、および、投写制御装置 - Google Patents

投写制御方法、および、投写制御装置 Download PDF

Info

Publication number
WO2022163835A1
WO2022163835A1 PCT/JP2022/003435 JP2022003435W WO2022163835A1 WO 2022163835 A1 WO2022163835 A1 WO 2022163835A1 JP 2022003435 W JP2022003435 W JP 2022003435W WO 2022163835 A1 WO2022163835 A1 WO 2022163835A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
camera
image
indices
coordinates
Prior art date
Application number
PCT/JP2022/003435
Other languages
English (en)
French (fr)
Inventor
健 増谷
千春 坪田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2022578525A priority Critical patent/JPWO2022163835A1/ja
Publication of WO2022163835A1 publication Critical patent/WO2022163835A1/ja
Priority to US18/219,807 priority patent/US20230353714A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image

Definitions

  • the present disclosure relates to a projection control method and a projection control device.
  • Patent Document 1 after calibrating a projector, a plurality of pieces of positional information indicating feature points on a screen are acquired, and based on the difference in the acquired positional information, the positions of the feature points of a test image are corrected, and the projector is restarted.
  • a calibrating device is disclosed.
  • An object of the present disclosure is to provide a projection control method and the like capable of associating the positions of a projector and a camera with a simple configuration.
  • a projection control method is a projection control method in which a processor controls projection of an image by a projector, and includes a plurality of projectors positioned within a projection range of the projector.
  • a projection control apparatus is a projection control apparatus that controls projection of an image by a projector, wherein a projection image including a plurality of projection indices positioned within a projection range of the projector is projected onto the projector.
  • a detection control unit that causes a camera to capture the projected image so that it falls within an imaging range; a display control unit for displaying on a display an instruction for the user to arrange the camera index of the camera in the imaging range; a camera coordinate detection unit for detecting the coordinates of the plurality of arranged camera indexes; a control unit that determines a correspondence relationship between camera coordinates located within the imaging range of the camera and projection coordinates located within the projection range of the projector according to the positional relationship relative to the index; Prepare.
  • the projection control method and the like according to one aspect of the present disclosure can associate the positions of the projector and the camera with a simple configuration.
  • FIG. 1 is a block diagram of a projection control apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a diagram showing an overview of the high-speed projection mapping system.
  • FIG. 3 is a diagram showing the equipment of the high-speed projection mapping system.
  • FIG. 4 is a diagram showing a problem of projection control in a high-speed projection mapping system.
  • FIG. 5 is a diagram showing an overview of the projection control method according to the first embodiment.
  • FIG. 6 is a flow chart of the projection control method according to the first embodiment.
  • FIG. 7 is a diagram showing an overview of image projection using the projection control method according to the first embodiment.
  • 8A is a diagram showing a sensing area for image projection using the projection control method according to Embodiment 1.
  • FIG. 8B is a diagram showing calibration for image projection using the projection control method according to Embodiment 1.
  • FIG. 8C is a diagram showing parameter settings for image projection using the projection control method according to Embodiment 1.
  • FIG. 9 is a diagram showing the configuration of a projection control apparatus according to Embodiment 2.
  • FIG. 10 is a diagram showing another configuration of the projection control apparatus according to the second embodiment.
  • 11A and 11B are diagrams showing projection of the projection index by the projection control apparatus according to the second embodiment.
  • FIG. 12 is a diagram showing an overview of the projection control method according to the second embodiment.
  • FIG. 13 is a flow chart showing a projection control method according to the second embodiment.
  • FIG. 14 is a diagram showing a method of projecting a projection image.
  • FIG. 1 is a block diagram of projection control apparatus 10 according to Embodiment 1.
  • the projection control device 10 includes a first projection control section 11 , a second projection control section 12 , a detection control section 13 , a display control section 14 , a camera coordinate detection section 15 and a control section 16 .
  • Projection control device 10 is connected to projector 20, display 30, and camera 40 by wire or wirelessly.
  • the projection control device 10 causes the camera 40 to image the marker 50 and uses it for calibration during image projection.
  • the projection control device 10 is realized by a processor and memory.
  • the processor is, for example, a CPU (Central Processing Unit).
  • the memory is a memory such as DRAM (Dynamic Random-Access Memory) or SRAM (Static Random-Access Memory).
  • non-volatile memory such as ROM (Read-Only Memory) or flash memory may be used.
  • the first projection control unit 11 causes the projector 20 to project a projection image including a plurality of projection indices positioned within the projection range of the projector 20 .
  • the first projection control unit 11 generates a projection image including a plurality of projection indices and causes the projector 20 to project the projection image.
  • the first projection control unit 11 acquires coordinates of a plurality of projection indices during projection. That is, the first projection control unit 11 acquires the coordinates of the position of the projection index in the coordinate system when the projection image was generated.
  • the coordinates at the time of projection of the projection index are the coordinates in the coordinate system set by the projection control device 10 when the projection index is projected, and are the coordinates in the projection plane (the coordinate system in the camera image, which will be described later). ) are distinguished from the coordinates of the position of the projected index.
  • the detection control unit 13 causes the camera 40 to capture the projected image within the imaging range.
  • the detection control unit 13 may generate a camera image from the image captured by the camera 40 . That is, the camera image includes a plurality of projection indices projected as content of the projection image.
  • the display control unit 14 causes the display to display an instruction for the user to place a plurality of camera indices indicating relative positions with respect to the projection index in the camera coordinate system obtained by the imaging in the imaging range. Specifically, for example, the display control unit 14 displays a plurality of camera indices indicating the relative positional relationship with the projection index in the projection camera image so as to be superimposed on the camera image displayed on the display 30.
  • the number of camera indices is the same as the number of projection indices.
  • the projection positions of the plurality of displayed camera indices may be the positions where the corresponding projection indices should be in the camera image.
  • the camera coordinate detection unit 15 detects coordinates of a plurality of arranged camera indices. That is, the camera coordinate detection unit 15 detects the coordinates of a plurality of camera indices placed by the user on the screen or in the space where the projector 20 and the projection control device 10 are present. Specifically, for example, the camera coordinate detection unit 15 allows the user to adjust the positional relationship between each projection index included in the camera image displayed on the display 30 and each of a plurality of camera indices. An operation of moving one of the projected index and the plurality of camera indices included in the image on the display 30 may be accepted.
  • the control unit 16 establishes a correspondence relationship between the camera coordinates located within the imaging range of the camera and the projection coordinates located within the projection range of the projector, according to the relative positional relationship between the projection index and the plurality of camera indexes. to decide. Specifically, the control unit 16 determines the position within the projection range of the projector 20 according to the mode of movement on the display 30 of any one of the projection index and the plurality of camera indices included in the camera image. A correspondence relationship of camera coordinates located within the imaging range of the camera 40 to the projected coordinates may be determined. For example, the control unit 16 determines the correspondence relationship between the projection coordinates of the projection indices and the camera coordinates according to the amount of movement of one of the plurality of projection indices and the plurality of camera indices. may
  • control unit 16 may cause the camera 40 to image the marker 50 existing in the projection range.
  • control unit 16 may calculate the camera coordinates of the marker 50 in the camera coordinate system of the marker 50 captured by the camera 40, or convert the camera coordinates of the marker 50 into projection coordinates using the determined correspondence relationship. can be converted to Further, the control unit 16 may cause the projector 20 to project an image at the position of the marker 50 captured by the camera 40 using the converted projection coordinates of the marker 50 .
  • the second projection control unit 12 causes the projector 20 to project an image using projection coordinates according to the determined correspondence relationship.
  • the projector 20 receives control from the projection control device 10 and projects a projection image including a plurality of projection indices onto the projection surface.
  • the projector may be a CRT projector that enlarges and projects the image displayed on the CRT (Cathode-Ray Tube) using an optical system such as a lens, or a light source lamp that uses discharge light on the built-in liquid crystal panel. It may be a liquid crystal projector that enlarges and projects an image through which light is transmitted onto a screen using a lens. It may also be a DLP (Digital Light Processing) projector, an LCOS (Liquid Crystal On Silicon) projector, a GLV (Grating Light Valve) projector, or a laser projector.
  • DLP Digital Light Processing
  • LCOS Liquid Crystal On Silicon
  • GLV Grating Light Valve
  • the display 30 receives control from the projection control device 10 and displays the camera image and the camera index.
  • the display 30 may be a CRT display, a liquid crystal display, an organic EL (Electro-Luminescence) display, or a plasma display.
  • the camera 40 captures an imaging area including the projected projection image.
  • Camera 40 is, for example, a visible light camera or an infrared camera.
  • a plurality of cameras 40 may be provided, and the plurality of cameras 40 may include a visible light camera and an infrared camera.
  • an ultraviolet camera may be used instead of an infrared camera as the camera 40, and the camera 40 may include a camera capable of imaging invisible light.
  • the marker 50 is a landmark object captured by an infrared camera or the like.
  • the marker 50 has an infrared reflecting member and reflects infrared rays emitted from the infrared light 81 . Since the marker 50 reflects infrared rays, it appears in the infrared image captured by the infrared camera.
  • the marker 50 is not connected to the projection control apparatus 10 by wire or wirelessly.
  • the infrared reflective member may be a retroreflective member.
  • an infrared light 81 is installed in the vicinity of the infrared camera, and the retroreflective member included in the marker 50 reflects infrared rays emitted from the infrared light 81 toward the infrared camera.
  • the marker 50 may include an LED (Light Emitting Diode) instead of including an infrared reflecting member.
  • the marker 50 may itself emit infrared light or visible light.
  • FIG. 2 is a diagram showing an overview of the high-speed projection mapping system.
  • the high-speed projection mapping system is a system in which a high-speed projector projects an image following movement of the marker 50 detected by the infrared camera.
  • a high-speed projector projects images sent from a content server consisting of a PC or the like onto a screen. For example, a person or the like holds the marker 50 and stands in front of the screen.
  • the high-speed projection mapping system then emits infrared light from the infrared light 81 and causes the marker 50 to reflect the infrared light.
  • the high-speed projection mapping system uses an infrared camera to photograph the marker 50 reflecting infrared light. Then, the high-speed projection mapping system uses a high-speed projector to project an image on the screen at a position overlapping the marker 50 .
  • the high-speed projection mapping system can project an image on the screen following the movement of the marker by repeating the series of processes described above.
  • the high-speed projector may have a frame rate of 240 fps (frames per second)
  • the infrared camera may have a frame rate of 240 fps
  • the content server may have a frequency of 240 Hz.
  • the marker may be located behind the screen when viewed from the high-speed projector, and the infrared camera may capture infrared light reflected by the marker through a translucent or transparent screen to capture an image of the marker.
  • Fig. 3 is a diagram showing the equipment of the high-speed projection mapping system.
  • the high-speed projection mapping system includes a high-speed projector 20, a content server equipped with a CPU, etc., a display 30, and a hub 70 compatible with PoE power supply.
  • the high speed projector 20 may be equipped with sensing equipment. Sensing equipment includes, for example, industrial cameras, camera lenses, visible light cut filters, infrared projectors, and retroreflective sheets.
  • the high-speed projector is connected to the content server by HDMI (registered trademark) (High Definition Multimedia Interface) 90 as a video signal line.
  • the content server is connected to a PoE (Power over Ethernet) feeding compatible hub 70 via a LAN cable 60 .
  • HDMI registered trademark
  • PoE Power over Ethernet
  • the PoE power supply compatible hub 70 is connected to each part of the high-speed projector 20 by a LAN cable 60 .
  • Industrial cameras or infrared illuminators may be powered from the PoE powered hub 70 .
  • Images stored in the content server may be projected from a high-speed projector through HDMI® and displayed on a display at the same time.
  • FIG. 4 is a diagram showing a problem of projection control in a high-speed projection mapping system.
  • the projection area which is the projection range of the projector 20
  • the imaging area which is the imaging range of the camera 40 .
  • the projection control apparatus 10 wants to project an image onto the marker area located at the coordinates (x, y) of the coordinate system (projection coordinate system) in the projection area.
  • the marker area is an area where the marker 50 sensed by the camera 40 is positioned.
  • the projection control apparatus 10 uses the image captured by the camera 40 when sensing the marker 50 , the coordinates of the sensed marker 50 are ( x', y').
  • the image captured by the camera 40 in order for the projection control apparatus 10 to sense the marker 50 is an infrared image.
  • the image captured by the camera 40 in order for the projection control apparatus 10 to sense the marker 50 may be a visible light image.
  • the projection control apparatus 10 needs to convert the coordinate system coordinates (x', y') of the sensed marker 50 in the image captured by the camera 40 into the coordinate system coordinates (x, y) in the projection area.
  • FIG. 5 is a diagram showing an overview of the projection control method according to the first embodiment.
  • the first projection control section 11 of the projection control device 10 causes the projector 20 to project a projection image including a plurality of projection indices positioned within the projection range of the projector 20 .
  • the coordinates in the coordinate system (projection coordinate system) in the projection area are known for the plurality of projection indices.
  • the display control unit 14 of the projection control device 10 superimposes a plurality of camera indices, which are the same number as the projection indices and indicate relative positions with respect to the projection indices in the projection camera image, on the display 30 on the camera image. to display.
  • the camera coordinate detection unit 15 of the projection control device 10 allows the user to adjust the positional relationship between each of the projection indices included in the camera image displayed on the display 30 and each of the plurality of camera indices.
  • An operation to move any one of the projected index and the plurality of camera indices included in the image on the display 30 is accepted.
  • the camera coordinate detection unit 15 acquires the coordinates of the projection index in the coordinate system (camera coordinate system) of the image captured by the camera 40 .
  • the user's operation received by the camera coordinate detection unit 15 may be, for example, an operation of superimposing each projection index included in the camera image displayed on the display 30 with each of a plurality of camera indices.
  • the projection control device 10 establishes correspondence between a plurality of coordinates in the coordinate system (camera coordinate system) in the image captured by the camera 40 and the corresponding coordinates in the coordinate system (projection coordinate system) in the projection area. Get relationship. Then, the projection control device 10 converts the coordinates in the coordinate system (camera coordinate system) in the image captured by the camera 40 to the corresponding coordinates in the coordinate system (projection coordinate system) in the projection area, based on the corresponding relationship. get the formula.
  • the method of converting the coordinates in the coordinate system (camera coordinate system) in the image captured by the camera 40 to the corresponding coordinates in the coordinate system (projection coordinate system) in the projection area includes linear interpolation, affine transformation, projective transformation, and the like. It may be a method.
  • the projection control device 10 converts the coordinates in the coordinate system (camera coordinate system) in the image captured by the camera 40 to the corresponding coordinates in the coordinate system (projection coordinate system) in the projection area, based on the corresponding relationship. You may obtain the table used for
  • FIG. 6 is a flow chart of the projection control method according to the first embodiment.
  • the first projection control unit 11 causes the projector 20 to project a projection image including a plurality of projection indices (step S10).
  • the projection indices may be three or four.
  • the shape of the projected index may be a cross, a circle, or a rectangle.
  • the shape of the projected index may be a shape other than the above.
  • the detection control unit 13 causes the camera 40 to capture the projected image within the imaging range to generate a camera image (step S11).
  • the camera 40 may be an infrared camera or a visible light camera.
  • the camera image may be an infrared image or a visible light image.
  • the display control unit 14 causes the display 30 to display a plurality of camera indices superimposed on the camera image (step S12).
  • the camera coordinate detection unit 15 detects the projection index included in the camera image and the plurality of camera indexes so that the user can adjust the positional relationship between the projection index included in the camera image displayed on the display 30 and the plurality of camera indexes.
  • An operation to move one of the camera indices on display 30 is accepted (step S13).
  • adjusting the positional relationship between the projection index included in the camera image displayed on the display 30 and the plurality of camera indexes means that the projection index included in the camera image displayed on the display 30 and the plurality of camera indexes are adjusted. It is to repeat. It should be noted that the projected index and the plurality of camera indices included in the camera image displayed on the display 30 may not completely overlap.
  • adjusting the positional relationship between the projection index included in the camera image displayed on the display 30 and the plurality of camera indexes means that the projection index included in the camera image displayed on the display 30 and the plurality of camera indexes are adjusted. may be brought closer to a predetermined distance or less.
  • adjusting the positional relationship between the projection index and the plurality of camera indices included in the camera image displayed on the display 30 means moving the projection index in the projection image and/or moving the camera displayed on the display 30 . It may be to move the index.
  • the camera coordinate detection unit 15 may accept an operation to move the camera index after changing the positions of the plurality of projection indices located within the projection range.
  • control unit 16 selects a projection index located within the projection range of the projector 20 according to the manner of movement on the display 30 of one of the projection index and the plurality of camera indices included in the camera image.
  • a correspondence relationship between the camera coordinates located within the imaging range of the camera 40 and the coordinates is determined (step S14).
  • control unit 16 determines the coordinate system (camera coordinate system) to corresponding coordinates in the coordinate system (projection coordinate system) in the projection area.
  • the control unit 16 may calculate a table representing the correspondence instead of the conversion formula. For example, when there are four projection indices and four camera indices, the control unit 16 may associate them by a projective transformation method.
  • the second projection control unit 12 projects an image on the projector 20 using projection coordinates according to the determined correspondence relationship (step S15).
  • the second projection control unit 12 uses the conversion formula calculated in step S14 to convert the camera coordinates located within the imaging range of the camera 40 to the corresponding projection coordinates located within the projection range of the projector 20. Then, the image is projected on the calculated projection coordinates.
  • the second projection control unit 12 converts the coordinates of the coordinate system (camera coordinate system) in the image captured by the camera 40 of the image to be projected to the coordinate system (projection coordinates) in the projection area. system) to project the image of the projection target.
  • FIG. 7 is a diagram showing an overview of image projection using the projection control method according to the first embodiment.
  • the projection control method in Embodiment 1 explained in FIG. 6 is applied to high-speed projection mapping as follows.
  • the projection control device 10 outputs a projection image for calibration.
  • calibration refers to alignment of the projected image for the projection control device 10 to project the image from the projector 20 .
  • a calibration function refers to a plurality of units in the projection control apparatus 10 that perform a series of calibration processes.
  • the projection control device 10 acquires the camera image captured by the camera 40 in (2) shown in (a) of FIG. Then, the projection control apparatus 10 performs a calibration operation in (3) shown in (a) of FIG.
  • the calibration operation in (3) shown in (a) of FIG. 7 mainly corresponds to the processing performed in steps S12 to S14 described with reference to FIG.
  • the projection control device 10 captures the image of the camera 40 with respect to the projection coordinates located within the projection range of the projector 20, which are calculated as a result of the calibration operation. Create a setting file for the correspondence of camera coordinates located within the range.
  • a setting file generated by the calibration function is output to the position detection function described below.
  • the position detection function refers to multiple units of the high-speed projection mapping system that perform a series of processes for detecting the position of the marker 50 when playing back content in high-speed projection mapping.
  • the position detection function may or may not be included in projection control apparatus 10 .
  • the position detection function reads the setting file generated by the calibration function.
  • the position detection function acquires a camera image, which is an image including the marker 50 and captured by the camera 40 .
  • the position detection function calculates the coordinates of the marker 50 from the acquired camera image based on the setting file, and converts the coordinates of the marker into projection coordinates. It is converted and provided to the video generation unit.
  • the image generation unit is a unit that generates an image following the marker 50 used for high-speed projection mapping.
  • the image generation unit generates a follow-up image, which is an image following the marker 50 .
  • the follow-up image generated by the image generation unit is output.
  • projection control apparatus 10 determines the area to be sensed by camera 40 .
  • sensing means detecting the marker 50 using an image captured by the camera 40 .
  • 8A is a diagram showing a sensing area for image projection using the projection control method according to Embodiment 1.
  • FIG. 8A the largest rectangular area shown in FIG. 8A is set as a sensing area.
  • the projection control device 10 determines the size of the area to be sensed from within the range that can be captured by the camera 40 .
  • a region may be, for example, a region of 768 ⁇ 360 pixels.
  • the projection control device 10 then adjusts the size and position of the sensing area so that the plurality of projection indices included in the projection image fit within the sensing area.
  • the projected image is a rectangular image containing four crosses and divided into four areas.
  • projection control device 10 adjusts the size and position of the sensing area so that the plurality of projection indices fit within the sensing area.
  • the size and position of the projected image may be adjusted.
  • the projection index may be a cross mark as shown in FIG. 8A.
  • each of the four projection indices is positioned so as to fit within each of the four divided rectangles.
  • FIG. 8B is a diagram showing calibration for image projection using the projection control method according to Embodiment 1.
  • FIG. 8B is a diagram showing calibration for image projection using the projection control method according to Embodiment 1.
  • each of the four default camera indices before accepting the user's operation to move the camera indices fits in one of four regions obtained by dividing the camera image into two horizontally and vertically. located like
  • the projection control device 10 accepts an operation by the user to move the positions of the plurality of camera indices so as to match the positions of the corresponding plurality of projection indices.
  • the camera index is a square cursor with a cross mark inside.
  • the camera index moves up, down, left, and right by pressing arrow keys on a computer keyboard.
  • the camera index may be moved up, down, left, and right by clicking and dragging a mouse.
  • a plurality of projection indices corresponding to a plurality of camera indices refer to the regions of the four divided projection images and the camera image that are located at the same positions.
  • the selection for each of the plurality of camera indices may be switched by pressing the Tab key.
  • the selection for each of the plurality of camera indexes may be switched by a mouse click operation.
  • the projection control device 10 displays the camera image on the display 30 in the coordinate system of the image captured by the camera 40 (camera coordinate system).
  • the camera image is a visible light image.
  • FIG. 8C is a diagram showing parameter settings for image projection using the projection control method according to Embodiment 1.
  • FIG. 8C is a diagram showing parameter settings for image projection using the projection control method according to Embodiment 1.
  • the projection control device 10 captures an infrared image with a visible light cut filter attached in front of the camera lens of the camera 40 .
  • This infrared image may be called a marker image.
  • the marker 50 is placed so that it appears within the sensing area described in FIG. 8A.
  • the projection control device 10 adjusts the brightness of the infrared image captured by the camera 40 by adjusting the camera gain.
  • the projection control device 10 performs adjustment so that only the part where the marker 50 is reflected is displayed brightly in the image obtained by subjecting the infrared image to the binarization process.
  • the projection control apparatus 10 displays the image in the range above the threshold brighter (eg, red) and displays the image in the range below the threshold darker (eg, in a color other than red).
  • the image obtained by binarizing the infrared image by the projection control device 10 adjustment is performed so that only the portion where the marker 50 is reflected is displayed brightly. It is also possible to adjust so that only is displayed in red.
  • the projection control apparatus 10 adjusts the threshold value used in the binarization process applied to the infrared image in order to brightly display only the portion where the marker 50 is projected (cut out the marker area). At this time, the projection control apparatus 10 may display in order of red, yellow, green, and blue from areas where light reflection is high to low light reflection.
  • FIG. 9 is a diagram showing the configuration of the projection control apparatus 10 according to Embodiment 2.
  • the projection control apparatus 10 may be connected to a plurality of cameras 40a, 40b, and 40c via LAN cables 60.
  • FIG. Cameras 40 a , 40 b , and 40 c are connected to PoE power feeding compatible hub 70 via LAN cable 60 .
  • PoE power supply compatible hub 70 is connected to projection control apparatus 10 via LAN cable 60 .
  • the number of cameras is not limited to the three cameras 40a, 40b, and 40c, and any number of cameras may be used.
  • the cameras 40a, 40b, and 40c irradiate the marker 50 with infrared rays.
  • Cameras 40a, 40b, and 40c capture images of marker 50 reflecting the infrared rays.
  • the marker 50 is a retroreflective marker.
  • the camera coordinate detection unit 15 detects the positions of the markers 50 captured by the cameras 40a, 40b, and 40c.
  • the camera coordinate detection unit 15 may detect the positions of the markers 50 captured by the cameras 40a to 40n using dedicated software.
  • control unit 16 adjusts the camera coordinates located within the imaging range of the camera with respect to the projection coordinates located within the projection range of the projector according to the relative positional relationship between the projection index and the plurality of camera indexes. Determine correspondence. That is, the control unit 16 performs coordinate conversion of the camera coordinates. Contents to be projected by the projector 20 are generated based on the converted camera coordinates. Projector 20 projects the content transmitted from control unit 16 .
  • FIG. 10 is a diagram showing another configuration of the projection control apparatus 10 according to the second embodiment.
  • the projection control apparatus 10 may be connected to a plurality of cameras 40a, 40b, and 40c via LAN cables 60.
  • the marker 50 is an infrared LED marker, and the marker 50 itself emits light.
  • the projection control apparatus 10 is also connected to a sync signal transmitter 80 via a LAN cable 60 .
  • Other configurations are the same as those described in FIG.
  • the marker 50 emits light.
  • the user may set the marker 50 at an arbitrary location and cause the marker 50 to emit light.
  • the cameras 40a, 40b, and 40c then photograph the illuminated marker 50. FIG.
  • the camera coordinate detection unit 15 detects the positions of the markers 50 captured by the cameras 40a, 40b, and 40c. At this time, the camera coordinate detection section 15 synchronizes with the marker 50 via the synchronization signal transmitter 80 . Specifically, when the marker 50 receives the synchronization signal transmitted by the synchronization signal transmitter 80 and emits light according to the synchronization signal, the marker 50 and the camera coordinate detection unit 15 are synchronized.
  • the camera coordinate detection unit 15 may detect the positions of the markers 50 photographed by the cameras 40a, 40b, and 40c using dedicated software.
  • control unit 16 adjusts the camera coordinates located within the imaging range of the camera with respect to the projection coordinates located within the projection range of the projector according to the relative positional relationship between the projection index and the plurality of camera indexes. Determine correspondence. That is, the control unit 16 performs coordinate conversion of the camera coordinates. Contents to be projected by the projector 20 are generated based on the converted camera coordinates. The projector 20 projects the content transmitted from the control section 16 under the control of the second projection control section 12 .
  • FIG. 11 is a diagram showing the projection of the projection index by the projection control device 10 according to the second embodiment.
  • the projection control device 10 acquires coordinates of four points on the same plane and two points on a plane different from the four points on the same plane.
  • the display control unit 14 of the projection control device 10 causes the projector 20 to project four projection indices onto the same surface such as a screen.
  • the cameras 40a, 40b, and 40c capture the marker 50 that the user has placed on the projection index. Subsequently, the camera coordinate detection unit 15 detects the position coordinates of the markers 50 captured by the cameras 40a, 40b, and 40c.
  • the projection control device 10 similarly processes four points on the same plane and two points on a different plane. Specifically, the display control unit 14 of the projection control device 10 projects two projection indices in a space on the same plane and a different plane on which the four points are projected. For example, the display control unit 14 may cause the projector 20 to project the projection index on a board arranged by the user.
  • the cameras 40a, 40b, and 40c photograph the markers 50 provided on the board placed by the user.
  • the camera coordinate detection unit 15 detects the position coordinates of the markers 50 captured by the cameras 40a, 40b, and 40c.
  • This position coordinate is a three-dimensional coordinate in the space in which the camera is arranged. By photographing with a plurality of cameras, three-dimensional coordinates can be obtained by methods such as stereo measurement.
  • control unit 16 uses the detected coordinates of the projection index projected at the positions of four points A, B, C, and D to determine the difference in the position of the reference point and the degree of rotation, and the size of the projection index. Calculate a formula for correcting the discrepancy of This calculation formula is, for example, an affine transformation. Then, the control unit 16 uses the detected coordinates of the projection indices projected at the positions of the four points A, B, C, and D to calculate a calculation formula for removing the projection distortion of the projector 20 . This calculation formula is, for example, a projective transformation.
  • control unit 16 uses the detected coordinates of the projection indices projected at the positions of the four points A, B, E, and F to set the installation position and the position or the angle of view of the projector 20. Calculate the state of In addition, the control unit 16 also considers the shapes of the four points A, B, C, and D, and calculates a calculation formula representing the projection direction and the lens shift.
  • FIG. 12 is a diagram showing an overview of the projection control method according to the second embodiment. As shown in (a) of FIG. 12 , the user places the marker 50 provided on the board 51 at the position indicated by the display control unit 14 .
  • the display control unit 14 instructs the user on the position where the marker 50 should be placed by causing the projector 20 to project the projection index 52 at a predetermined position.
  • the display control unit 14 may project a plurality of projection indices. For example, the multiple projection indices are four.
  • the display control unit 14 may project four projection indices on the same plane such as a screen, and may further project two projection indices on a plane different from the plane on which the four projection indices are projected.
  • the display control unit 14 may project a plurality of projection indices simultaneously or sequentially one by one.
  • the user places the marker 50 provided on the board 51 at the position where the projection index is projected.
  • the marker 50 is a marker detectable by an infrared camera.
  • the camera coordinate detection unit 15 detects the positions of the markers 50 photographed by the cameras 40a to 40n.
  • the camera coordinate detection unit 15 performs the marker 50 detection process at four points on the same plane.
  • the control unit 16 uses the relationship between the coordinates of the marker 50 detected by the camera coordinate detection unit 15 and the coordinates of the projection index on the projection image projected by the display control unit 14 onto the projector 20 to determine the Performs projection control.
  • the user can mark two of the four projection indices projected on the same plane as markers on a plane different from the plane on which the four points are projected.
  • Place 50 Specifically, the user moves the projector 20 onto a plane that is different from the plane onto which the four projection indices are projected and that is on a straight line that connects the projector 20 and the projection indices on the plane onto which the four projection indices are projected. , the marker 50 provided on the board 51 is placed.
  • the camera coordinate detection unit 15 detects the coordinates of the markers 50 arranged at the two points.
  • the second projection control unit 12 uses the relationship between the coordinates of the markers 50 arranged at the two points and the coordinates of the projection index on the projection image projected by the display control unit 14 on the projector 20, Projection control for the projector 20 is performed by detecting the position of the projector 20 .
  • the second projection control unit 12 uses the detected position of the projector 20 to adjust the projection image projected by the projector 20 and controls the operation of projecting the image of the projector 20 .
  • the operation of projecting the image may be controlling the position or size of the content to be projected.
  • FIG. 13 is a flow chart showing a projection control method according to the second embodiment.
  • the display control unit 14 causes the projector 20 to project a projection image including a plurality of projection indices (step S10).
  • the display control unit 14 may sequentially project the projection index onto four locations within the same plane. Note that the position at which the projection index is projected does not have to be fixed. The position where the projection index is projected may be changed arbitrarily.
  • steps S12 to S13 are repeated for each of the four locations in the same plane (step S11).
  • the user places a marker 50 detectable by the camera 40 at the position of the projected index (step S12).
  • the user places the board 51 provided with the markers 50 on the plane on which the projection indices are projected.
  • the plane on which the projection index is projected may be, for example, a screen.
  • the camera coordinate detection unit 15 acquires the coordinates of the marker 50 using the detection means (step S13).
  • the camera coordinate detection unit 15 detects the position of the marker 50 using, for example, an infrared camera.
  • the plane on which the projection index is projected may be an empty space.
  • the user can place the board 51 using the mark as a guide, so that the four points where the user has placed the marker 50 are: Distributed almost on a plane.
  • control unit 16 acquires the correspondence relationship between the coordinates of the detected marker 50 and the coordinates of the projection index on the projection image (step S15).
  • the control unit 16 acquires the correspondence relationship between the coordinates of the marker 50 placed by the user detected by the camera coordinate detection unit 15 and the coordinates of the projection index on the projection image projected by the display control unit 14 on the projector 20 .
  • the control unit 16 acquires the relationship of what coordinates the coordinates of the content that the control unit 16 projects on the projector 20 correspond to in the real space.
  • the second projection control unit 12 projects an image using the projector 20 using the obtained correspondence (step S16).
  • the control unit 16 converts the projected image from the image taken by the camera 40 acting as a visible light camera. By detecting the position of the projection index, it is possible to detect the correspondence relationship between the coordinates of the marker 50 and the coordinates of the projection index on the projection image. Further, the control unit 16 arranges the board 51 for two of the four points projected on the same plane and the four points projected on the different plane, so that the camera functions as a visible light camera. By detecting the position of the projected index from the captured image 40, it is possible to detect the correspondence relationship between the coordinates of the marker 50 and the coordinates of the projected index on the projected image. At this time, the board 51 does not need to be provided with the marker 50 .
  • the camera 40 may be configured to switch between the function as an infrared camera and the function as a visible light camera.
  • control unit 16 controls the four projection indices projected on the same plane so that they match the positions of the markers 50 pre-arranged on an existing plane such as a screen on which the four points are projected.
  • the projection index may be projected by the projector 20 while moving the projection index.
  • control unit 16 uses two of the four points projected on a different plane from the four points projected on the same plane, The correspondence relationship between the coordinates of the marker 50 and the coordinates of the projection index on the projection image may be obtained by detecting the projected positions of the two points.
  • FIG. 14 is a diagram showing a method of projecting a projection image.
  • parallel projection is a projection method for projecting an image on the foot of a perpendicular line drawn from the marker 50 to the screen 200 .
  • parallel projection even if the marker 50 is located away from the screen 200, the positions of the marker 50 and the projected image 100 match in front of the audience.
  • projection projection is a projection method for projecting an image onto a screen 200 on a straight line connecting the projector 20 and the marker 50 .
  • a spectator near the projector 20 can view the projected image with the marker 50 and the projected image 100 relatively overlapping.
  • virtual viewpoint projection is a projection method in which an image is projected onto a screen 200 on a straight line connecting a specific virtual viewpoint 300 set at a predetermined position and a marker 50. be.
  • a camera is installed at the position set as the virtual viewpoint 300, the positions of the marker 50 and the projection image 100 always match from the camera.
  • object mapping is a projection method for projecting an image onto an object provided with markers 50 .
  • the object is assumed to be a plate-like object, a human body, or the like. Also, the object may be a building or a moving object.
  • the projected image 100 is projected on a straight line connecting the projector 20 and the marker 50 , but the size of the projected image 100 is changed according to the distance between the projector 20 and the marker 50 .
  • the projected image 100 appears to the audience to follow the object on which the marker 50 is provided.
  • the screen 200 may be placed in front of the marker 50 when viewed from the projector 20.
  • the screen 200 may be made of a translucent material.
  • the translucent material may be a mesh material, a transparent plate containing diffusion particles, or the like.
  • the transmittance of the translucent material when the screen 200 is placed in front of the marker 50 when viewed from the projector 20, if the transmittance of the translucent material is sufficiently high, the object can be seen even after passing through the screen. You can project an image without any sense of incongruity. Transmittance of the translucent material may be 90% or more, preferably about 95%. Even with such a screen with high transmittance and low reflectance, the projected image is visible. However, since the image projected on the object placed behind is brighter than the image reflected by the translucent screen, the image projected on the object is mainly viewed.
  • the control unit 16 may be able to switch the following processes according to which of the four projection methods described in (a) to (d) of FIG. 14 is used.
  • the control unit 16 detects the positions of the projected projection indices only for the four projection indices projected on the same plane, thereby determining the correspondence between the coordinates of the marker 50 and the coordinates of the projection indices on the projection image 100. Detect relationships.
  • the control unit 16 may also control two of the four points projected on a plane different from the four points projected on the same plane. By detecting the position, the correspondence relationship between the coordinates of the marker 50 and the coordinates of the projection index on the projection image 100 is detected.
  • the control unit 16 may be able to determine which of the above two processes is to be performed.
  • the display control unit 14 changes the coordinates of the marker 50 calculated by the control unit 16 according to which one of the four projection methods described in FIGS. Based on the correspondence relationship with the coordinates of the projection indices on the projection image 100, the projection mode of the projection image 100 may be switched among four modes from the first mode to the fourth mode. In switching the projection mode, the size, angle, distance to the projection destination, etc. of the projection image 100 may be switched for the same source content.
  • projection modes are not limited to four. Any number of projection modes may be used, for example, two or three.
  • the projection control method is a projection control method in which a processor controls the projection of an image by projector 20, and a projection image including a plurality of projection indices located within the projection range of projector 20 is A first projection control step for causing the projector 20 to project, a detection control step for causing the camera 40 to capture the projection image so that it falls within the imaging range, and a position relative to the projection index in the camera coordinate system obtained by the imaging.
  • the projection control method according to the embodiment of the present disclosure can associate the positions of the projector 20 and the camera 40 with a simple configuration.
  • the projection control method according to the embodiment of the present disclosure may further include a second projection control step of causing projector 20 to project an image using projection coordinates according to the determined correspondence relationship.
  • the projection control method according to the embodiment of the present disclosure can project an image in which the positions of the projector 20 and the camera 40 are appropriately associated.
  • the user adjusts the positional relationship between the projection index and the plurality of camera indices included in the camera image displayed on the display. accepts an operation to move any one of the projected indices and the plurality of camera indices included in the display on the display.
  • the projection control method according to the embodiment of the present disclosure can associate the positions of the projector 20 and the camera 40 with a simple configuration.
  • the operation is such that the user adjusts the positional relationship between the projection index included in the camera image displayed on the display 30 and the plurality of camera indices. It may be an operation that causes the user to move the projected index included in the camera image on the display 30 .
  • the projection control method can associate the projection index included in the camera image with a plurality of camera indices.
  • the operation is such that the user adjusts the positional relationship between the projection index included in the camera image displayed on the display 30 and the plurality of camera indices. It may be an operation that causes the user to move a plurality of camera indices on the display 30 .
  • the projection control method can associate a plurality of camera indices with the projection indices included in the camera image.
  • the user when the user adjusts the positional relationship between the projection index and the plurality of camera indices included in the camera image displayed on the display 30, the user adjusts the display 30.
  • the projection index included in the displayed camera image may be overlapped with a plurality of camera indices.
  • the projection control method according to the embodiment of the present disclosure can accurately associate the coordinates of the image projected by the projector with the coordinates of the image captured by the camera.
  • the number of multiple projection indices and multiple camera indices is four.
  • the projection control method can correspond the positional relationship between the projection indices included in the camera image displayed on the display 30 and the plurality of camera indices by projective transformation.
  • camera 40 determine the correspondence of the camera coordinates located within the imaging range of .
  • the projection control method can calibrate the projection image of the projector 20 using the four projection indices.
  • the number of multiple projection indices and multiple camera indices is six.
  • the position of the projector 20 and the like can be detected by using two specific points in addition to the four points.
  • the control step in the control step, six projection indices and six camera indices are used to determine the projection coordinates of camera 40 located within the projection range of projector 20. Determine the correspondence between the camera coordinates located within the imaging range.
  • the projection control method can calibrate the projection image of the projector 20 using the six projection indices.
  • the projection control method further includes a marker imaging step of causing the camera 40 to image the marker 50 existing in the projection range, and camera coordinates in the marker image of the marker 50 captured by the camera 40.
  • the marker calculation step for calculation the conversion step for converting the camera coordinates of the marker 50 into the projection coordinates using the determined correspondence relationship, and the projection coordinates of the converted marker 50, the camera 40 captures the image on the projector 20 and a third projection control step of projecting an image at the position of the marker 50 that has been projected.
  • control method can detect the position of the marker 50 and project an image according to the position of the marker 50 .
  • the camera image may be a visible light image and the marker image may be an infrared image.
  • the projection control method can associate the positions of the projector 20 and the camera 40 using both the visible light image and the infrared image.
  • the marker 50 may include an infrared reflecting member.
  • the projection control method can detect the marker 50 that reflects infrared rays and associate the positions of the projector and the camera.
  • the marker 50 may include an LED and emit light by itself.
  • the projection control method can detect the light emitted by the self-emitting marker 50 and associate the positions of the projector 20 and the camera 40 .
  • the projection control method according to the embodiment of the present disclosure may further include a change step of moving the camera index after changing the positions of the plurality of projection indices located within the projection range.
  • the projection control method according to the embodiment of the present disclosure can move the camera index after adjusting the position of the projection index to match the position of the screen. Therefore, the projection control method according to the embodiment of the present disclosure can appropriately associate the positions of the projector 20 and the camera 40 .
  • the projection control device 10 is a projection control device 10 that controls projection of an image by the projector 20, and projects a projection image including a plurality of projection indices positioned within the projection range of the projector 20 to the projector. 20, a detection control unit 13 that causes the camera 40 to capture the projection image so that it falls within the imaging range, and a position relative to the projection index in the camera coordinate system obtained by the imaging.
  • a display control unit 14 for displaying on the display an instruction for the user to arrange a plurality of camera indexes indicating the image pickup range; a camera coordinate detection unit 15 for detecting the coordinates of the arranged camera indexes; a control unit 16 that determines the correspondence relationship between the camera coordinates located within the imaging range of the camera 40 and the projection coordinates located within the projection range of the projector 20 according to the relative positional relationship with the camera index; Prepare.
  • the projection control apparatus can achieve the same effects as the projection control method described above.
  • each component especially the first projection control unit 11, the second projection control unit 12, the detection control unit 13, the display control unit 14, the camera coordinate detection unit 15, and the control unit 16 may be implemented by executing a software program suitable for each component.
  • Each component may be implemented by a program execution unit such as a CPU or processor reading and executing a software program recorded in a recording medium such as a hard disk or semiconductor memory with a PC or smartphone.
  • each component may be realized by hardware.
  • Each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • the present invention may be implemented as the terminal of the above embodiment, or may be implemented as a system corresponding to the terminal. Further, the present invention may be implemented as a projection control method, a program for causing a computer to execute the projection control method, or a computer-readable non-temporary program recording such a program. It may be realized as a general recording medium.
  • the program includes an application program for operating a general-purpose mobile terminal as the mobile terminal of the above embodiment.
  • the projection control device 10 is realized by a single device, but may be realized by a plurality of devices.
  • the components provided in the projection control apparatus 10 described in the above embodiment may be distributed to the plurality of apparatuses in any way.
  • the projector 20 and the camera 40 are configured separately, but the present invention is not limited to this, and the projector 20 may have a built-in camera 40 .
  • the present invention can be used for commercial performances involving video projection.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

投写制御方法は、複数の投写指標を含む投写画像をプロジェクタ（２０）に投写させる第１投写制御ステップと、カメラ（４０）に投写画像を撮像させる検出制御ステップと、撮像によって得られるカメラ座標系における投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに撮像範囲に配置させる指示をディスプレイに表示させる表示制御ステップと、配置された複数のカメラ指標の座標を検出するカメラ座標検出ステップと、投写指標またはカメラ指標相対的な位置関係に応じて、投写座標に対する、カメラ座標の対応関係を決定する制御ステップと、を含む。

Description

投写制御方法、および、投写制御装置
　本開示は、投写制御方法、および、投写制御装置に関する。
　特許文献１には、プロジェクタの較正後、スクリーンの特徴点を示す複数の位置情報を取得し、取得した位置情報の差分に基づいて、テスト画像の特徴点の位置を補正して、プロジェクタを再較正する較正装置が開示されている。
特開２０１８－２０７３７３号公報
　従来の較正装置では、簡易な構成でプロジェクタとカメラとの位置の対応付けが行われないという課題があった。
　本開示は、簡易な構成でプロジェクタとカメラとの位置の対応付けを行うことができる投写制御方法等を提供することを目的とする。
　上記目的を達成するために、本開示の一態様に係る投写制御方法は、プロセッサが、プロジェクタによる画像の投写を制御する投写制御方法であって、前記プロジェクタの投写範囲の中に位置する複数の投写指標を含む投写画像を前記プロジェクタに投写させる第１投写制御ステップと、カメラに、前記投写画像を撮像範囲に収まるように撮像させる検出制御ステップと、前記撮像によって得られるカメラ座標系における前記投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに前記撮像範囲に配置させる指示をディスプレイに表示させる表示制御ステップと、配置された前記複数のカメラ指標の座標を検出するカメラ座標検出ステップと、前記投写指標と前記複数のカメラ指標との相対的な位置関係に応じて、前記プロジェクタの前記投写範囲の中に位置する投写座標に対する、前記カメラの前記撮像範囲の中に位置するカメラ座標の対応関係を決定する制御ステップと、を含む。
　また、本開示の一態様に係る投写制御装置は、プロジェクタによる画像の投写を制御する投写制御装置であって、前記プロジェクタの投写範囲の中に位置する複数の投写指標を含む投写画像を前記プロジェクタに投写させる第１投写制御部と、カメラに、前記投写画像を撮像範囲に収まるように撮像させる検出制御部と、前記撮像によって得られるカメラ座標系における前記投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに前記撮像範囲に配置させる指示をディスプレイに表示させる表示制御部と、配置された前記複数のカメラ指標の座標を検出するカメラ座標検出部と、前記投写指標と前記複数のカメラ指標と相対的な位置関係に応じて、前記プロジェクタの前記投写範囲の中に位置する投写座標に対する、前記カメラの前記撮像範囲の中に位置するカメラ座標の対応関係を決定する制御部と、を備える。
　本開示の一態様に係る投写制御方法等は、簡易な構成でプロジェクタとカメラとの位置の対応付けを行うことができる。
図１は、実施の形態１における投写制御装置のブロック図である。 図２は、高速プロジェクションマッピングシステムの概要を示す図である。 図３は、高速プロジェクションマッピングシステムの機材を示す図である。 図４は、高速プロジェクションマッピングシステムにおける投写制御の課題を示す図である。 図５は、実施の形態１における投写制御方法の概要を示す図である。 図６は、実施の形態１における投写制御方法のフローチャートである。 図７は、実施の形態１における投写制御方法を用いた画像投写の概要を示す図である。 図８Ａは、実施の形態１における投写制御方法を用いた画像投写のためのセンシング領域を示す図である。 図８Ｂは、実施の形態１における投写制御方法を用いた画像投写のためのキャリブレーションを示す図である。 図８Ｃは、実施の形態１における投写制御方法を用いた画像投写のためのパラメータ設定を示す図である。 図９は、実施の形態２における投写制御装置の構成を表す図である。 図１０は、実施の形態２における投写制御装置の別の構成を表す図である。 図１１は、実施の形態２における投写制御装置の投写指標の投写を示す図である。 図１２は、実施の形態２における投写制御方法の概要を示す図である。 図１３は、実施の形態２における投写制御方法を示すフローチャートである。 図１４は、投写画像の投写方法を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下に実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置および接続形態、並びに、ステップ、ステップの順序等は、一例であって本開示を限定する主旨ではない。
　各図は、模式図であり、必ずしも厳密に図示されてはいない。したがって、例えば、各図において、縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。
　以下の実施の形態に係る投写制御方法、および、投写制御装置について説明する。
　（実施の形態１）
　［投写制御装置の構成］
　まず、投写制御装置の構成について説明する。図１は、実施の形態１における投写制御装置１０のブロック図である。投写制御装置１０は、第１投写制御部１１と、第２投写制御部１２と、検出制御部１３と、表示制御部１４と、カメラ座標検出部１５と、制御部１６と、を備える。投写制御装置１０は、プロジェクタ２０と、ディスプレイ３０と、カメラ４０と有線または無線で接続される。投写制御装置１０は、カメラ４０にマーカ５０を撮像させ、映像投写の際のキャリブレーションに用いる。
　投写制御装置１０は、プロセッサとメモリとで実現される。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。メモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄａｍ－Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）またはＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄａｍ－Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリである。また、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）またはフラッシュメモリ等の不揮発性メモリであってもよい。
　第１投写制御部１１は、プロジェクタ２０の投写範囲の中に位置する複数の投写指標を含む投写画像をプロジェクタ２０に投写させる。第１投写制御部１１は、複数の投写指標を含む投写画像を生成し、当該投写画像をプロジェクタ２０に投写させる。第１投写制御部１１は、複数の投写指標の投写時の座標を取得する。つまり、第１投写制御部１１は、投写画像の生成時の座標系での投写指標の位置の座標を取得する。なお、投写指標の投写時の座標とは、投写指標を投写する際に、投写制御装置１０が設定した座標系での座標のことであり、投写面における座標系（後述するカメラ画像における座標系）での投写指標の位置の座標とは区別される。
　検出制御部１３は、カメラ４０に、投写画像を撮像範囲に収まるように撮像させる。検出制御部１３は、カメラ４０が撮像した画像からカメラ画像を生成してもよい。つまり、カメラ画像内には、投写画像のコンテンツとして投写された複数の投写指標が含まれる。
　表示制御部１４は、前記撮像によって得られるカメラ座標系における前記投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに前記撮像範囲に配置させる指示をディスプレイに表示させる。具体的には、例えば、表示制御部１４は、投写カメラ画像内での投写指標との相対的な位置関係を示す複数のカメラ指標を、ディスプレイ３０で表示されるカメラ画像に重畳して表示させてもよい。本実施の形態では、カメラ指標は投写指標と同数である。ここで、表示される複数のカメラ指標の投写位置は、対応する投写指標のカメラ画像内でのあるべき位置でもよい。
　カメラ座標検出部１５は、配置された複数のカメラ指標の座標を検出する。つまり、カメラ座標検出部１５は、ユーザがスクリーン上またはプロジェクタ２０と投写制御装置１０とが存在する空間に配置した複数のカメラ指標の座標を検出する。具体的には、例えば、カメラ座標検出部１５は、ユーザが、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標のそれぞれと複数のカメラ指標のそれぞれとの位置関係を調整するように、カメラ画像に含まれる投写指標および複数のカメラ指標のうちのいずれかをディスプレイ３０上で移動させる操作を受け付けてもよい。
　制御部１６は、投写指標と複数のカメラ指標との相対的な位置関係に応じて、プロジェクタの投写範囲の中に位置する投写座標に対する、カメラの撮像範囲の中に位置するカメラ座標の対応関係を決定する。具体的には、制御部１６は、カメラ画像に含まれる投写指標と複数のカメラ指標とのうちのいずれかのディスプレイ３０上での移動の態様に応じて、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係を決定してもよい。例えば、制御部１６は、複数の投写指標と複数のカメラ指標とのうちのいずれかの、一方に対する移動量に応じて、投写指標の投写時の座標と、カメラ座標との対応関係を決定してもよい。
　また、制御部１６は、投写範囲に存在するマーカ５０をカメラ４０に撮像させてもよい。加えて、制御部１６は、カメラ４０が撮像したマーカ５０のカメラ座標系におけるマーカ５０のカメラ座標を算出してもよいし、決定された対応関係を用いて、マーカ５０のカメラ座標を投写座標に変換してもよい。また、制御部１６は、変換されたマーカ５０の投写座標を用いて、プロジェクタ２０に、カメラ４０が撮像したマーカ５０の位置に、画像を投写させてもよい。
　第２投写制御部１２は、決定された対応関係に応じた投写座標を用いて、プロジェクタ２０に画像を投写させる。
　プロジェクタ２０は、投写制御装置１０からの制御を受けて、投写面に、複数の投写指標を含む投写画像を投写する。プロジェクタは、ＣＲＴ（Ｃａｔｈｏｄｅ－Ｒａｙ　Ｔｕｂｅ）に表示された画像を、レンズ等の光学系を用いて拡大して投写するＣＲＴプロジェクタでもよいし、内蔵した液晶パネルに放電光を利用した光源ランプからの光を透過させた画像を、レンズを使ってスクリーン上に拡大して投写する液晶プロジェクタでもよい。また、ＤＬＰ（Ｄｉｇｉｔａｌ　Ｌｉｇｈｔ　Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタ、ＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｓｉｌｉｃｏｎ）プロジェクタ、ＧＬＶ（Ｇｒａｔｉｎｇ　Ｌｉｇｈｔ　Ｖａｌｖｅ）プロジェクタ、または、レーザープロジェクタでもよい。
　ディスプレイ３０は、投写制御装置１０からの制御を受けて、カメラ画像とカメラ指標とを表示する。ディスプレイ３０は、ＣＲＴディスプレイでもよいし、液晶ディスプレイでもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイでもよいし、プラズマディスプレイでもよい。
　カメラ４０は、投写制御装置１０からの制御を受けて、投写された投写画像を含む撮像領域を撮像する。カメラ４０は、例えば、可視光カメラまたは赤外線カメラである。カメラ４０は、複数台あってもよく、複数のカメラ４０は、可視光カメラおよび赤外線カメラを含んでもよい。また、カメラ４０として赤外線カメラに代えて、紫外線カメラが用いられてもよく、カメラ４０は、不可視光を撮像できるカメラを含めばよい。
　マーカ５０は、赤外線カメラ等で補足される目印となる物体である。マーカ５０は、赤外線反射部材を備え、赤外線ライト８１から出射された赤外線を反射する。マーカ５０は、赤外線を反射するため、赤外線カメラで撮像された赤外線画像に映る。マーカ５０は、有線または無線で投写制御装置１０と接続されない。
　また、赤外線反射部材は再帰反射部材であってもよい。投写制御装置１０において、赤外線カメラの近傍に赤外線ライト８１が設置され、マーカ５０が備える再帰反射部材は、当該赤外線ライト８１から出射された赤外線を、赤外線カメラの方向に反射する。
　マーカ５０は、赤外線反射部材を備える代わりに、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を備えてもよい。マーカ５０は、自ら赤外光または可視光を発してもよい。
　［高速プロジェクションマッピングシステム］
　次に、実施の形態１における投写制御装置１０が用いられる高速プロジェクションマッピングシステムについて説明する。図２は、高速プロジェクションマッピングシステムの概要を示す図である。高速プロジェクションマッピングシステムは、高速プロジェクタが、赤外線カメラで検知したマーカ５０の動きに追従して、画像を投写するシステムである。
　高速プロジェクションマッピングシステムでは、ＰＣ等で構成されるコンテンツサーバから送信される画像を、高速プロジェクタがスクリーンに投写する。例えば、人等が、マーカ５０を持ちスクリーンの前に立つ。そして、高速プロジェクションマッピングシステムは、赤外線ライト８１から赤外光を出射して、マーカ５０に赤外光を反射させる。
　続いて、高速プロジェクションマッピングシステムは、赤外線カメラで、赤外光を反射しているマーカ５０を撮影する。そして、高速プロジェクションマッピングシステムは、高速プロジェクタで、スクリーン上のマーカ５０と重なる位置に画像を投写する。高速プロジェクションマッピングシステムは、上記の一連の処理を繰り返し行うことで、マーカの動きに追従して、スクリーン上に画像を投写することができる。
　例えば、高速プロジェクタのフレームレートは２４０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）であり、赤外線カメラのフレームレートは２４０ｆｐｓであり、コンテンツサーバの周波数は２４０Ｈｚであってもよい。
　なお、マーカは高速プロジェクタから見て、スクリーンの裏側にあり、赤外線カメラは半透明または透明のスクリーン越しに、マーカが反射する赤外光を捉えて、マーカを撮像してもよい。
　図３は、高速プロジェクションマッピングシステムの機材を示す図である。高速プロジェクションマッピングシステムは、高速プロジェクタ２０と、ＣＰＵ等を搭載したコンテンツサーバと、ディスプレイ３０と、ＰｏＥ給電対応ハブ７０とからなる。高速プロジェクタ２０は、センシング機材を備えてもよい。センシング機材は、例えば、産業用カメラ、カメラレンズ、可視光カットフィルタ、赤外線投光器、および、再帰反射シートである。高速プロジェクタは、映像信号線としてのＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｉｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）９０で、コンテンツサーバと接続される。そして、コンテンツサーバは、ＬＡＮケーブル６０でＰｏＥ（Ｐｏｗｅｒ　ｏｖｅｒ　Ｅｔｈｅｒｎｅｔ）給電対応ハブ７０と接続される。また、ＰｏＥ給電対応ハブ７０は、ＬＡＮケーブル６０で、高速プロジェクタ２０の各部と接続されている。産業用カメラまたは赤外線投光器は、ＰｏＥ給電対応ハブ７０から給電されてもよい。コンテンツサーバに格納されている画像は、ＨＤＭＩ（登録商標）を通じて高速プロジェクタから投写され、同時にディスプレイに表示されてもよい。
　［高速プロジェクションマッピングにおける投写制御の課題］
　次に、高速プロジェクションマッピングにおける投写制御の課題について説明する。図４は、高速プロジェクションマッピングシステムにおける投写制御の課題を示す図である。図４に示されるように、カメラ４０の撮像範囲である撮像領域の中に、プロジェクタ２０の投写範囲である投写領域が含まれる。そして、投写制御装置１０は、投写領域における座標系（投写座標系）の座標（ｘ，ｙ）にあるマーカ領域に画像を投写したいものとする。ここで、マーカ領域とは、カメラ４０が撮像することによってセンシングしたマーカ５０が位置する領域とする。
　しかしながら、投写制御装置１０は、マーカ５０をセンシングする際に、カメラ４０で撮像した画像を用いるため、センシングしたマーカ５０の座標は、カメラ４０が撮像した画像における座標系（カメラ座標系）の（ｘ′，ｙ′）である。ここで、投写制御装置１０が、マーカ５０をセンシングするためにカメラ４０で撮像した画像は、赤外線画像である。なお、投写制御装置１０が、マーカ５０をセンシングするためにカメラ４０で撮像した画像は、可視光画像であってもよい。
　そこで、投写制御装置１０は、センシングしたマーカ５０の、カメラ４０が撮像した画像における座標系の座標（ｘ′，ｙ′）を、投写領域における座標系の座標（ｘ，ｙ）に変換する必要がある。
　［座標変換］
　続いて、投写制御装置１０が行う座標変換について説明する。図５は、実施の形態１における投写制御方法の概要を示す図である。まず、投写制御装置１０の第１投写制御部１１は、プロジェクタ２０の投写範囲の中に位置する複数の投写指標を含む投写画像をプロジェクタ２０に投写させる。このとき、複数の投写指標は、投写領域における座標系（投写座標系）での座標が判明している。
　次に、投写制御装置１０の表示制御部１４は、投写指標と同数であり、投写カメラ画像内での投写指標に対する相対的な位置を示す複数のカメラ指標を、ディスプレイ３０にカメラ画像に重畳して表示させる。そして、投写制御装置１０のカメラ座標検出部１５は、ユーザが、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標のそれぞれと複数のカメラ指標のそれぞれとの位置関係を調整するように、カメラ画像に含まれる投写指標および複数のカメラ指標のうちのいずれかをディスプレイ３０上で移動させる操作を受け付ける。これにより、カメラ座標検出部１５は、投写指標の、カメラ４０が撮像した画像における座標系（カメラ座標系）での座標を取得する。このとき、カメラ座標検出部１５が受け付けるユーザの操作は、例えば、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標のそれぞれと複数のカメラ指標のそれぞれと重ねる操作であってもよい。
　上記の操作によって、投写制御装置１０は、カメラ４０が撮像した画像における座標系（カメラ座標系）での複数の座標と、投写領域における座標系（投写座標系）での対応する座標との対応関係を取得する。そして、投写制御装置１０は、当該対応関係から、カメラ４０が撮像した画像における座標系（カメラ座標系）での座標から、投写領域における座標系（投写座標系）での対応する座標への変換式を取得する。カメラ４０が撮像した画像における座標系（カメラ座標系）での座標から、投写領域における座標系（投写座標系）での対応する座標への変換方式は、線形補間、アフィン変換、射影変換等の手法であってもよい。
　また、投写制御装置１０は、当該対応関係から、カメラ４０が撮像した画像における座標系（カメラ座標系）での座標から、投写領域における座標系（投写座標系）での対応する座標への変換のために用いられるテーブルを取得してもよい。
　［投写制御方法］
　次に、投写制御装置１０が行う投写制御方法について説明する。図６は、実施の形態１における投写制御方法のフローチャートである。
　まず、第１投写制御部１１は、複数の投写指標を含む投写画像をプロジェクタ２０に投写させる（ステップＳ１０）。ここで、投写指標は３つでもよいし、４つでもよい。また、投写指標の形は、十字でもよいし、円形でもよいし、矩形でもよい。投写指標の形は、上記以外の形状であってもよい。
　次に、検出制御部１３は、カメラ４０に、投写画像を撮像範囲に収まるように撮像させてカメラ画像を生成する（ステップＳ１１）。ここで、カメラ４０は、赤外線カメラでもよいし、可視光カメラでもよい。そして、カメラ画像は、赤外線画像でもよいし、可視光画像でもよい。
　続いて、表示制御部１４は、ディスプレイ３０に、複数のカメラ指標をカメラ画像に重畳して表示させる（ステップＳ１２）。
　そして、カメラ座標検出部１５は、ユーザが、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係を調整するように、カメラ画像に含まれる投写指標および複数のカメラ指標のうちのいずれかをディスプレイ３０上で移動させる操作を受け付ける（ステップＳ１３）。
　ここで、例えば、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係を調整するとは、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標と重ねることである。なお、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標とは完全に重ならなくてもよい。
　また、例えば、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係を調整するとは、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標とを所定の距離以下に近づけることでもよい。なお、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係を調整するとは、投写画像の中で投写指標を移動させ、及び／又は、ディスプレイ３０に表示するカメラ指標を移動させることであってもよい。
　また、カメラ座標検出部１５は、投写範囲の中に位置する複数の投写指標の位置を変更した後に、カメラ指標を移動させる操作を受け付けてもよい。
　次に、制御部１６は、カメラ画像に含まれる投写指標と複数のカメラ指標とのうちのいずれかのディスプレイ３０上での移動の態様に応じて、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係を決定する（ステップＳ１４）。
　これにより、制御部１６は、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係から、カメラ４０が撮像した画像における座標系（カメラ座標系）での座標から、投写領域における座標系（投写座標系）での対応する座標への変換式を算出する。制御部１６は、変換式の代わりに、対応関係を表したテーブルを算出してもよい。例えば、制御部１６は、投写指標とカメラ指標とがそれぞれが４つのとき、射影変換の手法で両者を対応付けてもよい。
　続いて、第２投写制御部１２は、決定された対応関係に応じた投写座標を用いて、プロジェクタ２０に画像を投写する（ステップＳ１５）。例えば、第２投写制御部１２は、ステップＳ１４で算出された変換式を用いて、カメラ４０の撮像範囲の中に位置するカメラ座標から対応するプロジェクタ２０の投写範囲の中に位置する投写座標を算出し、算出した投写座標に画像を投写する。第２投写制御部１２は、ステップＳ１４で算出された変換式を用いて、投写対象の画像のカメラ４０が撮像した画像における座標系（カメラ座標系）の座標から投写領域における座標系（投写座標系）の座標に変換して、投写対象の画像を投写してもよい。
　［キャリブレーションとコンテンツ再生］
　次に、実施の形態１における投写制御方法の高速プロジェクションマッピングへの適用について説明する。図７は、実施の形態１における投写制御方法を用いた画像投写の概要を示す図である。図６で説明された実施の形態１における投写制御方法は、以下のように、高速プロジェクションマッピングに適用される。
　まず、高速プロジェクションマッピングにおいて行われるキャリブレーションについて説明する。図７に示される（１）において、投写制御装置１０は、キャリブレーションのための投写画像を出力する。ここで、キャリブレーションとは、投写制御装置１０がプロジェクタ２０から画像を投写するための、投写された画像の位置合わせのことを指す。また、投写制御装置１０の中の、キャリブレーションの一連の処理を行う複数の部を指して、キャリブレーション機能と表現する。
　次に、投写制御装置１０は、図７の（ａ）で示される（２）において、カメラ４０が撮像したカメラ画像を取得する。そして、投写制御装置１０は、図７の（ａ）で示される（３）において、キャリブレーション操作を行う。図７の（ａ）で示される（３）におけるキャリブレーション操作は、主に、図６で説明されたステップＳ１２～Ｓ１４で行われる処理に該当する。
　続いて、投写制御装置１０は、図７の（ａ）で示される（４）において、キャリブレーション操作の結果算出された、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係に関する設定ファイルを生成する。キャリブレーション機能により生成された設定ファイルは、次に説明される位置検出機能に出力される。
　位置検出機能とは、高速プロジェクションマッピングにおいて、コンテンツを再生する際に、マーカ５０の位置を検出する一連の処理を行う、高速プロジェクションマッピングシステムの複数の部を指す。位置検出機能は、投写制御装置１０に含まれてもよいし、含まれなくてもよい。
　図７の（ｂ）に示される（１）において、位置検出機能は、キャリブレーション機能により生成された設定ファイルを読み込む。次に、図７の（ｂ）に示される（２）において、位置検出機能は、マーカ５０を含む画像であり、カメラ４０によって撮像されたカメラ画像を取得する。続いて、図７の（ｂ）に示される（３）において、位置検出機能は、設定ファイルに基づいて、取得したカメラ画像から、マーカ５０の座標を算出し、さらにマーカの座標を投写座標に変換し、映像生成部に提供する。映像生成部は、高速プロジェクションマッピングに用いられるマーカ５０に追従した画像を生成する部である。そして、図７の（ｂ）に示される（４）において、映像生成部は、マーカ５０に追従した映像である追従画映像を生成する。次に、図７の（ｂ）に示される（５）において、映像生成部が生成した追従画映像を出力する。
　［投写制御方法の実施］
　次に、実施の形態１における投写制御方法を実施する際の例を説明する。まず、投写制御装置１０は、カメラ４０でセンシングする領域を決定する。ここで、センシングとは、マーカ５０をカメラ４０が撮影した画像を用いて検知することである。図８Ａは、実施の形態１における投写制御方法を用いた画像投写のためのセンシング領域を示す図である。例えば、図８Ａに示された最も大きな矩形の領域をセンシングの領域であるセンシング領域とする。投写制御装置１０は、カメラ４０が撮像可能な範囲の中から、センシングの対象となる領域の大きさを決定する。領域は、例えば、７６８×３６０画素の領域でもよい。
　また、投写制御装置１０は、領域の中の座標系を決定する。例えば、投写制御装置１０は、領域の左上の角を（ｘ、ｙ）＝（０，０）と決定してもよい。
　そして、投写制御装置１０は、投写画像に含まれる複数の投写指標がセンシング領域の中に納まるように、センシング領域の大きさおよび位置を調整する。ここで、投写画像は、４つの十字の印を含む矩形であって、４つの領域に分割された画像である。例えば、図８Ａに示されるように、投写制御装置１０は、複数の投写指標が、センシング領域の中に納まるように、センシング領域の大きさおよび位置を調整する。このとき、投写画像の大きさおよび位置が調整されてもよい。例えば、投写指標は、図８Ａに示されるように十字の印でもよい。また、４つの投写指標のそれぞれは、分割された４つの矩形の中に１つずつ納まるように位置する。
　次に、投写制御装置１０は、カメラ座標と投写座標との対応付けを行う。図８Ｂは、実施の形態１における投写制御方法を用いた画像投写のためのキャリブレーションを示す図である。
　本実施の形態において、ユーザによるカメラ指標の移動の操作を受け付ける前の、デフォルトの４つのカメラ指標のそれぞれは、カメラ画像を水平２分割、垂直２分割した４つの領域のなかに１つずつ収まるように位置する。
　投写制御装置１０は、ユーザが、複数のカメラ指標それぞれの位置を、対応する複数の投写指標それぞれの位置に一致させるように移動させる操作を受け付ける。ここで、カメラ指標は、中に十字の印を含む正方形のカーソルである。例えば、カメラ指標は、コンピュータのキーボードの矢印キーが押されることで上下左右に移動する。なお、カメラ指標は、マウスのクリックアンドドラッグの操作で上下左右に移動してもよい。また、複数のカメラ指標に対応する複数の投写指標とは、それぞれが位置する４つに分割された投写画像とカメラ画像の領域が同じ位置にあるもの同士をいう。
　また、複数のカメラ指標のそれぞれに対する選択は、Ｔａｂキーが押されることで切替えられてもよい。なお、複数のカメラ指標のそれぞれに対する選択は、マウスのクリック操作によって切り替えられてもよい。
　このとき、投写制御装置１０は、ディスプレイ３０に、カメラ画像を、カメラ４０が撮像した画像における座標系（カメラ座標系）で表示する。ここで、カメラ画像は可視光画像である。
　続いて、投写制御装置１０は、マーカ５０をセンシングするためのパラメータの設定（キャリブレーション）を行う。図８Ｃは、実施の形態１における投写制御方法を用いた画像投写のためのパラメータ設定を示す図である。
　投写制御装置１０は、カメラ４０の備えるカメラレンズの前に可視光カットフィルタが装着された状態で、赤外線画像を撮影する。この赤外線画像をマーカ画像と呼んでもよい。このとき、図８Ａにおいて説明されたセンシング領域の中に映るように、マーカ５０が配置される。
　次に、投写制御装置１０は、カメラゲインを調整することで、カメラ４０が撮像した赤外線画像の明るさを調整する。
　次に、投写制御装置１０は、赤外線画像に二値化処理を施した画像において、マーカ５０が映った部分だけが明るく表示されるように調整を行う。例えば、投写制御装置１０は、閾値より上の範囲の画像を明るく（例えば、赤く）表示し、閾値より下の範囲の画像を暗く（例えば、赤以外の色で）表示する。投写制御装置１０が赤外線画像に二値化処理を施した画像において、マーカ５０が映った部分だけが明るく表示されるように調整を行うとは、投写制御装置１０が、マーカ５０が映った部分だけが赤く表示されるように調整することでもよい。このとき、投写制御装置１０は、マーカ５０が映った部分だけが明るく表示されるようにする（マーカ領域を切り出す）ために、赤外線画像に施した二値化処理に用いられる閾値を調整する。このとき、投写制御装置１０は、光の反射の多いところから少ないところにかけて、赤、黄、緑、および青の順で表示してもよい。
　（実施の形態２）
　［複数のカメラを備えた投写制御装置］
　図９は、実施の形態２における投写制御装置１０の構成を表す図である。投写制御装置１０は、複数のカメラ４０ａ、４０ｂ、および、４０ｃとＬＡＮケーブル６０を介して接続されていてもよい。カメラ４０ａ、４０ｂ、および４０ｃは、ＬＡＮケーブル６０を介して、ＰｏＥ給電対応ハブ７０と接続される。そして、ＰｏＥ給電対応ハブ７０は、ＬＡＮケーブル６０を介して投写制御装置１０と接続される。なお、カメラは、カメラ４０ａ、４０ｂ、および４０ｃの３つに限られず、複数であればいくつでもよい。
　まず、カメラ４０ａ、４０ｂ、および４０ｃは、マーカ５０に対して、赤外線を照射する。そして、カメラ４０ａ、４０ｂ、および４０ｃは、赤外線を反射したマーカ５０を撮影する。ここで、マーカ５０は、再帰反射マーカである。
　次に、カメラ座標検出部１５は、カメラ４０ａ、４０ｂ、および４０ｃが撮影したマーカ５０の位置を検出する。カメラ座標検出部１５は、専用のソフトウェアを用いてカメラ４０ａ～４０ｎが撮影したマーカ５０の位置を検出してもよい。
　そして、制御部１６は、投写指標と複数のカメラ指標との相対的な位置関係に応じて、プロジェクタの投写範囲の中に位置する投写座標に対する、カメラの撮像範囲の中に位置するカメラ座標の対応関係を決定する。つまり、制御部１６は、カメラ座標の座標変換を行う。そして、変換されたカメラ座標に基づいて、プロジェクタ２０が投写するコンテンツを生成する。プロジェクタ２０は、制御部１６から送信されたコンテンツを投写する。
　図１０は、実施の形態２における投写制御装置１０の別の構成を表す図である。投写制御装置１０は、複数のカメラ４０ａ、４０ｂ、および、４０ｃとＬＡＮケーブル６０を介して接続されていてもよい。そして、図１０で説明される構成では、マーカ５０は、赤外線ＬＥＤマーカであり、マーカ５０自身が発光する。また、投写制御装置１０は、ＬＡＮケーブル６０を介して、同期信号送信機８０と接続されている。その他の構成は、図９で説明された構成と同様である。
　まず、マーカ５０が、発光する。ユーザは、マーカ５０を任意の場所に設置し、マーカ５０を発光させてもよい。そして、カメラ４０ａ、４０ｂ、および、４０ｃは、発光したマーカ５０を撮影する。
　次に、カメラ座標検出部１５は、カメラ４０ａ、４０ｂ、および、４０ｃが撮影したマーカ５０の位置を検出する。このとき、カメラ座標検出部１５は、マーカ５０と、同期信号送信機８０を介して同期する。具体的には、同期信号送信機８０が送信した同期信号を受信したマーカ５０が、同期信号に従って発光することで、マーカ５０とカメラ座標検出部１５は、同期する。カメラ座標検出部１５は、専用のソフトウェアを用いてカメラ４０ａ、４０ｂ、および、４０ｃが撮影したマーカ５０の位置を検出してもよい。
　複数のＬＥＤを使用し、同期信号により、各々のＬＥＤを異なるパターンでパルス発光させれば、マーカに特有のＩＤを付与することが可能である。ＩＤを付与する必要がなければ、同期信号の送受信はしなくてもよい。
　そして、制御部１６は、投写指標と複数のカメラ指標との相対的な位置関係に応じて、プロジェクタの投写範囲の中に位置する投写座標に対する、カメラの撮像範囲の中に位置するカメラ座標の対応関係を決定する。つまり、制御部１６は、カメラ座標の座標変換を行う。そして、変換されたカメラ座標に基づいて、プロジェクタ２０が投写するコンテンツを生成する。プロジェクタ２０は、第２投写制御部１２の制御に基づいて、制御部１６から送信されたコンテンツを投写する。
　図１１は、実施の形態２における投写制御装置１０の投写指標の投写を示す図である。投写制御装置１０は、同一面上の４点と、同一面上の４点と異なる面上にある２点との座標を取得する。具体的には、投写制御装置１０の表示制御部１４は、スクリーン上等の同一の面上に、投写指標を４点、プロジェクタ２０に投写させる。
　そして、カメラ４０ａ、４０ｂ、および４０ｃは、ユーザが投写指標上に配置したマーカ５０を撮影する。続いて、カメラ座標検出部１５は、カメラ４０ａ、４０ｂ、および、４０ｃが撮影したマーカ５０の位置座標を検出する。
　投写制御装置１０は、同一面上の４点と異なる面上にある２点についても同様に処理を行う。具体的には、投写制御装置１０の表示制御部１４は、４点を投写した同一の面上と異なる面上の空間に、投写指標を２点投写する。例えば、表示制御部１４は、ユーザが配置したボード上に投写指標をプロジェクタ２０に投写させてもよい。
　そして、カメラ４０ａ、４０ｂ、および、４０ｃは、ユーザが配置したボードに設けられたマーカ５０を撮影する。続いて、カメラ座標検出部１５は、カメラ４０ａ、４０ｂ、および４０ｃが撮影したマーカ５０の位置座標を検出する。この位置座標は、カメラが配置された空間における三次元座標である。複数のカメラで撮影することで、ステレオ計測などの手法により、三次元座標を得ることができる。
　例えば、制御部１６は、検出された、４点Ａ、Ｂ、Ｃ、Ｄの位置に投写された投写指標の座標を用いて、基準点の位置および回転の度合いの不一致と、投写指標のサイズの不一致とを補正する計算式を算出する。この計算式は、例えば、アフィン変換である。そして、制御部１６は、検出された、４点Ａ、Ｂ、Ｃ、Ｄの位置に投写された投写指標の座標を用いて、プロジェクタ２０の投写のゆがみを除去する計算式を算出する。この計算式は、例えば、射影変換である。
　そして、例えば、制御部１６は、検出された、４点Ａ、Ｂ、Ｅ、Ｆの位置に投写された投写指標の座標を用いて、プロジェクタ２０の設置位置、および、位置または画角の設定の状態を算出する。加えて、制御部１６は、４点Ａ、Ｂ、Ｃ、Ｄの形状も加味して、投写方向およびレンズシフトを表す計算式を算出する。
　図１２は、実施の形態２における投写制御方法の概要を示す図である。図１２の（ａ）に示されるように、ユーザは、ボード５１上に設けられたマーカ５０を、表示制御部１４が指示した位置に配置する。
　図１２の（ｂ）に示されるように、表示制御部１４は、プロジェクタ２０に投写指標５２を所定の位置に投写させることで、ユーザにマーカ５０を配置するべき位置を指示する。図１２の（ｂ）に示されるように、表示制御部１４は、複数の投写指標を投写してもよい。複数の投写指標とは例えば、４つである。
　表示制御部１４は、スクリーン等の同一平面上に４つの投写指標を投写し、４つの投写指標が投写された平面と異なる平面上に、さらに２つの投写指標を投写してもよい。表示制御部１４は、複数の投写指標を、同時に投写してもよいし、１つずつ順に投写してもよい。
　ユーザは、投写指標が投写された位置に、ボード５１上に設けられたマーカ５０を配置する。ここで、マーカ５０は、赤外線カメラで検出可能なマーカである。そして、カメラ座標検出部１５は、カメラ４０ａ～４０ｎが撮影したマーカ５０の位置を検出する。　カメラ座標検出部１５は、上記のマーカ５０検出の処理を、同一平面内の４点で実施する。　そして、制御部１６は、カメラ座標検出部１５が検出したマーカ５０の座標と、表示制御部１４がプロジェクタ２０に投写させた投写画像上の投写指標の座標との関係を用いて、プロジェクタ２０に対する投写制御を行う。
　さらに、図１２の（ｃ）に示されるように、ユーザは、上記の同一平面上に投写された４点の投写指標のうち２点について、４点が投写された平面と異なる平面上にマーカ５０を配置する。具体的には、ユーザは、プロジェクタ２０と、４点の投写指標が投影された平面上の投写指標とを結ぶ直線上であって、４点の投写指標が投影された平面と異なる平面上に、ボード５１に設けられたマーカ５０を配置する。
　そして、カメラ座標検出部１５は、上記２点に配置されたマーカ５０の座標を検出する。続いて、第２投写制御部１２は、上記２点に配置されたマーカ５０の座標と、表示制御部１４がプロジェクタ２０に投写させた投写画像上の投写指標の座標との関係を用いて、プロジェクタ２０の位置を検出することで、プロジェクタ２０に対する投写制御を行う。
　つまり、第２投写制御部１２は、検出したプロジェクタ２０の位置を用いて、プロジェクタ２０に投写させる投写画像を調整し、プロジェクタ２０の映像の投写の動作を制御する。ここで、映像の投写の動作とは、コンテンツを投写する位置または大きさを制御することであってもよい。
　［複数のカメラを備えた投写制御装置の動作］
　次に、実施の形態２における投写制御装置１０の動作について説明する。図１３は、実施の形態２における投写制御方法を示すフローチャートである。
　まず、表示制御部１４は、複数の投写指標を含む投写画像をプロジェクタ２０により投写する（ステップＳ１０）。表示制御部１４は、同一面内の４カ所に順に、投写指標を投影してもよい。なお、投写指標が投写される位置は、固定されなくてもよい。投写指標が投写される位置は、任意に変更されてもよい。
　以下のステップＳ１２～Ｓ１３を、同一面内の４か所について、各１か所ずつ繰り返す（ステップＳ１１）。
　次に、ユーザは、投写指標の位置にカメラ４０で検出可能なマーカ５０を配置する（ステップＳ１２）。ユーザは、投写指標が投写された平面上に、マーカ５０が設けられたボード５１を配置する。ここで、投写指標が投写された平面とは、例えば、スクリーンでもよい。
　続いて、カメラ座標検出部１５は、検出手段によりマーカ５０の座標を取得する（ステップＳ１３）。カメラ座標検出部１５は、例えば、赤外線カメラによってマーカ５０の位置を検出する。
　ここで、ステップＳ１１に戻る（ステップＳ１４）。
　なお、投写指標が投写された平面は、何もない空間でもよい。この場合、ボード５１を配置する面が分かるよう、例えば床に目印がつけられていれば、ユーザが、目印を目安にボード５１を配置することで、ユーザがマーカ５０を配置した４点は、ほぼ平面上に分布する。
　次に、制御部１６は、検出結果のマーカ５０の座標と投写画像上の投写指標の座標との対応関係を取得する（ステップＳ１５）。制御部１６は、カメラ座標検出部１５が検出した、ユーザが配置したマーカ５０の座標と、表示制御部１４がプロジェクタ２０に投写させた投写画像上の投写指標の座標との対応関係を取得する。つまり、制御部１６は、制御部１６がプロジェクタ２０に投写させるコンテンツの座標が、実空間でいかなる座標に対応するかという関係を取得する。
　続いて、第２投写制御部１２は、取得した対応関係を用いてプロジェクタ２０により画像を投写する（ステップＳ１６）。
　なお、カメラ４０が、可視光カメラとしての機能を有する場合、ユーザは、マーカ５０を手動で配置する必要はない。制御部１６は、同一平面上に投写される４点の投写指標については、例えばスクリーン等の既存の平面上に投写することで、可視光カメラとして働くカメラ４０の撮像した画像から、投写された投写指標の位置を検出することで、マーカ５０の座標と投写画像上の投写指標の座標との対応関係を検出することができる。さらに、制御部１６は、同一平面上に投写される４点と異なる平面上に投写される、当該４点のうちの２点については、ボード５１を配置することで、可視光カメラとしてはたらくカメラ４０の撮像した画像から、投写された投写指標の位置を検出することで、マーカ５０の座標と投写画像上の投写指標の座標との対応関係を検出することができる。このとき、ボード５１にマーカ５０が設けられている必要はない。
　このとき、カメラ４０は、赤外線カメラとしての機能と、可視光カメラとしての機能とを切り替えられる構成であってもよい。
　また、同一平面上に投写される４点の投写指標については、制御部１６は、４点が投写されるスクリーン等の既存の平面上に予め配置されたマーカ５０の位置に一致させるように、投写指標を動かしながら、プロジェクタ２０に投写指標を投写させてもよい。さらに、制御部１６は、同一平面上に投写される４点と異なる平面上に投写される、当該４点のうちの２点については、当該４点のうちの２点を利用することで、２点が投写された位置、を検出することで、マーカ５０の座標と投写画像上の投写指標の座標との対応関係を取得してもよい。
　次に、第２投写制御部１２が制御するプロジェクタ２０の投写画像の投写方法について説明する。図１４は、投写画像の投写方法を示す図である。
　図１４の（ａ）に示されるように、平行投写は、マーカ５０からスクリーン２００に下した垂線の足上に、画像を投写する投写方法である。平行投写では、マーカ５０がスクリーン２００から離れた位置に存在する場合でも、観客の正面においては、マーカ５０と投写画像１００の位置が一致する。
　図１４の（ｂ）に示されるように、射影投写は、プロジェクタ２０とマーカ５０とを結ぶ直線上のスクリーン２００に、画像を投写する投写方法である。射影投写では、プロジェクタ２０に近い位置に存在する観客が、マーカ５０と投写画像１００との位置が比較的重なった状態で、投写された画像を視認できる。
　図１４の（ｃ）に示されるように、仮想視点投写は、所定に位置に設定された特定の仮想視点３００と、マーカ５０とを結ぶ直線上のスクリーン２００に、画像を投写する投写方法である。仮想視点３００として設定された位置にカメラを設置すると、当該カメラからは常にマーカ５０と、投写画像１００との位置が一致して見える。
　図１４の（ｄ）に示されるように、オブジェクトマッピングは、マーカ５０が設けられたオブジェクト上に、画像を投写する投写方法である。ここで、オブジェクトとしては、板状の物体または、人の身体等が想定される。また、オブジェクトは、建造物でもよいし、移動体でもよい。オブジェクトマッピングでは、プロジェクタ２０とマーカ５０とを結ぶ直線上に、投写画像１００が投写されるが、プロジェクタ２０とマーカ５０との距離に応じて、投写画像１００の大きさ等が変更される。オブジェクトマッピングでは、観客からは、投写画像１００が、マーカ５０が設けられたオブジェクトに追随するように見える。
　図１４の（ａ）～（ｄ）で説明された各投写方法において、スクリーン２００は、プロジェクタ２０から見て、マーカ５０の手前に設置されていてもよい。その場合、スクリーン２００は、半透明の素材で構成されていてもよい。例えば、半透明の素材とは、メッシュ素材や拡散粒子を含む透明板等でもよい。
　なお、図１４の（ｄ）の投写方法において、スクリーン２００をプロジェクタ２０から見てマーカ５０の手前に設置する場合、半透明素材の透過率が十分に高ければ、スクリーンを通過した後でも、オブジェクトに違和感なく映像を投写することができる。半透明の素材の透過率としては９０％以上であればよく、好ましくは９５％程度である。このように透過率が高く反射率が低いスクリーンであっても、投写された映像は視認可能である。しかしながら、半透明のスクリーンが反射する映像よりも、その背後に配置されるオブジェクトに投写された映像の方が明るいため、オブジェクトに投写された映像が主に視認される。
　制御部１６は、図１４の（ａ）～（ｄ）で説明された４つの投写方法のいずれが使用されるかに応じて、下記の処理の切り替えを行うことができてもよい。制御部１６は、同一平面上に投写される４点の投写指標のみについて、投写された投写指標の位置を検出することで、マーカ５０の座標と投写画像１００上の投写指標の座標との対応関係を検出する。または、制御部１６は、当該４点に加えて、さらに、同一平面上に投写される４点と異なる平面上に投写される、当該４点のうちの２点について、投写された投写指標の位置を検出することで、マーカ５０の座標と投写画像１００上の投写指標の座標との対応関係を検出する。制御部１６は、上記の２つの処理のいずれを行うかを決定することができてもよい。
　なお、表示制御部１４は、図１４の（ａ）～（ｄ）で説明された４つの投写方法のそれぞれのいずれが使用されるかに応じて、制御部１６が算出したマーカ５０の座標と投写画像１００上の投写指標の座標との対応関係に基づいて、投写画像１００の投影のモードを第１のモードから第４のモードの４つのうちで切り替えてもよい。投影のモードの切り替えは、同一のソースコンテンツに対して、投写画像１００のサイズ、角度、投写先までの距離等が切り替えられてもよい。
　なお、投影のモードは、４つに限られない。投影のモードは複数であれば、いくつでもよく、例えば、２つでもよいし、３つでもよい。
　［効果等］
　本開示の実施の形態における投写制御方法は、プロセッサが、プロジェクタ２０による画像の投写を制御する投写制御方法であって、プロジェクタ２０の投写範囲の中に位置する複数の投写指標を含む投写画像をプロジェクタ２０に投写させる第１投写制御ステップと、カメラ４０に、投写画像を撮像範囲に収まるように撮像させる検出制御ステップと、前記撮像によって得られるカメラ座標系における前記投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに前記撮像範囲に配置させる指示をディスプレイに表示させる表示制御ステップと、配置された複数のカメラ指標の座標を検出するカメラ座標検出ステップと、投写指標と複数のカメラ指標との相対的な位置関係に応じて、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係を決定する制御ステップと、を含む。
　これにより、本開示の実施の形態における投写制御方法は、簡易な構成でプロジェクタ２０とカメラ４０との位置の対応付けを行うことができる。
　また、例えば、本開示の実施の形態における投写制御方法は、決定された対応関係に応じた投写座標を用いて、プロジェクタ２０に画像を投写させる第２投写制御ステップをさらに含んでもよい。
　これにより、本開示の実施の形態における投写制御方法は、プロジェクタ２０とカメラ４０との位置の対応付けが適切に行われた画像を投写することができる。
　本開示の実施の形態における投写制御方法は、カメラ座標検出ステップでは、ユーザが、ディスプレイに表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係を調整するように、カメラ画像に含まれる投写指標および複数のカメラ指標のうちのいずれかをディスプレイ上で移動させる操作を受け付ける。
　これにより、本開示の実施の形態における投写制御方法は、簡易な構成でプロジェクタ２０とカメラ４０との位置の対応付けを行うことができる。
　また、例えば、本開示の実施の形態における投写制御方法において、操作は、ユーザがディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係が調整されるように、ユーザに、カメラ画像に含まれる投写指標をディスプレイ３０上で移動させる操作であってもよい。
　これにより、本開示の実施の形態における投写制御方法は、カメラ画像に含まれる投写指標を複数のカメラ指標と対応付けることができる。
　また、例えば、本開示の実施の形態における投写制御方法において、操作は、ユーザがディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係が調整されるように、ユーザに、複数のカメラ指標をディスプレイ３０上で移動させる操作であってもよい。
　これにより、本開示の実施の形態における投写制御方法は、複数のカメラ指標をカメラ画像に含まれる投写指標と対応付けることができる。
　また、例えば、本開示の実施の形態における投写制御方法は、ユーザがディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係を調整するとは、ユーザがディスプレイ３０に表示されたカメラ画像に含まれる投写指標と、複数のカメラ指標とが重なるようにすることであってもよい。
　これにより、本開示の実施の形態における投写制御方法は、プロジェクタから投写された画像の座標と、カメラで撮像された画像の座標とを、正確に対応付けることができる。
　また、例えば、本開示の実施の形態における投写制御方法は、複数の投写指標および複数のカメラ指標の数はそれぞれ４つである。
　これにより、本開示の実施の形態における投写制御方法は、射影変換によって、ディスプレイ３０に表示されたカメラ画像に含まれる投写指標と複数のカメラ指標との位置関係を対応させることができる。
　また、例えば、本開示の実施の形態における投写制御方法において、制御ステップでは、４つの投写指標および４つの前記カメラ指標を用いて、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係を決定する。
　これにより、本開示の実施の形態における投写制御方法は、４点の投写指標を用いて、プロジェクタ２０の投写画像のキャリブレーションを行うことができる。
　また、例えば、本開示の実施の形態における投写制御方法において、複数の投写指標および複数のカメラ指標の数はそれぞれ６つである。
　これにより、４点に加えて、さらに特定の２点を用いることで、プロジェクタ２０の位置等を検出することができる。
　また、例えば、本開示の実施の形態における投写制御方法において、制御ステップでは、６つの投写指標および６つのカメラ指標を用いて、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係を決定する。
　これにより、本開示の実施の形態における投写制御方法は、６点の投写指標を用いて、プロジェクタ２０の投写画像のキャリブレーションを行うことができる。
　また、例えば、本開示の実施の形態における投写制御方法は、さらに、投写範囲に存在するマーカ５０をカメラ４０に撮像させるマーカ撮像ステップと、カメラ４０が撮像したマーカ５０のマーカ画像におけるカメラ座標を算出するマーカ算出ステップと、決定された対応関係を用いて、マーカ５０のカメラ座標を投写座標に変換する変換ステップと、変換されたマーカ５０の投写座標を用いて、プロジェクタ２０にカメラ４０が撮像したマーカ５０の位置に、画像を投写させる第３投写制御ステップと、を含んでもよい。
　これにより、本開示の実施の形態における制御方法は、マーカ５０の位置を検出し、マーカ５０の位置に応じて、画像を投写することができる。
　また、例えば、本開示の実施の形態における投写制御方法において、カメラ画像は可視光画像であり、マーカ画像は赤外線画像であってもよい。
　これにより、本開示の実施の形態における投写制御方法は、可視光画像と赤外線画像との両方を用いて、プロジェクタ２０とカメラ４０との位置の対応付けを行うことができる。
　また、例えば、本開示の実施の形態における投写制御方法において、マーカ５０は、赤外線反射部材を備えてもよい。
　これにより、本開示の実施の形態における投写制御方法は、赤外線を反射するマーカ５０を検知して、プロジェクタとカメラとの位置の対応付けを行うことができる。
　また、例えば、本開示の実施の形態における投写制御方法において、マーカ５０は、ＬＥＤを備え、自ら発光してもよい。
　これにより、本開示の実施の形態における投写制御方法は、自ら発光するマーカ５０の出射する光を検知して、プロジェクタ２０とカメラ４０との位置の対応付けを行うことができる。
　また、例えば、本開示の実施の形態における投写制御方法は、さらに、投写範囲の中に位置する複数の投写指標の位置を変更した後に、カメラ指標を移動させる変更ステップを含んでもよい。
　これにより、本開示の実施の形態における投写制御方法は、投写指標の位置をスクリーンの位置に合わせて調整したあとに、カメラ指標を移動させることができる。よって、本開示の実施の形態における投写制御方法は、適切にプロジェクタ２０とカメラ４０との位置の対応付けを行うことができる。
　本開示の実施の形態における投写制御装置１０は、プロジェクタ２０による画像の投写を制御する投写制御装置１０であって、プロジェクタ２０の投写範囲の中に位置する複数の投写指標を含む投写画像をプロジェクタ２０に投写させる第１投写制御部１１と、カメラ４０に、投写画像を撮像範囲に収まるように撮像させる検出制御部１３と、前記撮像によって得られるカメラ座標系における前記投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに撮像範囲に配置させる指示をディスプレイに表示させる表示制御部１４と、配置された複数のカメラ指標の座標を検出するカメラ座標検出部１５と、投写指標と複数のカメラ指標と相対的な位置関係に応じて、プロジェクタ２０の投写範囲の中に位置する投写座標に対する、カメラ４０の撮像範囲の中に位置するカメラ座標の対応関係を決定する制御部１６と、を備える。
　これにより、本開示の実施の形態における投写制御装置は、上記投写制御方法と同様の効果を奏することができる。
　（その他）
　また、上記実施の形態において、各構成要素、とりわけ第１投写制御部１１、第２投写制御部１２、検出制御部１３、表示制御部１４、カメラ座標検出部１５、および、制御部１６のそれぞれは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムをＰＣまたはスマートフォンで読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本発明の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本発明は、上記実施の形態の端末として実現されてもよいし、端末に相当するシステムとして実現されてもよい。また、本発明は、投写制御方法として実現されてもよいし、投写制御方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。なお、プログラムには、汎用の携帯端末を上記実施の形態の携帯端末として動作させるためのアプリケーションプログラムが含まれる。
　また、上記実施の形態では、投写制御装置１０は、単数の装置によって実現されたが、複数の装置として実現されてもよい。投写制御装置１０が複数の装置によって実現される場合、上記実施の形態で説明された投写制御装置１０が備える構成要素は、複数の装置にどのように振り分けられてもよい。
　また、上記実施の形態では、プロジェクタ２０とカメラ４０とが別体での構成であったが、これに限られず、プロジェクタ２０がカメラ４０を内蔵した構成であってもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　本発明は、映像投影を伴う商業的パフォーマンスに用いられ得る。
１０　投写制御装置
１１　第１投写制御部
１２　第２投写制御部
１３　検出制御部
１４　表示制御部
１５　カメラ座標検出部
１６　制御部
２０　プロジェクタ
３０　ディスプレイ
４０、４０ａ、４０ｂ、４０ｃ　カメラ
５０　マーカ
５１　ボード
５２　投写指標
６０　ＬＡＮケーブル
７０　ＰｏＥ給電対応ハブ
８０　同期信号送信機
８１　赤外線ライト
９０　ＨＤＭＩ
１００　投写画像
２００　スクリーン
３００　仮想視点

Claims (16)

  1. 　プロセッサが、プロジェクタによる画像の投写を制御する投写制御方法であって、
    　前記プロジェクタの投写範囲の中に位置する複数の投写指標を含む投写画像を前記プロジェクタに投写させる第１投写制御ステップと、
    　カメラに、前記投写画像を撮像範囲に収まるように撮像させる検出制御ステップと、
    　前記撮像によって得られるカメラ座標系における前記投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに前記撮像範囲に配置させる指示をディスプレイに表示させる表示制御ステップと、
    　配置された前記複数のカメラ指標の座標を検出するカメラ座標検出ステップと、
    　前記投写指標と前記複数のカメラ指標との相対的な位置関係に応じて、前記プロジェクタの前記投写範囲の中に位置する投写座標に対する、前記カメラの前記撮像範囲の中に位置するカメラ座標の対応関係を決定する制御ステップと、を含む、
    　投写制御方法。
  2. 　決定された前記対応関係に応じた前記投写座標を用いて、前記プロジェクタに前記画像を投写させる第２投写制御ステップを更に含む、
    　請求項１に記載の投写制御方法。
  3. 　前記カメラ座標検出ステップでは、ユーザが、前記ディスプレイに表示された前記カメラ画像に含まれる前記投写指標と前記複数のカメラ指標との位置関係を調整するように、前記カメラ画像に含まれる前記投写指標および前記複数のカメラ指標のうちのいずれかを前記ディスプレイ上で移動させる操作を受け付ける、
    　請求項１または２に記載の投写制御方法。
  4. 　前記操作は、前記ユーザが前記ディスプレイに表示された前記カメラ画像に含まれる前記投写指標と前記複数のカメラ指標との位置関係が調整されるように、ユーザに、前記カメラ画像に含まれる前記投写指標を前記ディスプレイ上で移動させる操作である、
    　請求項３に記載の投写制御方法。
  5. 　前記操作は、前記ユーザが前記ディスプレイに表示された前記カメラ画像に含まれる前記投写指標と前記複数のカメラ指標との位置関係が調整されるように、ユーザに、前記複数のカメラ指標を前記ディスプレイ上で移動させる操作である、
    　請求項３または４に記載の投写制御方法。
  6. 　前記ユーザが前記ディスプレイに表示された前記カメラ画像に含まれる前記投写指標と前記複数のカメラ指標との位置関係を調整するとは、前記ユーザが前記ディスプレイに表示された前記カメラ画像に含まれる前記投写指標と、複数の前記カメラ指標とが重なるようにすることである、
    　請求項３～５のいずれか１項に記載の投写制御方法。
  7. 　前記複数の投写指標および前記複数のカメラ指標の数はそれぞれ４つである、
    　請求項１～６のいずれか１項に記載の投写制御方法。
  8. 　前記制御ステップでは、４つの投写指標および４つの前記カメラ指標を用いて、前記プロジェクタの前記投写範囲の中に位置する投写座標に対する、前記カメラの前記撮像範囲の中に位置するカメラ座標の対応関係を決定する、
    　請求項７に記載の投写制御方法。
  9. 　前記複数の投写指標および前記複数のカメラ指標の数はそれぞれ６つである、
    　請求項１～６のいずれか１項に記載の投写制御方法。
  10. 　前記制御ステップでは、６つの投写指標および６つの前記カメラ指標を用いて、前記プロジェクタの前記投写範囲の中に位置する投写座標に対する、前記カメラの前記撮像範囲の中に位置するカメラ座標の対応関係を決定する、
    　請求項９に記載の投写制御方法。
  11. 　さらに、
    　前記投写範囲に存在するマーカを前記カメラに撮像させるマーカ撮像ステップと、
    　前記カメラが撮像した前記マーカの前記カメラ座標系における前記マーカの前記カメラ座標を算出するマーカ算出ステップと、
    　決定された前記対応関係を用いて、前記マーカの前記カメラ座標を前記投写座標に変換する変換ステップと、
    　変換された前記マーカの前記投写座標を用いて、前記プロジェクタに、前記カメラが撮像した前記マーカの位置に、前記画像を投写させる第３投写制御ステップと、を含む、
    　請求項１～１０のいずれか１項に記載の投写制御方法。
  12. 　前記カメラ画像は可視光画像であり、前記マーカ画像は赤外線画像である、
    　請求項１１に記載の投写制御方法。
  13. 　前記マーカは、赤外線反射部材を備える、
    　請求項１１または１２のいずれか１項に記載の投写制御方法。
  14. 　前記マーカは、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を備え、自ら発光する、
    　請求項１１～１３のいずれか１項に記載の投写制御方法。
  15. 　さらに、前記投写範囲の中に位置する複数の前記投写指標の位置を変更した後に、カメラ指標を移動させる変更ステップを含む、
    　請求項１～１４のいずれか１項に記載の投写制御方法。
  16. 　プロジェクタによる画像の投写を制御する投写制御装置であって、
    　前記プロジェクタの投写範囲の中に位置する複数の投写指標を含む投写画像を前記プロジェクタに投写させる第１投写制御部と、
    　カメラに、前記投写画像を撮像範囲に収まるように撮像させる検出制御部と、
    　前記撮像によって得られるカメラ座標系における前記投写指標に対する相対的な位置を示す複数のカメラ指標をユーザに前記撮像範囲に配置させる指示をディスプレイに表示させる表示制御部と、
    　配置された前記複数のカメラ指標の座標を検出するカメラ座標検出部と、　前記投写指標と前記複数のカメラ指標と相対的な位置関係に応じて、前記プロジェクタの前記投写範囲の中に位置する投写座標に対する、前記カメラの前記撮像範囲の中に位置するカメラ座標の対応関係を決定する制御部と、を備える、
    　投写制御装置。
PCT/JP2022/003435 2021-01-29 2022-01-28 投写制御方法、および、投写制御装置 WO2022163835A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022578525A JPWO2022163835A1 (ja) 2021-01-29 2022-01-28
US18/219,807 US20230353714A1 (en) 2021-01-29 2023-07-10 Projection control method and projection control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-013886 2021-01-29
JP2021013886 2021-01-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/219,807 Continuation US20230353714A1 (en) 2021-01-29 2023-07-10 Projection control method and projection control device

Publications (1)

Publication Number Publication Date
WO2022163835A1 true WO2022163835A1 (ja) 2022-08-04

Family

ID=82654639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003435 WO2022163835A1 (ja) 2021-01-29 2022-01-28 投写制御方法、および、投写制御装置

Country Status (3)

Country Link
US (1) US20230353714A1 (ja)
JP (1) JPWO2022163835A1 (ja)
WO (1) WO2022163835A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009182436A (ja) * 2008-01-29 2009-08-13 Seiko Epson Corp プロジェクタ、画像投影システムおよびプログラム
JP2015158890A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出方法
JP2019215811A (ja) * 2018-06-14 2019-12-19 パナソニックＩｐマネジメント株式会社 投影システム、画像処理装置および投影方法
WO2020261741A1 (ja) * 2019-06-25 2020-12-30 パナソニックＩｐマネジメント株式会社 投影システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009182436A (ja) * 2008-01-29 2009-08-13 Seiko Epson Corp プロジェクタ、画像投影システムおよびプログラム
JP2015158890A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出方法
JP2019215811A (ja) * 2018-06-14 2019-12-19 パナソニックＩｐマネジメント株式会社 投影システム、画像処理装置および投影方法
WO2020261741A1 (ja) * 2019-06-25 2020-12-30 パナソニックＩｐマネジメント株式会社 投影システム

Also Published As

Publication number Publication date
US20230353714A1 (en) 2023-11-02
JPWO2022163835A1 (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
US10114475B2 (en) Position detection system and control method of position detection system
US11016582B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
JP6369810B2 (ja) 投写画像表示システム、投写画像表示方法及び投写型表示装置
JP6111706B2 (ja) 位置検出装置、調整方法、および調整プログラム
CN104660946B (zh) 投影机及其控制方法
US9753580B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
CN104658462B (zh) 投影机以及投影机的控制方法
US9766335B2 (en) Position detection apparatus, projector, position detection system, and control method of position detection apparatus
JP2015158890A (ja) 位置検出装置、位置検出システム、及び、位置検出方法
CN109698947A (zh) 投影仪和投影仪的控制方法
JP6562124B2 (ja) 位置検出システム、及び、位置検出システムの制御方法
CN104898894B (zh) 位置检测装置以及位置检测方法
US20180300017A1 (en) Display device and method of controlling display device
US10055065B2 (en) Display system, projector, and control method for display system
WO2022163835A1 (ja) 投写制御方法、および、投写制御装置
JP6569259B2 (ja) 位置検出装置、表示装置、位置検出方法、及び、表示方法
JP2012234149A (ja) 映像投影装置
JP2012212200A (ja) 投影システムおよび投影方法
JP6291911B2 (ja) 位置検出装置、及び、位置検出方法
JP6291912B2 (ja) 位置検出装置、及び、位置検出方法
JP6340860B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP2024044350A (ja) 制御装置、画像投射システム、制御方法、およびプログラム
JP6337558B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP2017169160A (ja) プロジェクター、プロジェクターの制御方法、およびプロジェクションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22746054

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578525

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22746054

Country of ref document: EP

Kind code of ref document: A1