WO2023047833A1 - 制御装置、制御方法、制御プログラム、及び投影システム - Google Patents

制御装置、制御方法、制御プログラム、及び投影システム Download PDF

Info

Publication number
WO2023047833A1
WO2023047833A1 PCT/JP2022/030619 JP2022030619W WO2023047833A1 WO 2023047833 A1 WO2023047833 A1 WO 2023047833A1 JP 2022030619 W JP2022030619 W JP 2022030619W WO 2023047833 A1 WO2023047833 A1 WO 2023047833A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
image
marker
control device
projected
Prior art date
Application number
PCT/JP2022/030619
Other languages
English (en)
French (fr)
Inventor
和幸 板垣
賢司 今村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280064926.XA priority Critical patent/CN118044181A/zh
Priority to JP2023549407A priority patent/JPWO2023047833A1/ja
Publication of WO2023047833A1 publication Critical patent/WO2023047833A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • the present invention relates to a control device, control method, control program, and projection system.
  • Patent Document 1 a first image and a second image including mutually different marker images and mutually different pattern images are superimposed and projected on a projection plane, and the first image and the second image are captured. identifying the first image based on the marker image from the captured image generated by the above, correcting the distortion of the first pattern image included in the first image, and obtaining the corrected first pattern image, An image processing apparatus is described that determines a position where a first image is projected onto a projection plane by pattern matching with a reference pattern image.
  • Japanese Patent Laid-Open No. 2002-200000 discloses an adjustment chart indicating a projectable area for each of a plurality of projection devices that project images toward a projection target, and only a part of the adjustment chart is projected onto the projection target.
  • a projection control apparatus is described that projects an adjustment chart that specifies the outline of the projectable area based on a part of the chart.
  • Patent Document 3 when a plurality of projection screens projected from a plurality of projectors are synthesized and displayed on a screen, a plurality of test charts projected from the plurality of projectors on the screen are imaged, and the imaging results are obtained. Based on this, a projection control apparatus is described that determines a plurality of projection areas by a plurality of projectors.
  • An embodiment according to the technology of the present disclosure provides a control device, a control method, a control program, and a projection system that can accurately adjust the relative projection positions of a plurality of projection devices.
  • a control device is a control device comprising a processor, wherein the processor causes a plurality of projection devices to project a first image at different timings, and based on captured data of the projected first image, a second image including markers of different colors is projected from at least two or more of the plurality of projection devices, and based on the imaging data of the projected second image, It is a control that adjusts the relative projection position.
  • a processor included in a control device causes a plurality of projection devices to project a first image at different timings, and based on imaging data of the projected first image, the plurality of projections is performed.
  • a second image including markers of different colors is projected from at least two or more projection devices among the devices, and relative projection positions of the plurality of projection devices are determined based on imaging data of the projected second image. It regulates and controls.
  • a control program causes a processor included in a control device to project a first image from a plurality of projection devices at different timings, and based on imaging data of the projected first image, the plurality of projections.
  • a second image including markers of different colors is projected from at least two or more projection devices among the devices, and relative projection positions of the plurality of projection devices are determined based on imaging data of the projected second image. It is for regulating and controlling.
  • a projection system includes a plurality of projection devices and a control device including a processor, wherein the processor causes the plurality of projection devices to project a first image at different timings. projecting a second image including markers of different colors from at least two or more of the plurality of projection devices based on the imaging data of the projected first image; and projecting the second image. based on the imaging data, control is performed to adjust the relative projection positions of the plurality of projection devices.
  • a control device a control method, a control program, and a projection system that can accurately adjust the relative projection positions of a plurality of projection devices.
  • FIG. 5 is a diagram showing an example of a hardware configuration of a computer 50;
  • FIG. 5 is a flowchart showing an example of control by a computer 50;
  • FIG. 4 is a diagram showing an example of projection of a test image by the first projection device 10a;
  • FIG. 10 is a diagram showing an example of projection of a test image by a second projection device 10b;
  • FIG. 3 is a diagram showing an example of projection of marker images by a first projection device 10a and a second projection device 10b;
  • FIG. 10 is a diagram showing an example of projection position adjustment for stack projection;
  • FIG. 10 is a diagram showing an example of a state before adjustment of the projection position for blending projection;
  • FIG. 10 is a diagram showing an example of projection position adjustment for blending projection;
  • 5 is a flowchart showing an example of optimization processing of a marker re-search range by a computer 50.
  • FIG. FIG. 4 is a diagram for explaining an example of optimization of a marker re-search range;
  • FIG. 5 is a flowchart showing an example of marker placement optimization processing by a computer 50.
  • FIG. FIG. 11 is a diagram (part 1) for explaining an example of optimization of marker arrangement;
  • FIG. 11 is a diagram (part 2) for explaining an example of optimization of marker arrangement;
  • 3 is a schematic diagram showing another external configuration of the projection device 10.
  • FIG. 20 is a schematic cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG. 19.
  • FIG. 1 is a diagram showing an example of a projection system 100 according to an embodiment.
  • the projection system 100 includes a first projection device 10a and a second projection device 10b, a computer 50, and an imaging device 30.
  • FIG. Computer 50 is an example of a control device in the present invention.
  • the computer 50 can communicate with the first projection device 10 a and the second projection device 10 b and the imaging device 30 .
  • the computer 50 is connected to the first projection device 10a via the communication cable 8a and can communicate with the first projection device 10a.
  • the computer 50 is connected to the second projection device 10b via the communication cable 8b, and can communicate with the second projection device 10b.
  • the computer 50 is connected to the imaging device 30 via the communication cable 9 and can communicate with the imaging device 30 .
  • the first projection device 10 a and the second projection device 10 b are projection devices capable of projecting onto the projection target 6 .
  • the imaging device 30 is an imaging device capable of capturing an image projected onto the projection target 6 by the first projection device 10a and the second projection device 10b.
  • the projection target 6 is an object such as a screen having a projection surface on which a projection image is displayed by the first projection device 10a.
  • the projection plane of the projection target 6 is a rectangular plane. Assume that the top, bottom, left, and right of the projection object 6 in FIG. 1 are the top, bottom, left, and right of the actual projection object 6 .
  • a projection range 11a illustrated by a dashed line is a region of the projection object 6 irradiated with projection light by the first projection device 10a.
  • the projection range 11a is part or all of the projectable range that can be projected by the first projection device 10a.
  • a projection range 11b indicated by a two-dot chain line is a region of the projection object 6 that is irradiated with projection light by the second projection device 10b.
  • the projection range 11b is part or all of the projectable range that can be projected by the second projection device 10b.
  • the projection ranges 11a and 11b are rectangular.
  • FIG. 2 is a diagram showing an example of the first projection device 10a and the second projection device 10b.
  • Each of the first projection device 10a and the second projection device 10b is configured by the projection device 10 shown in FIG. 2, for example.
  • Projection device 10 includes projection unit 1 , control unit 4 , operation reception unit 2 , and communication unit 5 .
  • the projection unit 1 is configured by, for example, a liquid crystal projector or a projector using LCOS (Liquid Crystal On Silicon). In the following description, it is assumed that the projection unit 1 is a liquid crystal projector.
  • LCOS Liquid Crystal On Silicon
  • the control unit 4 controls projection by the projection device 10 .
  • the control unit 4 includes a control unit configured by various processors, a communication interface (not shown) for communicating with each unit, and a storage medium such as a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory). 4a, and controls the projection unit 1 in an integrated manner.
  • various processors of the control unit of the control unit 4 the circuit configuration is changed after manufacturing such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes programs and performs various processes.
  • Programmable Logic Device which is a processor, or a dedicated electric circuit, etc., which is a processor having a circuit configuration specially designed to execute specific processing such as ASIC (Application Specific Integrated Circuit) is included.
  • ASIC Application Specific Integrated Circuit
  • control unit of the control unit 4 may be composed of one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). may consist of
  • the operation reception unit 2 detects instructions from the user (user instructions) by receiving various operations from the user.
  • the operation reception unit 2 may be a button, key, joystick, or the like provided in the control unit 4 , or may be a reception unit or the like that receives a signal from a remote controller that remotely operates the control unit 4 .
  • the communication unit 5 is a communication interface capable of communicating with the computer 50.
  • the communication unit 5 may be a wired communication interface that performs wired communication as shown in FIG. 1, or a wireless communication interface that performs wireless communication.
  • the projection unit 1, the control unit 4, and the operation reception unit 2 are realized by, for example, one device (see FIGS. 4 and 5, for example).
  • the projection unit 1, the control unit 4, and the operation reception unit 2 may be separate devices that cooperate by communicating with each other.
  • FIG. 3 is a schematic diagram showing an example of the internal configuration of the projection unit 1.
  • the projection unit 1 of the projection device 10 shown in FIG. 2 includes a light source 21, a light modulation unit 22, a projection optical system 23, and a control circuit 24, as shown in FIG.
  • the light source 21 includes a light-emitting element such as a laser or an LED (Light Emitting Diode), and emits white light, for example.
  • the light modulation unit 22 modulates each color light emitted from the light source 21 and separated into three colors of red, blue, and green by a color separation mechanism (not shown) based on image information, and outputs each color image. It is composed of a liquid crystal panel (light modulation element) and a dichroic prism that mixes the respective color images emitted from the three liquid crystal panels and emits them in the same direction. Red, blue, and green filters may be mounted on these three liquid crystal panels, respectively, and the white light emitted from the light source 21 may be modulated by each liquid crystal panel to emit an image of each color.
  • the projection optical system 23 receives the light from the light source 21 and the light modulation section 22, and includes at least one lens and is configured by, for example, a relay optical system. The light that has passed through the projection optical system 23 is projected onto the projection object 6 .
  • a region of the projection object 6 irradiated with light that passes through the entire range of the light modulation unit 22 is a projectable range that can be projected by the projection unit 1 .
  • the area irradiated with the light actually transmitted from the light modulation section 22 is the projection range of the projection section 1 (projection range 11a or projection range 11b).
  • the size, position, and shape of the projection range of the projection section 1 change within the projectable range.
  • the control circuit 24 controls the light source 21, the light modulating unit 22, and the projection optical system 23 based on the display data input from the control unit 4, thereby displaying an image on the projection object 6 based on the display data. be projected.
  • the display data to be input to the control circuit 24 is composed of red display data, blue display data, and green display data.
  • control circuit 24 enlarges or reduces the projection range of the projection unit 1 by changing the projection optical system 23 based on commands input from the control unit 4 . Further, the control unit 4 may move the projection range of the projection unit 1 by changing the projection optical system 23 based on the user's operation received by the operation receiving unit 2 .
  • the projection device 10 also includes a shift mechanism that mechanically or optically moves the projection range of the projection unit 1 while maintaining the image circle of the projection optical system 23 .
  • the image circle of the projection optical system 23 is an area in which the projection light incident on the projection optical system 23 passes through the projection optical system 23 appropriately in terms of light falloff, color separation, peripheral curvature, and the like.
  • the shift mechanism is realized by at least one of an optical system shift mechanism that performs optical system shift and an electronic shift mechanism that performs electronic shift.
  • the optical system shift mechanism is, for example, a mechanism for moving the projection optical system 23 in a direction perpendicular to the optical axis (see, for example, FIGS. 5 and 20), or a mechanism for shifting the light modulation section 22 instead of moving the projection optical system 23. It is a mechanism that moves in the direction perpendicular to the axis. Further, the optical system shift mechanism may combine the movement of the projection optical system 23 and the movement of the light modulation section 22 .
  • the electronic shift mechanism is a mechanism that shifts the pseudo projection range by changing the light transmission range in the light modulation section 22 .
  • the first projection device 10a may include a projection direction changing mechanism that moves the projection range together with the image circle of the projection optical system 23.
  • the projection direction changing mechanism is a mechanism that changes the projection direction of the projection unit 1 by changing the direction of the projection unit 1 by mechanical rotation (see FIG. 20, for example).
  • FIG. 4 is a schematic diagram showing the external configuration of the projection device 10.
  • FIG. 5 is a schematic cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG. FIG. 5 shows a cross section along the optical path of light emitted from the main body 101 shown in FIG.
  • the projection device 10 includes a main body 101 and an optical unit 106 protruding from the main body 101 .
  • the operation reception unit 2 , the control unit 4 , the light source 21 , the light modulation unit 22 and the control circuit 24 in the projection unit 1 , and the communication unit 5 are provided in the main unit 101 .
  • a projection optical system 23 in the projection unit 1 is provided in the optical unit 106 .
  • the optical unit 106 includes a first member 102 supported by the body portion 101 .
  • the optical unit 106 may be detachably attached to the main body 101 (in other words, replaceable).
  • the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG. 5, the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG. 5, the main body 101 has a housing 15 in which an opening 15a for passing light is formed in a portion connected to the optical unit 106. As shown in FIG.
  • a light source 21 inside the housing 15 of the main unit 101 are a light source 21 and a light modulation unit 22 ( (see FIG. 3) is provided.
  • the light emitted from the light source 21 enters the light modulating section 22 of the light modulating unit 12, is spatially modulated by the light modulating section 22, and is emitted.
  • an image formed by light spatially modulated by the light modulation unit 12 passes through the opening 15a of the housing 15, enters the optical unit 106, is projected onto the projection object 6,
  • the image G1 becomes visible to the observer.
  • the optical unit 106 includes a first member 102 having a hollow portion 2A connected to the inside of the body portion 101, a first optical system 121 arranged in the hollow portion 2A, a lens 34, a first and a shift mechanism 105 .
  • the first member 102 is, for example, a member having a rectangular cross-sectional outline, and the opening 2a and the opening 2b are formed on planes parallel to each other.
  • the first member 102 is supported by the body portion 101 with the opening 2a arranged at a position facing the opening 15a of the body portion 101 .
  • Light emitted from the light modulating portion 22 of the light modulating unit 12 of the main body portion 101 enters the hollow portion 2A of the first member 102 through the openings 15a and 2a.
  • the incident direction of light entering the hollow portion 2A from the main body portion 101 is described as the direction X1, the direction opposite to the direction X1 is described as the direction X2, and the directions X1 and X2 are collectively described as the direction X.
  • the direction from the front to the back of the paper surface and the opposite direction are described as a direction Z.
  • the direction from the front to the back of the paper is described as a direction Z1
  • the direction from the back to the front of the paper is described as a direction Z2.
  • a direction perpendicular to the direction X and the direction Z is described as a direction Y.
  • the upward direction in FIG. 5 is described as a direction Y1
  • the downward direction in FIG. 5 is described as a direction Y2.
  • the projection device 10 is arranged such that the direction Y2 is the vertical direction.
  • the projection optical system 23 shown in FIG. 3 is composed of the first optical system 121 and the lens 34 in the example of FIG.
  • the optical axis K of this projection optical system 23 is shown in FIG.
  • the first optical system 121 and the lens 34 are arranged along the optical axis K in this order from the light modulation section 22 side.
  • the first optical system 121 includes at least one lens, and guides the light incident on the first member 102 from the main body 101 and traveling in the direction X1 to the lens 34 .
  • the lens 34 is arranged at the end of the first member 102 so as to block the opening 2b formed at the end of the first member 102 on the direction X1 side.
  • the lens 34 projects the light incident from the first optical system 121 onto the projection object 6 .
  • the first shift mechanism 105 is a mechanism for moving the optical axis K of the projection optical system (in other words, the optical unit 106) in a direction perpendicular to the optical axis K (direction Y in FIG. 5). Specifically, the first shift mechanism 105 is configured to change the position of the first member 102 in the direction Y with respect to the body portion 101 .
  • the first shift mechanism 105 may be one that moves the first member 102 manually, or one that moves the first member 102 electrically.
  • FIG. 5 shows a state in which the first member 102 has been moved to the maximum extent in the direction Y1 by the first shift mechanism 105. As shown in FIG. The first member 102 is moved in the direction Y2 by the first shift mechanism 105 from the state shown in FIG. , the image G1 projected onto the projection object 6 can be shifted (translated) in the direction Y2.
  • the first shift mechanism 105 may be a mechanism that moves the light modulation section 22 in the Y direction instead of moving the optical unit 106 in the Y direction. Even in this case, the image G1 projected onto the projection target 6 can be moved in the Y direction.
  • FIG. 6 is a diagram showing an example of the hardware configuration of the computer 50.
  • the computer 50 shown in FIG. 1 includes a processor 51, a memory 52, a communication interface 53, and a user interface 54, as shown in FIG.
  • Processor 51 , memory 52 , communication interface 53 and user interface 54 are connected by bus 59 , for example.
  • the processor 51 is a circuit that performs signal processing, such as a CPU that controls the entire computer 50 .
  • the processor 51 may be realized by other digital circuits such as FPGA and DSP (Digital Signal Processor). Also, the processor 51 may be realized by combining a plurality of digital circuits.
  • the memory 52 includes, for example, main memory and auxiliary memory.
  • the main memory is, for example, RAM (Random Access Memory).
  • the main memory is used as a work area for processor 51 .
  • Auxiliary memory is non-volatile memory such as magnetic disk, optical disk, flash memory, etc.
  • Various programs for operating the computer 50 are stored in the auxiliary memory. Programs stored in the auxiliary memory are loaded into the main memory and executed by the processor 51 .
  • auxiliary memory may include a portable memory removable from the computer 50.
  • Portable memories include memory cards such as USB (Universal Serial Bus) flash drives and SD (Secure Digital) memory cards, and external hard disk drives.
  • the communication interface 53 is a communication interface that performs communication with the outside of the computer 50 (for example, the first projection device 10a, the second projection device 10b, and the imaging device 30). Communication interface 53 is controlled by processor 51 .
  • the communication interface 53 may be a wired communication interface that performs wired communication, a wireless communication interface that performs wireless communication, or may include both a wired communication interface and a wireless communication interface.
  • the user interface 54 includes, for example, an input device that receives operation input from the user and an output device that outputs information to the user.
  • the input device can be implemented by, for example, a pointing device (eg mouse), a key (eg keyboard), a remote controller, or the like.
  • An output device can be realized by, for example, a display or a speaker. Also, the input device and the output device may be implemented by a touch panel or the like.
  • User interface 54 is controlled by processor 51 .
  • FIG. 7 is a flow chart showing an example of control by the computer 50.
  • the computer 50 executes the processing shown in FIG. 7, for example.
  • a plurality of test images projected by the first projection device 10a and the second projection device 10b are prepared in advance.
  • the multiple test images are test images with different combinations of colors and pixel values (brightness). Also, one test image may contain multiple regions with different combinations of colors and pixel values (brightness).
  • the plurality of test images projected by the first projection device 10a and the plurality of test images projected by the second projection device 10b may be the same or different.
  • the computer 50 repeatedly executes steps S71 and S72 for each of the plurality of test images projected by the first projection device 10a. That is, the computer 50 communicates with the first projection device 10a to perform control for projecting the target test image from the first projection device 10a (step S71). Projection of the test image by the first projection device 10a will be described later (see FIG. 8, for example). Next, the computer 50 controls the imaging device 30 to capture the test image projected in step S71 (step S72).
  • the computer 50 repeatedly executes steps S73 and S74 for each of the plurality of test images projected by the second projection device 10b. That is, the computer 50 communicates with the second projection device 10b to perform control for projecting the target test image from the second projection device 10b (step S73). Projection of the test image by the second projection device 10b will be described later (see FIG. 9, for example). Next, the computer 50 controls the imaging device 30 to capture the test image projected in step S73 (step S74).
  • the control to capture the test image with the imaging device 30 in steps S72 and S74 is, for example, control to prompt the user of the imaging device 30 to capture the test image with the imaging device 30.
  • the computer 50 controls to output a message prompting the imaging device 30 to capture a test image by projection by the first projection device 10a or the second projection device 10b, display or audio output by the computer 50 or the imaging device 30, or the like. I do.
  • the computer 50 receives from the imaging device 30 captured data of test images obtained by imaging in steps S72 and S74.
  • the transmission of the imaging data by the imaging device 30 may be automatically performed by the imaging device 30 triggered by imaging by the imaging device 30, or may be performed by a user operation after imaging by the imaging device 30. good too. Further, the transmission of the imaging data by the imaging device 30 may be performed each time steps S71 and S72 or steps S73 and S74 are executed, or the repetition processing of steps S71 and S72 and the repetition processing of steps S73 and S74 may be performed. may be performed collectively after is performed.
  • the computer 50 generates markers with different colors projected by the first projection device 10a and the second projection device 10b based on the captured data of each test image received from the imaging device 30 (step S75). . Generation of markers based on captured data of each test image will be described later.
  • the process from the start of the process shown in FIG. 7 to step S75 is called marker generation process 70.
  • the computer 50 communicates with the first projection device 10a and the second projection device 10b to simultaneously generate marker images including the markers generated in step S75 from the first projection device 10a and the second projection device 10b.
  • Control to project onto the projection object 6 is performed (step S76). Projection of the marker image by the first projection device 10a and the second projection device 10b will be described later (see FIGS. 10 and 12, for example).
  • the computer 50 controls the imaging device 30 to capture the marker image projected in step S76 (step S77).
  • the control for capturing the marker image by the imaging device 30 in step S77 is the same as the control for capturing the test image by the imaging device 30 in steps S72 and S74.
  • the computer 50 receives from the imaging device 30 captured data of the marker image obtained by the imaging in step S77.
  • the transmission of the imaging data by the imaging device 30 may be automatically performed by the imaging device 30 triggered by imaging by the imaging device 30, or may be performed by a user operation after imaging by the imaging device 30. good too.
  • the computer 50 performs control to adjust the relative projection positions of the first projection device 10a and the second projection device 10b based on the captured data of the marker image received from the imaging device 30 (step S78). End a series of processes. Adjustment of the relative projection positions of the first projection device 10a and the second projection device 10b will be described later (see FIGS. 11 and 13, for example).
  • FIG. 8 is a diagram showing an example of projection of a test image by the first projection device 10a.
  • the computer 50 performs control to project the test image 80 onto the projection object 6 from the first projection device 10a.
  • the test image 80 includes a red area 81, a green area 82, and a blue area 83.
  • Each of r1, g1, and b1 is a value greater than 0 and less than or equal to 255, for example.
  • the computer 50 controls the imaging device 30 to capture the test image 80 projected onto the projection target 6 and receives the imaging data of the test image 80 obtained by imaging from the imaging device 30 .
  • the computer 50 detects a red area 81, a green area 82, and a blue area 83 from the captured data of the obtained test image 80 by image recognition (outline extraction, etc.). At this time, since the first projection device 10a is performing projection alone, the captured image does not include the projection image from the second projection device 10b, and the red region 81, the green region 82, and the blue region 83 are projected. can be detected with high accuracy.
  • the computer 50 color-separates the captured data of the test image 80 into a red component (R component), a green component (G component), and a blue component (B component).
  • R component red component
  • G component green component
  • B component blue component
  • the computer 50 acquires the pixel value O P1 R
  • a pixel value of a certain area is, for example, an average value or a median value of pixel values of pixels in the area.
  • the computer 50 also acquires the pixel value O P1 R
  • the computer 50 also acquires the pixel value O P1 R
  • the computer 50 acquires the pixel value O P1 G
  • the computer 50 also acquires the pixel value O P1 G
  • the computer 50 also acquires the pixel value O P1 G
  • the computer 50 obtains the pixel value O P1 B
  • the computer 50 also acquires the pixel value O P1 B
  • the computer 50 also obtains the pixel value O P1 B
  • the computer 50 performs the above processing described with reference to FIG. 8 for multiple combinations of the values of r1, g1, and b1. That is, the computer 50 changes the combination of the values of r1, g1, and b1, in other words, the pixel values of the red area 81, the green area 82, and the blue area 83, while projecting the test image 80 by the first projection device 10a. , imaging of the projected test image 80 by the imaging device 30, and acquisition of each pixel value based on the imaging data obtained by the imaging.
  • the computer 50 causes the first projection device 10a to project a plurality of test images 80 with different pixel values at different timings.
  • the pixel value of each color component in the imaging data obtained by imaging the marker projected by the first projection device 10a can be obtained. can be done.
  • a case has been described in which a plurality of test images 80 including a plurality of color regions (red region 81, green region 82, blue region 83) and having different pixel values are projected at different timings.
  • a plurality of test images 80 including areas of and having different colors may be projected at different timings.
  • the computer 50 causes the first projection device 10a to project a plurality of test images 80 having different combinations of pixel values and colors at different timings.
  • pixel values of respective color components in imaging data obtained by imaging the markers projected by the first projection device 10a can be obtained. can be done.
  • the computer 50 may also project a test image 80 including all regions of pixel value and color combinations from the first projection device 10a.
  • a test image 80 including all regions of pixel value and color combinations from the first projection device 10a.
  • FIG. 9 is a diagram showing an example of projection of a test image by the second projection device 10b.
  • the computer 50 performs control to project the test image 90 onto the projection object 6 from the second projection device 10b.
  • a test image 90 includes a red area 91 , a green area 92 and a blue area 93 .
  • Each of r2, g2, and b2 is a value greater than 0 and less than or equal to 255, for example.
  • the computer 50 controls the imaging device 30 to capture the test image 90 projected onto the projection target 6 and receives the imaging data of the test image 90 obtained by imaging from the imaging device 30 .
  • the computer 50 detects a red area 91, a green area 92, and a blue area 93 from the captured data of the obtained test image 90 by image recognition (outline extraction, etc.). At this time, since the second projection device 10b is performing projection alone, the captured image does not include the projection image from the first projection device 10a, and the red region 91, the green region 92, and the blue region 93 are projected. can be detected with high accuracy.
  • the computer 50 color-separates the imaging data of the test image 90 into a red component (R component), a green component (G component), and a blue component (B component).
  • R component red component
  • G component green component
  • B component blue component
  • the computer 50 acquires the pixel value O P2 R
  • the computer 50 also acquires the pixel value O P2 R
  • the computer 50 also acquires the pixel value O P2 R
  • the computer 50 acquires the pixel value O P2 G
  • the computer 50 also acquires the pixel value O P2 G
  • the computer 50 also obtains the pixel value O P2 G
  • the computer 50 acquires the pixel value O P2 B
  • the computer 50 also acquires the pixel value O P2 B
  • the computer 50 also acquires the pixel value O P2 B
  • the computer 50 performs the above processing described with reference to FIG. 9 for multiple combinations of values of r2, g2, and b2. That is, the computer 50 changes the combination of the values of r2, g2, and b2, in other words, the pixel values of the red area 91, the green area 92, and the blue area 93, while projecting the test image 90 by the second projection device 10b. , imaging of the projected test image 90 by the imaging device 30, and acquisition of each pixel value based on the imaging data obtained by the imaging.
  • the computer 50 causes the second projection device 10b to project a plurality of test images 90 with different pixel values at different timings.
  • the pixel values of each color component in the imaging data obtained by imaging the marker projected by the second projection device 10b can be obtained. can be done.
  • a case has been described in which a plurality of test images 90 including a plurality of color regions (red region 91, green region 92, blue region 93) and having different pixel values are projected at different timings.
  • a plurality of test images 90 including the areas of and having different colors may be projected at different timings.
  • the computer 50 causes the second projection device 10b to project a plurality of test images 90 with different combinations of pixel values and colors at different timings.
  • the second projection device 10b For a plurality of combinations of pixel values and colors of the markers projected by the second projection device 10b, pixel values of respective color components in the imaging data obtained by imaging the markers projected by the second projection device 10b can be obtained. can be done.
  • the computer 50 may also project a test image 80 including all regions of pixel value and color combinations from the first projection device 10a.
  • a test image 80 including all regions of pixel value and color combinations from the first projection device 10a.
  • the computer 50 stores the color of the marker projected by the first projection device 10a, the pixel value of the marker projected by the first projection device 10a, the color of the marker projected by the second projection device 10b, and the color of the marker projected by the second projection device 10b.
  • a combination that satisfies a predetermined condition and has the highest evaluation value is derived from among a plurality of combinations of the pixel values of the markers to be projected.
  • the above combination can be represented by the combination of (r1, g1, b1, r2, g2, b2).
  • r1, g1, and b1 only one value is greater than 0 and equal to or less than 255, and the remaining values are 0.
  • only one of r2, g2, and b2 is a value greater than 0 and equal to or less than 255, and the remaining values are 0.
  • Equation (1) and (2) are preconditions based on the first projection device 10a projecting the red marker and the second projection device 10b projecting the blue marker.
  • the following formula (3) is the value of the red component pixel value in the captured data of the red marker projected by the first projection device 10a and the pixel value of the red component in the captured data of the blue marker projected by the second projection device 10b. This is a condition for the total to be equal to or less than the maximum pixel value (255) captured by the imaging device 30 .
  • the following formula (4) is a formula for the pixel value of the blue component in the imaging data of the blue marker projected by the second projection device 10b and the pixel value of the blue component in the imaging data of the red marker projected by the first projection device 10a. This is a condition for the total to be equal to or less than the maximum pixel value (255) captured by the imaging device 30 .
  • the evaluation value E RG (r1, b2) in the following equation (5) is the pixel value of the red component in the captured data of the red marker projected by the first projection device 10a and the captured data of the blue marker projected by the second projection device 10b. , the pixel value of the blue component in the image data of the blue marker projected by the second projection device 10b, and the image data of the red marker projected by the first projection device 10a. and the difference (range of the blue component) from the pixel value of the blue component in .
  • the computer 50 selects from among a plurality of combinations of r1 and b2 the r1 that satisfies the above formulas (1) to (4) and has the maximum evaluation value E RG (r1, b2) shown in the following formula (5). , b2.
  • the computer 50 calculates the characteristics of the imaging data obtained when the first projection device 10a and the second projection device 10b project an image having a combination of characteristics (color and pixel value) based on actual measurement values of the characteristics. , derive the properties of the optimal markers projected by the first projection device 10a and the second projection device 10b.
  • the evaluation value is the sum of the red component range (O P1 R
  • E RG the evaluation value E RG is not limited to this.
  • various representative values such as the average value, the minimum value, and the product (including the normalized product) of the red component range and the blue component range can be used.
  • the minimum value of the range of the red component and the range of the blue component is set as the evaluation value ERG , and by deriving the combination of r1 and b2 that maximizes this evaluation value ERG , one of the red marker and the blue marker is separated. It is possible to avoid deriving a combination of r1 and b2 that is easy to extract but difficult to separate and extract from the other.
  • the computer 50 selects from among a plurality of combinations of r1 and b2 that also satisfy the condition of the following expression (6), the evaluation value that satisfies the above expressions (1) to (4) and is shown in the above expression (5)
  • a combination of r1 and b2 that maximizes E RG (r1, b2) may be derived. Thereby, the number of combinations of r1 and b2 to be evaluated can be narrowed down, and the amount of calculation can be reduced.
  • the computer 50 similarly calculates other combinations of the colors of the markers projected by the first projection device 10a and the second projection device 10b. Derive a combination of pixel values. Then, the computer 50 selects a combination having the maximum evaluation value among the derived combinations of the colors and pixel values of the markers projected by the first projection device 10a and the second projection device 10b. Determine as a combination.
  • the computer 50 based on the sum of the pixel values of the specific color contained in the captured data of the test images 80 and 90, sets the first projection device At least one of the pixel value and color of the marker projected by 10a and the second projection device 10b is set.
  • the computer 50 calculates the first At least one of pixel values and colors of markers projected by the projection device 10a and the second projection device 10b is set.
  • FIG. 10 is a diagram showing an example of projection of marker images by the first projection device 10a and the second projection device 10b.
  • the computer 50 performs control to simultaneously project the marker image 110a from the first projection device 10a and the marker image 110b from the second projection device 10b onto the projection object 6 .
  • Projecting the marker images 110a and 110b at the same time means that there is an overlap period between the period during which the marker image 110a is projected and the period during which the marker image 110b is projected.
  • the imaging of the marker images 110a and 110b is performed during this overlapping period.
  • the marker image 110a is an image including a marker 111a generated as a marker projected by the first projection device 10a.
  • Marker 111a is a red marker in the example of FIG.
  • the marker image 110b is an image including a marker 111b generated as a marker projected by the second projection device 10b.
  • Marker 111b is a green marker in the example of FIG.
  • the marker 111a and the marker 111b are images of a predetermined shape that can be easily recognized by image recognition or the like.
  • Markers 111a and 111b are ArUco markers in the example of FIG.
  • the marker 111a and the marker 111b may be other markers such as a QR (Quick Response) code (registered trademark).
  • QR Quick Response
  • the marker 111a and the marker 111b have the same shape in the example of FIG. 10, they may have different shapes.
  • the computer 50 controls the imaging device 30 to capture the marker images 110 a and 110 b projected onto the projection object 6 and to receive the imaging data obtained by the imaging from the imaging device 30 . Then, the computer 50 detects the markers 111a and 111b from the obtained imaging data by image recognition or the like.
  • the computer 50 extracts the color (red in this example) component of the marker 111a projected by the first projection device 10a from the imaging data. Then, the computer 50 compares the pixel value of each pixel of the extracted component with a threshold value, and detects, as the marker 111a, a portion that matches the original shape of the marker 111a among the portions whose pixel value is equal to or greater than the threshold value. I do. Further, when the computer 50 cannot detect the marker 111a, the computer 50 changes the threshold value and performs the detection process again.
  • the computer 50 extracts the color (green in this example) component of the marker 111b projected by the second projection device 10b from the imaging data. Then, the computer 50 performs detection processing for detecting the marker 111b based on the extracted components.
  • the detection process for detecting the marker 111b is the same as the detection process for detecting the marker 111a described above.
  • the markers 111a and 111b do not overlap in the example of FIG. 10, this detection can be performed with high accuracy. Further, even if the markers 111a and 111b overlap, as described above, the saturation of the pixel values of the imaging data in the overlapping portion is suppressed, and the markers 111a and 111b are arranged so as to facilitate separation and extraction of each marker. is generated, the markers 111a and 111b can be detected with high accuracy.
  • the computer 50 identifies the current relative position between the projection range 11a of the first projection device 10a and the projection range 11b of the second projection device 10b based on the respective positions at which the markers 111a and 111b are detected in the imaging data.
  • FIG. 11 is a diagram showing an example of projection position adjustment for stack projection.
  • the entire projection range 11a of the first projection device 10a and the entirety of the second projection device 10b of the first projection device 10a are superimposed, and the same image is projected from the first projection device 10a and the second projection device 10b.
  • stack projection is performed to improve dynamic range and gradation expression by projecting images.
  • the computer 50 determines whether the entire projection range 11a and the entire second projection device 10b are aligned.
  • the relative projection positions of the first projection device 10a and the second projection device 10b are adjusted so that they are superimposed. This adjustment can be performed, for example, by controlling the shift mechanism (optical system shift mechanism or electronic shift mechanism) of at least one of the first projection device 10a and the second projection device 10b.
  • the computer 50 adjusts the projection range 11b by controlling the shift mechanism of the second projection device 10b, using the projection range 11a of the first projection device 10a as a reference, thereby adjusting the projection range.
  • the entirety of 11a and the entirety of projection range 11b are superimposed to enable stack projection.
  • the computer 50 calculates conversion parameters for correcting the projection range 11b so that the projection range 11b matches the projection range 11a. Transformation parameters include, for example, a homography matrix. Then, the computer 50 corrects the input image of the second projection device 10b using the calculated transformation parameter and performs projection from the second projection device 10b, thereby matching the projection range 11b with the projection range 11a. can.
  • the entire projection range 11a of the first projection device 10a and the entire projection range 11b of the second projection device 10b are superimposed to obtain the first projection device 10a and the second projection device 10b.
  • the form in which projection adjustment control is performed for projection by the first projection device 10a and the second projection device 10b is not limited to this. .
  • the ends of the projection range 11a of the first projection device 10a and the ends of the projection range 11b of the second projection device 10b are overlapped, and divided images obtained by dividing a large image are projected by the first projection device 10a and the second projection device 10a, respectively.
  • blending projection for enlarging the projection screen may be performed.
  • FIG. 12 is a diagram showing an example of a state before adjusting the projection position for blending projection.
  • the positions of the first projection device 10a and the second projection device 10b are adjusted so that only the ends of the projection range 11a and the ends of the projection range 11b overlap. Orientation is adjusted.
  • the computer 50 generates marker images 110a and 110b including the markers 111a and 111b generated by the marker generation process 70 shown in FIG.
  • the projected marker images 110a and 110b are captured by the imaging device 30, and the imaging data obtained by the imaging is received from the imaging device 30.
  • the computer 50 detects the markers 111a and 111b from the obtained imaging data by image recognition or the like. Then, the computer 50 identifies the current relative position between the projection range 11a of the first projection device 10a and the projection range 11b of the second projection device 10b based on the positions at which the markers 111a and 111b are detected in the imaging data. do.
  • FIG. 13 is a diagram illustrating an example of projection position adjustment for blending projection.
  • the computer 50 calculates a specific region of the projection range 11a (for example, a region of a certain width at the right end).
  • the relative projection positions of the first projection device 10a and the second projection device 10b are adjusted so that the second projection device 10b overlaps with the specific region (for example, the left end region of a constant width).
  • the specific area of the projection range 11a and the specific area of the projection range 11b have the same size.
  • the method of adjusting the relative projection positions of the first projection device 10a and the second projection device 10b is the same as in the case of stack projection.
  • the computer 50 performs blending processing such as halving the brightness of the projection images from the first projection device 10a and the second projection device 10b for the overlapping portions of the projection ranges 11a and 11b. As a result, it is possible to reduce discomfort such as bright display of only the overlapping portions of the projection ranges 11a and 11b.
  • the marker image 110a includes one marker 111a, but the marker image 110a may include a plurality of arranged markers 111a. Also, although the case where the marker image 110b includes one marker 111b has been described, the marker image 110b may include a plurality of arranged markers 111a.
  • the computer 50 projects the test images 80 and 90 (first images) from the first projection device 10a and the second projection device 10b (a plurality of projection devices) at different timings, and projects the projected test images.
  • Marker images 110a and 110b (second images) including markers 111a and 111b (markers with different colors) are simultaneously projected from the first projection device 10a and the second projection device 10b based on the imaging data of 80 and 90, respectively.
  • the computer 50 sets the colors and pixel values of the markers 111a and 111b of the marker images 110a and 110b (second images) based on the imaging data of the test images 80 and 90 (first images).
  • markers 111a and 111b that are easy to detect even if they overlap each other, project them at the same time, and capture an image. Therefore, the markers 111a and 111b are accurately detected from imaging data obtained by imaging the markers 111a and 111b projected simultaneously, and based on the result, the relative position of the first projection device 10a and the second projection device 10b is determined.
  • the target projection position can be specified with high accuracy. Therefore, it is possible to accurately adjust the relative projection positions of the first projection device 10a and the second projection device 10b.
  • the first projection device is not affected by blurring of the imaging device 30.
  • the relative projection positions of 10a and second projection device 10b can be specified with high accuracy. Therefore, for example, even if the imaging by the imaging device 30 is hand-held imaging without using a tripod or a pedestal, it is possible to specify and adjust the relative projection positions of the first projection device 10a and the second projection device 10b with high accuracy. can.
  • the computer 50 may set the shapes and sizes (images of the markers 111a and 111b) of the markers 111a and 111b based on the imaging data of the test images 80 and 90 (first images).
  • FIG. 14 is a flow chart showing an example of optimization processing of the marker re-search range by the computer 50 .
  • the computer 50 may execute the processing shown in FIG. First, the computer 50 executes marker generation processing 70 shown in FIG.
  • the marker image 110a includes a plurality of arranged markers 111a
  • the marker image 110b includes a plurality of arranged markers 111a (see FIG. 15, for example).
  • Step S1401 the computer 50 controls the first projection device 10a and the second projection device 10b to simultaneously project the marker images 110a and 110b including the markers 111a and 111b generated by the marker generation process 70 onto the projection object 6.
  • Step S1401 is the same as step S76 in FIG.
  • the computer 50 controls the imaging device 30 to capture the marker images 110a and 110b projected in step S1401 (step S1402).
  • Step S1402 is the same as step S77 in FIG.
  • the computer 50 extracts the first color component from the imaging data obtained in step S1402 (step S1403).
  • the first color component is the color component of the marker 111a generated by the marker generation process 70 and projected by the first projection device 10a.
  • the computer 50 executes processing for detecting the marker of the first projection device 10a from the first color component extracted in step S1403 (step S1404).
  • the computer 50 determines whether all the markers 111a included in the marker image 110a projected by the first projection device 10a in step S1401 have been detected in step S1404 (step S1405).
  • step S1405 if all the markers 111a have not been detected (step S1405: No), the computer 50 changes the marker search range of the marker image 110a (step S1406) and returns to step S1404. A change in the marker search range of the marker image 110a will be described later (see FIG. 15, for example).
  • step S1405 if all the markers 111a have been detected (step S1405: Yes), the computer 50 extracts the second color component from the imaging data obtained at step S1402 (step S1407).
  • the second color component is the color component of the marker 111b that is generated by the marker generation process 70 and projected by the second projection device 10b.
  • the computer 50 executes processing for detecting the marker of the second projection device 10b from the second color component extracted in step S1407 (step S1408).
  • the computer 50 determines whether all the markers 111b included in the marker image 110b projected by the second projection device 10b in step S1401 have been detected in step S1408 (step S1409).
  • step S1409 if all the markers 111b have not been detected (step S1409: No), the computer 50 changes the marker search range of the marker image 110b (step S1410) and returns to step S1408. Changes to the marker search range of the marker image 110b will be described later (see FIG. 15, for example).
  • step S1409 if all the markers 111b have been detected (step S1409: Yes), the computer 50 detects the positions of the markers 111a and 111b detected in steps S1404 and S1408. Control is performed to adjust the relative projection position of the projection device 10b (step S1411), and the series of processing ends.
  • Step S1411 is the same as step S78 in FIG.
  • FIG. 15 is a diagram for explaining an example of optimization of the marker re-search range.
  • a specific example of optimization of the marker re-search range by the processing shown in FIG. 14 will be described with reference to FIG.
  • a marker image 110a including nine markers 111a arranged in a 3 ⁇ 3 matrix is projected from the first projection device 10a as shown in FIG.
  • a marker image 110b including nine markers 111b arranged in a matrix of three is projected from the second projection device 10b.
  • step S1406 computer 50 changes the marker search range for the first color component extracted in step S1403.
  • the initial marker search range for the first color component is the entire area of the first color component.
  • the computer 50 estimates the position of the undetected center marker 111a based on the positions of the detected eight markers 111a.
  • the nine markers 111a are markers with different shapes.
  • the computer 50 can distinguish between the detected marker 111a and the undetected marker 111a among the nine markers 111a based on the shape of the detected marker 111a. Also, the computer 50 estimates the positions of the undetected markers 111a based on the positional relationship of the nine markers 111a and the positions of the detected markers 111a.
  • the computer 50 sets a range including the estimated position of the central marker 111a and narrower than the marker search range before change as the marker search range after change.
  • the marker search range can be limited to a range in which the center marker 111a that has not been detected is presumed to be present.
  • the computer 50 returns to step S1404 and performs processing for detecting the marker 111a from the limited marker search range of the first color component. At this time, the computer 50 repeats the process of detecting the marker 111a while changing the threshold value for distinguishing between the marker portion and other portions, for example, thereby detecting the center marker 111a that has not been detected. can be done.
  • step S1410 computer 50 changes the marker search range for the second color component extracted in step S1407.
  • the initial marker search range for the second color component is the entire area of the second color component.
  • the computer 50 estimates the position of the undetected lower right marker 111b based on the positions of the detected eight markers 111b.
  • the method of estimating the position of the undetected marker 111b is the same as the method of estimating the position of the undetected marker 111a.
  • the computer 50 sets a range including the estimated position of the lower right marker 111b and narrower than the marker search range before change as the marker search range after change.
  • the marker search range can be limited to a range in which the undetected lower right marker 111b is assumed to be.
  • the computer 50 returns to step S1408 and performs processing for detecting the marker 111b from the limited marker search range of the second color component. At this time, the computer 50 repeats the process of detecting the marker 111b while changing the threshold value for distinguishing between the marker portion and other portions, for example, thereby detecting the undetected lower right marker 111b. be able to.
  • the computer 50 detects only some of the markers 111a from the imaging data of the marker image 110a, the computer 50 detects the positions of the remaining markers 111a based on the positions of the some markers 111a.
  • the residual marker 111a may be detected from the imaging data of the marker image 110a based on the result of estimating .
  • the computer 50 detects only some markers 111b among the plurality of markers 111b from the imaging data of the marker image 110b, the computer 50 estimates the positions of the remaining markers 111b based on the positions of the some markers 111b. Based on the results obtained, the remaining markers 111b may be detected from the imaging data of the marker image 110a.
  • the markers 111a and 111b that could not be detected by the first detection process can be detected by limiting the marker search range and performing the detection process again. Therefore, the relative projection positions of the first projection device 10a and the second projection device 10b can be accurately identified and adjusted.
  • FIG. 16 is a flowchart showing an example of marker placement optimization processing by the computer 50 .
  • the computer 50 may execute the processing shown in FIG. First, the computer 50 executes marker generation processing 70 shown in FIG.
  • the marker image 110a includes a plurality of arranged markers 111a
  • the marker image 110b includes a plurality of arranged markers 111a (see FIG. 16, for example).
  • Steps S161 to S166 shown in FIG. 16 are the same as steps S1401 to S1404, S1407, and S1408 shown in FIG.
  • the computer 50 determines whether or not all the markers 111a and 111b have been detected in steps S164 and S166 (step S167).
  • step S167 if all the markers 111a and 111b have not been detected (step S167: No), the computer 50 changes the marker arrangement (step S168) and returns to step S161. A change in marker arrangement will be described later (see FIGS. 17 and 18, for example).
  • step S167 if all the markers 111a and 111b have been detected (step S167: Yes), the computer 50 detects the positions of the markers 111a and 111b detected in steps S164 and S166. Control is performed to adjust the relative projection position of the second projection device 10b (step S169), and the series of processing ends. Step S169 is the same as step S78 in FIG.
  • ⁇ Optimization of marker placement> 17 and 18 are diagrams for explaining an example of optimization of marker placement. 17 and 18, a specific example of optimizing the marker arrangement by the processing shown in FIG. 16 will be described.
  • step S161 shown in FIG. 16 as shown in FIG. 17, a marker image 110a including nine markers 111a is projected from the first projector 10a, and a marker image 110b including nine markers 111b is projected from the first projection device 10a. 2 projected from the projection device 10b.
  • the overlapping portion between the nine markers 111a and the nine markers 111b is large, and at least one (for example, all) of the markers 111a and 111b was not detected in steps S164 and S166. do.
  • the computer 50 changes the marker placement of at least one of the marker images 110a and 110b in step S168.
  • the marker arrangement of the marker image 110a is the position of the marker 111a in the marker image 110a.
  • the marker placement of marker image 110b is the position of marker 111b in marker image 110b.
  • the marker arrangement of the marker 111a and the marker arrangement of the marker image 110b are predetermined in multiple ways.
  • the computer 50 changes the marker arrangement of the marker image 110b without changing the marker arrangement of the marker image 110a.
  • the marker 111b of the marker image 110b shifts to the lower left from the state shown in FIG. 17, the overlapping portion between the marker 111a and the marker 111b disappears, and all of the markers 111a and 111b can be detected.
  • the overlapping portion between the markers 111a and 111b is eliminated in the example of FIG. 18, the overlapping portion between the markers 111a and 111b may not be eliminated even if the marker arrangement is changed. However, since the marker 111a and the marker 111b are generated so that saturation of the pixel values of the imaging data in the overlapping portion is suppressed and the separate extraction of each marker is easy, the overlapping portion can be reduced by changing the marker arrangement. If so, there is a high possibility that all of the markers 111a and 111b can be detected.
  • the computer 50 repeats changing the marker arrangement until all the markers 111a and 111b are detected.
  • the computer 50 generates the marker images 110a and 110b with the positions of the markers 111a and 111b changed based on the detection results of the markers 111a and 111b from the imaging data of the marker images 110a and 110b. Projection may be performed from at least one of the second projection devices 10b.
  • the markers 111a and 111b that could not be detected by the first detection process can be detected by limiting the marker arrangement and performing the detection process again. Therefore, the relative projection positions of the first projection device 10a and the second projection device 10b can be accurately identified and adjusted.
  • the computer 50 performs processing to change the images of the markers 111a and 111b (for example, at least one of shape, size, and orientation). good too.
  • the optimization of the marker re-search range described in FIGS. 14 and 15 and the optimization of the marker arrangement described in FIGS. 16 to 18 may be used together.
  • the computer 50 may optimize the marker arrangement when all the markers cannot be detected even after optimizing the marker re-search range a predetermined number of times.
  • the loop processing of steps S1404 to S1406 and the loop processing of steps S1408 to S1410 are each provided with an upper limit for the number of loops.
  • 16 step S168 may be executed and the process may proceed to step S1401.
  • FIG. 19 is a schematic diagram showing another external configuration of the projection device 10.
  • FIG. FIG. 20 is a schematic cross-sectional view of the optical unit 106 of the projection device 10 shown in FIG.
  • the same parts as those shown in FIGS. 4 and 5 are denoted by the same reference numerals, and description thereof is omitted.
  • the optical unit 106 includes a second member 103 supported by the first member 102 in addition to the first member 102 supported by the main body portion 101 .
  • the first member 102 and the second member 103 may be an integrated member.
  • the optical unit 106 includes, in addition to the first member 102, a second member 103 having a hollow portion 3A connected to the hollow portion 2A of the first member 102, and a first member 103 arranged in the hollow portion 2A.
  • the openings 2a and 2b of the first member 102 are formed on planes perpendicular to each other.
  • the projection optical system 23 shown in FIGS. It is configured by the third optical system 33 .
  • the optical axis K is folded back by being bent twice.
  • the first optical system 121, the reflecting member 122, the second optical system 31, the reflecting member 32, the third optical system 33, and the lens 34 are arranged along the optical axis K in this order from the light modulation section 22 side.
  • the first optical system 121 guides the light that has entered the first member 102 from the main body 101 and travels in the direction X1 to the reflecting member 122 .
  • the reflecting member 122 reflects the light incident from the first optical system 121 in the direction Y1.
  • the reflecting member 122 is composed of, for example, a mirror.
  • the first member 102 has an opening 2b on the optical path of the light reflected by the reflecting member 122, and the reflected light passes through the opening 2b and advances to the hollow portion 3A of the second member 103.
  • the second member 103 is a member having a substantially L-shaped cross-sectional outline, and an opening 3a is formed at a position facing the opening 2b of the first member 102.
  • the light from the body portion 101 that has passed through the opening 2b of the first member 102 enters the hollow portion 3A of the second member 103 through this opening 3a.
  • the cross-sectional outlines of the first member 102 and the second member 103 are arbitrary, and are not limited to those described above.
  • the second optical system 31 includes at least one lens and guides light incident from the first member 102 to the reflecting member 32 .
  • the reflecting member 32 reflects the light incident from the second optical system 31 in the direction X ⁇ b>2 and guides it to the third optical system 33 .
  • the reflecting member 32 is composed of, for example, a mirror.
  • the third optical system 33 includes at least one lens and guides the light reflected by the reflecting member 32 to the lens 34 .
  • the lens 34 is arranged at the end of the second member 103 in the direction X2 so as to block the opening 3c formed at the end.
  • the lens 34 projects the light incident from the third optical system 33 onto the projection object 6 .
  • FIG. 20 shows a state in which the first member 102 has been moved to the maximum extent in the direction Y1 by the first shift mechanism 105.
  • the projection direction changing mechanism 104 is a rotating mechanism that rotatably connects the second member 103 to the first member 102 .
  • the projection direction changing mechanism 104 allows the second member 103 to rotate about a rotation axis extending in the direction Y (specifically, the optical axis K).
  • the projection direction changing mechanism 104 is not limited to the arrangement position shown in FIG. 20 as long as it can rotate the optical system.
  • the number of rotating mechanisms is not limited to one, and a plurality of rotating mechanisms may be provided.
  • the control device of the present invention may be the first projection device 10a or the second projection device 10b.
  • each control by the computer 50 is performed by the first projection device 10a or the second projection device 10b.
  • the first projection device 10 a or the second projection device 10 b may communicate with the imaging device 30 via the computer 50 or may communicate with the imaging device 30 without the computer 50 .
  • the projection system 100 may be configured without the computer 50.
  • control device of the present invention may be the imaging device 30.
  • each control by the computer 50 is performed by the imaging device 30 .
  • the imaging device 30 may communicate with the first projection device 10a and the second projection device 10b via the computer 50, or may communicate with the first projection device 10a and the second projection device 10b without the computer 50. If the imaging device 30 communicates with the first projection device 10a and the second projection device 10b without using the computer 50, the projection system 100 may be configured without the computer 50.
  • ⁇ Modification 3> A case has been described in which the imaging of the test image 80, the imaging of the test image 90, and the imaging of the marker images 110a and 110b are performed by one imaging device 30, but these imagings may be performed by different imaging devices. However, in this case, it is desirable that the imaging characteristics of each imaging device be the same or similar.
  • the plurality of projection devices may be three or more projection devices (N number of projection devices). There may be.
  • the relative projection positions are adjusted in the same manner as the first projection device 10a and the second projection device 10b. By doing so, it is possible to adjust the relative projection positions of the N projection devices.
  • the test images are projected and captured in the same manner as the test images 80 and 90 of the first projection device 10a and the second projection device 10b are projected and captured.
  • simultaneous projection and imaging of the marker images may be performed in the same manner as the simultaneous projection and imaging of the marker images 110a and 110b by the first projection device 10a and the second projection device 10b.
  • the predetermined conditions and evaluation values described above take into consideration that the N number of projection devices simultaneously project the marker images.
  • ⁇ Modification 5> When setting a combination of pixel values and colors of the markers 111a and 111b projected by the first projection device 10a and the second projection device 10b, for example, r1, g1, b1, r2, g2, b2) by deriving a combination of r2, g2, b2) to suppress the saturation of the pixel values of the imaging data in the overlapped portion of the markers 111a and 111b.
  • the method is not limited.
  • the computer 50 may perform control such that the imaging of the test images 80 and 90 by the imaging device 30 is performed under a plurality of exposure conditions.
  • the computer 50 selects the brightest exposure condition among the exposure conditions where there is no combination of (r1, g1, b1, r2, g2, b2) that does not satisfy the above expressions (3) and (4). It is set as the exposure condition of the device 30 .
  • the computer 50 first causes the first projection device 10a and the second projection device 10b to project only the test images 80 and 90 with relatively high pixel values, which tend to cause saturation of pixel values, as described above.
  • the test images 80, 90 for each combination of (r1, g1, b1, r2, g2, b2) are limited to the first projection device 10a and the second projection device 10b. You can project.
  • the computer 50 sets the exposure conditions of the imaging device 30 so as to satisfy, for example, the above equations (3) and (4) based on the sum of the pixel values of the specific color included in the captured data of the test images 80 and 90. may be set.
  • the computer 50 satisfies a predetermined condition (for example, the above formulas (1) and (2)) and the evaluation value (for example, the above formula (5)) is the maximum based on each imaging data acquired under the set exposure conditions.
  • a predetermined condition for example, the above formulas (1) and (2)
  • the evaluation value for example, the above formula (5)
  • a combination of (r1, g1, b1, r2, g2, b2) is derived.
  • a controller comprising a processor, The above processor Projecting the first image from a plurality of projection devices at different timings, Projecting a second image including markers of different colors from at least two or more of the plurality of projection devices based on the imaging data of the projected first image; Adjusting the relative projection positions of the plurality of projection devices based on the imaging data of the projected second image; Control device that controls.
  • control device sets a pixel value of the marker in the second image based on the imaging data of the first image. Control device that controls.
  • control device sets the color of the marker in the second image based on the imaging data of the first image. Control device that controls.
  • the control device sets the image of the marker in the second image based on the imaging data of the first image. Control device that controls.
  • the control device sets exposure conditions of an imaging device that captures the first image and the second image based on the sum of pixel values of a specific color included in the imaging data of the first image. Control device that controls.
  • the control device includes a first projection device and a second projection device;
  • the above processor A pixel value of a first color included in captured data of the first image projected by the first projection device, and a pixel of the first color included in captured data of the first image projected by the second projection device. setting the exposure conditions based on the values of Control device that controls.
  • the control device A pixel value of a second color included in captured data of the first image projected by the first projection device, and a pixel of the second color included in captured data of the first image projected by the second projection device. setting the exposure conditions based on the values of Control device that controls.
  • the control device sets at least one or more of the pixel value and color of the marker in the second image and the image based on the sum of the pixel values of the specific color included in the captured data of the first image. Control device that controls.
  • the control device includes a first projection device and a second projection device;
  • the above processor A pixel value of a first color included in captured data of the first image projected by the first projection device, and a pixel of the first color included in captured data of the first image projected by the second projection device. setting the pixel value and/or color and image of the marker in the second image based on a value; Control device that controls.
  • the control device according to The above processor A pixel value of a second color included in captured data of the first image projected by the first projection device, and a pixel of the second color included in captured data of the first image projected by the second projection device. a value and setting the pixel value and/or color and image of the marker in the second image based on Control device that controls.
  • control device (11) The control device according to any one of (2) to (10), The processor, based on the magnitude of the difference in pixel values of the specific color included in the captured data of the first image projected from the plurality of projection devices, the pixel value and color of the marker in the second image, and setting at least one or more of the images; Control device that controls.
  • the control device includes a first projection device and a second projection device;
  • the above processor A pixel value of a first color included in captured data of the first image projected by the first projection device, and a pixel of the first color included in captured data of the first image projected by the second projection device. the magnitude of the difference between the value and setting pixel values and colors of the markers in the second image and at least one of the images based on Control device that controls.
  • the control device according to any one of (1) to (13),
  • the processor causes the plurality of projection devices to project, at different timings, the plurality of first images in which at least one or more of pixel values, colors, and images are different.
  • Control device that controls.
  • control device The control device according to any one of (1) to (14), The above processor projecting from the plurality of projection devices the first image including a plurality of regions in which at least one or more of pixel values, colors, and images are different; Control device that controls.
  • the control device according to any one of (1) to (15), The processor adjusts the relative projection positions of the plurality of projection devices based on the result of detecting the marker from the imaging data of the second image. Control device that controls.
  • the control device includes a plurality of markers, When the processor detects some of the plurality of markers from the captured data of the second image, the processor estimates the positions of the remaining markers based on the positions of the some markers, detecting the residual marker from the imaging data of the second image; Control device that controls.
  • the control device causes at least one of the plurality of projection devices to project the second image in which the arrangement or image of the marker is changed based on the detection result of the marker from the imaging data of the second image.
  • Control device that controls.
  • a processor included in the control device Projecting the first image from a plurality of projection devices at different timings, Projecting a second image including markers of different colors from at least two or more of the plurality of projection devices based on the imaging data of the projected first image; Adjusting the relative projection positions of the plurality of projection devices based on the imaging data of the projected second image; Control method to control.
  • the processor provided in the control device, Projecting the first image from a plurality of projection devices at different timings, Projecting a second image including markers of different colors from at least two or more of the plurality of projection devices based on the imaging data of the projected first image; Adjusting the relative projection positions of the plurality of projection devices based on the imaging data of the projected second image; A control program for executing control.
  • (21) a plurality of projection devices; a controller comprising a processor;
  • a projection system comprising: The above processor Projecting the first image from the plurality of projection devices at different timings, Projecting a second image including markers of different colors from at least two or more of the plurality of projection devices based on the imaging data of the projected first image; Adjusting the relative projection positions of the plurality of projection devices based on the imaging data of the projected second image; Projection system to control.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Projection Apparatus (AREA)

Abstract

複数の投影装置の相対的な投影位置を精度よく調整することのできる制御装置、制御方法、制御プログラム、及び投影システムを提供する。 コンピュータ(50)は、第1投影装置(10a)及び第2投影装置(10b)からテスト画像(80,90)を異なるタイミングで投影させる。次に、コンピュータ(50)は、投影されたテスト画像(80,90)の撮像データに基づいて、第1投影装置(10a)及び第2投影装置(10b)のうち少なくとも(2)以上の投影装置から、色が異なるマーカー(111a,111b)を含むマーカー画像(110a,110b)を投影させる。そして、コンピュータ(50)は、投影されたマーカー画像(110a,110b)の撮像データに基づいて、第1投影装置(10a)及び第2投影装置(10b)の相対的な投影位置を調整する。

Description

制御装置、制御方法、制御プログラム、及び投影システム
 本発明は、制御装置、制御方法、制御プログラム、及び投影システムに関する。
 特許文献1には、相互に異なるマーカー画像及び相互に異なるパターン画像を含む第1の画像及び第2の画像を投影面に重ねて投影し、その第1の画像及び第2の画像を撮像することによって生成された撮像画像から、マーカー画像に基づいて第1の画像を識別し、第1の画像に含まれる第1のパターン画像の歪みを補正し、補正後の第1のパターン画像を、基準パターン画像とパターンマッチングすることによって、第1の画像が投影面に投影された位置を判定する画像処理装置が記載されている。
 特許文献2には、被投影体に向けて画像を投影する複数の投影装置毎に、投影可能領域を示す調整用チャートであって、調整用チャートの一部しか被投影体に投影されていなくても、その一部に基づいて投影可能領域の外郭が特定される調整用チャートを投影させる投影制御装置が記載されている。
 特許文献3には、複数台のプロジェクタから投写された複数の投写画面をスクリーン上で合成表示する際に、複数台のプロジェクタからスクリーン上に投写された複数のテストチャートを撮像し、撮像結果に基づいて、複数台のプロジェクタによる複数の投写領域を判定する投写制御装置が記載されている。
日本国特開2021-085907号公報 日本国特開2014-086788号公報 日本国特開2012-142669号公報
 本開示の技術に係る1つの実施形態は、複数の投影装置の相対的な投影位置を精度よく調整することができる制御装置、制御方法、制御プログラム、及び投影システムを提供する。
 本発明の一態様の制御装置は、プロセッサを備える制御装置であって、上記プロセッサは、複数の投影装置から第1画像を異なるタイミングで投影させ、投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、制御を行うものである。
 本発明の一態様の制御方法は、制御装置が備えるプロセッサが、複数の投影装置から第1画像を異なるタイミングで投影させ、投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、制御を行うものである。
 本発明の一態様の制御プログラムは、制御装置が備えるプロセッサに、複数の投影装置から第1画像を異なるタイミングで投影させ、投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、制御を実行させるためのものである。
 本発明の一態様の投影システムは、複数の投影装置と、プロセッサを備える制御装置と、を含む投影システムであって、上記プロセッサが、上記複数の投影装置から第1画像を異なるタイミングで投影させ、投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、制御を行うものである。
 本発明によれば、複数の投影装置の相対的な投影位置を精度よく調整することのできる制御装置、制御方法、制御プログラム、及び投影システムを提供することができる。
実施形態の投影システム100の一例を示す図である。 第1投影装置10a及び第2投影装置10bの一例を示す図である。 投影部1の内部構成の一例を示す模式図である。 投影装置10の外観構成を示す模式図である。 図4に示す投影装置10の光学ユニット106の断面模式図である。 コンピュータ50のハードウェア構成の一例を示す図である。 コンピュータ50による制御の一例を示すフローチャートである。 第1投影装置10aによるテスト画像の投影の一例を示す図である。 第2投影装置10bによるテスト画像の投影の一例を示す図である。 第1投影装置10a及び第2投影装置10bによるマーカー画像の投影の一例を示す図である。 スタック投影のための投影位置の調整の一例を示す図である。 ブレンディング投影のための投影位置の調整前の状態の一例を示す図である。 ブレンディング投影のための投影位置の調整の一例を示す図である。 コンピュータ50によるマーカー再探索範囲の最適化処理の一例を示すフローチャートである。 マーカー再探索範囲の最適化の一例を説明するための図である。 コンピュータ50によるマーカー配置の最適化処理の一例を示すフローチャートである。 マーカー配置の最適化の一例を説明するための図(その1)である。 マーカー配置の最適化の一例を説明するための図(その2)である。 投影装置10の他の外観構成を示す模式図である。 図19に示した投影装置10の光学ユニット106の断面模式図である。
 以下、本発明の実施形態の一例について、図面を参照して説明する。
(実施形態)
<実施形態の投影システム100>
 図1は、実施形態の投影システム100の一例を示す図である。図1に示すように、投影システム100は、第1投影装置10a及び第2投影装置10bと、コンピュータ50と、撮像装置30と、を備える。コンピュータ50は、本発明における制御装置の一例である。
 コンピュータ50は、第1投影装置10a及び第2投影装置10b及び撮像装置30と通信可能である。図1に示す例では、コンピュータ50は、通信ケーブル8aを介して第1投影装置10aと接続されており、第1投影装置10aと通信可能である。また、コンピュータ50は、通信ケーブル8bを介して第2投影装置10bと接続されており、第2投影装置10bと通信可能である。また、コンピュータ50は、通信ケーブル9を介して撮像装置30と接続されており、撮像装置30と通信可能である。
 第1投影装置10a及び第2投影装置10bは、投影対象物6に対する投影が可能な投影装置である。撮像装置30は、第1投影装置10a及び第2投影装置10bによって投影対象物6に投影された画像を撮像可能な撮像装置である。
 投影対象物6は、第1投影装置10aによって投影画像が表示される投影面を有するスクリーンなどの物体である。図1に示す例では、投影対象物6の投影面は矩形の平面である。図1における投影対象物6の上下左右が、実際の投影対象物6の上下左右であるとする。
 一点鎖線で図示する投影範囲11aは、投影対象物6のうち、第1投影装置10aにより投影光が照射される領域である。投影範囲11aは、第1投影装置10aにより投影が可能な投影可能範囲の一部又は全部である。二点鎖線で図示する投影範囲11bは、投影対象物6のうち、第2投影装置10bにより投影光が照射される領域である。投影範囲11bは、第2投影装置10bにより投影が可能な投影可能範囲の一部又は全部である。図1に示す例では、投影範囲11a,11bは矩形である。
<第1投影装置10a及び第2投影装置10b>
 図2は、第1投影装置10a及び第2投影装置10bの一例を示す図である。第1投影装置10a及び第2投影装置10bのそれぞれは、例えば図2に示す投影装置10によって構成される。投影装置10は、投影部1と、制御部4と、操作受付部2と、通信部5と、を備える。投影部1は、例えば液晶プロジェクタ又はLCOS(Liquid Crystal On Silicon)を用いたプロジェクタ等によって構成される。以下では、投影部1が液晶プロジェクタであるものとして説明する。
 制御部4は、投影装置10による投影の制御を行う。制御部4は、各種のプロセッサにより構成される制御部と、各部と通信するための通信インタフェース(図示省略)と、ハードディスク、SSD(Solid State Drive)、又はROM(Read Only Memory)等の記憶媒体4aと、を含む装置であり、投影部1を統括制御する。制御部4の制御部の各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。制御部4の制御部は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
 操作受付部2は、ユーザからの各種の操作を受け付けることにより、ユーザからの指示(ユーザ指示)を検出する。操作受付部2は、制御部4に設けられたボタン、キー、ジョイスティック等であってもよいし、制御部4の遠隔操作を行うリモートコントローラからの信号を受け付ける受信部等であってもよい。
 通信部5は、コンピュータ50との間で通信が可能な通信インタフェースである。通信部5は、図1に示したように有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよい。
 なお、投影部1、制御部4、操作受付部2は、例えば一個の装置により実現される(例えば図4,図5参照)。又は、投影部1、制御部4、及び操作受付部2は、互いに通信を行うことにより連携する、それぞれ別の装置であってもよい。
<投影部1の内部構成>
 図3は、投影部1の内部構成の一例を示す模式図である。図2に示した投影装置10の投影部1は、図3に示すように、光源21と、光変調部22と、投影光学系23と、制御回路24と、を備える。光源21は、レーザ又はLED(Light Emitting Diode)等の発光素子を含み、例えば白色光を出射する。
 光変調部22は、光源21から出射されて図示省略の色分離機構によって赤、青、緑の3色に分離された各色光を、画像情報に基づいて変調して各色画像を出射する3つの液晶パネル(光変調素子)と、3つの液晶パネルから出射された各色画像を混合して同一方向に出射するダイクロイックプリズムと、によって構成される。この3つの液晶パネルにそれぞれ赤、青、緑のフィルタを搭載し、光源21から出射された白色光を、各液晶パネルにて変調して各色画像を出射させてもよい。
 投影光学系23は、光源21及び光変調部22からの光が入射されるものであり、少なくとも1つのレンズを含む、例えばリレー光学系によって構成されている。投影光学系23を通過した光は投影対象物6に投影される。
 投影対象物6のうち、光変調部22の全範囲を透過する光が照射される領域が、投影部1により投影が可能な投影可能範囲となる。この投影可能範囲のうち、光変調部22から実際に透過する光が照射される領域が投影部1の投影範囲(投影範囲11a又は投影範囲11b)となる。例えば、光変調部22のうち光が透過する領域の大きさ、位置、及び形状を制御することにより、投影可能範囲において、投影部1の投影範囲の大きさ、位置、及び形状が変化する。
 制御回路24は、制御部4から入力される表示用データに基づいて、光源21、光変調部22、及び投影光学系23を制御することにより、投影対象物6にこの表示用データに基づく画像を投影させる。制御回路24に入力される表示用データは、赤表示用データと、青表示用データと、緑表示用データとの3つによって構成される。
 また、制御回路24は、制御部4から入力される命令に基づいて、投影光学系23を変化させることにより、投影部1の投影範囲の拡大や縮小を行う。また、制御部4は、操作受付部2によって受け付けられたユーザからの操作に基づいて投影光学系23を変化させることにより、投影部1の投影範囲の移動を行ってもよい。
 また、投影装置10は、投影光学系23のイメージサークルを維持しつつ、投影部1の投影範囲を機械的又は光学的に移動させるシフト機構を備える。投影光学系23のイメージサークルは、投影光学系23に入射した投影光が、光量落ち、色分離、周辺湾曲などの点から適正に投影光学系23を通過する領域である。
 シフト機構は、光学系シフトを行う光学系シフト機構と、電子シフトを行う電子シフト機構と、の少なくともいずれかにより実現される。
 光学系シフト機構は、例えば、投影光学系23を光軸に垂直な方向に移動させる機構(例えば図5,図20参照)、又は、投影光学系23を移動させる代わりに光変調部22を光軸に垂直な方向に移動させる機構である。また、光学系シフト機構は、投影光学系23の移動と光変調部22の移動とを組み合わせて行うものであってもよい。
 電子シフト機構は、光変調部22において光を透過させる範囲を変化させることによる疑似的な投影範囲のシフトを行う機構である。
 また、第1投影装置10aは、投影光学系23のイメージサークルとともに投影範囲を移動させる投影方向変更機構を備えてもよい。投影方向変更機構は、機械的な回転で投影部1の向きを変更することにより、投影部1の投影方向を変化させる機構である(例えば図20参照)。
<投影装置10の機械的構成>
 図4は、投影装置10の外観構成を示す模式図である。図5は、図4に示す投影装置10の光学ユニット106の断面模式図である。図5は、図4に示した本体部101から出射される光の光路に沿った面での断面を示している。
 図4に示すように、投影装置10は、本体部101と、本体部101から突出して設けられた光学ユニット106と、を備える。図4に示す構成において、操作受付部2と、制御部4と、投影部1における光源21、光変調部22、及び制御回路24と、通信部5と、は本体部101に設けられる。投影部1における投影光学系23は光学ユニット106に設けられる。
 光学ユニット106は、本体部101に支持される第1部材102を備える。光学ユニット106は、本体部101に着脱自在に構成(換言すると交換可能に構成)されていてもよい。
 本体部101は、図5に示すように、光学ユニット106と連結される部分に光を通すための開口15aが形成された筐体15を有する。
 図4に示すように、本体部101の筐体15の内部には、光源21と、光源21から出射される光を入力画像データに基づいて空間変調して画像を生成する光変調部22(図3参照)を含む光変調ユニット12と、が設けられている。光源21から出射された光は、光変調ユニット12の光変調部22に入射され、光変調部22によって空間変調されて出射される。
 図5に示すように、光変調ユニット12によって空間変調された光によって形成される画像は、筐体15の開口15aを通過して光学ユニット106に入射され、投影対象物6に投影されて、画像G1が観察者から視認可能となる。
 図5に示すように、光学ユニット106は、本体部101の内部と繋がる中空部2Aを有する第1部材102と、中空部2Aに配置された第1光学系121と、レンズ34と、第1シフト機構105と、を備える。
 第1部材102は、断面外形が一例として矩形の部材であり、開口2aと開口2bが互いに平行な面に形成されている。第1部材102は、本体部101の開口15aと対面する位置に開口2aが配置される状態にて、本体部101によって支持されている。本体部101の光変調ユニット12の光変調部22から射出された光は、開口15a及び開口2aを通って第1部材102の中空部2Aに入射される。
 本体部101から中空部2Aに入射される光の入射方向を方向X1と記載し、方向X1の逆方向を方向X2と記載し、方向X1と方向X2を総称して方向Xと記載する。また、図5において、紙面手前から奥に向かう方向とその逆方向を方向Zと記載する。方向Zのうち、紙面手前から奥に向かう方向を方向Z1と記載し、紙面奥から手前に向かう方向を方向Z2と記載する。
 また、方向X及び方向Zに垂直な方向を方向Yと記載し、方向Yのうち、図5において上に向かう方向を方向Y1と記載し、図5において下に向かう方向を方向Y2と記載する。図5の例では方向Y2が鉛直方向となるように投影装置10が配置されている。
 図3に示した投影光学系23は、図5の例では第1光学系121及びレンズ34により構成される。図5には、この投影光学系23の光軸Kが示されている。第1光学系121及びレンズ34は、光変調部22の側からこの順に光軸Kに沿って配置されている。
 第1光学系121は、少なくとも1つのレンズを含み、本体部101から第1部材102に入射された方向X1に進む光をレンズ34に導く。
 レンズ34は、第1部材102の方向X1側の端部に形成された開口2bを塞ぐ形でこの端部に配置されている。レンズ34は、第1光学系121から入射された光を投影対象物6に投影する。
 第1シフト機構105は、投影光学系の光軸K(換言すると光学ユニット106)をその光軸Kに垂直な方向(図5の方向Y)に移動させるための機構である。具体的には、第1シフト機構105は、第1部材102の本体部101に対する方向Yの位置を変更することができるように構成されている。第1シフト機構105は、手動にて第1部材102を移動させるものの他、電動にて第1部材102を移動させるものであってもよい。
 図5は、第1シフト機構105によって第1部材102が方向Y1側に最大限移動された状態を示している。この図5に示す状態から、第1シフト機構105によって第1部材102が方向Y2に移動することで、光変調部22によって形成される画像の中心(換言すると表示面の中心)と光軸Kとの相対位置が変化して、投影対象物6に投影されている画像G1を方向Y2にシフト(平行移動)させることができる。
 なお、第1シフト機構105は、光学ユニット106を方向Yに移動させる代わりに、光変調部22を方向Yに移動させる機構であってもよい。この場合でも、投影対象物6に投影されている画像G1を方向Yに移動させることができる。
<コンピュータ50のハードウェア構成>
 図6は、コンピュータ50のハードウェア構成の一例を示す図である。図1に示したコンピュータ50は、図5に示すように、プロセッサ51と、メモリ52と、通信インタフェース53と、ユーザインタフェース54と、を備える。プロセッサ51、メモリ52、通信インタフェース53、及びユーザインタフェース54は、例えばバス59によって接続される。
 プロセッサ51は、信号処理を行う回路であり、例えばコンピュータ50の全体の制御を司るCPUである。なお、プロセッサ51は、FPGAやDSP(Digital Signal Processor)などの他のデジタル回路により実現されてもよい。また、プロセッサ51は、複数のデジタル回路を組み合わせて実現されてもよい。
 メモリ52には、例えばメインメモリ及び補助メモリが含まれる。メインメモリは、例えばRAM(Random Access Memory)である。メインメモリは、プロセッサ51のワークエリアとして使用される。
 補助メモリは、例えば磁気ディスク、光ディスク、フラッシュメモリなどの不揮発性メモリである。補助メモリには、コンピュータ50を動作させる各種のプログラムが記憶されている。補助メモリに記憶されたプログラムは、メインメモリにロードされてプロセッサ51によって実行される。
 また、補助メモリは、コンピュータ50から取り外し可能な可搬型のメモリを含んでもよい。可搬型のメモリには、USB(Universal Serial Bus)フラッシュドライブやSD(Secure Digital)メモリカードなどのメモリカードや、外付けハードディスクドライブなどがある。
 通信インタフェース53は、コンピュータ50の外部(例えば第1投影装置10a及び第2投影装置10bや撮像装置30)との間で通信を行う通信インタフェースである。通信インタフェース53は、プロセッサ51によって制御される。通信インタフェース53は、有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよいし、有線通信インタフェース及び無線通信インタフェースの両方を含んでもよい。
 ユーザインタフェース54は、例えば、ユーザからの操作入力を受け付ける入力デバイスや、ユーザへ情報を出力する出力デバイスなどを含む。入力デバイスは、例えばポインティングデバイス(例えばマウス)、キー(例えばキーボード)やリモコンなどにより実現することができる。出力デバイスは、例えばディスプレイやスピーカなどにより実現することができる。また、タッチパネルなどによって入力デバイス及び出力デバイスを実現してもよい。ユーザインタフェース54は、プロセッサ51によって制御される。
<コンピュータ50による制御>
 図7は、コンピュータ50による制御の一例を示すフローチャートである。コンピュータ50は、例えば図7に示す処理を実行する。予め、第1投影装置10a及び第2投影装置10bが投影する複数のテスト画像が用意される。複数のテスト画像は、色及び画素値(明るさ)の組み合わせが異なるテスト画像である。また、1つのテスト画像には、色及び画素値(明るさ)の組み合わせが異なる複数の領域が含まれていてもよい。第1投影装置10aが投影する複数のテスト画像と、第2投影装置10bが投影する複数のテスト画像と、は同一であってもよいし異なっていてもよい。
 まず、コンピュータ50は、第1投影装置10aが投影する複数のテスト画像のそれぞれを対象として、ステップS71,S72を繰り返し実行する。すなわち、コンピュータ50は、第1投影装置10aと通信を行うことにより、第1投影装置10aから対象のテスト画像を投影させる制御を行う(ステップS71)。第1投影装置10aによるテスト画像の投影については後述する(例えば図8参照)。次に、コンピュータ50は、ステップS71によって投影されたテスト画像を撮像装置30により撮像させる制御を行う(ステップS72)。
 次に、コンピュータ50は、第2投影装置10bが投影する複数のテスト画像のそれぞれを対象として、ステップS73,S74を繰り返し実行する。すなわち、コンピュータ50は、第2投影装置10bと通信を行うことにより、第2投影装置10bから対象のテスト画像を投影させる制御を行う(ステップS73)。第2投影装置10bによるテスト画像の投影については後述する(例えば図9参照)。次に、コンピュータ50は、ステップS73によって投影されたテスト画像を撮像装置30により撮像させる制御を行う(ステップS74)。
 ステップS72,S74における、テスト画像を撮像装置30により撮像させる制御は、例えば、撮像装置30のユーザに対して、テスト画像の撮像装置30による撮像を促す制御である。例えば、コンピュータ50は、テスト画像の撮像装置30による撮像を促すメッセージを、第1投影装置10a又は第2投影装置10bによる投影や、コンピュータ50や撮像装置30による表示又は音声出力などによって出力する制御を行う。
 また、コンピュータ50は、ステップS72,S74による撮像により得られたテスト画像の撮像データを撮像装置30から受信する。撮像装置30による撮像データの送信は、撮像装置30による撮像が行われたことを契機として撮像装置30が自動的に行われてもよいし、撮像装置30による撮像後のユーザ操作によって行われてもよい。また、撮像装置30による撮像データの送信は、ステップS71,S72やステップS73,S74が実行される毎に行われてもよいし、ステップS71,S72の繰り返し処理とステップS73,S74の繰り返し処理とが実行されてからまとめて行われてもよい。
 次に、コンピュータ50は、撮像装置30から受信した各テスト画像の撮像データに基づいて、第1投影装置10a及び第2投影装置10bが投影する、互いに色が異なるマーカーを生成する(ステップS75)。各テスト画像の撮像データに基づくマーカーの生成については後述する。図7に示す処理の開始からステップS75までの処理を、マーカー生成処理70と称する。
 次に、コンピュータ50は、第1投影装置10a及び第2投影装置10bと通信を行うことにより、第1投影装置10a及び第2投影装置10bから、ステップS75によって生成したマーカーを含むマーカー画像を同時に投影対象物6に投影させる制御を行う(ステップS76)。第1投影装置10a及び第2投影装置10bによるマーカー画像の投影については後述する(例えば図10,図12参照)。
 次に、コンピュータ50は、ステップS76によって投影されたマーカー画像を撮像装置30により撮像させる制御を行う(ステップS77)。ステップS77における、マーカー画像を撮像装置30により撮像させる制御は、ステップS72,S74における、テスト画像を撮像装置30により撮像させる制御と同様である。また、コンピュータ50は、ステップS77による撮像により得られたマーカー画像の撮像データを撮像装置30から受信する。撮像装置30による撮像データの送信は、撮像装置30による撮像が行われたことを契機として撮像装置30が自動的に行われてもよいし、撮像装置30による撮像後のユーザ操作によって行われてもよい。
 次に、コンピュータ50は、撮像装置30から受信したマーカー画像の撮像データに基づいて、第1投影装置10a及び第2投影装置10bの相対的な投影位置を調整する制御を行い(ステップS78)、一連の処理を終了する。第1投影装置10a及び第2投影装置10bの相対的な投影位置の調整については後述する(例えば図11,図13参照)。
 図7の例では、テスト画像を変更しながら第1投影装置10aによる投影と撮像装置30による撮像を繰り返し行った後に、テスト画像を変更しながら第2投影装置10bによる投影と撮像装置30による撮像を繰り返し行う処理について説明したが、このような処理に限らない。例えば、第1投影装置10aによる投影と撮像装置30による撮像を1回行った後に第2投影装置10bによる投影と撮像装置30による撮像を1回行う動作を、テスト画像を変更しながら繰り返し行う処理としてもよい。
<第1投影装置10aによるテスト画像の投影>
 図8は、第1投影装置10aによるテスト画像の投影の一例を示す図である。まず、コンピュータ50は、第1投影装置10aから投影対象物6にテスト画像80を投影させる制御を行う。
 テスト画像80は、赤領域81と、緑領域82と、青領域83と、を含む。赤領域81は、画素値(R,G,B)=(r1,0,0)の矩形領域である。緑領域82は、画素値(R,G,B)=(0,g1,0)の矩形領域である。青領域83は、画素値(R,G,B)=(0,0,b1)の矩形領域である。r1,g1,b1のそれぞれは、例えば0より大きく255以下の値である。
 コンピュータ50は、投影対象物6に投影されたテスト画像80を撮像装置30に撮像させ、撮像により得られたテスト画像80の撮像データを撮像装置30から受信する制御を行う。
 また、コンピュータ50は、得られたテスト画像80の撮像データから、画像認識(輪郭抽出等)によって赤領域81、緑領域82、及び青領域83を検出する。このときは第1投影装置10aが単体で投影を行っているため、撮像データには第2投影装置10bからの投影画像が含まれておらず、赤領域81、緑領域82、及び青領域83の検出は高精度に行うことができる。
 また、コンピュータ50は、テスト画像80の撮像データを、赤成分(R成分)、緑成分(G成分)、及び青成分(B成分)に色分離する。
 そして、コンピュータ50は、テスト画像80の撮像データの赤成分の赤領域81の画素値OP1 R|r1を取得する。ある領域の画素値とは、例えばその領域の各画素の画素値の平均値や中央値である。画素値OP1 R|r1は、第1投影装置10aが画素値(R,G,B)=(r1,0,0)で投影した赤領域81の撮像データの赤成分の画素値である。
 また、コンピュータ50は、テスト画像80の撮像データの赤成分の緑領域82の画素値OP1 R|g1を取得する。画素値OP1 R|g1は、第1投影装置10aが画素値(R,G,B)=(0,g1,0)で投影した緑領域82の撮像データの赤成分の画素値である。
 また、コンピュータ50は、テスト画像80の撮像データの赤成分の青領域83の画素値OP1 R|b1を取得する。画素値OP1 R|b1は、第1投影装置10aが画素値(R,G,B)=(0,0,b1)で投影した青領域83の撮像データの赤成分の画素値である。
 同様に、コンピュータ50は、テスト画像80の撮像データの緑成分の赤領域81の画素値OP1 G|r1を取得する。また、コンピュータ50は、テスト画像80の撮像データの緑成分の緑領域82の画素値OP1 G|g1を取得する。また、コンピュータ50は、テスト画像80の撮像データの緑成分の青領域83の画素値OP1 G|b1を取得する。
 同様に、コンピュータ50は、テスト画像80の撮像データの青成分の赤領域81の画素値OP1 B|r1を取得する。また、コンピュータ50は、テスト画像80の撮像データの青成分の緑領域82の画素値OP1 B|g1を取得する。また、コンピュータ50は、テスト画像80の撮像データの青成分の青領域83の画素値OP1 B|b1を取得する。
 コンピュータ50は、図8について説明した上記の処理を、r1,g1,b1の各値の複数の組み合わせについて行う。すなわち、コンピュータ50は、r1,g1,b1の各値の組み合わせ、換言すると赤領域81、緑領域82及び青領域83の各画素値を変えながら、第1投影装置10aによるテスト画像80の投影と、投影されたテスト画像80の撮像装置30による撮像と、撮像により得られた撮像データに基づく上記の各画素値の取得と、を行う。
 このように、コンピュータ50は、第1投影装置10aから、画素値が異なる複数のテスト画像80を異なるタイミングで投影させる。これにより、第1投影装置10aが投影するマーカーの複数の画素値(明るさ)について、第1投影装置10aが投影したマーカーを撮像して得られる撮像データにおける各色成分の画素値を取得することができる。
 ここでは複数の色領域(赤領域81、緑領域82、青領域83)を含み画素値が異なる複数のテスト画像80を異なるタイミングで投影させる場合について説明したが、コンピュータ50は、複数の画素値の領域を含み色が異なる複数のテスト画像80を異なるタイミングで投影させるようにしてもよい。例えば、コンピュータ50は、まず、画素値(R,G,B)=(200,0,0)の赤領域、画素値(R,G,B)=(230,0,0)の赤領域、及び画素値(R,G,B)=(250,0,0)の赤領域を含むテスト画像80を投影させ、次に、画素値(R,G,B)=(0,200,0)の緑領域、画素値(R,G,B)=(0,230,0)の緑領域、及び画素値(R,G,B)=(0,250,0)の緑領域を含むテスト画像80を投影させ、次に画素値(R,G,B)=(0,0,200)の青領域、画素値(R,G,B)=(0,0,230)の青領域、及び画素値(R,G,B)=(0,0,250)の青領域を含むテスト画像80を投影させてもよい。
 すなわち、コンピュータ50は、第1投影装置10aから、画素値及び色の組み合わせが異なる複数のテスト画像80を異なるタイミングで投影させる。これにより、第1投影装置10aが投影するマーカーの画素値及び色の複数の組み合わせについて、第1投影装置10aが投影したマーカーを撮像して得られる撮像データにおける各色成分の画素値を取得することができる。
 また、コンピュータ50は、画素値及び色の組み合わせの全ての領域を含むテスト画像80を第1投影装置10aから投影させてもよい。これにより、第1投影装置10aからテスト画像80を一回投影させ、撮像装置30によりテスト画像80を一回撮像するだけで、第1投影装置10aが投影するマーカーの画素値及び色の全ての組み合わせについて、第1投影装置10aが投影したマーカーを撮像して得られる撮像データにおける各色成分の画素値を取得することができる。
<第2投影装置10bによるテスト画像の投影>
 図9は、第2投影装置10bによるテスト画像の投影の一例を示す図である。まず、コンピュータ50は、第2投影装置10bから投影対象物6にテスト画像90を投影させる制御を行う。
 テスト画像90は、赤領域91と、緑領域92と、青領域93と、を含む。赤領域91は、画素値(R,G,B)=(r2,0,0)の矩形領域である。緑領域92は、画素値(R,G,B)=(0,g2,0)の矩形領域である。青領域93は、画素値(R,G,B)=(0,0,b2)の矩形領域である。r2,g2,b2のそれぞれは、例えば0より大きく255以下の値である。
 コンピュータ50は、投影対象物6に投影されたテスト画像90を撮像装置30に撮像させ、撮像により得られたテスト画像90の撮像データを撮像装置30から受信する制御を行う。
 また、コンピュータ50は、得られたテスト画像90の撮像データから、画像認識(輪郭抽出等)によって赤領域91、緑領域92、及び青領域93を検出する。このときは第2投影装置10bが単体で投影を行っているため、撮像データには第1投影装置10aからの投影画像が含まれておらず、赤領域91、緑領域92、及び青領域93の検出は高精度に行うことができる。
 また、コンピュータ50は、テスト画像90の撮像データを、赤成分(R成分)、緑成分(G成分)、及び青成分(B成分)に色分離する。
 そして、コンピュータ50は、テスト画像90の撮像データの赤成分の赤領域91の画素値OP2 R|r2を取得する。画素値OP2 R|r2は、第2投影装置10bが画素値(R,G,B)=(r2,0,0)で投影した赤領域91の撮像データの赤成分の画素値である。
 また、コンピュータ50は、テスト画像90の撮像データの赤成分の緑領域92の画素値OP2 R|g2を取得する。画素値OP2 R|g2は、第2投影装置10bが画素値(R,G,B)=(0,g2,0)で投影した緑領域92の撮像データの赤成分の画素値である。
 また、コンピュータ50は、テスト画像90の撮像データの赤成分の青領域93の画素値OP2 R|b2を取得する。画素値OP2 R|b2は、第2投影装置10bが画素値(R,G,B)=(0,0,b2)で投影した青領域93の撮像データの赤成分の画素値である。
 同様に、コンピュータ50は、テスト画像90の撮像データの緑成分の赤領域91の画素値OP2 G|r2を取得する。また、コンピュータ50は、テスト画像90の撮像データの緑成分の緑領域92の画素値OP2 G|g2を取得する。また、コンピュータ50は、テスト画像90の撮像データの緑成分の青領域93の画素値OP2 G|b2を取得する。
 同様に、コンピュータ50は、テスト画像90の撮像データの青成分の赤領域91の画素値OP2 B|r2を取得する。また、コンピュータ50は、テスト画像90の撮像データの青成分の緑領域92の画素値OP2 B|g2を取得する。また、コンピュータ50は、テスト画像90の撮像データの青成分の青領域93の画素値OP2 B|b2を取得する。
 コンピュータ50は、図9について説明した上記の処理を、r2,g2,b2の各値の複数の組み合わせについて行う。すなわち、コンピュータ50は、r2,g2,b2の各値の組み合わせ、換言すると赤領域91、緑領域92及び青領域93の各画素値を変えながら、第2投影装置10bによるテスト画像90の投影と、投影されたテスト画像90の撮像装置30による撮像と、撮像により得られた撮像データに基づく上記の各画素値の取得と、を行う。
 このように、コンピュータ50は、第2投影装置10bから、画素値が異なる複数のテスト画像90を異なるタイミングで投影させる。これにより、第2投影装置10bが投影するマーカーの複数の画素値(明るさ)について、第2投影装置10bが投影したマーカーを撮像して得られる撮像データにおける各色成分の画素値を取得することができる。
 ここでは複数の色領域(赤領域91、緑領域92、青領域93)を含み画素値が異なる複数のテスト画像90を異なるタイミングで投影させる場合について説明したが、コンピュータ50は、複数の画素値の領域を含み色が異なる複数のテスト画像90を異なるタイミングで投影させるようにしてもよい。例えば、コンピュータ50は、まず、画素値(R,G,B)=(200,0,0)の赤領域、画素値(R,G,B)=(230,0,0)の赤領域、及び画素値(R,G,B)=(250,0,0)の赤領域を含むテスト画像90を投影させ、次に、画素値(R,G,B)=(0,200,0)の緑領域、画素値(R,G,B)=(0,230,0)の緑領域、及び画素値(R,G,B)=(0,250,0)の緑領域を含むテスト画像90を投影させ、次に画素値(R,G,B)=(0,0,200)の青領域、画素値(R,G,B)=(0,0,230)の青領域、及び画素値(R,G,B)=(0,0,250)の青領域を含むテスト画像90を投影させてもよい。
 すなわち、コンピュータ50は、第2投影装置10bから、画素値及び色の組み合わせが異なる複数のテスト画像90を異なるタイミングで投影させる。これにより、第2投影装置10bが投影するマーカーの画素値及び色の複数の組み合わせについて、第2投影装置10bが投影したマーカーを撮像して得られる撮像データにおける各色成分の画素値を取得することができる。
 また、コンピュータ50は、画素値及び色の組み合わせの全ての領域を含むテスト画像80を第1投影装置10aから投影させてもよい。これにより、第1投影装置10aからテスト画像80を一回投影させ、撮像装置30によりテスト画像80を一回撮像するだけで、第1投影装置10aが投影するマーカーの画素値及び色の全ての組み合わせについて、第1投影装置10aが投影したマーカーを撮像して得られる撮像データにおける各色成分の画素値を取得することができる。
<テスト画像80,90の撮像データに基づくマーカーの生成>
 コンピュータ50は、第1投影装置10aが投影するマーカーの色と、第1投影装置10aが投影するマーカーの画素値と、第2投影装置10bが投影するマーカーの色と、第2投影装置10bが投影するマーカーの画素値と、の複数の組み合わせの中から、所定条件を満たしつつ評価値が最高となる組み合わせを導出する。
 例えば、第1投影装置10aが投影するマーカーの画素値を(R,G,B)=(r1,g1,b1)とし、第2投影装置10bが投影するマーカーの画素値を(R,G,B)=(r2,g2,b2)とすると、上記の組み合わせは(r1,g1,b1,r2,g2,b2)の組み合わせによって表すことができる。ただし、r1,g1,b1のうち、1つの値のみが0より大きく255以下の値であり、残りの値は0である。また、r2,g2,b2のうち、1つの値のみが0より大きく255以下の値であり、残りの値は0である。
 例えば、(r1,g1,b1,r2,g2,b2)=(255,0,0,0,255,0)の組み合わせは、第1投影装置10aが画素値(R,G,B)=(255,0,0)の赤マーカーを投影し、第2投影装置10bが画素値(R,G,B)=(0,255,0)の緑マーカーを投影する組み合わせを示す。
 まず、第1投影装置10aが画素値(R,G,B)=(r1,0,0)の赤マーカーを投影し、第2投影装置10bが画素値(R,G,B)=(0,0,b2)の青マーカーを投影する場合の評価値ERG(r1,b2)について説明する。
 下記(1)式及び下記(2)式は、第1投影装置10aが赤マーカーを投影し、第2投影装置10bが青マーカーを投影することに基づく前提条件である。
 OP1 R|r1>OP2 R|b2       …(1)
 OP2 B|b2>OP1 B|r1       …(2)
 下記(3)式は、第1投影装置10aが投影する赤マーカーの撮像データにおける赤成分の画素値と、第2投影装置10bが投影する青マーカーの撮像データにおける赤成分の画素値と、の合計が、撮像装置30による撮像の最大画素値(255)以下となるための条件である。下記(4)式は、第2投影装置10bが投影する青マーカーの撮像データにおける青成分の画素値と、第1投影装置10aが投影する赤マーカーの撮像データにおける青成分の画素値と、の合計が、撮像装置30による撮像の最大画素値(255)以下となるための条件である。
 OP1 R|r1+OP2 R|b2≦255   …(3)
 OP2 B|b2+OP1 B|r1≦255   …(4)
 下記(5)式の評価値ERG(r1,b2)は、第1投影装置10aが投影する赤マーカーの撮像データにおける赤成分の画素値と第2投影装置10bが投影する青マーカーの撮像データにおける赤成分の画素値との差異(赤成分のレンジ)と、第2投影装置10bが投影する青マーカーの撮像データにおける青成分の画素値と第1投影装置10aが投影する赤マーカーの撮像データにおける青成分の画素値との差異(青成分のレンジ)と、の合計である。
 ERG(r1,b2)=(OP1 R|r1-OP2 R|b2)+(OP2 B|b2-OP1 B|r1)   …(5)
 コンピュータ50は、r1,b2の複数の組み合わせの中から、上記(1)式~(4)式を満たし、かつ下記(5)式に示す評価値ERG(r1,b2)が最大となるr1,b2の組み合わせを導出する。
 これにより、第1投影装置10aが投影する赤マーカーと、第2投影装置10bが投影する青マーカーと、が重複した場合に、重複部分の撮像データにおける画素値の飽和を抑制しつつ、重複部分における赤マーカー及び青マーカーの分離抽出が容易なr1,b2の組み合わせを導出することができる。
 すなわち、例えば第1投影装置10aが赤マーカーを投影し、第2投影装置10bが青マーカーを投影する場合、撮像データからの各マーカーの検出のために、画素値(R,G,B)=(255,0,0)の赤マーカー及び画素値(R,G,B)=(0,0,255)の青マーカーを用いることが最適とは限らない。例えば、第1投影装置10aが画素値(R,G,B)=(255,0,0)の画像を投影しても、第1投影装置10aの光学系、投影対象物6の特性、撮像装置30による撮像特性、環境光などの要因によって、得られる撮像データに緑成分や青成分が生じ、画素値(R,G,B)=(255,0,0)の撮像データになるとは限らない。同様に、第2投影装置10bが画素値(R,G,B)=(0,0,255)の画像を投影しても、得られる撮像データが画素値(R,G,B)=(0,0,255)の撮像データになるとは限らない。これに対して、コンピュータ50は、第1投影装置10a及び第2投影装置10bが各特性(色及び画素値)の組み合わせの画像を投影した場合に得られる撮像データの特性の実測値に基づいて、第1投影装置10a及び第2投影装置10bが投影する最適なマーカーの特性を導出する。
 なお、上記(5)式について、赤成分のレンジ(OP1 R|r1-OP2 R|b2)と青成分のレンジ(OP2 B|b2-OP1 B|r1)との合計を評価値ERGとする場合について説明したが、評価値ERGはこれに限らない。例えば、評価値ERGとして、赤成分のレンジと青成分のレンジとの平均値、最小値、積(積を正規化したものも含む)など、各種の代表値を用いることができる。例えば赤成分のレンジと青成分のレンジとの最小値を評価値ERGとし、この評価値ERGが最大となるr1,b2の組み合わせを導出することで、赤マーカー及び青マーカーの一方は分離抽出しやすいが他方は分離抽出しにくくなるr1,b2の組み合わせが導出されることを回避することができる。
 また、コンピュータ50は、更に下記(6)式の条件も満たすr1,b2の複数の組み合わせの中から、上記(1)式~(4)式を満たし、かつ上記(5)式に示す評価値ERG(r1,b2)が最大となるr1,b2の組み合わせを導出してもよい。これにより、評価対象のr1,b2の組み合わせの数を絞り込み、計算量を低減することができる。
 200≦r1≦255
 200≦b2≦255    …(6)
 また、コンピュータ50は、第1投影装置10a及び第2投影装置10bが投影する各マーカーの色の他の組み合わせについても同様に、第1投影装置10a及び第2投影装置10bが投影する各マーカーの画素値の組み合わせを導出する。そして、コンピュータ50は、導出したマーカーの色及び画素値の組み合わせの中で評価値が最大となる組み合わせを、第1投影装置10a及び第2投影装置10bが投影する各マーカーの色及び画素値の組み合わせとして決定する。
 換言すると、コンピュータ50は、上記の(r1,g1,b1,r2,g2,b2)の複数の組み合わせの中から、所定条件を満たし、かつ評価値が最大になる組み合わせを導出する。例えば、(r1,g1,b1,r2,g2,b2)=(250,0,0,0,245,0)の組み合わせにおいて、所定条件を満たし、かつ評価値が最大になったとする。この場合に、コンピュータ50は、第1投影装置10aが投影するマーカーとして、画素値(R,G,B)=(250,0,0)の赤マーカーを生成する。また、コンピュータ50は、第2投影装置10bが投影するマーカーとして、画素値(R,G,B)=(0,245,0)の緑マーカーを生成する。
 このように、コンピュータ50は、テスト画像80,90の撮像データに含まれる特定色の画素値の合計に基づいて、例えば上記(3)式及び(4)式を満たすように、第1投影装置10a及び第2投影装置10bが投影するマーカーの画素値及び色の少なくとも1以上を設定する。
 また、コンピュータ50は、テスト画像80,90の撮像データに含まれる特定色の画素値の差の大きさに基づいて、例えば上記(5)式等による評価値が最大となるように、第1投影装置10a及び第2投影装置10bが投影するマーカーの画素値及び色の少なくとも1以上を設定する。
<第1投影装置10a及び第2投影装置10bによるマーカー画像の投影>
 図10は、第1投影装置10a及び第2投影装置10bによるマーカー画像の投影の一例を示す図である。コンピュータ50は、第1投影装置10aからのマーカー画像110aと、第2投影装置10bからのマーカー画像110bと、を投影対象物6に同時に投影させる制御を行う。なお、マーカー画像110a,110bを同時に投影させるとは、マーカー画像110aが投影されている期間と、マーカー画像110bが投影されている期間と、の重複期間が存在することを意味する。マーカー画像110a,110bの撮像は、この重複期間において行われる。
 マーカー画像110aは、第1投影装置10aが投影するマーカーとして生成されたマーカー111aを含む画像である。マーカー111aは、図10の例では赤マーカーである。マーカー画像110bは、第2投影装置10bが投影するマーカーとして生成されたマーカー111bを含む画像である。マーカー111bは、図10の例では緑マーカーである。
 マーカー111a及びマーカー111bは、画像認識等により認識が容易な所定形状の画像である。マーカー111a及びマーカー111bは、図10の例ではArUcoマーカーである。ただし、マーカー111a及びマーカー111bは、QR(Quick Response)コード(登録商標)などの他のマーカーであってもよい。また、マーカー111a及びマーカー111bは、図10の例では同一形状のマーカーであるが、互いに異なる形状のマーカーであってもよい。
 コンピュータ50は、投影対象物6に投影されたマーカー画像110a,110bを撮像装置30に撮像させ、撮像により得られた撮像データを撮像装置30から受信する制御を行う。そして、コンピュータ50は、得られた撮像データから、画像認識等によってマーカー111a及びマーカー111bを検出する。
 例えば、コンピュータ50は、撮像データから、第1投影装置10aに投影させたマーカー111aの色(この例では赤)の成分を抽出する。そして、コンピュータ50は、抽出した成分の各画素の画素値を閾値と比較し、画素値が閾値以上である部分のうち、マーカー111aの元の形状と一致する部分をマーカー111aとして検出する検出処理を行う。また、コンピュータ50は、マーカー111aが検出できなかった場合は、この閾値を変更して、上記の検出処理を再度行う。
 また、コンピュータ50は、撮像データから、第2投影装置10bに投影させたマーカー111bの色(この例では緑)の成分を抽出する。そして、コンピュータ50は、抽出した成分に基づいて、マーカー111bを検出する検出処理を行う。マーカー111bを検出する検出処理は、上記のマーカー111aを検出する検出処理と同様である。
 図10の例ではマーカー111aとマーカー111bは重複していないため、この検出は高精度に行うことができる。また、仮にマーカー111aとマーカー111bが重複していても、上記のように、重複部分における撮像データの画素値の飽和が抑制され、かつ各マーカーの分離抽出が容易なようにマーカー111a及びマーカー111bが生成されているため、マーカー111a及びマーカー111bを高精度に検出することができる。
 コンピュータ50は、撮像データにおいてマーカー111a及びマーカー111bを検出した各位置に基づいて、第1投影装置10aの投影範囲11aと第2投影装置10bの投影範囲11bとの現状の相対位置を特定する。
<スタック投影のための投影位置の調整>
 図11は、スタック投影のための投影位置の調整の一例を示す図である。図11の例では、第1投影装置10aの投影範囲11aの全体と第1投影装置10aの第2投影装置10bの全体とを重畳させ、第1投影装置10a及び第2投影装置10bから同一の画像を投影することにより、ダイナミックレンジや階調表現の向上を図るスタック投影を行う場合について説明する。
 コンピュータ50は、特定した第1投影装置10aの投影範囲11aと第2投影装置10bの投影範囲11bとの現状の相対位置に基づいて、投影範囲11aの全体と第2投影装置10bの全体とが重畳されるように、第1投影装置10aと第2投影装置10bの相対的な投影位置を調整する。この調整は、例えば第1投影装置10a及び第2投影装置10bの少なくともいずれかのシフト機構(光学系シフト機構や電子シフト機構)を制御することによって行うことができる。
 例えば、コンピュータ50は、図11に示すように、第1投影装置10aの投影範囲11aを基準として、第2投影装置10bのシフト機構を制御することによって投影範囲11bを調整することにより、投影範囲11aの全体と投影範囲11bの全体とを重畳させてスタック投影を可能にする。
 例えば、電子シフト機構を用いる場合、コンピュータ50は、投影範囲11aに対して投影範囲11bが一致するように投影範囲11bを補正するための変換パラメータを算出する。変換パラメータには、例えば射影変換(ホモグラフィー)行列が含まれる。そして、コンピュータ50は、算出した変換パラメータによって第2投影装置10bの入力画像を補正して第2投影装置10bからの投影を行うことで、投影範囲11aに対して投影範囲11bを一致させることができる。
 第1投影装置10a及び第2投影装置10bによる投影について、第1投影装置10aの投影範囲11aの全体と第2投影装置10bの投影範囲11bの全体とを重畳させて第1投影装置10a及び第2投影装置10bから同一の画像を投影するスタック投影において投影調整制御を行う場合について説明したが、第1投影装置10a及び第2投影装置10bによる投影について投影調整制御を行う形態はこれに限らない。
 例えば、第1投影装置10aの投影範囲11aの端部と第2投影装置10bの投影範囲11bの端部とを重畳させ、大きな画像を分割した分割画像をそれぞれ第1投影装置10a及び第2投影装置10bから投影することにより、投影の大画面化を図るブレンディング投影を行うようにしてもよい。
<ブレンディング投影のための投影位置の調整前の状態>
 図12は、ブレンディング投影のための投影位置の調整前の状態の一例を示す図である。図12において、図12の例では、ブレンディング投影を行うために、投影範囲11aの端部と投影範囲11bの端部のみが重畳するように第1投影装置10a及び第2投影装置10bの位置や向きが調整される。
 この場合もスタック投影の場合と同様に、コンピュータ50は、図7に示したマーカー生成処理70により生成したマーカー111a,111bを含むマーカー画像110a,110bを第1投影装置10a及び第2投影装置10bから投影させ、投影されたマーカー画像110a,110bを撮像装置30に撮像させ、撮像により得られた撮像データを撮像装置30から受信する制御を行う。
 次に、コンピュータ50は、得られた撮像データから、画像認識等によってマーカー111a及びマーカー111bを検出する。そして、コンピュータ50は、撮像データにおいてマーカー111a及びマーカー111bを検出した各位置に基づいて、第1投影装置10aの投影範囲11aと第2投影装置10bの投影範囲11bとの現状の相対位置を特定する。
<ブレンディング投影のための投影位置の調整>
 図13は、ブレンディング投影のための投影位置の調整の一例を示す図である。コンピュータ50は、特定した第1投影装置10aの投影範囲11aと第2投影装置10bの投影範囲11bとの現状の相対位置に基づいて、投影範囲11aの特定領域(例えば右端の一定幅の領域)と第2投影装置10bの特定領域(例えば左端の一定幅の領域)とが重畳されるように、第1投影装置10aと第2投影装置10bの相対的な投影位置を調整する。投影範囲11aの特定領域と投影範囲11bの特定領域は同じ大きさである。第1投影装置10aと第2投影装置10bの相対的な投影位置の調整方法は、スタック投影の場合と同様である。
 また、コンピュータ50は、投影範囲11a,11bの重畳部分について、第1投影装置10a及び第2投影装置10bからの投影画像の輝度をそれぞれ半分にする等のブレンディング処理を行う。これにより、投影範囲11a,11bの重畳部分のみが明るく表示される等の違和感を低減することができる。
 図10~図13の例では、マーカー画像110aが1つのマーカー111aを含む場合について説明したが、マーカー画像110aは配列された複数のマーカー111aを含んでもよい。また、マーカー画像110bが1つのマーカー111bを含む場合について説明したが、マーカー画像110bは配列された複数のマーカー111aを含んでもよい。
 以上説明したように、コンピュータ50は、第1投影装置10a及び第2投影装置10b(複数の投影装置)からテスト画像80,90(第1画像)を異なるタイミングで投影させ、投影されたテスト画像80,90の撮像データに基づいて、第1投影装置10a及び第2投影装置10bからマーカー111a,111b(色が異なるマーカー)を含むマーカー画像110a,110b(第2画像)を同時に投影させる。
 具体的には、コンピュータ50は、テスト画像80,90(第1画像)の撮像データに基づいて、マーカー画像110a,110b(第2画像)のマーカー111a,111bの色や画素値を設定する。なお、マーカー111a,111bの色は予め定めれていてもよい。例えばマーカー111a,111bの色が予め赤及び緑に定められている場合、コンピュータ50は、テスト画像80,90(第1画像)の撮像データに基づいて、画素値(R,G,B)=(r1,0,0)のマーカー111aの画素値r1と、画素値(R,G,B)=(0,g1,0)のマーカー111bの画素値b1と、を設定する。
 これにより、互いに重複しても検出が容易なマーカー111a,111bを生成して同時に投影して撮像することができる。したがって、同時に投影されたマーカー111a,111bを撮像して得られた撮像データから、マーカー111a,111bを精度よく検出し、その結果に基づいて、第1投影装置10a及び第2投影装置10bの相対的な投影位置を精度よく特定することができる。このため、第1投影装置10a及び第2投影装置10bの相対的な投影位置を精度よく調整することができる。
 また、同時に投影されたマーカー111a,111bをまとめて撮像できるため、マーカー111a,111bを異なるタイミングで投影して撮像する場合と異なり、撮像装置30のブレによる影響を受けずに、第1投影装置10a及び第2投影装置10bの相対的な投影位置を精度よく特定することができる。したがって、例えば撮像装置30による撮像が、三脚や台座を用いない手持ち撮像であっても、第1投影装置10a及び第2投影装置10bの相対的な投影位置を精度よく特定して調整することができる。
 なお、コンピュータ50は、テスト画像80,90(第1画像)の撮像データに基づいて、マーカー111a,111bの形状やサイズ(マーカー111a,111bの画像)を設定してもよい。
<コンピュータ50によるマーカー再探索範囲の最適化処理>
 図14は、コンピュータ50によるマーカー再探索範囲の最適化処理の一例を示すフローチャートである。コンピュータ50は、図14に示す処理を実行してもよい。まず、コンピュータ50は、図7に示したマーカー生成処理70を実行する。ここでは、マーカー画像110aは配列された複数のマーカー111aを含み、マーカー画像110bは配列された複数のマーカー111aを含むとする(例えば図15参照)。
 次に、コンピュータ50は、第1投影装置10a及び第2投影装置10bから、マーカー生成処理70によって生成したマーカー111a,111bを含むマーカー画像110a,110bを同時に投影対象物6に投影させる制御を行う(ステップS1401)。ステップS1401は図7のステップS76と同様である。次に、コンピュータ50は、ステップS1401によって投影されたマーカー画像110a,110bを撮像装置30により撮像させる制御を行う(ステップS1402)。ステップS1402は図7のステップS77と同様である。
 次に、コンピュータ50は、ステップS1402により得られた撮像データから第1色成分を抽出する(ステップS1403)。第1色成分とは、マーカー生成処理70によって生成された、第1投影装置10aが投影するマーカー111aの色の成分である。次に、コンピュータ50は、ステップS1403によって抽出した第1色成分から第1投影装置10aのマーカーを検出する処理を実行する(ステップS1404)。
 次に、コンピュータ50は、ステップS1401によって第1投影装置10aが投影したマーカー画像110aに含まれる全てのマーカー111aをステップS1404によって検出できたか否かを判断する(ステップS1405)。
 ステップS1405において、全てのマーカー111aを検出できていない場合(ステップS1405:No)は、コンピュータ50は、マーカー画像110aのマーカー探索範囲を変更し(ステップS1406)、ステップS1404へ戻る。マーカー画像110aのマーカー探索範囲の変更については後述する(例えば図15参照)。
 ステップS1405において、全てのマーカー111aを検出できた場合(ステップS1405:Yes)は、コンピュータ50は、ステップS1402により得られた撮像データから第2色成分を抽出する(ステップS1407)。第2色成分とは、マーカー生成処理70によって生成された、第2投影装置10bが投影するマーカー111bの色の成分である。次に、コンピュータ50は、ステップS1407によって抽出した第2色成分から第2投影装置10bのマーカーを検出する処理を実行する(ステップS1408)。
 次に、コンピュータ50は、ステップS1401によって第2投影装置10bが投影したマーカー画像110bに含まれる全てのマーカー111bをステップS1408によって検出できたか否かを判断する(ステップS1409)。
 ステップS1409において、全てのマーカー111bを検出できていない場合(ステップS1409:No)は、コンピュータ50は、マーカー画像110bのマーカー探索範囲を変更し(ステップS1410)、ステップS1408へ戻る。マーカー画像110bのマーカー探索範囲の変更については後述する(例えば図15参照)。
 ステップS1409において、全てのマーカー111bを検出できた場合(ステップS1409:Yes)は、コンピュータ50は、ステップS1404,S1408によって検出したマーカー111a,111bの位置に基づいて、第1投影装置10a及び第2投影装置10bの相対的な投影位置を調整する制御を行い(ステップS1411)、一連の処理を終了する。ステップS1411は図7のステップS78と同様である。
<マーカー再探索範囲の最適化>
 図15は、マーカー再探索範囲の最適化の一例を説明するための図である。図15において、図14に示した処理によるマーカー再探索範囲の最適化の具体例について説明する。例えば、図14に示したステップS1401において、図15に示すように、3×3のマトリクス状に配列された9個のマーカー111aを含むマーカー画像110aが第1投影装置10aから投影され、3×3のマトリクス状に配列された9個のマーカー111bを含むマーカー画像110bが第2投影装置10bから投影されたとする。
 そして、図14に示したステップS1404において、9個のマーカー111aのうち、中央のマーカー111aのみが検出されなかったとする。この場合、コンピュータ50は、ステップS1406において、ステップS1403によって抽出した第1色成分におけるマーカー探索範囲を変更する。
 例えば、第1色成分における初期のマーカー探索範囲は、第1色成分の全域となっている。これに対して、コンピュータ50は、検出された8個のマーカー111aの位置に基づいて、検出されなかった中央のマーカー111aの位置を推定する。
 例えば、9個のマーカー111aはそれぞれ形状が異なるマーカーとなっている。コンピュータ50は、検出されたマーカー111aの形状に基づいて、9個のマーカー111aのうち、検出されたマーカー111aと検出されなかったマーカー111aとを識別することができる。また、コンピュータ50は、9個のマーカー111aの位置関係と、検出されたマーカー111aの位置と、に基づいて、検出されなかったマーカー111aの位置を推定する。
 そして、コンピュータ50は、推定した中央のマーカー111aの位置を含み、かつ変更前のマーカー探索範囲より狭い範囲を、変更後のマーカー探索範囲とする。これにより、マーカー探索範囲を、検出されなかった中央のマーカー111aがあると推定される範囲に限定することができる。
 その後、コンピュータ50は、ステップS1404に戻り、第1色成分のうち限定したマーカー探索範囲からマーカー111aを検出する処理を行う。このとき、コンピュータ50は、例えば、マーカー部分とその他の部分を区別するための閾値を変更しながら、マーカー111aを検出する処理を繰り返し行うことで、検出されなかった中央のマーカー111aも検出することができる。
 また、図14に示したステップS1408において、9個のマーカー111bのうち、右下のマーカー111bのみが検出されなかったとする。この場合、コンピュータ50は、ステップS1410において、ステップS1407によって抽出した第2色成分におけるマーカー探索範囲を変更する。
 例えば、第2色成分における初期のマーカー探索範囲は、第2色成分の全域となっている。これに対して、コンピュータ50は、検出された8個のマーカー111bの位置に基づいて、検出されなかった右下のマーカー111bの位置を推定する。検出されなかったマーカー111bの位置の推定方法は、検出されなかったマーカー111aの位置の上記の推定方法と同様である。
 そして、コンピュータ50は、推定した右下のマーカー111bの位置を含み、かつ変更前のマーカー探索範囲より狭い範囲を、変更後のマーカー探索範囲とする。これにより、マーカー探索範囲を、検出されなかった右下のマーカー111bがあると推定される範囲に限定することができる。
 その後、コンピュータ50は、ステップS1408に戻り、第2色成分のうち限定したマーカー探索範囲からマーカー111bを検出する処理を行う。このとき、コンピュータ50は、例えば、マーカー部分とその他の部分を区別するための閾値を変更しながら、マーカー111bを検出する処理を繰り返し行うことで、検出されなかった右下のマーカー111bも検出することができる。
 このように、コンピュータ50は、マーカー画像110aの撮像データから、複数のマーカー111aのうち一部のマーカー111aのみを検出した場合、その一部のマーカー111aの位置に基づいて残余のマーカー111aの位置を推定した結果に基づいて、マーカー画像110aの撮像データから残余のマーカー111aを検出してもよい。
 また、コンピュータ50は、マーカー画像110bの撮像データから、複数のマーカー111bのうち一部のマーカー111bのみを検出した場合、その一部のマーカー111bの位置に基づいて残余のマーカー111bの位置を推定した結果に基づいて、マーカー画像110aの撮像データから残余のマーカー111bを検出してもよい。
 これにより、一度目の検出処理によって検出できなかったマーカー111a,111bについて、マーカー探索範囲を限定して再度検出処理を行って検出することが可能になる。このため、第1投影装置10a及び第2投影装置10bの相対的な投影位置を精度よく特定して調整することができる。
<コンピュータ50によるマーカー配置の最適化処理>
 図16は、コンピュータ50によるマーカー配置の最適化処理の一例を示すフローチャートである。コンピュータ50は、図16に示す処理を実行してもよい。まず、コンピュータ50は、図7に示したマーカー生成処理70を実行する。ここでは、マーカー画像110aは配列された複数のマーカー111aを含み、マーカー画像110bは配列された複数のマーカー111aを含むとする(例えば図16参照)。
 図16に示すステップS161~S166は、図14に示したステップS1401~S1404,S1407,S1408と同様である。ステップS166の次に、コンピュータ50は、ステップS164,S166によって全てのマーカー111a,111bを検出できたか否かを判断する(ステップS167)。
 ステップS167において、全てのマーカー111a,111bを検出できていない場合(ステップS167:No)は、コンピュータ50は、マーカー配置の変更を行い(ステップS168)、ステップS161へ戻る。マーカー配置の変更については後述する(例えば図17,図18参照)。
 ステップS167において、全てのマーカー111a,111bを検出できた場合(ステップS167:Yes)は、コンピュータ50は、ステップS164,S166によって検出したマーカー111a,111bの位置に基づいて、第1投影装置10a及び第2投影装置10bの相対的な投影位置を調整する制御を行い(ステップS169)、一連の処理を終了する。ステップS169は図7のステップS78と同様である。
<マーカー配置の最適化>
 図17及び図18は、マーカー配置の最適化の一例を説明するための図である。図17,図18において、図16に示した処理によるマーカー配置の最適化の具体例について説明する。例えば、図16に示したステップS161において、図17に示すように、9個のマーカー111aを含むマーカー画像110aが第1投影装置10aから投影され、9個のマーカー111bを含むマーカー画像110bが第2投影装置10bから投影されたとする。
 図17の例では、9個のマーカー111aと9個のマーカー111bとの重複部分が大きくなっており、ステップS164,S166において、マーカー111a,111bの少なくともいずれか(例えば全て)が検出されなかったとする。この場合に、コンピュータ50は、ステップS168において、マーカー画像110a,110bの少なくともいずれかのマーカー配置を変更するマーカー配置の変更を行う。
 例えば、マーカー画像110aのマーカー配置は、マーカー画像110aにおけるマーカー111aの位置である。同様に、マーカー画像110bのマーカー配置は、マーカー画像110bにおけるマーカー111bの位置である。例えば、マーカー111aのマーカー配置やマーカー画像110bのマーカー配置は、予め複数通り定められている。
 例えば、図18に示すように、コンピュータ50は、マーカー画像110aのマーカー配置は変更せず、マーカー画像110bのマーカー配置を変更する。その結果、マーカー画像110bのマーカー111bが、図17の状態から左下にシフトし、マーカー111aとマーカー111bとの重複部分がなくなり、マーカー111a,111bの全てを検出することができる。
 図18の例ではマーカー111aとマーカー111bとの重複部分がなくっているが、マーカー配置の変更を行ってもマーカー111aとマーカー111bとの重複部分がなくならないこともあり得る。ただし、マーカー111a及びマーカー111bは、重複部分における撮像データの画素値の飽和が抑制され、かつ各マーカーの分離抽出が容易なように生成されているため、マーカー配置の変更によって重複部分が小さくなれば、マーカー111a,111bの全てを検出することができる可能性が高い。
 また、コンピュータ50は、マーカー配置の変更を行ってもマーカー111a,111bの全てを検出できない場合は、全てのマーカー111a,111bを検出するまでマーカー配置の変更を繰り返す。
 このように、コンピュータ50は、マーカー画像110a,110bの撮像データからのマーカー111a,111bの検出結果に基づいて、マーカー111a,111bの配置を変更したマーカー画像110a,110bを第1投影装置10a及び第2投影装置10bの少なくともいずれかから投影させてもよい。
 これにより、一度目の検出処理によって検出できなかったマーカー111a,111bについて、マーカー配置を限定して再度検出処理を行って検出することが可能になる。このため、第1投影装置10a及び第2投影装置10bの相対的な投影位置を精度よく特定して調整することができる。
 また、コンピュータ50は、マーカー配置の変更に加えて、又はマーカー配置の変更に代えて、マーカー111a,111bの画像(例えば形状、大きさ、及び向きの少なくともいずれか)を変更する処理を行ってもよい。
 また、図14,図15において説明したマーカー再探索範囲の最適化と、図16~図18において説明したマーカー配置の最適化と、を併用してもよい。例えば、コンピュータ50は、マーカー再探索範囲の最適化を所定回数行っても全てのマーカーを検出できない場合にマーカー配置の最適化を実行するようにしてもよい。具体的には、図14に示した処理において、ステップS1404~S1406のループ処理とステップS1408~S1410のループ処理にループ回数の上限を設け、コンピュータ50は、ループ回数が上限に達した場合は図16のステップS168を実行してステップS1401へ移行するようにしてもよい。
<変形例1>
 図4,図5においては、投影装置10の構成として、光軸Kを屈曲させない構成について説明したが、光学ユニット106に反射部材を設けて光軸Kを1回以上屈曲させる構成としてもよい。
 図19は、投影装置10の他の外観構成を示す模式図である。図20は、図19に示した投影装置10の光学ユニット106の断面模式図である。図19,図20において、図4,図5に示した部分と同様の部分については同一の符号を付して説明を省略する。
 図19に示すように、光学ユニット106は、本体部101に支持される第1部材102に加えて、第1部材102に支持された第2部材103を備える。なお、第1部材102と第2部材103は一体化された部材であってもよい。
 図20に示すように、光学ユニット106は、第1部材102に加えて、第1部材102の中空部2Aと繋がる中空部3Aを有する第2部材103と、中空部2Aに配置された第1光学系121及び反射部材122と、中空部3Aに配置された第2光学系31、反射部材32、第3光学系33、及びレンズ34と、第1シフト機構105と、投影方向変更機構104と、を備える。
 図19,図20の例において、第1部材102の開口2aと開口2bは互いに垂直な面に形成されている。また、図19,図20に示す投影光学系23は、図4,図5に示した第1光学系121及びレンズ34に加えて、反射部材122、第2光学系31、反射部材32、及び第3光学系33により構成される。このような投影光学系23により、図20に示すように、光軸Kは、2回屈曲することで折り返される形になる。第1光学系121、反射部材122、第2光学系31、反射部材32、第3光学系33、及びレンズ34は、光変調部22側からこの順に光軸Kに沿って配置されている。
 第1光学系121は、本体部101から第1部材102に入射された方向X1に進む光を反射部材122に導く。反射部材122は、第1光学系121から入射された光を方向Y1に反射させる。反射部材122は、例えばミラー等によって構成される。第1部材102には、反射部材122にて反射した光の光路上に開口2bが形成されており、この反射した光は開口2bを通過して第2部材103の中空部3Aへと進む。
 第2部材103は、断面外形が略L字状の部材であり、第1部材102の開口2bと対面する位置に開口3aが形成されている。第1部材102の開口2bを通過した本体部101からの光は、この開口3aを通って第2部材103の中空部3Aに入射される。なお、第1部材102や第2部材103の断面外形は任意であり、上記のものには限定されない。
 第2光学系31は、少なくとも1つのレンズを含み、第1部材102から入射された光を、反射部材32に導く。反射部材32は、第2光学系31から入射される光を方向X2に反射させて第3光学系33に導く。反射部材32は、例えばミラー等によって構成される。第3光学系33は、少なくとも1つのレンズを含み、反射部材32にて反射された光をレンズ34に導く。
 レンズ34は、第2部材103の方向X2側の端部に形成された開口3cを塞ぐ形でこの端部に配置されている。レンズ34は、第3光学系33から入射された光を投影対象物6に投影する。
 図20は、第1シフト機構105によって第1部材102が方向Y1側に最大限移動された状態を示している。この図20に示す状態から、第1シフト機構105によって第1部材102が方向Y2に移動することで、光変調部22によって形成される画像の中心と光軸Kとの相対位置が変化して、投影対象物6に投影されている画像G1を方向Y1にシフトさせることができる。
 投影方向変更機構104は、第1部材102に対して第2部材103を回転自在に連結する回転機構である。この投影方向変更機構104によって、第2部材103は、方向Yに延びる回転軸(具体的には光軸K)の回りに回転自在に構成されている。なお、投影方向変更機構104は、光学系を回転させることができればよく、図20に示した配置位置に限定されない。また、回転機構の数も1つに限らず、複数設けられていてもよい。
<変形例2>
 本発明の制御装置の一例としてコンピュータ50を挙げて説明したが、本発明の制御装置はこれに限らない。例えば、本発明の制御装置は、第1投影装置10a又は第2投影装置10bであってもよい。この場合、上記のコンピュータ50による各制御が第1投影装置10a又は第2投影装置10bによって行われる。第1投影装置10a又は第2投影装置10bは、コンピュータ50を介して撮像装置30と通信を行ってもよいし、コンピュータ50を介さずに撮像装置30と通信を行ってもよい。第1投影装置10a又は第2投影装置10bがコンピュータ50を介さずに撮像装置30と通信を行う場合は、投影システム100からコンピュータ50を省いた構成としてもよい。
 又は、本発明の制御装置は、撮像装置30であってもよい。この場合、上記のコンピュータ50による各制御が撮像装置30によって行われる。撮像装置30は、コンピュータ50を介して第1投影装置10a及び第2投影装置10bと通信を行ってもよいし、コンピュータ50を介さずに第1投影装置10a及び第2投影装置10bと通信を行ってもよい撮像装置30がコンピュータ50を介さずに第1投影装置10a及び第2投影装置10bと通信を行う場合は、投影システム100からコンピュータ50を省いた構成としてもよい。
<変形例3>
 テスト画像80の撮像、テスト画像90の撮像、及びマーカー画像110a,110bの撮像を1台の撮像装置30によって行う場合について説明したが、これらの撮像を異なる撮像装置によって行ってもよい。ただし、この場合、各撮像装置の撮像特性は同一又は類似のものとすることが望ましい。
<変形例4>
 複数の投影装置の例として、第1投影装置10a及び第2投影装置10bを例に挙げて説明したが、複数の投影装置は3つ以上の投影装置(N個の投影装置とする。)であってもよい。この場合、N個の投影装置における、投影範囲が重複又は隣接する2つの投影装置の各組合せについて、上記の第1投影装置10a及び第2投影装置10bと同様に相対的な投影位置の調整を行うことで、N個の投影装置の相対的な投影位置の調整を行うことができる。
 又は、N個の投影装置のそれぞれについて、上記の第1投影装置10a及び第2投影装置10bのテスト画像80,90の投影及び撮像と同様にテスト画像の投影及び撮像を行い、次に、N個の投影装置について、第1投影装置10a及び第2投影装置10bによるマーカー画像110a,110bの同時投影及び撮像と同様にマーカー画像の同時投影及び撮像を行うようにしてもよい。この場合、上記の所定条件や評価値は、N個の投影装置がマーカー画像を同時に投影することを考慮したものとする。
<変形例5>
 第1投影装置10a及び第2投影装置10bが投影するマーカー111a,111bの画素値及び色の組み合わせを設定する際に、例えば上記(3)式及び(4)式を満たすr1,g1,b1,r2,g2,b2)の組み合わせを導出することで、マーカー111a,111bの重複部分における撮像データの画素値の飽和を抑制する方法について説明したが、画素値の飽和を抑制する方法はこのような方法に限らない。
 例えば、コンピュータ50は、撮像装置30によるテスト画像80,90の撮像を、複数通りの露出条件で実行させる制御を行ってもよい。この場合、コンピュータ50は、上記(3)式及び(4)式を満たさない(r1,g1,b1,r2,g2,b2)の組み合わせが存在しない露出条件のうち、最も明るい露出条件を、撮像装置30の露出条件として設定する。
 又は、コンピュータ50は、まず画素値の飽和が発生しやすい、比較的画素値が高いテスト画像80,90に限定して第1投影装置10a及び第2投影装置10bから投影させ、上記のように撮像装置30の露出条件を設定した後、(r1,g1,b1,r2,g2,b2)の各組合せについてのテスト画像80,90に限定して第1投影装置10a及び第2投影装置10bから投影させてもよい。
 すなわち、コンピュータ50は、テスト画像80,90の撮像データに含まれる特定色の画素値の合計に基づいて、例えば上記(3)式及び(4)式を満たすように、撮像装置30の露出条件を設定してもよい。
 コンピュータ50は、設定した露出条件において取得された各撮像データに基づいて、所定条件(例えば上記(1)式及び(2)式)を満たし、かつ評価値(例えば上記(5)式)が最大となる(r1,g1,b1,r2,g2,b2)の組み合わせを導出する。
 本明細書には少なくとも以下の事項が記載されている。
(1)
 プロセッサを備える制御装置であって、
 上記プロセッサは、
 複数の投影装置から第1画像を異なるタイミングで投影させ、
 投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
 投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、
 制御を行う制御装置。
(2)
 (1)に記載の制御装置であって、
 上記プロセッサは、上記第1画像の撮像データに基づいて、上記第2画像の上記マーカーの画素値を設定する、
 制御を行う制御装置。
(3)
 (1)又は(2)に記載の制御装置であって、
 上記プロセッサは、上記第1画像の撮像データに基づいて、上記第2画像の上記マーカーの色を設定する、
 制御を行う制御装置。
(4)
 (1)又は(2)に記載の制御装置であって、
 上記プロセッサは、上記第1画像の撮像データに基づいて、上記第2画像の上記マーカーの画像を設定する、
 制御を行う制御装置。
(5)
 (2)から(4)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、上記第1画像の撮像データに含まれる特定色の画素値の合計に基づいて、上記第1画像及び上記第2画像を撮像する撮像装置の露出条件を設定する、
 制御を行う制御装置。
(6)
 (5)に記載の制御装置であって、
 上記複数の投影装置は第1投影装置及び第2投影装置を含み、
 上記プロセッサは、
 上記第1投影装置が投影した上記第1画像の撮像データに含まれる第1色の画素値と、上記第2投影装置が投影した上記第1画像の撮像データに含まれる上記第1色の画素値と、に基づいて上記露出条件を設定する、
 制御を行う制御装置。
(7)
 (6)に記載の制御装置であって、
 上記プロセッサは、
 上記第1投影装置が投影した上記第1画像の撮像データに含まれる第2色の画素値と、上記第2投影装置が投影した上記第1画像の撮像データに含まれる上記第2色の画素値と、に基づいて上記露出条件を設定する、
 制御を行う制御装置。
(8)
 (2)から(4)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、上記第1画像の撮像データに含まれる特定色の画素値の合計に基づいて、上記第2画像の上記マーカーの画素値及び色及び画像の少なくとも1以上を設定する、
 制御を行う制御装置。
(9)
 (8)に記載の制御装置であって、
 上記複数の投影装置は第1投影装置及び第2投影装置を含み、
 上記プロセッサは、
 上記第1投影装置が投影した上記第1画像の撮像データに含まれる第1色の画素値と、上記第2投影装置が投影した上記第1画像の撮像データに含まれる上記第1色の画素値と、に基づいて上記第2画像の上記マーカーの画素値及び色及び画像の少なくともいずれかを設定する、
 制御を行う制御装置。
(10)
 (9)に記載の制御装置であって、
 上記プロセッサは、
 上記第1投影装置が投影した上記第1画像の撮像データに含まれる第2色の画素値と、上記第2投影装置が投影した上記第1画像の撮像データに含まれる上記第2色の画素値と、
 に基づいて上記第2画像の上記マーカーの画素値及び色及び画像の少なくともいずれかを設定する、
 制御を行う制御装置。
(11)
 (2)から(10)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、上記複数の投影装置から投影された上記第1画像の撮像データに含まれる特定色の画素値の差の大きさに基づいて、上記第2画像の上記マーカーの画素値及び色及び画像の少なくとも1以上を設定する、
 制御を行う制御装置。
(12)
 (11)に記載の制御装置であって、
 上記複数の投影装置は第1投影装置及び第2投影装置を含み、
 上記プロセッサは、
 上記第1投影装置が投影した上記第1画像の撮像データに含まれる第1色の画素値と、上記第2投影装置が投影した上記第1画像の撮像データに含まれる上記第1色の画素値と、の差の大きさと、
 に基づいて上記第2画像の上記マーカーの画素値及び色及び画像の少なく1以上を設定する、
 制御を行う制御装置。
(13)
 (12)に記載の制御装置であって、
 上記第1投影装置が投影した上記第1画像の撮像データに含まれる第2色の画素値と、上記第2投影装置が投影した上記第1画像の撮像データに含まれる上記第2色の画素値と、の差の大きさと、
 に基づいて上記第2画像の上記マーカーの画素値及び色及び画像の少なくとも1以上を設定する、
 制御を行う制御装置。
(14)
 (1)から(13)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、上記複数の投影装置から、画素値及び色及び画像の少なくとも1以上が異なる複数の上記第1画像を異なるタイミングで投影させる、
 制御を行う制御装置。
(15)
 (1)から(14)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、
 上記複数の投影装置から、画素値及び色及び画像の少なくとも1以上が異なる複数の領域を含む上記第1画像を投影させる、
 制御を行う制御装置。
(16)
 (1)から(15)のいずれか1項に記載の制御装置であって、
 上記プロセッサは、上記第2画像の撮像データから上記マーカーを検出した結果に基づいて、上記複数の投影装置の相対的な投影位置を調整する、
 制御を行う制御装置。
(17)
 (16)に記載の制御装置であって、
 上記第2画像は、複数のマーカーを含み、
 上記プロセッサは、上記第2画像の撮像データから上記複数のマーカーのうち一部のマーカーを検出した場合、上記一部のマーカーの位置に基づいて残余のマーカーの位置を推定した結果に基づいて、上記第2画像の撮像データから上記残余のマーカーを検出する、
 制御を行う制御装置。
(18)
 (16)又は(17)に記載の制御装置であって、
 上記プロセッサは、上記第2画像の撮像データからの上記マーカーの検出結果に基づいて、上記マーカーの配置又は画像を変更した上記第2画像を上記複数の投影装置の少なくともいずれかから投影させる、
 制御を行う制御装置。
(19)
 制御装置が備えるプロセッサが、
 複数の投影装置から第1画像を異なるタイミングで投影させ、
 投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
 投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、
 制御を行う制御方法。
(20)
 制御装置が備えるプロセッサに、
 複数の投影装置から第1画像を異なるタイミングで投影させ、
 投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
 投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、
 制御を実行させるための制御プログラム。
(21)
 複数の投影装置と、
 プロセッサを備える制御装置と、
 を含む投影システムであって、
 上記プロセッサが、
 上記複数の投影装置から第1画像を異なるタイミングで投影させ、
 投影された上記第1画像の撮像データに基づいて、上記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
 投影された上記第2画像の撮像データに基づいて、上記複数の投影装置の相対的な投影位置を調整する、
 制御を行う投影システム。
 以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
 なお、本出願は、2021年9月27日出願の日本特許出願(特願2021-157091)に基づくものであり、その内容は本出願の中に参照として援用される。
 1 投影部
 2 操作受付部
 2A,3A 中空部
 2a,2b,3a,3c,15a 開口
 4 制御部
 4a 記憶媒体
 5 通信部
 6 投影対象物
 8a,8b,9 通信ケーブル
 10 投影装置
 10a 第1投影装置
 10b 第2投影装置
 11a,11b 投影範囲
 12 光変調ユニット
 15 筐体
 21 光源
 22 光変調部
 23 投影光学系
 24 制御回路
 30 撮像装置
 31 第2光学系
 32,122 反射部材
 33 第3光学系
 34 レンズ
 50 コンピュータ
 51 プロセッサ
 52 メモリ
 53 通信インタフェース
 54 ユーザインタフェース
 59 バス
 70 マーカー生成処理
 80,90 テスト画像
 81,91 赤領域
 82,92 緑領域
 83,93 青領域
 100 投影システム
 101 本体部
 102 第1部材
 103 第2部材
 104 投影方向変更機構
 105 第1シフト機構
 106 光学ユニット
 111a,111b マーカー
 110a,110b マーカー画像
 121 第1光学系
 G1 画像

 

Claims (21)

  1.  プロセッサを備える制御装置であって、
     前記プロセッサは、
     複数の投影装置から第1画像を異なるタイミングで投影させ、
     投影された前記第1画像の撮像データに基づいて、前記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
     投影された前記第2画像の撮像データに基づいて、前記複数の投影装置の相対的な投影位置を調整する、
     制御を行う制御装置。
  2.  請求項1に記載の制御装置であって、
     前記プロセッサは、前記第1画像の撮像データに基づいて、前記第2画像の前記マーカーの画素値を設定する、
     制御を行う制御装置。
  3.  請求項1又は2に記載の制御装置であって、
     前記プロセッサは、前記第1画像の撮像データに基づいて、前記第2画像の前記マーカーの色を設定する、
     制御を行う制御装置。
  4.  請求項1又は2に記載の制御装置であって、
     前記プロセッサは、前記第1画像の撮像データに基づいて、前記第2画像の前記マーカーの画像を設定する、
     制御を行う制御装置。
  5.  請求項2から4のいずれか1項に記載の制御装置であって、
     前記プロセッサは、前記第1画像の撮像データに含まれる特定色の画素値の合計に基づいて、前記第1画像及び前記第2画像を撮像する撮像装置の露出条件を設定する、
     制御を行う制御装置。
  6.  請求項5に記載の制御装置であって、
     前記複数の投影装置は第1投影装置及び第2投影装置を含み、
     前記プロセッサは、
     前記第1投影装置が投影した前記第1画像の撮像データに含まれる第1色の画素値と、前記第2投影装置が投影した前記第1画像の撮像データに含まれる前記第1色の画素値と、に基づいて前記露出条件を設定する、
     制御を行う制御装置。
  7.  請求項6に記載の制御装置であって、
     前記プロセッサは、
     前記第1投影装置が投影した前記第1画像の撮像データに含まれる第2色の画素値と、前記第2投影装置が投影した前記第1画像の撮像データに含まれる前記第2色の画素値と、に基づいて前記露出条件を設定する、
     制御を行う制御装置。
  8.  請求項2から4のいずれか1項に記載の制御装置であって、
     前記プロセッサは、前記第1画像の撮像データに含まれる特定色の画素値の合計に基づいて、前記第2画像の前記マーカーの画素値及び色及び画像の少なくとも1以上を設定する、
     制御を行う制御装置。
  9.  請求項8に記載の制御装置であって、
     前記複数の投影装置は第1投影装置及び第2投影装置を含み、
     前記プロセッサは、
     前記第1投影装置が投影した前記第1画像の撮像データに含まれる第1色の画素値と、前記第2投影装置が投影した前記第1画像の撮像データに含まれる前記第1色の画素値と、に基づいて前記第2画像の前記マーカーの画素値及び色及び画像の少なくともいずれかを設定する、
     制御を行う制御装置。
  10.  請求項9に記載の制御装置であって、
     前記プロセッサは、
     前記第1投影装置が投影した前記第1画像の撮像データに含まれる第2色の画素値と、前記第2投影装置が投影した前記第1画像の撮像データに含まれる前記第2色の画素値と、
     に基づいて前記第2画像の前記マーカーの画素値及び色及び画像の少なくともいずれかを設定する、
     制御を行う制御装置。
  11.  請求項2から10のいずれか1項に記載の制御装置であって、
     前記プロセッサは、前記複数の投影装置から投影された前記第1画像の撮像データに含まれる特定色の画素値の差の大きさに基づいて、前記第2画像の前記マーカーの画素値及び色及び画像の少なくとも1以上を設定する、
     制御を行う制御装置。
  12.  請求項11に記載の制御装置であって、
     前記複数の投影装置は第1投影装置及び第2投影装置を含み、
     前記プロセッサは、
     前記第1投影装置が投影した前記第1画像の撮像データに含まれる第1色の画素値と、前記第2投影装置が投影した前記第1画像の撮像データに含まれる前記第1色の画素値と、の差の大きさと、
     に基づいて前記第2画像の前記マーカーの画素値及び色及び画像の少なく1以上を設定する、
     制御を行う制御装置。
  13.  請求項12に記載の制御装置であって、
     前記第1投影装置が投影した前記第1画像の撮像データに含まれる第2色の画素値と、前記第2投影装置が投影した前記第1画像の撮像データに含まれる前記第2色の画素値と、の差の大きさと、
     に基づいて前記第2画像の前記マーカーの画素値及び色及び画像の少なくとも1以上を設定する、
     制御を行う制御装置。
  14.  請求項1から13のいずれか1項に記載の制御装置であって、
     前記プロセッサは、前記複数の投影装置から、画素値及び色及び画像の少なくとも1以上が異なる複数の前記第1画像を異なるタイミングで投影させる、
     制御を行う制御装置。
  15.  請求項1から14のいずれか1項に記載の制御装置であって、
     前記プロセッサは、
     前記複数の投影装置から、画素値及び色及び画像の少なくとも1以上が異なる複数の領域を含む前記第1画像を投影させる、
     制御を行う制御装置。
  16.  請求項1から15のいずれか1項に記載の制御装置であって、
     前記プロセッサは、前記第2画像の撮像データから前記マーカーを検出した結果に基づいて、前記複数の投影装置の相対的な投影位置を調整する、
     制御を行う制御装置。
  17.  請求項16に記載の制御装置であって、
     前記第2画像は、複数のマーカーを含み、
     前記プロセッサは、前記第2画像の撮像データから前記複数のマーカーのうち一部のマーカーを検出した場合、前記一部のマーカーの位置に基づいて残余のマーカーの位置を推定した結果に基づいて、前記第2画像の撮像データから前記残余のマーカーを検出する、
     制御を行う制御装置。
  18.  請求項16又は17に記載の制御装置であって、
     前記プロセッサは、前記第2画像の撮像データからの前記マーカーの検出結果に基づいて、前記マーカーの配置又は画像を変更した前記第2画像を前記複数の投影装置の少なくともいずれかから投影させる、
     制御を行う制御装置。
  19.  制御装置が備えるプロセッサが、
     複数の投影装置から第1画像を異なるタイミングで投影させ、
     投影された前記第1画像の撮像データに基づいて、前記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
     投影された前記第2画像の撮像データに基づいて、前記複数の投影装置の相対的な投影位置を調整する、
     制御を行う制御方法。
  20.  制御装置が備えるプロセッサに、
     複数の投影装置から第1画像を異なるタイミングで投影させ、
     投影された前記第1画像の撮像データに基づいて、前記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
     投影された前記第2画像の撮像データに基づいて、前記複数の投影装置の相対的な投影位置を調整する、
     制御を実行させるための制御プログラム。
  21.  複数の投影装置と、
     プロセッサを備える制御装置と、
     を含む投影システムであって、
     前記プロセッサが、
     前記複数の投影装置から第1画像を異なるタイミングで投影させ、
     投影された前記第1画像の撮像データに基づいて、前記複数の投影装置のうち少なくとも2以上の投影装置から、色が異なるマーカーを含む第2画像を投影させ、
     投影された前記第2画像の撮像データに基づいて、前記複数の投影装置の相対的な投影位置を調整する、
     制御を行う投影システム。

     
PCT/JP2022/030619 2021-09-27 2022-08-10 制御装置、制御方法、制御プログラム、及び投影システム WO2023047833A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280064926.XA CN118044181A (zh) 2021-09-27 2022-08-10 控制装置、控制方法、控制程序及投影系统
JP2023549407A JPWO2023047833A1 (ja) 2021-09-27 2022-08-10

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021157091 2021-09-27
JP2021-157091 2021-09-27

Publications (1)

Publication Number Publication Date
WO2023047833A1 true WO2023047833A1 (ja) 2023-03-30

Family

ID=85719424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030619 WO2023047833A1 (ja) 2021-09-27 2022-08-10 制御装置、制御方法、制御プログラム、及び投影システム

Country Status (3)

Country Link
JP (1) JPWO2023047833A1 (ja)
CN (1) CN118044181A (ja)
WO (1) WO2023047833A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117572716A (zh) * 2024-01-17 2024-02-20 厦门冠军时代科技有限公司 一种多光源艺术图形户外激光投影灯具

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029727A (ja) * 2009-07-21 2011-02-10 Canon Inc 画像投射装置
JP2014010264A (ja) * 2012-06-29 2014-01-20 Jvc Kenwood Corp 画像投写位置調整装置及び画像投写位置調整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029727A (ja) * 2009-07-21 2011-02-10 Canon Inc 画像投射装置
JP2014010264A (ja) * 2012-06-29 2014-01-20 Jvc Kenwood Corp 画像投写位置調整装置及び画像投写位置調整方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117572716A (zh) * 2024-01-17 2024-02-20 厦门冠军时代科技有限公司 一种多光源艺术图形户外激光投影灯具
CN117572716B (zh) * 2024-01-17 2024-05-03 厦门冠军时代科技有限公司 一种多光源艺术图形户外激光投影灯具

Also Published As

Publication number Publication date
JPWO2023047833A1 (ja) 2023-03-30
CN118044181A (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
US11016582B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
US8933880B2 (en) Interactive presentation system
US9723281B2 (en) Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same
US9753580B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
US10431131B2 (en) Projector and control method for projector
JP2005020314A (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
KR101691880B1 (ko) 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법
CN104658462B (zh) 投影机以及投影机的控制方法
JP2012160175A5 (ja)
JP2003234983A (ja) プロジェクタ
WO2023047833A1 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
JP6836176B2 (ja) 表示装置及び表示装置の制御方法
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
CN107731198A (zh) 显示装置和显示装置的控制方法
JP2011244044A (ja) 画像投射装置
JP2020039082A (ja) 表示装置、表示システムおよび表示装置の制御方法
JP6390163B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2020160808A (ja) 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
JP6604528B2 (ja) 画像処理装置及び画像処理システム
JP7228112B2 (ja) 投影制御装置、投影装置、投影方法及びプログラム
US11895444B2 (en) Control device, control method, projection system, and control program
US10055026B2 (en) Interactive projector and method of controlling interactive projector
JP2021105639A (ja) 投写システムの制御方法、投写システム及び制御プログラム
US9958958B2 (en) Interactive projector and method of controlling interactive projector

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872589

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549407

Country of ref document: JP