WO2018168528A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2018168528A1
WO2018168528A1 PCT/JP2018/008054 JP2018008054W WO2018168528A1 WO 2018168528 A1 WO2018168528 A1 WO 2018168528A1 JP 2018008054 W JP2018008054 W JP 2018008054W WO 2018168528 A1 WO2018168528 A1 WO 2018168528A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
unit
synchronization
image processing
Prior art date
Application number
PCT/JP2018/008054
Other languages
English (en)
French (fr)
Inventor
宏昌 長沼
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880017098.8A priority Critical patent/CN110383829B/zh
Priority to US16/486,693 priority patent/US11184590B2/en
Publication of WO2018168528A1 publication Critical patent/WO2018168528A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method that can synchronize a plurality of image projections more accurately.
  • the present disclosure has been made in view of such a situation, and makes it possible to synchronize a plurality of image projections more accurately.
  • An image processing apparatus provides an image between projection units based on a pixel value of a captured image obtained by an imaging unit imaging a projection image projected at the same position by a plurality of projection units.
  • the image processing apparatus includes a synchronization control unit that controls synchronization of each projection unit so as to suppress a deviation in projection timing.
  • the synchronization control unit includes, among the plurality of projection units included in the projection image, in the captured image captured in synchronization with any one of the plurality of projection units by the imaging unit.
  • the synchronization of each projection unit can be controlled so that the absolute value of the embedding value in which positive values and negative values are alternately projected by other projection units is maximized.
  • the synchronization control unit synchronizes each projection unit so that a difference between the projection image and a synthesis result of projection images of a plurality of different pattern images is minimized in the captured image captured by the imaging unit. Can be controlled.
  • the image processing apparatus further includes a calculation unit that calculates a parameter value related to a shift in timing of image projection between the projection units based on a pixel value of the captured image, and the synchronization control unit is configured to calculate the parameter calculated by the calculation unit. Based on the value, the synchronization of the projection units can be controlled so as to suppress the deviation of the timing of image projection between the projection units.
  • the calculation unit obtains, as the parameter, a difference between a plurality of continuously captured images, and the synchronization control unit sets each projection unit so that the difference calculated by the calculation unit is maximized. Can be controlled.
  • the calculation unit obtains a difference between the projection image included in the captured image and a synthesis result of different pattern images projected from each of the plurality of projection units as the parameter, and the synchronization control unit Synchronization of each projection unit can be controlled so that the difference calculated by the calculation unit is minimized.
  • the calculation unit can calculate the synthesis result using a captured image of a projection image of each pattern image.
  • the image processing unit further includes an image processing unit that performs image processing for controlling synchronization of the projection units with respect to the images projected by the plurality of projection units, and the synchronization control unit is subjected to image processing by the image processing unit. Further, the synchronization of the projection units can be controlled so as to suppress the deviation of the timing of image projection between the projection units based on the pixel value of the captured image.
  • the image processing unit embeds a positive value embedded value and a negative value embedded value in the same image, the image embedded with the positive value embedded value, and the negative value embedded value
  • the embedded image can be projected on the projection unit.
  • An imaging unit that captures the projected image and obtains the captured image can be further provided.
  • the imaging unit can obtain the captured image by performing exposure for an image projection period of the projection unit in synchronization with any one of the plurality of projection units.
  • the imaging unit can obtain the captured image by performing exposure for the same length as the image projection period of the projection unit.
  • the imaging unit can capture each projected image of a plurality of different pattern images used for synchronization control by the synchronization control unit.
  • a projection unit that projects an image can be further provided.
  • the projection unit can alternately project an image in which a positive value embedded value is embedded and an image in which a negative value embedded value is embedded.
  • the projection unit can sequentially project a plurality of pattern images.
  • the projection unit can project each pattern image before sequentially projecting the plurality of pattern images, and cause the imaging unit to capture each projection image.
  • an image between the projection units is based on a pixel value of a captured image obtained by the imaging unit imaging a projection image projected at the same position by a plurality of projection units.
  • This is an image processing method for controlling the synchronization of each projection unit so as to suppress a deviation in projection timing.
  • the projections thereof are performed.
  • the synchronization of each projection unit is controlled so as to suppress the deviation of the image projection timing between the units.
  • an image can be processed.
  • a plurality of image projections can be synchronized more accurately.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • Synchronous control of multiple image projections> ⁇ Synchronization between projectors>
  • many projectors do not display an input video signal as it is, but display it by switching to its own display signal.
  • Many projectors for example, have an oscillator for an output signal for display by themselves, as shown in FIG. 1, and display using the clock. If the video signal is completely synchronized with the input video signal, the display on the panel is also interrupted at the moment when the input signal is interrupted, and viewing is disturbed.
  • the input signal receiving unit 11 receives an input signal (input image)
  • the image processing unit 12 performs predetermined image processing on the input image
  • the display unit 13 performs the image processing.
  • the projected image is projected (displayed).
  • the drawing is updated at a cycle earlier than the update of the input signal. Therefore, even if a shift occurs during transfer, the shift is not noticeable.
  • the update period of the display unit 13 and the update period of the input signal are close, there is a possibility that a large shift of about 1 frame may occur. For example, since 120-Hz content is recommended in Super Hi-Vision and the like, when the display unit 13 is driven at 120 Hz, there is a high possibility that such a large shift will occur.
  • Patent Document 1 As a method of synchronizing image projections among a plurality of projectors, for example, in Patent Document 1, a camera is provided for each projector, and one of the projected images is projected by the other, and a synchronization signal is transmitted to the projected image in the captured image. A method for synchronizing projectors based on whether or not is included is described.
  • Figure 2 shows an overview.
  • the projector 21-1 and the projector 21-2 that are synchronized are provided with a camera 22-1 and a camera 22-2, respectively.
  • the projector 21-1 projects an image onto the range 32-1 of the screen 31, and the camera 22-1 also captures the range 32-1.
  • the projector 21-2 projects an image on the range 32-2 of the screen 31, and the camera 22-2 also captures the range 32-2.
  • the range 33 overlaps the range 32-1 and the range 32-2.
  • the projector 21-1 projects an image including the predetermined pattern 34 slightly before the update timing of the projected image.
  • the pattern 34 is projected onto a range 33 of the screen 31, for example.
  • the camera 22-2 takes an image
  • the pattern 34 is included in the taken image.
  • the projector 21-2 updates the image projected at a predetermined timing.
  • the projector 21-1 also updates the projected image at that timing. By doing so, it is possible to synchronize the timing of image projection (timing for updating an image) between the projector 21-1 and the projector 21-2.
  • the accuracy of synchronization depends on the frame rate of imaging by the camera 22-2. In other words, synchronization cannot be achieved with an accuracy higher than the imaging cycle of the camera 22-2. For example, if the imaging cycle of the camera 22-2 is the same as the frame rate of the moving image projected by the projector 21-1, synchronization can be achieved only with accuracy in units of frames of the moving image. Therefore, for example, when the frame update timing of the moving image projected by the projector 21-1 is different from the imaging timing of the camera 22-2, it is difficult to match these timings with an accuracy of a frame unit or more. It was.
  • the synchronization accuracy can be sufficiently increased.
  • a camera that can capture a 120 Hz moving image at a sufficiently high rate is expensive. It is not realistic to use such a high-performance camera only for synchronization and increase the cost.
  • FIG. 3 is a block diagram illustrating a main configuration example of an embodiment of an image projection system to which the present technology is applied.
  • an image projection system 100 is a system that can project an image, capture a projected image, and synchronize image projection between projection apparatuses by a method to which the present technology is applied.
  • the image projection system 100 includes a control device 111, an imaging device 112, a projection device 113, and a projection device 114.
  • the control device 111 is communicably connected to the imaging device 112, the projection device 113, and the projection device 114. This connection may be by wired communication or wireless communication. That is, for example, it may be physically connected using a cable or the like, or may be physically separated.
  • the control device 111 performs processing related to synchronous control of image projection between the projection device 113 and the projection device 114. As illustrated in FIG. 3, the control device 111 includes a synchronization amount extraction unit 121, a synchronization image processing unit 122, and a synchronization adjustment processing unit 123.
  • the synchronization amount extraction unit 121, the synchronization image processing unit 122, and the synchronization adjustment processing unit 123 can exchange information with each other.
  • the synchronization amount extraction unit 121 performs processing related to extraction of the synchronization amount between the projection device 113 and the projection device 114.
  • the amount of synchronization is a parameter related to a shift in image projection timing (also referred to as synchronization shift).
  • the synchronization amount is a parameter indicating the magnitude of this synchronization deviation or the little synchronization deviation.
  • the synchronization amount extraction unit 121 extracts the synchronization amount from a captured image obtained by imaging the subject with the imaging device 112.
  • the synchronization amount extraction unit 121 calculates the synchronization amount based on the pixel value of the captured image.
  • the synchronization amount extraction unit 121 supplies the obtained synchronization amount to the synchronization adjustment processing unit 123.
  • the synchronized image processing unit 122 performs processing related to image processing for controlling synchronization with the projected image. For example, the synchronization image processing unit 122 performs predetermined image processing for the synchronization amount extraction unit 121 to extract the synchronization amount on the image to be projected, and the image processed image is displayed as a projection image of the projection device 113 ( The image is supplied to the processing unit 141) and the projection device 114 (projected image processing unit 151) and projected.
  • the imaging device 112 captures the projection image, and the synchronization amount extraction unit 121 detects the synchronization amount from the captured image. At this time, the synchronization amount extraction unit 121 detects the synchronization amount using image processing performed on the projected image.
  • the synchronization adjustment processing unit 123 performs processing related to synchronization control between the projection device 113 and the projection device 114. For example, the synchronization adjustment processing unit 123 controls synchronization between the projection device 113 and the projection device 114 based on the synchronization amount extracted by the synchronization amount extraction unit 121. That is, the synchronization adjustment processing unit 123 uses the projection unit 142 and the projection unit 152 to project the projection images projected on the same position based on the pixel values of the captured image obtained by the imaging device 112 imaging the projection images. The synchronization of each projection unit is controlled so as to suppress the synchronization shift between them. For example, the synchronization adjustment processing unit 123 controls the projection device 114 (the output synchronization adjustment unit 153) to adjust the image projection timing of the projection device 114, thereby synchronizing the projection device 113 and the projection device 114. Reduce the deviation.
  • the imaging device 112 performs processing related to imaging of a subject.
  • the imaging device 112 includes an imaging unit 131 and a captured image processing unit 132.
  • the imaging unit 131 includes, for example, an image sensor using a CMOS (Complementary Metal Oxide Semiconductor), a CCD (Charge Coupled Device), or the like, and performs processing related to imaging of a subject.
  • the imaging unit 131 is controlled by the captured image processing unit 132 to capture a projection image projected from the projection device 113 or the projection device 114, and the obtained image data (captured image data) is captured image processing unit 132.
  • the captured image processing unit 132 performs processing related to captured image data.
  • the captured image processing unit 132 controls the imaging unit 131 to perform imaging, and acquires captured image data.
  • the captured image processing unit 132 performs predetermined signal processing or the like on the captured image data and supplies the processed image data to the synchronization amount extraction unit 121.
  • the projection device 113 performs processing related to image projection.
  • the projection device 113 includes a projection image processing unit 141 and a projection unit 142.
  • the projection image processing unit 141 performs processing related to the image to be projected.
  • the projection image processing unit 141 acquires the image data supplied from the synchronous image processing unit 122.
  • the projection image processing unit 141 performs predetermined signal processing on the image data, and supplies the image data to the projection unit 142.
  • the projection image processing unit 141 controls the projection unit 142 to project the image.
  • the projection unit 142 performs processing related to image projection.
  • the projection unit 142 is configured by an optical system device such as a lens or a light emitting device.
  • the projection unit 142 projects an image supplied from the projection image processing unit 141 under the control of the projection image processing unit 141.
  • the projection device 114 performs processing related to image projection. As illustrated in FIG. 3, the projection device 114 includes a projection image processing unit 151, a projection unit 152, and an output synchronization adjustment unit 153.
  • the projection image processing unit 151 is a processing unit similar to the projection image processing unit 141 of the projection device 113, and performs processing related to the image to be projected. For example, the projection image processing unit 151 acquires the image data supplied from the synchronous image processing unit 122. For example, the projection image processing unit 151 performs predetermined signal processing on the image data and supplies the image data to the projection unit 152. Further, for example, the projection image processing unit 151 controls the projection unit 152 to project the image.
  • the projection unit 152 is a processing unit similar to the projection unit 142 of the projection device 113, and performs processing related to image projection.
  • the projection unit 152 includes an optical system device such as a lens or a light emitting device.
  • the projection unit 152 projects an image supplied from the projection image processing unit 151 under the control of the projection image processing unit 151.
  • the output synchronization adjustment unit 153 performs processing related to image projection timing adjustment of the projection unit 152.
  • the output synchronization adjustment unit 153 controls the timing of image projection of the projection unit 152 so that the image is projected at the timing designated by the synchronization adjustment processing unit 123.
  • the projection device 114 can change the timing of image projection by including the output synchronization adjustment unit 153.
  • the projection device 113 cannot change the timing of image projection (fixed).
  • Image projection process flow An example of the flow of image projection processing executed by the image projection system 100 having such a configuration will be described with reference to the flowchart of FIG.
  • the image projection system 100 projects an image by executing this image projection processing.
  • the control device 111, the imaging device 112, the projecting device 113, and the projecting device 114 perform a minimum synchronization deviation search process in step S101, and perform a process between the projecting device 113 and the projecting device 114.
  • An image projection timing (also referred to as a synchronization adjustment amount) of the projection device 114 that minimizes the synchronization shift is searched.
  • the control device 111 controls the projection device 114 using the synchronization adjustment amount, and synchronizes between the projection unit 142 and the projection unit 152. That is, the synchronization adjustment processing unit 123 controls the output synchronization adjustment unit 153 to perform image projection (updating the image to be projected) at the timing obtained in step S101, and the image of the projection device 114 (projection unit 152). Adjust the projection timing.
  • the projection unit 142 and the projection unit 152 each project a content image at the set timing.
  • the imaging device 112 is driven in synchronization with the image projection timing (image update timing) of the projection unit 142 of the projection device 113, and the projection period of each frame by the projection unit 142, that is, Exposure is performed from the start to the end of projection (until it is updated to the image of the next frame) to obtain a captured image.
  • FIG. 5 shows an example of such a situation.
  • the projection device 113 projects the frame image f 1 of the moving image content in the content section t1, projects the frame image f 1 again in the content section t2, and in the content segment, projecting the next frame image f 2 video content. That is, the projection device 113 projects each frame image of the moving image content twice.
  • the content section is a period for updating the image projected by the projection device 113 (a time corresponding to one frame at the frame rate of the image projection). That is, in this case, the projection device 113 can update the image to be projected at a rate twice the frame rate of the moving image to be projected.
  • the synchronization deviation ratio indicated by the ratio when the deviation of one content section is 1 is assumed to be a as the magnitude of the synchronization deviation between the projection apparatus 113 and the projection apparatus 114.
  • Projection apparatus 114 Projection apparatus 114 (Proj P2), the first in the section a, the signal having an amplitude of negative value "- ⁇ " in the frame image f 0 of the previous one frame image f 1 of the moving image content of the content section t1 ( An image (also referred to as an embedding value) in which an image (f 0 - ⁇ ) is embedded is projected.
  • the projection device 114, first content time section, (also referred to as the embedded value) signal having an amplitude of positive value in the frame image f 1 '+ alpha' projects an image (f 1 + alpha) embedded.
  • the projection device 114 captures an image (f) in which an embedded value of a positive value “+ ⁇ ” is embedded in the frame image f 1 in the remaining section of the content section t1 and the first section a of the content section t2. 1 + ⁇ ).
  • the projection device 114 projects an image (f 1 ⁇ ) in which the embedded value of the negative value “ ⁇ ” is embedded in the frame image f 1 for one content section.
  • the projection device 114 is an image in which the embedded value of the negative value “ ⁇ ” is embedded in the frame image f 1 in the remaining section of the content section t2 and the first section a of the next content section. Project (f 1 - ⁇ ). Further, the projection device 114 projects an image (f 2 + ⁇ ) in which the embedding value of the positive value “+ ⁇ ” is embedded in the frame image f 2 in the remaining section after the content section t2.
  • the projection device 114 includes an image in which an embedded value of the positive value “+ ⁇ ” is embedded in each frame image of the same moving image content projected by the projection device 113 and an embedded value of the negative value “ ⁇ ”. Generate images with embedded values and project them sequentially. That is, the projection device 114 can also update the image to be projected at a rate twice the frame rate of the moving image to be projected.
  • This embedded value may be any value as long as it changes the pixel value. For example, it may be a value that changes the luminance or color of the frame image. Further, the entire frame image may be changed uniformly, or the degree of change may differ depending on the pixel or region. For example, a predetermined pattern image may be embedded.
  • the embedding value may be embedded in the entire frame image or may be embedded in a part of the frame image. For example, it may be embedded in an inconspicuous area such as the vicinity of the outer frame of the frame image.
  • the imaging device 112 (Camera C) synchronizes with the projection device 113 and once for each content section of the projection device 113, the projection image (the projection image projected by the projection device 113 and the projection projected by the projection device 114). A projected image on which the image is superimposed).
  • the imaging device 112 performs exposure from the start to the end of the content section to generate a captured image. That is, the imaging section x1 of the imaging device 112 and the content section t1 of the projection device 113 correspond, and the imaging section x2 of the imaging device 112 and the content section t2 of the projection device 113 correspond. That is, there is no deviation between the imaging section of the imaging device 112 and the content section of the projection device 113.
  • the amount of synchronization deviation is extracted from the captured image thus obtained as follows.
  • the pixel value w1 of the captured image in the content section t1 can be expressed as the following equation (1).
  • the pixel value w2 of the captured image in the content section t2 can be expressed as in the following equation (2).
  • the difference z can be expressed as in Equation (3).
  • w1 f 1 + a (f 0 - ⁇ ) + (1-a) (f 1 + ⁇ ) (1)
  • w2 f 1 + a (f 0 + ⁇ ) + (1-a) (f 1 - ⁇ ) (2)
  • z a (f 0 -f 1 ) + 2 ⁇ (1-2a) (3)
  • the projection device 113 is detected more clearly. It can be said that there is little synchronization shift between the projector and the projector 114. Incidentally, since 0 ⁇ a ⁇ 1, the maximum value of the difference z in the equation (4) is 2 ⁇ . That is, the synchronization shift (synchronization shift ratio a) can be minimized by adjusting the image projection timing of the projection device 114 so that the difference value z is maximized.
  • the synchronization adjustment processing unit 123 sets a synchronization adjustment amount in step S151. That is, the synchronization adjustment processing unit 123 controls the output synchronization adjustment unit 153 of the projection device 114 to set the timing of image projection of the projection unit 152 (update timing of the image to be projected).
  • step S152 the synchronized image processing unit 122 embeds a synchronization detection signal (a positive value embedded value “ ⁇ ”) in the projected image.
  • step S153 the synchronous image processing unit 122 supplies the image before embedding to the projection device 113, supplies the image after embedding to the projection device 114, and projects each image at each timing.
  • the projection image processing unit 141 of the projection device 113 supplies the supplied image to the projection unit 142 for projection.
  • the projection unit 142 projects the image for one content section at its own timing.
  • the projection image processing unit 151 of the projection device 114 supplies the supplied image to the projection unit 152 for projection.
  • the projection unit 152 projects the image for one content section at the timing set by the output synchronization adjustment unit 153 (that is, the synchronization adjustment processing unit 123).
  • step S154 the captured image processing unit 132 of the imaging device 112 controls the imaging unit 131 to project the projection image projected by the projection device 113 and the projection device 114 (the projected image projected by the projection device 113 and the projection device 114).
  • the projection image on which the projection image projected more is superposed.
  • the captured image processing unit 132 obtains a captured image by causing the imaging unit 131 to capture an image in synchronization with the image projection timing of the projection device 113 according to the control, the captured image processing unit 132 supplies the captured image to the synchronization amount extraction unit 121.
  • step S155 the synchronized image processing unit 122 embeds a synchronization detection signal (a negative value embedded value “ ⁇ ”) in the projected image.
  • step S156 the synchronized image processing unit 122 supplies the image before embedding to the projection device 113, supplies the image after embedding to the projection device 114, and projects each image at each timing.
  • the projection image processing unit 141 of the projection device 113 supplies the supplied image to the projection unit 142 for projection.
  • the projection unit 142 projects the image for one content section at its own timing.
  • the projection image processing unit 151 of the projection device 114 supplies the supplied image to the projection unit 152 for projection.
  • the projection unit 152 projects the image for one content section at the timing set by the output synchronization adjustment unit 153 (that is, the synchronization adjustment processing unit 123).
  • the captured image processing unit 132 of the imaging device 112 controls the imaging unit 131 to project the projection image projected by the projection device 113 and the projection device 114 (the projected image projected by the projection device 113 and the projection device 114).
  • the projection image on which the projection image projected more is superposed.
  • the captured image processing unit 132 obtains a captured image by causing the imaging unit 131 to capture an image in synchronization with the image projection timing of the projection device 113 according to the control, the captured image processing unit 132 supplies the captured image to the synchronization amount extraction unit 121.
  • step S158 the synchronization amount extraction unit 121 extracts the synchronization amount from the captured image obtained in step S154 and the captured image obtained in step S157. For example, the synchronization amount extraction unit 121 calculates a difference value between these captured images as a synchronization amount.
  • step S159 the synchronization amount extraction unit 121 searches for the synchronization adjustment amount that minimizes the synchronization deviation based on the difference value obtained this time and the difference value obtained in the past, and the synchronization deviation is minimized. It is determined whether or not the synchronization adjustment amount is detected. As described above, in this case, when the difference value is maximized, the synchronization shift is minimized. Therefore, the synchronization amount extraction unit 121 searches for the maximum difference value.
  • step S151 the synchronization adjustment processing unit 123 controls the output synchronization adjustment unit 153 to set a new timing as the image projection timing of the projection unit 152 (that is, update the synchronization adjustment amount).
  • the synchronization amount extraction unit 121 obtains a difference between a plurality of continuously captured images as a parameter relating to a shift in image projection timing between the projection device 113 and the projection device 114, and the synchronization adjustment processing unit 123. Controls the timing of image projection of the projection device 114, that is, the synchronization between the projection device 113 and the projection device 114, so that the difference calculated by the synchronization amount extraction unit 121 is maximized.
  • steps S151 to S159 are repeatedly executed until the synchronization adjustment amount that minimizes the synchronization deviation is detected (the maximum difference value is detected). If it is determined in step S159 that the synchronization adjustment amount that minimizes the synchronization error has been detected, the minimum synchronization error search process ends, and the synchronization adjustment indicates that the synchronization adjustment value that minimizes the synchronization error has been detected.
  • the processing unit 123 is notified. Alternatively, the detected synchronization adjustment amount may be supplied to the synchronization adjustment processing unit 123.
  • the synchronization adjustment processing unit 123 controls the output synchronization adjustment unit 153 using the detected synchronization adjustment amount, and controls the image projection timing of the projection device 114 (projection unit 152). Thereby, the image projection timing of the projection device 114 is set to a timing at which the synchronization shift is minimized (step S102).
  • the synchronization adjustment processing unit 123 alternately projects a positive value and a negative value by the projection device 114 included in the projection image in the captured image captured by the imaging device 112 in synchronization with the projection device 113.
  • the synchronization between the projection device 113 and the projection device 114 is controlled so that the absolute value of the embedded value to be maximized.
  • the timing of image projection By controlling the timing of image projection in this way, it is possible to synchronize a plurality of image projections with higher accuracy that is less than the imaging cycle. That is, a plurality of images can be synchronized more accurately. Further, in this method, since the embedded value is embedded in the image and projected, and only the timing at which the difference value of the captured image is maximized is searched, synchronization can be achieved more easily. In the case of this method, the image capturing apparatus 112 only needs to be able to capture an image at a frame rate equivalent to the frame rate of the moving image content, and the number of the image capturing devices 112 is only one, so synchronization can be achieved while suppressing an increase in cost. .
  • the content used for detecting such a synchronization shift may not be a still image. That is, the frame images f 0 , f 1 , and f 2 do not have to be the same image. Since the frame images f 0 , f 1 , and f 2 are continuous frames, generally, the difference between them is not large, and it is possible to detect the synchronization adjustment amount that minimizes the synchronization shift. Therefore, for example, while projecting moving image content, an embedded value can be embedded in the frame image, and synchronization can be achieved as described above.
  • a still image may be projected.
  • the synchronization control may be performed using a still image during a period during which no moving image content is projected (for example, before the start of projection or after the end of projection).
  • the method for searching for the synchronization adjustment amount that minimizes the synchronization deviation in step S157 in FIG. 6 and the method for determining whether or not the synchronization adjustment amount has been searched are arbitrary. For example, for each content section, a difference value between the captured image of the section and the captured image of the previous section is obtained, and the difference value of the previous content section is obtained when the difference value becomes smaller than the previous time. May be detected as the synchronization adjustment amount that minimizes the synchronization deviation. In addition, for example, a difference value of the captured image is obtained for a predetermined number of content sections, and the synchronization adjustment amount of the content section from which the maximum value among the difference values is obtained is the synchronization adjustment that minimizes the synchronization deviation. It may be detected as a quantity. Further, the search for the synchronization adjustment amount that minimizes the synchronization shift may be repeated a plurality of times to obtain a more accurate synchronization adjustment amount.
  • the difference value of the captured image may be obtained for the entire projection image or a part thereof.
  • the sum of the difference values of the captured image for all the pixels of the projection image may be set as “difference value of the captured image”, and the value may be used to search for a synchronization adjustment amount that minimizes the synchronization shift.
  • the synchronization adjustment amount that minimizes the synchronization shift for each pixel of the projected image may be searched, and the final synchronization adjustment amount may be obtained using these synchronization adjustment amounts.
  • a “difference value of the captured image” for each pixel or the entire area may be obtained, and a synchronization adjustment amount that minimizes the synchronization shift may be searched using the value.
  • some pixels of the projected image are used as representative pixels, and for each representative pixel, the “difference value of the captured image” for each pixel or the entire representative pixel is obtained, and the synchronization adjustment that minimizes the synchronization deviation is performed using that value. You may make it search for quantity.
  • Second Embodiment> When the characteristics of the imaging device are unknown> When the characteristics of the imaging device 112 are unknown, it is difficult to drive the imaging device 112 in synchronization with the image projection timing (image update timing) of the projection unit 142 of the projection device 113. Therefore, in this case, in the captured image captured by the imaging device 112, the difference between the projection image and the synthesis result of a plurality of different pattern images projected from the projection device 113 and the projection device 114 is minimized. The synchronization between the projection device 113 and the projection device 114 is controlled.
  • Figure 7 shows an example of the situation.
  • the projection device 113 projects a predetermined pattern image V1 in the content section t1, and projects a predetermined pattern image V2 having a pattern different from the pattern image V1 in the content section t2. To do. Further, in the next content section, the projection device 113 projects the pattern image V1. That is, the projection device 113 projects the pattern image V1 and the pattern image V2 alternately. That is, the projection device 113 sequentially projects a plurality of pattern images.
  • the projection device 114 projects the pattern image V1 in the first a section of the content section t1, and then projects the pattern image V2 for one content section.
  • the pattern image V1 is projected for the content section, and then the pattern image V2 is projected for one content section. That is, similarly to the projection device 113, the projection device 114 alternately projects the pattern image V1 and the pattern image V2. That is, the projection device 114 sequentially projects a plurality of pattern images. However, the projection device 114 projects a pattern image opposite to the projection device 113.
  • the projection device 114 projects the pattern image V2 in the content section where the projection device 113 projects the pattern image V1, and projects the pattern image V1 in the content section where the projection device 113 projects the pattern image V2.
  • the image projection timing of the projection device 114 is shifted (delayed) by the synchronization shift ratio a with respect to the projection device 113.
  • the imaging device 112 captures this projection image (a projection image in which the projection image projected by the projection device 113 and the projection image projected by the projection device 114 are superimposed) at an independent timing. That is, the timing of the imaging section of the imaging device 112 (for example, the imaging section x1 and the imaging section x2) is not synchronized with the content section of the projection device 113 or the projection device 114.
  • the imaging synchronization deviation ratio which is the ratio of the synchronization deviation between the imaging device 112 and the projection device 113 as a ratio when the deviation for one content section is 1.
  • the length of the imaging section is equal to the length of the content section. That is, the imaging device 112 generates a captured image by performing time exposure of the same length as the content section.
  • the sum of the projection image projected from the projection device 113 and the projection image projected from the projection device 114 in each content section is (V1 + V2). That is, the projected image in the captured image captured in the imaging section having the same length as the content section is also V1 + V2. That is, the value (V1 + V2) is set as the target value of the captured image, and the image projection timing of the projection device 114 is adjusted so that the captured image approaches the target value (V1 + V2).
  • the ratio a) can be minimized.
  • the target value (V1 + V2) of the captured image is obtained.
  • the synchronous image processing unit 122 supplies the pattern image V1 to the projection device 113 and causes the projection device 113 to project the pattern image V1.
  • the projection image processing unit 141 of the projection device 113 supplies the pattern image V1 to the projection unit 142 to be projected. Note that this projection is continued at least until imaging is performed.
  • step S252 the captured image processing unit 132 of the image capturing apparatus 112 controls the image capturing unit 131 to capture and image the projected image for one image capturing section.
  • the captured image processing unit 132 causes the imaging unit 131 to capture an image and obtains a captured image
  • the captured image processing unit 132 supplies the captured image to the synchronization amount extraction unit 121.
  • step S253 the synchronous image processing unit 122 supplies the pattern image V2 to the projection device 113 and causes it to be projected.
  • the projection image processing unit 141 of the projection device 113 supplies the pattern image V2 to the projection unit 142 to be projected. Note that this projection is continued at least until imaging is performed.
  • step S254 the captured image processing unit 132 of the imaging device 112 controls the imaging unit 131 to capture and image the projected image by one imaging section at its own timing.
  • the captured image processing unit 132 causes the imaging unit 131 to capture an image and obtains a captured image
  • the captured image processing unit 132 supplies the captured image to the synchronization amount extraction unit 121.
  • step S255 the synchronization amount extraction unit 121 adds the captured image obtained in step S252 and the captured image obtained in step S254 to calculate a target value (V1 + V2).
  • the synchronization adjustment processing unit 123 sets the synchronization adjustment amount in step S256. That is, the synchronization adjustment processing unit 123 controls the output synchronization adjustment unit 153 of the projection device 114 to set the timing of image projection of the projection unit 152 (update timing of the image to be projected).
  • step S257 the synchronous image processing unit 122 alternately supplies the pattern image V1 and the pattern image V2 to the projection device 113 for each content section, and alternately projects them for each content section.
  • the projection image processing unit 141 of the projection device 113 supplies the supplied pattern image to the projection unit 142 for projection.
  • the projection unit 142 projects the pattern image for one content section at its own timing. That is, the projecting unit 142 projects the pattern image V1 and the pattern image V2 alternately for each content section.
  • the synchronous image processing unit 122 alternately supplies the pattern image V2 and the pattern image V1 to the projection device 113 for each content section, and alternately projects them for each content section.
  • the projection image processing unit 151 of the projection device 114 supplies the supplied pattern image to the projection unit 152 for projection.
  • the projection unit 152 projects the pattern image for one content section at a timing set by the output synchronization adjustment unit 153 (that is, the synchronization adjustment processing unit 123). That is, the projecting unit 152 projects the pattern image V2 and the pattern image V1 alternately for each content section.
  • the synchronized image processing unit 122 supplies one of the pattern image V1 and the pattern image V2 to the projection device 113 and the other to the projection device 114 for each content section. That is, the projection device 113 and the projection device 114 project different pattern images in each content section. That is, for example, when the projection device 113 projects the pattern image V1 in a certain content section of the projection device 113, the projection device 114 projects the pattern image V2 in the content section of the projection device 114 corresponding to the content section. To do. Conversely, when the projection device 113 projects the pattern image V2 in a certain content section of the projection device 113, the projection device 114 projects the pattern image V1 in the content section of the projection device 114 corresponding to the content section. .
  • step S258 the captured image processing unit 132 of the image capturing apparatus 112 controls the image capturing unit 131 to capture and image the projected image by one capturing section at its own timing.
  • the captured image processing unit 132 causes the imaging unit 131 to capture an image and obtains a captured image
  • the captured image processing unit 132 supplies the captured image to the synchronization amount extraction unit 121.
  • step S259 the synchronization amount extraction unit 121 calculates a difference value between the captured image obtained by the process of step S258 and the target value (V1 + V2) obtained by the process of step S255 as a synchronization amount.
  • step S260 the synchronization amount extraction unit 121 searches for the synchronization adjustment amount that minimizes the synchronization deviation based on the difference value obtained this time and the difference value obtained in the past, and the synchronization deviation is minimized. It is determined whether or not the synchronization adjustment amount is detected. As described above, in this case, when the difference value is minimized, the synchronization shift is minimized. Therefore, the synchronization amount extraction unit 121 searches for the minimum difference value.
  • step S256 the synchronization adjustment processing unit 123 controls the output synchronization adjustment unit 153, and sets a new timing as the image projection timing of the projection unit 152 (that is, updates the synchronization adjustment amount).
  • the synchronization amount extraction unit 121 determines the difference between the captured image and the target value (composition result of the pattern image V1 and the pattern image V2) as a parameter related to the deviation of the timing of image projection between the projection device 113 and the projection device 114.
  • the synchronization adjustment processing unit 123 synchronizes the timing of image projection of the projection device 114, that is, the synchronization between the projection device 113 and the projection device 114 so that the difference calculated by the synchronization amount extraction unit 121 is minimized. Control.
  • steps S256 to S260 are repeatedly executed until the synchronization adjustment amount that minimizes the synchronization shift is detected (the maximum difference value is detected). If it is determined in step S260 that the synchronization adjustment amount that minimizes the synchronization error has been detected, the minimum synchronization error search process ends, and the synchronization adjustment indicates that the synchronization adjustment value that minimizes the synchronization error has been detected. The processing unit 123 is notified. Alternatively, the detected synchronization adjustment amount may be supplied to the synchronization adjustment processing unit 123.
  • the synchronization adjustment processing unit 123 controls the output synchronization adjustment unit 153 using the detected synchronization adjustment amount, and controls the image projection timing of the projection device 114 (projection unit 152). Thereby, the image projection timing of the projection device 114 is set to a timing at which the synchronization shift is minimized (step S102).
  • the synchronization adjustment processing unit 123 projects a projection image in which different pattern images are projected from the projection device 113 and the projection device 114 at the same position, and a projection image of each pattern image.
  • the synchronization between the projection device 113 and the projection device 114 is controlled so that the difference from the combination result of the above is minimized.
  • the timing of image projection By controlling the timing of image projection in this way, even when the characteristics of the imaging device are unknown, it is possible to synchronize a plurality of image projections with higher accuracy that is equal to or less than the imaging cycle. That is, a plurality of images can be synchronized more accurately. Further, in the case of this method, a plurality of pattern images are projected, and only the timing at which the difference value between the captured image and the target value is minimized is searched, so that synchronization can be achieved more easily. In the case of this method, the image capturing apparatus 112 only needs to be able to capture an image at a frame rate equivalent to the frame rate of the moving image content, and the number of the image capturing devices 112 may be one, so that synchronization can be achieved while suppressing an increase in cost. .
  • the pattern image V1 and the pattern image V2 described above may be any images as long as they are different from each other.
  • the number of pattern images to be used is arbitrary as long as it is plural. For example, three or more types of pattern images may be used.
  • the method of searching for the synchronization adjustment amount that minimizes the synchronization deviation in step S260 of FIG. 8 and the method of determining whether or not the synchronization adjustment amount has been searched are arbitrary.
  • the difference value between the captured image and the target value is obtained every time, and when the difference value becomes larger than the previous value, the difference value between the previous captured image and the target value is set to the minimum value, and the synchronous adjustment at that time
  • the amount may be detected as a synchronization adjustment amount that minimizes the synchronization shift.
  • a difference value between each captured image and a target value is obtained, and imaging is performed to obtain a captured image from which the minimum value among those difference values is obtained.
  • the synchronization adjustment amount may be detected as a synchronization adjustment amount that minimizes synchronization deviation. Further, the search for the synchronization adjustment amount that minimizes the synchronization shift may be repeated a plurality of times to obtain a more accurate synchronization adjustment amount.
  • the configuration of the image projection system 100 to which the present technology is applied is not limited to the example of FIG. 3 described above.
  • the numbers of the control device 111, the imaging device 112, the projection device 113, and the projection device 114 are arbitrary.
  • the specifications (for example, resolution, brightness, frame rate, etc.) of each projection apparatus may be the same or may not be the same.
  • the projection device of the image projection system 100 may be configured by only the projection device 114 (a plurality of projection devices 114). That is, all the projection apparatuses of the image projection system 100 may have a function of adjusting the timing of image projection (the timing of image projection is variable).
  • the devices of the image projection system 100 may be connected to each other via a network 310.
  • This network 310 is an arbitrary communication network.
  • the communication method employed in the network 310 is arbitrary. For example, wired communication, wireless communication, or both of them may be used. Further, the network 310 may be configured by a single communication network or may be configured by a plurality of communication networks.
  • the network 310 may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • Each device is communicably connected to the network 310.
  • this connection may be wired (that is, connection via wired communication), wireless (that is, connection via wireless communication), or both.
  • Each device can communicate with each other (transfer and receive information) via the network 310.
  • each device may be connected to be communicable with each other via another facility (device, transmission line, etc.).
  • the image projection system 100 can apply the present technology as in the case of the other embodiments described above, and can achieve the above-described effects.
  • the control device 111 and the imaging device 112 may be integrated and configured as one device.
  • the image projection system 100 includes an imaging device 320 instead of the control device 111 and the imaging device 112.
  • the imaging device 320 includes a control unit 321 and an imaging unit 322.
  • the control unit 321 is a processing unit that performs processing related to synchronization control, has the same configuration as the control device 111, and performs the same processing.
  • the imaging unit 322 is a processing unit that performs processing related to imaging, has the same configuration as the imaging device 112, and performs the same processing. As shown in FIG.
  • the projection device 113 and the projection device 114 are connected to the control unit 321 in the same manner as being connected to the control device 111.
  • the control unit 321 controls the synchronization of the projection device 113 and the projection device 114 based on the captured image captured by the imaging unit 322. Therefore, even in such a configuration, the image projection system 100 can apply the present technology and can achieve the above-described effects.
  • the imaging device 112 and the projection device 113 may be integrated into a single device.
  • the image projection system 100 includes a projection imaging device 330 instead of the imaging device 112 and the projection device 113.
  • the projection imaging device 330 includes an imaging unit 331 and a projection unit 332.
  • the imaging unit 331 is a processing unit that performs processing related to imaging, has the same configuration as the imaging device 112, and performs the same processing.
  • the projection unit 332 is a processing unit that performs processing related to image projection, has the same configuration as the projection device 113, and performs the same processing.
  • the projection imaging device 330 is also connected to the control device 111.
  • the control device 111 controls the synchronization between the projection unit 332 and the projection device 114 based on the captured image captured by the imaging unit 331. Therefore, even in such a configuration, the image projection system 100 can apply the present technology and can achieve the above-described effects.
  • the control device 111 may be integrated.
  • the image projection system 100 includes a projection imaging device 340 instead of the control device 111, the imaging device 112, and the projection device 113.
  • the projection imaging apparatus 340 includes a control unit 341, an imaging unit 342, and a projection unit 343.
  • the control unit 341 is a processing unit that performs processing related to synchronous control, has the same configuration as the control device 111, and performs similar processing.
  • the imaging unit 342 is a processing unit that performs processing related to imaging, has the same configuration as the imaging device 112, and performs the same processing.
  • the projection unit 343 is a processing unit that performs processing related to image projection, has the same configuration as the projection device 113, and performs the same processing. As shown in FIG. 12, the projection device 114 is connected to the control unit 341 in the same manner as it is connected to the control device 111. The control unit 341 controls the synchronization between the projection unit 343 and the projection device 114 based on the captured image captured by the imaging unit 342. Therefore, even in such a configuration, the image projection system 100 can apply the present technology and can achieve the above-described effects.
  • each device of the image projection system 100 is not limited to the above-described example, and can be integrated into one device in any combination.
  • the present technology has been described above using an image projection system.
  • the present technology is an arbitrary configuration having an image display function, such as an image display device or an image display system, or an arbitrary configuration that performs processing for image display. Can be applied to.
  • the present technology can also be applied to systems and devices used for viewing.
  • the present technology can be applied to a system or a device provided for traffic management.
  • the present technology can also be applied to a system or device used for security.
  • the present technology can be applied to a system or a device provided for sports.
  • the present technology can also be applied to a system or a device provided for agriculture.
  • the present technology can also be applied to a system or device used for livestock industry.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans.
  • the present technology can be applied to, for example, a weather observation system or a weather observation apparatus that observes weather, temperature, humidity, wind speed, sunshine duration, and the like.
  • the present technology can also be applied to systems and devices for observing the ecology of wildlife such as birds, fish, reptiles, amphibians, mammals, insects, and plants.
  • the series of processes described above can be executed by hardware or can be executed by software. Also, some processes can be executed by hardware, and other processes can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 13 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 810 is also connected to the bus 804.
  • An input unit 811, an output unit 812, a storage unit 813, a communication unit 814, and a drive 815 are connected to the input / output interface 810.
  • the input unit 811 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 812 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 813 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 814 includes a network interface, for example.
  • the drive 815 drives a removable medium 821 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 801 loads the program stored in the storage unit 813 into the RAM 803 via the input / output interface 810 and the bus 804 and executes the program, for example. Is performed.
  • the RAM 803 also appropriately stores data necessary for the CPU 801 to execute various processes.
  • the program executed by the computer (CPU 801) can be recorded and applied to, for example, a removable medium 821 as a package medium or the like.
  • the program can be installed in the storage unit 813 via the input / output interface 810 by attaching the removable medium 821 to the drive 815.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 814 and installed in the storage unit 813.
  • this program can be installed in the ROM 802 or the storage unit 813 in advance.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology may be applied to any configuration that constitutes an apparatus or system, for example, a processor as a system LSI (Large Scale Integration), a module that uses a plurality of processors, a unit that uses a plurality of modules, etc. It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • a processor as a system LSI (Large Scale Integration)
  • a module that uses a plurality of processors
  • a unit that uses a plurality of modules etc.
  • It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the above-described processing unit may be realized by any configuration as long as it has the function described for the processing unit.
  • the processing unit may be configured by an arbitrary circuit, LSI, system LSI, processor, module, unit, set, device, apparatus, system, or the like. A plurality of them may be combined.
  • the same type of configuration such as a plurality of circuits and a plurality of processors may be combined, or different types of configurations such as a circuit and an LSI may be combined.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be such that the processing of steps describing the program is executed in time series in the order described in this specification, or in parallel or when a call is made. It may be executed individually at the required timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • this technique can also take the following structures. (1) Based on the pixel value of the captured image obtained by the imaging unit imaging the projected images projected by the plurality of projection units at the same position, a shift in image projection timing between the projection units is suppressed.
  • an image processing apparatus including a synchronization control unit that controls synchronization of each projection unit.
  • the synchronization control unit includes the plurality of projection units included in the projection image in the captured image captured in synchronization with any one of the plurality of projection units by the imaging unit.
  • the synchronization control unit is configured to perform projection so that a difference between the projection image and a composite result of projection images of a plurality of different pattern images is minimized.
  • the image processing apparatus further includes a calculation unit that calculates a parameter value related to a deviation in timing of image projection between the projection units based on a pixel value of the captured image.
  • the synchronization control unit is configured to control synchronization of each projection unit based on the value of the parameter calculated by the calculation unit so as to suppress a shift in image projection timing between the projection units.
  • the image processing device according to any one of (1) to (3).
  • the calculation unit obtains, as the parameter, a difference between a plurality of the captured images captured continuously, The image processing apparatus according to (4), wherein the synchronization control unit controls synchronization of the projection units such that the difference calculated by the calculation unit is maximized.
  • the calculation unit obtains, as the parameter, a difference between the projection image included in the captured image and a synthesis result of different pattern images projected from each of the plurality of projection units.
  • the image processing apparatus according to (4), wherein the synchronization control unit controls synchronization of the projection units so that the difference calculated by the calculation unit is minimized.
  • the image processing device according to (6), wherein the calculation unit calculates the synthesis result using a captured image of a projection image of each pattern image.
  • An image processing unit that performs image processing for controlling synchronization of each projection unit with respect to images projected by the plurality of projection units,
  • the synchronization control unit synchronizes each projection unit based on the pixel value of the captured image that has been subjected to image processing by the image processing unit so as to suppress a shift in image projection timing between the projection units.
  • the image processing device according to any one of (1) to (7), configured to be controlled.
  • the image processing unit embeds a positive value embedded value and a negative value embedded value in the same image, an image in which the positive value embedded value is embedded, and the negative value embedded value.
  • the image processing apparatus according to (8), wherein an image in which an embedded value is embedded is projected onto a projection unit.
  • the image processing apparatus according to any one of (1) to (9), further including an imaging unit that captures the projected image and obtains the captured image.
  • the image processing device according to (10), wherein the imaging unit obtains the captured image by performing exposure for a period of the same length as an image projection period of the projection unit.
  • the image processing device captures respective projection images of a plurality of different pattern images used for synchronization control by the synchronization control unit.
  • the image processing apparatus according to any one of (1) to (13), further including a projection unit that projects an image.
  • 100 image projection system 111 control device, 112 imaging device, 113 and 114 projection device, 121 synchronization amount extraction unit, 122 synchronization image processing unit, 123 synchronization adjustment processing unit, 131 imaging unit, 132 imaging image processing unit, 141 projection image Processing unit, 142 projection unit, 151 projection image processing unit, 152 projection unit, 153 output synchronization adjustment unit, 310 network, 320 imaging device, 321 control unit, 322 imaging unit, 330 projection imaging device, 331 imaging unit, 332 projection unit , 340 projection imaging device, 341 control unit, 342 imaging unit, 343 projection unit, 800 computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示は、より正確に複数の画像投影の同期をとることができるようにする画像処理装置および方法に関する。 複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、その投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御する。本開示は、例えば、画像処理装置、画像投影装置、制御装置、情報処理装置、画像投影システム、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、より正確に複数の画像投影の同期をとることができるようにした画像処理装置および方法に関する。
　従来、複数のプロジェクタ間で同期をとる際に、各プロジェクタにカメラを設け、一方が投影した投影画像を他方が撮像し、撮像画像においてその投影画像に同期信号が含まれるか否かに基づいて、プロジェクタ間の同期をとる方法が考えられた（例えば特許文献１参照）。
特開２０１４－１０６３８６号公報
　しかしながら、この方法の場合、同期の精度がカメラによる撮像のフレームレートに依存し、それ以上の精度で同期をとることができないので、十分に高い精度で同期をとることが困難であった。
　本開示は、このような状況に鑑みてなされたものであり、より正確に複数の画像投影の同期をとることができるようにするものである。
　本技術の一側面の画像処理装置は、複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御する同期制御部を備える画像処理装置である。
　前記同期制御部は、前記撮像部により前記複数の投影部の内のいずれかの投影部に同期して撮像された前記撮像画像において、前記投影画像に含まれる、前記複数の投影部の内の他の投影部により正の値と負の値とが交互に投影される埋め込み値の絶対値が最大となるように、各投影部の同期を制御することができる。
　前記同期制御部は、前記撮像部により撮像された前記撮像画像において、前記投影画像と、互いに異なる複数のパタン画像の投影画像の合成結果との差が最小となるように、各投影部の同期を制御することができる。
　前記撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれに関するパラメータの値を算出する算出部をさらに備え、前記同期制御部は、前記算出部により算出された前記パラメータの値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御するように構成されるようにすることができる。
　前記算出部は、連続して撮像された複数の前記撮像画像同士の差分を前記パラメータとして求め、前記同期制御部は、前記算出部により算出された前記差分が最大となるように、各投影部の同期を制御することができる。
　前記算出部は、前記撮像画像に含まれる前記投影画像と、前記複数の投影部のそれぞれから投影される互いに異なるパタン画像の合成結果との差分を前記パラメータとして求め、前記同期制御部は、前記算出部により算出された前記差分が最小となるように、各投影部の同期を制御することができる。
　前記算出部は、各パタン画像の投影画像の撮像画像を用いて、前記合成結果を算出することができる。
　前記複数の投影部が投影する画像に対して、各投影部の同期を制御するための画像処理を行う画像処理部をさらに備え、前記同期制御部は、前記画像処理部により画像処理が施された前記撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御するように構成されるようにすることができる。
　前記画像処理部は、正の値の埋め込み値と負の値の埋め込み値とを互いに同一の画像に埋め込み、前記正の値の埋め込み値が埋め込まれた画像と、前記負の値の埋め込み値が埋め込まれた画像とを投影部に投影させることができる。
　前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備えるようにすることができる。
　前記撮像部は、前記複数の投影部の内のいずれかの投影部に同期して、前記投影部の画像投影の期間露光して前記撮像画像を得ることができる。
　前記撮像部は、前記投影部の画像投影の期間と同じ長さの期間露光して前記撮像画像を得ることができる。
　前記撮像部は、前記同期制御部による同期制御に用いられる互いに異なる複数のパタン画像のそれぞれの投影画像を撮像することができる。
　画像を投影する投影部をさらに備えることができる。
　前記投影部は、正の値の埋め込み値が埋め込まれた画像と、負の値の埋め込み値が埋め込まれた画像とを交互に投影することができる。
　前記投影部は、複数のパタン画像を順次投影することができる。
　前記投影部は、前記複数のパタン画像を順次投影する前に、各パタン画像を投影し、各投影画像を撮像部に撮像させることができる。
　本技術の一側面の画像処理方法は、複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、それらの投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期が制御される。
　本開示によれば、画像を処理することができる。特に、より正確に複数の画像投影の同期をとることができる。
プロジェクタの主な構成例を示すブロック図である。 同期をとる様子の例を説明するための図である。 画像投影システムの主な構成例を示すブロック図である。 画像投影処理の流れの例を説明するフローチャートである。 同期をとる様子の例を説明するための図である。 最小同期ずれ量算出処理の流れの例を説明するフローチャートである。 同期をとる様子の例を説明するための図である。 最小同期ずれ量算出処理の流れの例を説明するフローチャートである。 画像投影システムの主な構成例を示すブロック図である。 画像投影システムの主な構成例を示すブロック図である。 画像投影システムの主な構成例を示すブロック図である。 画像投影システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．複数の画像投影の同期制御
　２．第１の実施の形態（画像投影システム・撮像装置の特性既知の場合）
　３．第２の実施の形態（画像投影システム・撮像装置の特性未知の場合）
　４．第３の実施の形態（画像投影システム・他の構成例）
　５．その他
　＜１．複数の画像投影の同期制御＞
　　＜プロジェクタ間の同期＞
　一般的に、プロジェクタは、入力されたビデオ信号をそのまま使用して表示せずに、自身の表示信号に乗り換えて表示するものが多い。多くのプロジェクタは、例えば、図１に示されるように、自身で表示するための出力信号のための発振器を持っており、そのクロックを使って表示を行っている。もし、入力されたビデオ信号に完全に同期していると、入力信号が途切れた瞬間にパネルの表示も途切れてしまい、視聴が乱れることになってしまうからである。
　図１に示されるプロジェクタ１０において、入力信号受信部１１が入力信号（入力画像）を受信し、画像処理部１２がその入力画像に対して所定の画像処理を行い、表示部１３がその画像処理された画像を投影（表示）する。これらの処理部は、発振器１４が生成し、クロック供給部１５を介して供給されるクロック信号に同期して動作する。
　ところで、複数のプロジェクタを用いて画像を投影する場合があった。例えば、複数のプロジェクタから互いに同じ位置に画像を投影し、投影画像の輝度を上げたり、高フレームレート化したりする方法があった。また、例えば、投影する位置をずらして投影画像の画サイズを大きくしたり、投影画像を高解像度化したりする方法もあった。
　その際、図１のような構成のプロジェクタ１０を複数台同時に運用する場合、入力信号の同期が取れていても、図１の表示部１３で表示（投影）を行う際にクロックの乗り換えが発生し、正しいタイミングで描画が更新されないおそれがあった。つまり、プロジェクタ１０の間で画像投影のタイミングがずれてしまうおそれがあった。プロジェクタ１０の間で画像投影の同期がとれていないと、同期が正しくとれている場合には重畳されない複数のフレームの投影画像が重畳してしまう等、投影画像の主観画質が低減するおそれがあった。
　仮に入力信号に対して表示部１３が十分に早ければ、入力信号の更新よりも早い周期で描画が更新されるため、乗り換え時にずれが発生したとしてもそのずれは目立ちにくい。しかしながら、表示部１３の更新と入力信号の更新の周期が近い場合、約１フレーム程度の大きなずれが生じるおそれがあった。例えば、スーパーハイビジョンなどでは120Hzコンテンツが推奨されているため、表示部１３が120Hzで駆動する場合、そのような大きなずれが生じる可能性が高い。
　複数のプロジェクタ間で画像投影の同期をとる方法として、例えば、特許文献１には、各プロジェクタにカメラを設け、一方が投影した投影画像を他方が撮像し、撮像画像においてその投影画像に同期信号が含まれるか否かに基づいて、プロジェクタ間の同期をとる方法が記載されている。
　図２にその概要を示す。図２に示されるように、同期をとるプロジェクタ２１－１とプロジェクタ２１－２にはそれぞれカメラ２２－１およびカメラ２２－２が設けられている。プロジェクタ２１－１は、スクリーン３１の範囲３２－１に画像を投影し、カメラ２２－１もその範囲３２－１を撮像する。同様に、プロジェクタ２１－２は、スクリーン３１の範囲３２－２に画像を投影し、カメラ２２－２もその範囲３２－２を撮像する。範囲３２－１と範囲３２－２とは、範囲３３が重複している。
　例えばプロジェクタ２１－１が、投影する画像の更新タイミングの少し前に、所定のパタン３４を含む画像を投影する。そのパタン３４は、例えば、スクリーン３１の範囲３３に投影される。カメラ２２－２が撮像を行うと、撮像画像にそのパタン３４が含まれる。カメラ２２－２が撮像した撮像画像においてこのパタン３４が検出されると、プロジェクタ２１－２は、所定のタイミングにおいて投影する画像を更新する。プロジェクタ２１－１もそのタイミングにおいて投影する画像を更新する。このようにすることにより、プロジェクタ２１－１とプロジェクタ２１－２との間で画像投影のタイミング（画像を更新するタイミング）の同期をとることができる。
　しかしながら、この方法の場合、同期の精度がカメラ２２－２による撮像のフレームレートに依存する。つまり、カメラ２２－２の撮像の周期以上の精度で同期をとることはできない。例えば、カメラ２２－２の撮像の周期がプロジェクタ２１－１により投影される動画像のフレームレートと同一であれば、その動画像のフレーム単位の精度でしか同期をとることができない。したがって、例えばプロジェクタ２１－１により投影される動画像のフレーム更新のタイミングとカメラ２２－２の撮像のタイミングとがずれている場合、フレーム単位以上の精度でそれらのタイミングを合わせることは困難であった。
　仮にカメラ２２－２が、プロジェクタ２１－１により投影される動画像のフレームレートに対して十分に高レートで撮像を行うことができれば、同期精度も十分に上げることが可能である。しかしながら、例えば上述のような120Hzの動画像に対して十分に高レートで撮像を行うことができるようなカメラは価格も高い。同期をとるためだけにそのような高性能なカメラを用いコストを増大させることは現実的ではない。
　また、特許文献１に記載の方法の場合、カメラがプロジェクタ毎に必要であるので、同期をとるプロジェクタが増大する程、コストが増大するおそれもあった。
　　＜撮像画像の画素値に基づいた同期制御＞
　そこで、複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、その投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御するようにする。このようにすることにより、コストの増大を抑制しながら、より正確に複数の画像投影の同期をとることができる。
　＜２．第１の実施の形態＞
　　＜画像投影システム＞
　図３は、本技術を適用した画像投影システムの一実施の形態の主な構成例を示すブロック図である。図３において、画像投影システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、投影装置間の画像投影の同期をとったりすることができるシステムである。
　図３に示されるように、画像投影システム１００は、制御装置１１１、撮像装置１１２、投影装置１１３、および投影装置１１４を有する。制御装置１１１は、撮像装置１１２、投影装置１１３、および投影装置１１４とそれぞれ通信可能に接続されている。この接続は、有線通信によるものであってもよいし、無線通信によるものであってもよい。つまり、例えばケーブル等を用いて物理的に接続されていてもよいし、物理的には離れていてもよい。
　制御装置１１１は、投影装置１１３と投影装置１１４との間の画像投影の同期制御に関する処理を行う。図３に示されるように、制御装置１１１は、同期量抽出部１２１、同期画像処理部１２２、および同期調整処理部１２３を有する。同期量抽出部１２１、同期画像処理部１２２、および同期調整処理部１２３は、互いに情報を授受することができる。
　同期量抽出部１２１は、投影装置１１３と投影装置１１４との間の同期量の抽出に関する処理を行う。同期量とは、画像投影のタイミングの画像投影のタイミングのずれ（同期ずれとも称する）に関するパラメータである。例えば、同期量は、この同期ずれの大きさ、または、同期ずれの少なさ等を示すパラメータである。例えば、同期量抽出部１２１は、撮像装置１１２により被写体が撮像されて得られた撮像画像よりこの同期量を抽出する。例えば、同期量抽出部１２１は、その撮像画像の画素値に基づいて同期量を算出する。例えば、同期量抽出部１２１は、得られた同期量を同期調整処理部１２３に供給する。
　同期画像処理部１２２は、投影する画像に対する同期を制御するための画像処理に関する処理を行う。例えば、同期画像処理部１２２は、投影する画像に対して、同期量抽出部１２１が同期量を抽出するための所定の画像処理を施し、その画像処理された画像を投影装置１１３（の投影画像処理部１４１）や投影装置１１４（の投影画像処理部１５１）に供給し、投影させる。撮像装置１１２がその投影画像を撮像し、同期量抽出部１２１が、その撮像画像から同期量を検出する。その際、同期量抽出部１２１は、投影される画像に施された画像処理を利用して、同期量を検出する。
　同期調整処理部１２３は、投影装置１１３と投影装置１１４との間の同期の制御に関する処理を行う。例えば、同期調整処理部１２３は、同期量抽出部１２１により抽出された同期量に基づいて、投影装置１１３と投影装置１１４との間の同期を制御する。つまり、同期調整処理部１２３は、投影部１４２および投影部１５２により互いに同じ位置に投影された投影画像を撮像装置１１２が撮像して得られた撮像画像の画素値に基づいて、それらの投影部同士の間の同期ずれを抑制するように、各投影部の同期を制御する。例えば、同期調整処理部１２３は、投影装置１１４（の出力同期調整部１５３）を制御して、投影装置１１４の画像投影タイミングを調整することにより、投影装置１１３と投影装置１１４との間の同期ずれを低減させる。
　撮像装置１１２は、被写体の撮像に関する処理を行う。図３に示されるように、撮像装置１１２は、撮像部１３１および撮像画像処理部１３２を有する。撮像部１３１は、例えばCMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）等を用いたイメージセンサ等により構成され、被写体の撮像に関する処理を行う。例えば、撮像部１３１は、撮像画像処理部１３２に制御されて、投影装置１１３や投影装置１１４から投影された投影画像を撮像し、得られた画像データ（撮像画像データ）を撮像画像処理部１３２に供給する。撮像画像処理部１３２は、撮像画像データに関する処理を行う。例えば、撮像画像処理部１３２は、撮像部１３１を制御して撮像を行わせ、撮像画像データを取得する。また、例えば、撮像画像処理部１３２は、その撮像画像データに対して所定の信号処理等を行い、同期量抽出部１２１に供給する。
　投影装置１１３は、画像投影に関する処理を行う。図３に示されるように、投影装置１１３は、投影画像処理部１４１および投影部１４２を有する。投影画像処理部１４１は、投影する画像に関する処理を行う。例えば、投影画像処理部１４１は、同期画像処理部１２２より供給された画像データを取得する。また、例えば、投影画像処理部１４１は、その画像データに対して所定の信号処理を施し、投影部１４２に供給する。さらに、例えば、投影画像処理部１４１は、投影部１４２を制御し、その画像を投影させる。投影部１４２は、画像の投影に関する処理を行う。投影部１４２は、例えばレンズや発光デバイス等の光学系デバイスにより構成される。例えば、投影部１４２は、投影画像処理部１４１の制御に従って、投影画像処理部１４１より供給される画像を投影する。
　投影装置１１４は、画像投影に関する処理を行う。図３に示されるように、投影装置１１４は、投影画像処理部１５１、投影部１５２、および出力同期調整部１５３を有する。投影画像処理部１５１は、投影装置１１３の投影画像処理部１４１と同様の処理部であり、投影する画像に関する処理を行う。例えば、投影画像処理部１５１は、同期画像処理部１２２より供給された画像データを取得する。また、例えば、投影画像処理部１５１は、その画像データに対して所定の信号処理を施し、投影部１５２に供給する。さらに、例えば、投影画像処理部１５１は、投影部１５２を制御し、その画像を投影させる。投影部１５２は、投影装置１１３の投影部１４２と同様の処理部であり、画像の投影に関する処理を行う。投影部１５２は、例えばレンズや発光デバイス等の光学系デバイスにより構成される。例えば、投影部１５２は、投影画像処理部１５１の制御に従って、投影画像処理部１５１より供給される画像を投影する。
　出力同期調整部１５３は、投影部１５２の画像投影のタイミング調整に関する処理を行う。例えば、出力同期調整部１５３は、同期調整処理部１２３により指定されたタイミングに画像が投影されるように、投影部１５２の画像投影のタイミングを制御する。つまり、投影装置１１４は、この出力同期調整部１５３を有することにより、画像投影のタイミングを変えることができる。これに対して投影装置１１３は、画像投影のタイミングを変えることができない（固定的である）。
　　＜画像投影処理の流れ＞
　図４のフローチャートを参照して、このような構成の画像投影システム１００が実行する画像投影処理の流れの例を説明する。画像投影システム１００は、この画像投影処理を実行することにより、画像を投影する。
　画像投影処理が開始されると、制御装置１１１、撮像装置１１２、投影装置１１３、および投影装置１１４は、ステップＳ１０１において、最小同期ずれ探索処理を行い、投影装置１１３と投影装置１１４との間の同期ずれが最小となる投影装置１１４の画像投影のタイミング（同期調整量とも称する）を探索する。
　同期ずれが最小となる同期調整量が検出されると、制御装置１１１は、その同期調整量を用いて投影装置１１４を制御し、投影部１４２と投影部１５２との間で同期をとる。つまり、同期調整処理部１２３は、出力同期調整部１５３を制御し、ステップＳ１０１において求められたタイミングで画像投影（投影する画像の更新）を行うように、投影装置１１４（投影部１５２）の画像投影タイミングを調整させる。ステップＳ１０３において、投影部１４２および投影部１５２は、それぞれ、設定されたタイミングにおいて、コンテンツの画像を投影する。コンテンツの最後まで投影が行われる等して画像投影が終了すると、画像投影処理が終了する。
　　＜撮像装置の特性が既知の場合＞
　次に、最小同期ずれの探索方法について説明する。撮像装置１１２の特性が既知の場合、撮像装置１１２が、投影装置１１３の投影部１４２の画像投影タイミング（画像更新タイミング）に同期して駆動し、投影部１４２による各フレームの投影期間、つまり、投影を開始してから終了するまで（次のフレームの画像に更新されるまで）の間露光して撮像画像を得るようにする。
　図５にその様子の例を示す。図５に示されるように、投影装置１１３（Proj P1）は、コンテンツ区間t1において、動画コンテンツのフレーム画像f1を投影し、コンテンツ区間t2において、もう一度、フレーム画像f1を投影し、次のコンテンツ区間において、動画コンテンツの次のフレーム画像f2を投影する。つまり、投影装置１１３は、動画コンテンツの各フレーム画像を２回ずつ投影する。なお、コンテンツ区間は、投影装置１１３が投影する画像を更新する周期（画像投影のフレームレートにおける１フレーム分の時間）である。つまり、この場合、投影装置１１３は、投影する動画像のフレームレートの２倍のレートで投影する画像を更新することができる。
　また、投影装置１１３と投影装置１１４との同期のずれの大きさを、１コンテンツ区間分のずれを１とした場合の比率で示す同期ずれ比をaとする。投影装置１１４（Proj P2）は、コンテンツ区間t1の最初のaの区間において、動画コンテンツのフレーム画像f1の１つ前のフレーム画像f0に負の値「-α」の振幅を持つ信号（埋め込み値とも称する）が埋め込まれた画像（f0-α）を投影する。その後、投影装置１１４は、１コンテンツ区間分、フレーム画像f1に正の値「+α」の振幅を持つ信号（埋め込み値とも称する）が埋め込まれた画像（f1+α）を投影する。つまり、投影装置１１４は、コンテンツ区間t1の残りの区間と、コンテンツ区間t2の最初のaの区間とにおいて、フレーム画像f1に正の値「+α」の埋め込み値が埋め込まれた画像（f1+α）を投影する。その後、投影装置１１４は、１コンテンツ区間分、フレーム画像f1に負の値「-α」の埋め込み値が埋め込まれた画像（f1-α）を投影する。つまり、投影装置１１４は、コンテンツ区間t2の残りの区間と、その次のコンテンツ区間の最初のaの区間とにおいて、フレーム画像f1に負の値「-α」の埋め込み値が埋め込まれた画像（f1-α）を投影する。さらに、投影装置１１４は、コンテンツ区間t2の次の区間の残りの区間において、フレーム画像f2に正の値「+α」の埋め込み値が埋め込まれた画像（f2+α）を投影する。
　つまり、投影装置１１４は、投影装置１１３により投影されるのと同じ動画コンテンツの各フレーム画像に正の値「+α」の埋め込み値が埋め込まれた画像と、負の値「-α」の埋め込み値が埋め込まれた画像とを生成し、それらを連続して投影する。つまり、投影装置１１４も、投影する動画像のフレームレートの２倍のレートで投影する画像を更新することができる。
　この埋め込み値は、画素値を変化させるものであればどのような値であってもよい。例えば、フレーム画像の輝度や色を変更するような値であってもよい。また、フレーム画像全体を一様に変化させるものであってもよいし、画素や領域によって変化の度合いが異なるようにしてもよい。例えば、所定のパタン画像を埋め込むようにしてもよい。また、この埋め込み値は、フレーム画像の全体に埋め込むようにしてもよいし、フレーム画像の一部に埋め込むようにしてもよい。例えば、フレーム画像の外枠の近傍のような目立ちにくい領域に埋め込むようにしてもよい。
　投影装置１１３および投影装置１１４は、互いに同じ位置に投影するので、これらの投影画像は、互いに重畳される。撮像装置１１２（Camera C）は、投影装置１１３に同期して、投影装置１１３のコンテンツ区間毎に１回、この投影画像（投影装置１１３により投影された投影画像と投影装置１１４により投影された投影画像とが重畳された投影画像）を撮像する。その際、撮像装置１１２は、コンテンツ区間の開始から終了までの間露光して撮像画像を生成する。つまり、撮像装置１１２の撮像区間x1と投影装置１１３のコンテンツ区間t1とが対応し、撮像装置１１２の撮像区間x2と投影装置１１３のコンテンツ区間t2とが対応している。つまり、撮像装置１１２の撮像区間と投影装置１１３のコンテンツ区間との間にずれはない。
　このようにして得られる撮像画像から、以下のようにして同期ずれ量を抽出する。まず、コンテンツ区間t1の撮像画像の画素値w1は、以下の式（１）のように表すことができる。また、コンテンツ区間t2の撮像画像の画素値w2は、以下の式（２）のように表すことができる。さらにそれらの差分zは式（３）のように表すことができる。
　w1 = f1+a(f0-α)+(1-a)(f1+α)　・・・（１）
　w2 = f1+a(f0+α)+(1-a)(f1-α)　・・・（２）
　z = a(f0-f1)+2α(1-2a)　・・・（３）
　フレーム画像f0、f1、f2が同一の画像の場合（つまり、コンテンツが静止画である場合）、同期ずれ比aに依存した埋め込み値を得ることができる。つまり、式（３）において、f0=f1であるとすると、差分zは、以下の式（４）のようになる。
　z = 2α(1-2a)　・・・（４）
　ここで、同期ずれがない（a=0）とすると、差分zは、以下の式（５）のようになる。
　z = 2α　・・・（５）
　つまり、撮像区間x1の撮像画像と撮像区間x2の撮像画像（コンテンツ区間t1の投影画像とコンテンツ区間t2の投影画像）との差分画像において、埋め込み値がより明確に検出されるほど、投影装置１１３と投影装置１１４との間の同期ずれが少ないと言える。ちなみに、0≦a≦1であるので、式（４）の差分zの最大値は2αである。つまり、この差分値zが最大となるように投影装置１１４の画像投影タイミングを調整することにより、同期ずれ（同期ずれ比a）を最小とすることができる。
　　＜最小同期ずれ探索処理の流れ＞
　この場合の、図４のステップＳ１０１において実行される最小同期ずれ探索処理の流れの例を、図６のフローチャートを参照して説明する。
　最小同期ずれ探索処理が開始されると、同期調整処理部１２３は、ステップＳ１５１において、同期調整量を設定する。つまり、同期調整処理部１２３は、投影装置１１４の出力同期調整部１５３を制御し、投影部１５２の画像投影のタイミング（投影する画像の更新タイミング）を設定する。
　ステップＳ１５２において、同期画像処理部１２２は、投影する画像に同期検出用の信号（正の値の埋め込み値「α」）を埋め込む。ステップＳ１５３において、同期画像処理部１２２は、埋め込み前の画像を投影装置１１３に供給し、埋め込み後の画像を投影装置１１４に供給し、それぞれのタイミングでそれぞれの画像を投影させる。投影装置１１３の投影画像処理部１４１は、供給された画像を投影部１４２に供給し、投影させる。投影部１４２は、その画像を、自身のタイミングで１コンテンツ区間投影する。投影装置１１４の投影画像処理部１５１は、供給された画像を投影部１５２に供給し、投影させる。投影部１５２は、その画像を、出力同期調整部１５３（すなわち、同期調整処理部１２３）により設定されたタイミングで１コンテンツ区間投影する。
　ステップＳ１５４において、撮像装置１１２の撮像画像処理部１３２は、撮像部１３１を制御して、投影装置１１３および投影装置１１４より投影された投影画像（投影装置１１３より投影された投影画像と投影装置１１４より投影された投影画像とが重畳された投影画像）を撮像させる。撮像画像処理部１３２は、その制御に従って、投影装置１１３の画像投影タイミングに同期して撮像部１３１に撮像させて撮像画像を得ると、それを同期量抽出部１２１に供給する。
　ステップＳ１５５において、同期画像処理部１２２は、投影する画像に同期検出用の信号（負の値の埋め込み値「-α」）を埋め込む。ステップＳ１５６において、同期画像処理部１２２は、埋め込み前の画像を投影装置１１３に供給し、埋め込み後の画像を投影装置１１４に供給し、それぞれのタイミングでそれぞれの画像を投影させる。投影装置１１３の投影画像処理部１４１は、供給された画像を投影部１４２に供給し、投影させる。投影部１４２は、その画像を、自身のタイミングで１コンテンツ区間投影する。投影装置１１４の投影画像処理部１５１は、供給された画像を投影部１５２に供給し、投影させる。投影部１５２は、その画像を、出力同期調整部１５３（すなわち、同期調整処理部１２３）により設定されたタイミングで１コンテンツ区間投影する。ステップＳ１５７において、撮像装置１１２の撮像画像処理部１３２は、撮像部１３１を制御して、投影装置１１３および投影装置１１４により投影された投影画像（投影装置１１３より投影された投影画像と投影装置１１４より投影された投影画像とが重畳された投影画像）を撮像させる。撮像画像処理部１３２は、その制御に従って、投影装置１１３の画像投影タイミングに同期して撮像部１３１に撮像させて撮像画像を得ると、それを同期量抽出部１２１に供給する。
　ステップＳ１５８において、同期量抽出部１２１は、ステップＳ１５４において得られた撮像画像とステップＳ１５７において得られた撮像画像とから同期量を抽出する。例えば、同期量抽出部１２１は、それらの撮像画像の差分値を同期量として算出する。
　ステップＳ１５９において、同期量抽出部１２１は、今回得られた差分値と過去に得られた差分値とに基づいて、同期ずれが最小となる同期調整量を探索し、その同期ずれが最小となる同期調整量を検出したか否かを判定する。上述のように、この場合、差分値が最大となるとき、同期ずれが最小となる。したがって、同期量抽出部１２１は、差分値の最大値を探索する。
　差分値の最大値がまだ検出されておらず、同期ずれが最小となる同期調整量が検出されていないと判定した場合、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。その場合、ステップＳ１５１において、同期調整処理部１２３が出力同期調整部１５３を制御して、投影部１５２の画像投影のタイミングとして、新たなタイミングを設定する（つまり同期調整量を更新する）。
　つまり、同期量抽出部１２１が、連続して撮像された複数の撮像画像同士の差分を投影装置１１３と投影装置１１４との間の画像投影のタイミングのずれに関するパラメータとして求め、同期調整処理部１２３は、その同期量抽出部１２１により算出された差分が最大となるように、投影装置１１４の画像投影のタイミング、すなわち、投影装置１１３と投影装置１１４との同期を制御する。
　以上のようにして、同期ずれが最小となる同期調整量が検出される（差分値の最大値が検出される）までステップＳ１５１乃至ステップＳ１５９の各処理が繰り返し実行される。そして、ステップＳ１５９において、同期ずれが最小となる同期調整量が検出されたと判定された場合、最小同期ずれ探索処理が終了し、同期ずれが最小となる同期調整量が検出された旨が同期調整処理部１２３に通知される。または、検出された同期調整量が同期調整処理部１２３に供給されるようにしてもよい。
　同期調整処理部１２３は、その検出された同期調整量を用いて出力同期調整部１５３を制御し、投影装置１１４（投影部１５２）の画像投影タイミングを制御させる。これにより、投影装置１１４の画像投影タイミングが、同期ずれが最小となるタイミングに設定される（ステップＳ１０２）。
　つまり、同期調整処理部１２３は、撮像装置１１２により投影装置１１３に同期して撮像された撮像画像において、投影画像に含まれる、投影装置１１４により正の値と負の値とが交互に投影される埋め込み値の絶対値が最大となるように、投影装置１１３と投影装置１１４との同期を制御する。
　このように画像投影のタイミングを制御することにより、撮像周期以下のより高い精度で複数の画像投影の同期をとることができる。つまり、より正確に複数の画像の同期をとることができる。また、この方法の場合、画像に埋め込み値を埋め込んで投影し、その撮像画像の差分値が最大となるタイミングを検索するのみなので、より容易に同期をとることができる。また、この方法の場合、撮像装置１１２も動画像コンテンツのフレームレートと同等のフレームレートで撮像できればよく、かつ、台数も１台でよいので、コストの増大を抑制しながら同期をとることができる。
　なお、このような同期ずれの検出に用いるコンテンツは静止画でなくてもよい。つまり、フレーム画像f0、f1、f2が互いに同一の画像でなくてもよい。フレーム画像f0、f1、f2が連続するフレームであるので、一般的に、それらの間の差は大きくなく、同期ずれが最小となる同期調整量の検出は可能である。したがって、例えば、動画コンテンツを投影中に、そのフレーム画像に埋め込み値を埋め込み、上述のように同期をとることもできる。したがって、同期ずれ調整のためにコンテンツの投影を中止する必要が無く、投影装置の動作環境の変化や経時変化等による同期ずれにも容易に対応することができる。また、その場合、上述のように、同一フレームに正の値の埋め込み値と負の値の埋め込み値を埋め込むことにより、投影画像上においては埋め込み値の正の値と負の値とが相殺されるため、投影画像の主観画質の低減を抑制することができる。
　勿論、以上のような同期制御を行う際に、静止画を投影するようにしてもよい。例えば、動画コンテンツの投影を行っていない期間（例えば投影開始前や投影終了後等）に、静止画を用いて同期制御を行うようにしてもよい。
　なお、図６のステップＳ１５７における同期ずれが最小となる同期調整量の探索方法およびその同期調整量が探索されたか否かの判定方法は任意である。例えば、１コンテンツ区間ずつ、その区間の撮像画像とその１つ前の区間の撮像画像との差分値を求め、その差分値が前回より小さくなった時点でその１つ前のコンテンツ区間の差分値を最大値とし、そのコンテンツ区間の同期調整量を、同期ずれが最小となる同期調整量として検出するようにしてもよい。また、例えば、予め定められた所定数のコンテンツ区間について撮像画像の差分値を求め、それらの差分値の中の最大値が得られるコンテンツ区間の同期調整量を、同期ずれが最小となる同期調整量として検出するようにしてもよい。また、同期ずれが最小となる同期調整量の探索を複数回繰り返し、より正確な同期調整量を求めるようにしてもよい。
　また、撮像画像の差分値は、投影画像全体について求めるようにしてもよいし、一部について求めるようにしてもよい。例えば、撮像画像の差分値の、投影画像の全画素分の総和を「撮像画像の差分値」とし、その値を用いて同期ずれが最小となる同期調整量を探索するようにしてもよいし、投影画像の全画素について画素毎に同期ずれが最小となる同期調整量を探索し、それらの同期調整量を用いて最終的な同期調整量を求めるようにしてもよい。
　また、投影画像の一部の領域について、画素毎またはその領域全体の「撮像画像の差分値」を求め、その値を用いて同期ずれが最小となる同期調整量を探索するようにしてもよい。さらに、投影画像の一部の画素を代表画素とし、その代表画素について、画素毎またはその代表画素全体の「撮像画像の差分値」を求め、その値を用いて同期ずれが最小となる同期調整量を探索するようにしてもよい。
　＜３．第２の実施の形態＞
　　＜撮像装置の特性が未知の場合＞
　撮像装置１１２の特性が未知の場合、撮像装置１１２を、投影装置１１３の投影部１４２の画像投影タイミング（画像更新タイミング）に同期して駆動させることが困難である。そこで、この場合、撮像装置１１２により撮像された撮像画像において、投影画像と、投影装置１１３と投影装置１１４から投影される互いに異なる複数のパタン画像の合成結果との差が最小となるように、投影装置１１３と投影装置１１４との同期を制御するようにする。
　図７にその様子の例を示す。図７に示されるように、投影装置１１３（Proj P1）は、コンテンツ区間t1において、所定のパタン画像V1を投影し、コンテンツ区間t2において、パタン画像V1と異なるパタンの所定のパタン画像V2を投影する。さらに次のコンテンツ区間において、投影装置１１３は、パタン画像V1を投影する。つまり、投影装置１１３は、パタン画像V1とパタン画像V2とを交互に投影する。つまり、投影装置１１３は、複数のパタン画像を順次投影する。
　これに対して、投影装置１１４（Proj P2）は、コンテンツ区間t1の最初のaの区間において、パタン画像V1を投影し、その後、１コンテンツ区間分、パタン画像V2を投影し、さらにその後、１コンテンツ区間分、パタン画像V1を投影し、さらにその後、１コンテンツ区間分、パタン画像V2を投影する。つまり、投影装置１１４は、投影装置１１３と同様に、パタン画像V1とパタン画像V2とを交互に投影する。つまり、投影装置１１４は、複数のパタン画像を順次投影する。ただし、投影装置１１４は、投影装置１１３と逆のパタン画像を投影する。つまり、投影装置１１４は、投影装置１１３がパタン画像V1を投影するコンテンツ区間においてパタン画像V2を投影し、投影装置１１３がパタン画像V2を投影するコンテンツ区間においてパタン画像V1を投影する。ただし、投影装置１１４の画像投影のタイミングは、投影装置１１３に対して同期ずれ比aの分だけずれている（遅れている）。
　投影装置１１３および投影装置１１４は、互いに同じ位置に投影するので、これらの投影画像は、互いに重畳される。撮像装置１１２（Camera C）は、独立したタイミングで、この投影画像（投影装置１１３により投影された投影画像と投影装置１１４により投影された投影画像とが重畳された投影画像）を撮像する。つまり、撮像装置１１２の撮像区間（例えば撮像区間x1および撮像区間x2）のタイミングは、投影装置１１３や投影装置１１４のコンテンツ区間とは同期していない。例えば、撮像装置１１２と投影装置１１３との同期のずれの大きさを、１コンテンツ区間分のずれを１とした場合の比率で示す撮像同期ずれ比をdとする。ただし、この場合も撮像区間の長さはコンテンツ区間の長さに等しい。つまり、撮像装置１１２は、コンテンツ区間と同じ長さの時間露光して撮像画像を生成する。
　同期ずれがない（a=0）場合、各コンテンツ区間における、投影装置１１３より投影された投影画像と、投影装置１１４より投影された投影画像との和は、（V1+V2）となる。つまり、そのコンテンツ区間と同じ長さの撮像区間に撮像された撮像画像における投影画像もV1+V2となる。つまり、値（V1+V2）を撮像画像の目標値とし、撮像画像がその目標値（V1+V2）により近づくように、投影装置１１４の画像投影タイミングを調整することにより、同期ずれ（同期ずれ比a）を最小とすることができる。
　　＜最小同期ずれ探索処理の流れ＞
　この場合の、図４のステップＳ１０１において実行される最小同期ずれ探索処理の流れの例を、図８のフローチャートを参照して説明する。
　最小同期ずれ探索処理が開始されると、まず、撮像画像の目標値（V1+V2）が求められる。同期画像処理部１２２は、ステップＳ２５１において、パタン画像V1を投影装置１１３に供給し、投影させる。投影装置１１３の投影画像処理部１４１は、そのパタン画像V1を投影部１４２に供給し、投影させる。なお、この投影は、少なくとも撮像が行われるまで継続される。
　ステップＳ２５２において、撮像装置１１２の撮像画像処理部１３２は、撮像部１３１を制御して、その投影画像を１撮像区間露光して撮像する。撮像画像処理部１３２は、撮像部１３１に撮像させて撮像画像を得ると、それを同期量抽出部１２１に供給する。
　ステップＳ２５３において、同期画像処理部１２２は、パタン画像V2を投影装置１１３に供給し、投影させる。投影装置１１３の投影画像処理部１４１は、そのパタン画像V2を投影部１４２に供給し、投影させる。なお、この投影は、少なくとも撮像が行われるまで継続される。
　ステップＳ２５４において、撮像装置１１２の撮像画像処理部１３２は、撮像部１３１を制御して、その投影画像を自身のタイミングで１撮像区間露光して撮像する。撮像画像処理部１３２は、撮像部１３１に撮像させて撮像画像を得ると、それを同期量抽出部１２１に供給する。
　ステップＳ２５５において、同期量抽出部１２１は、ステップＳ２５２において得られた撮像画像とステップＳ２５４において得られた撮像画像とを加算し、目標値（V1+V2）を算出する。
　目標値（V1+V2）が求まると、ステップＳ２５６において、同期調整処理部１２３は、同期調整量を設定する。つまり、同期調整処理部１２３は、投影装置１１４の出力同期調整部１５３を制御し、投影部１５２の画像投影のタイミング（投影する画像の更新タイミング）を設定する。
　ステップＳ２５７において、同期画像処理部１２２は、パタン画像V1とパタン画像V2を、１コンテンツ区間毎に投影装置１１３に交互に供給し、それらを１コンテンツ区間毎に交互に投影させる。投影装置１１３の投影画像処理部１４１は、供給されたパタン画像を投影部１４２に供給し、投影させる。投影部１４２は、そのパタン画像を、自身のタイミングで１コンテンツ区間投影する。つまり、投影部１４２は、パタン画像V1とパタン画像V2とを、１コンテンツ区間毎に交互に投影する。
　同様に、同期画像処理部１２２は、パタン画像V2とパタン画像V1を、１コンテンツ区間毎に投影装置１１３に交互に供給し、それらを１コンテンツ区間毎に交互に投影させる。投影装置１１４の投影画像処理部１５１は、供給されたパタン画像を投影部１５２に供給し、投影させる。投影部１５２は、そのパタン画像を、出力同期調整部１５３（すなわち、同期調整処理部１２３）により設定されたタイミングで１コンテンツ区間投影する。つまり、投影部１５２は、パタン画像V2とパタン画像V1とを、１コンテンツ区間毎に交互に投影する。
　なお、同期画像処理部１２２は、各コンテンツ区間について、パタン画像V1およびパタン画像V2の一方を投影装置１１３に供給し、他方を投影装置１１４に供給する。つまり、投影装置１１３と投影装置１１４は、各コンテンツ区間において互いに異なるパタン画像を投影する。つまり、例えば、投影装置１１３のあるコンテンツ区間において投影装置１１３がパタン画像V1を投影している場合、そのコンテンツ区間に対応する投影装置１１４のコンテンツ区間において、投影装置１１４は、パタン画像V2を投影する。逆に、投影装置１１３のあるコンテンツ区間において投影装置１１３がパタン画像V2を投影している場合、そのコンテンツ区間に対応する投影装置１１４のコンテンツ区間において、投影装置１１４は、パタン画像V1を投影する。なお、ここで「対応する」とは、同期ずれが無い場合（a=0）に、時刻が一致するコンテンツ区間を示す。
　ステップＳ２５８において、撮像装置１１２の撮像画像処理部１３２は、撮像部１３１を制御して、その投影画像を自身のタイミングで１撮像区間露光して撮像する。撮像画像処理部１３２は、撮像部１３１に撮像させて撮像画像を得ると、それを同期量抽出部１２１に供給する。
　ステップＳ２５９において、同期量抽出部１２１は、ステップＳ２５８の処理により得られた撮像画像と、ステップＳ２５５の処理により得られた目標値（V1+V2）との差分値を同期量として算出する。
　ステップＳ２６０において、同期量抽出部１２１は、今回得られた差分値と過去に得られた差分値とに基づいて、同期ずれが最小となる同期調整量を探索し、その同期ずれが最小となる同期調整量を検出したか否かを判定する。上述のように、この場合、差分値が最小となるとき、同期ずれが最小となる。したがって、同期量抽出部１２１は、差分値の最小値を探索する。
　差分値の最小値がまだ検出されておらず、同期ずれが最小となる同期調整量が検出されていないと判定した場合、処理はステップＳ２５６に戻り、それ以降の処理が繰り返される。その場合、ステップＳ２５６において、同期調整処理部１２３が出力同期調整部１５３を制御して、投影部１５２の画像投影のタイミングとして、新たなタイミングを設定する（つまり同期調整量を更新する）。
　つまり、同期量抽出部１２１が、撮像画像と目標値（パタン画像V1とパタン画像V2との合成結果）との差分を投影装置１１３と投影装置１１４との間の画像投影のタイミングのずれに関するパラメータとして求め、同期調整処理部１２３は、その同期量抽出部１２１により算出された差分が最小となるように、投影装置１１４の画像投影のタイミング、すなわち、投影装置１１３と投影装置１１４との同期を制御する。
　以上のようにして、同期ずれが最小となる同期調整量が検出される（差分値の最大値が検出される）までステップＳ２５６乃至ステップＳ２６０の各処理が繰り返し実行される。そして、ステップＳ２６０において、同期ずれが最小となる同期調整量が検出されたと判定された場合、最小同期ずれ探索処理が終了し、同期ずれが最小となる同期調整量が検出された旨が同期調整処理部１２３に通知される。または、検出された同期調整量が同期調整処理部１２３に供給されるようにしてもよい。
　同期調整処理部１２３は、その検出された同期調整量を用いて出力同期調整部１５３を制御し、投影装置１１４（投影部１５２）の画像投影タイミングを制御させる。これにより、投影装置１１４の画像投影タイミングが、同期ずれが最小となるタイミングに設定される（ステップＳ１０２）。
　つまり、同期調整処理部１２３は、撮像装置１１２により撮像された撮像画像において、投影装置１１３および投影装置１１４から互いに異なるパタン画像が互いに同じ位置に投影された投影画像と、各パタン画像の投影画像の合成結果との差が最小となるように、投影装置１１３と投影装置１１４との同期を制御する。
　このように画像投影のタイミングを制御することにより、撮像装置の特性が未知である場合も、撮像周期以下のより高い精度で複数の画像投影の同期をとることができる。つまり、より正確に複数の画像の同期をとることができる。また、この方法の場合、複数のパタン画像を投影し、その撮像画像と目標値との差分値が最小となるタイミングを検索するのみなので、より容易に同期をとることができる。また、この方法の場合、撮像装置１１２も動画像コンテンツのフレームレートと同等のフレームレートで撮像できればよく、かつ、台数も１台でよいので、コストの増大を抑制しながら同期をとることができる。
　上述したパタン画像V1およびパタン画像V2は、互いに異なる画像であればどのような画像であってもよい。また使用するパタン画像の数は複数であれば任意である。例えば、３種類以上のパタン画像を用いるようにしてもよい。
　なお、図８のステップＳ２６０における同期ずれが最小となる同期調整量の探索方法およびその同期調整量が探索されたか否かの判定方法は任意である。例えば、毎回撮像画像と目標値との差分値を求め、その差分値が前回より大きくなった時点でその１つ前の撮像画像と目標値との差分値を最小値とし、そのときの同期調整量を、同期ずれが最小となる同期調整量として検出するようにしてもよい。また、例えば、予め定められた所定回数撮像を行い、各撮像画像と目標値との差分値を求め、それらの差分値の中の最小値が得られる撮像画像を得る撮像が行われた時の同期調整量を、同期ずれが最小となる同期調整量として検出するようにしてもよい。また、同期ずれが最小となる同期調整量の探索を複数回繰り返し、より正確な同期調整量を求めるようにしてもよい。
　＜４．第３の実施の形態＞
　　＜その他の構成＞
　なお、本技術を適用した画像投影システム１００の構成は、上述した図３の例に限定されない。例えば、制御装置１１１、撮像装置１１２、並びに、投影装置１１３および投影装置１１４の数は、それぞれ任意である。例えば、制御装置１１１や撮像装置１１２がそれぞれ複数であってもよいし、投影装置が３台以上であってもよい。また、各投影装置の仕様（例えば、解像度、明るさ、フレームレート等）がすべて同一であってもよいし、同一でなくてもよい。また、画像投影システム１００の投影装置が投影装置１１４のみ（複数の投影装置１１４）により構成されるようにしてもよい。つまり、画像投影システム１００の全ての投影装置が画像投影のタイミングを調整する機能を有する（画像投影のタイミングが可変である）ようにしてもよい。
　また、例えば図９に示されるように、画像投影システム１００の各装置が、ネットワーク３１０を介して互いに接続されるようにしてもよい。
　このネットワーク３１０は、任意の通信網である。ネットワーク３１０において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク３１０は、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク３１０に含まれるようにしてもよい。
　各装置は、このネットワーク３１０に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。各装置は、ネットワーク３１０を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、各装置は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。このような構成の場合も、画像投影システム１００は、上述した他の実施の形態の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図１０に示されるように、制御装置１１１と撮像装置１１２が一体化されて１つの装置として構成されるようにしてもよい。図１０の例の場合、画像投影システム１００は、制御装置１１１および撮像装置１１２の代わりに、撮像装置３２０を有する。撮像装置３２０は、制御部３２１および撮像部３２２を有する。制御部３２１は、同期制御に関する処理を行う処理部であり、制御装置１１１と同様の構成を有し、同様の処理を行う。また、撮像部３２２は、撮像に関する処理を行う処理部であり、撮像装置１１２と同様の構成を有し、同様の処理を行う。図１０に示されるように、投影装置１１３および投影装置１１４は、制御装置１１１に接続されていたのと同様に、制御部３２１に接続される。制御部３２１は、撮像部３２２において撮像された撮像画像に基づいて、投影装置１１３および投影装置１１４の同期を制御する。したがって、このよな構成の場合も、画像投影システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図１１に示されるように、撮像装置１１２と投影装置１１３とが一体化されて１つの装置として構成されるようにしてもよい。図１１の例の場合、画像投影システム１００は、撮像装置１１２および投影装置１１３の代わりに、投影撮像装置３３０を有する。投影撮像装置３３０は、撮像部３３１および投影部３３２を有する。撮像部３３１は、撮像に関する処理を行う処理部であり、撮像装置１１２と同様の構成を有し、同様の処理を行う。投影部３３２は、画像投影に関する処理を行う処理部であり、投影装置１１３と同様の構成を有し、同様の処理を行う。図１１に示されるように、この投影撮像装置３３０も制御装置１１１に接続される。制御装置１１１は、撮像部３３１において撮像された撮像画像に基づいて、投影部３３２および投影装置１１４の同期を制御する。したがって、このよな構成の場合も、画像投影システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。
　さらに、図１２の例のように、制御装置１１１も一体化するようにしてもよい。図１２の例の場合、画像投影システム１００は、制御装置１１１、撮像装置１１２、および投影装置１１３の代わりに、投影撮像装置３４０を有する。この投影撮像装置３４０は、制御部３４１、撮像部３４２、および投影部３４３を有する。制御部３４１は、同期制御に関する処理を行う処理部であり、制御装置１１１と同様の構成を有し、同様の処理を行う。撮像部３４２は、撮像に関する処理を行う処理部であり、撮像装置１１２と同様の構成を有し、同様の処理を行う。投影部３４３は、画像投影に関する処理を行う処理部であり、投影装置１１３と同様の構成を有し、同様の処理を行う。図１２に示されるように、投影装置１１４は、制御装置１１１に接続されていたのと同様に、制御部３４１に接続される。制御部３４１は、撮像部３４２において撮像された撮像画像に基づいて、投影部３４３および投影装置１１４の同期を制御する。したがって、このよな構成の場合も、画像投影システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。
　勿論、画像投影システム１００の各装置は、上述した例に限定されず、任意の組み合わせで一体化して１つの装置とすることができる。
　また以上においては画像投影システムを用いて本技術を説明したが、本技術は画像表示装置や画像表示システム等、画像表示機能を備える任意の構成、または画像表示のための処理を行う任意の構成に適用することができる。
　＜５．その他＞
　　＜本技術の適用分野＞
　本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
　例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図１３に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
　バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
　入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
　以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
　　＜補足＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御する同期制御部
　を備える画像処理装置。
　（２）　前記同期制御部は、前記撮像部により前記複数の投影部の内のいずれかの投影部に同期して撮像された前記撮像画像において、前記投影画像に含まれる、前記複数の投影部の内の他の投影部により正の値と負の値とが交互に投影される埋め込み値の絶対値が最大となるように、各投影部の同期を制御する
　（１）に記載の画像処理装置。
　（３）　前記同期制御部は、前記撮像部により撮像された前記撮像画像において、前記投影画像と、互いに異なる複数のパタン画像の投影画像の合成結果との差が最小となるように、各投影部の同期を制御する
　（１）に記載の画像処理装置。
　（４）　前記撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれに関するパラメータの値を算出する算出部をさらに備え、
　前記同期制御部は、前記算出部により算出された前記パラメータの値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御するように構成される
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記算出部は、連続して撮像された複数の前記撮像画像同士の差分を前記パラメータとして求め、
　前記同期制御部は、前記算出部により算出された前記差分が最大となるように、各投影部の同期を制御する
　（４）に記載の画像処理装置。
　（６）　前記算出部は、前記撮像画像に含まれる前記投影画像と、前記複数の投影部のそれぞれから投影される互いに異なるパタン画像の合成結果との差分を前記パラメータとして求め、
　前記同期制御部は、前記算出部により算出された前記差分が最小となるように、各投影部の同期を制御する
　（４）に記載の画像処理装置。
　（７）　前記算出部は、各パタン画像の投影画像の撮像画像を用いて、前記合成結果を算出する
　（６）に記載の画像処理装置。
　（８）　前記複数の投影部が投影する画像に対して、各投影部の同期を制御するための画像処理を行う画像処理部をさらに備え、
　前記同期制御部は、前記画像処理部により画像処理が施された前記撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御するように構成される
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記画像処理部は、正の値の埋め込み値と負の値の埋め込み値とを互いに同一の画像に埋め込み、前記正の値の埋め込み値が埋め込まれた画像と、前記負の値の埋め込み値が埋め込まれた画像とを投影部に投影させる
　（８）に記載の画像処理装置。
　（１０）　前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備える
　（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記撮像部は、前記複数の投影部の内のいずれかの投影部に同期して、前記投影部の画像投影の期間露光して前記撮像画像を得る
　（１０）に記載の画像処理装置。
　（１２）　前記撮像部は、前記投影部の画像投影の期間と同じ長さの期間露光して前記撮像画像を得る
　（１０）に記載の画像処理装置。
　（１３）　前記撮像部は、前記同期制御部による同期制御に用いられる互いに異なる複数のパタン画像のそれぞれの投影画像を撮像する
　（１２）に記載の画像処理装置。
　（１４）　画像を投影する投影部をさらに備える
　（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記投影部は、正の値の埋め込み値が埋め込まれた画像と、負の値の埋め込み値が埋め込まれた画像とを交互に投影する
　（１４）に記載の画像処理装置。
　（１６）　前記投影部は、複数のパタン画像を順次投影する
　（１４）に記載の画像処理装置。
　（１７）　前記投影部は、前記複数のパタン画像を順次投影する前に、各パタン画像を投影し、各投影画像を撮像部に撮像させる
　（１６）に記載の画像処理装置。
　（１８）　複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御する
　画像処理方法。
　１００　画像投影システム，　１１１　制御装置，　１１２　撮像装置，　１１３および１１４　投影装置，　１２１　同期量抽出部，　１２２　同期画像処理部，　１２３　同期調整処理部，　１３１　撮像部，　１３２　撮像画像処理部，　１４１　投影画像処理部，　１４２　投影部，　１５１　投影画像処理部，　１５２　投影部，　１５３　出力同期調整部，　３１０　ネットワーク，　３２０　撮像装置，　３２１　制御部，　３２２　撮像部，　３３０　投影撮像装置，　３３１　撮像部，　３３２　投影部，　３４０　投影撮像装置，　３４１　制御部，　３４２　撮像部，　３４３　投影部，　８００　コンピュータ

Claims (18)

  1. 　複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御する同期制御部
    　を備える画像処理装置。
  2. 　前記同期制御部は、前記撮像部により前記複数の投影部の内のいずれかの投影部に同期して撮像された前記撮像画像において、前記投影画像に含まれる、前記複数の投影部の内の他の投影部により正の値と負の値とが交互に投影される埋め込み値の絶対値が最大となるように、各投影部の同期を制御する
    　請求項１に記載の画像処理装置。
  3. 　前記同期制御部は、前記撮像部により撮像された前記撮像画像において、前記投影画像と、互いに異なる複数のパタン画像の投影画像の合成結果との差が最小となるように、各投影部の同期を制御する
    　請求項１に記載の画像処理装置。
  4. 　前記撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれに関するパラメータの値を算出する算出部をさらに備え、
    　前記同期制御部は、前記算出部により算出された前記パラメータの値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御するように構成される
    　請求項１に記載の画像処理装置。
  5. 　前記算出部は、連続して撮像された複数の前記撮像画像同士の差分を前記パラメータとして求め、
    　前記同期制御部は、前記算出部により算出された前記差分が最大となるように、各投影部の同期を制御する
    　請求項４に記載の画像処理装置。
  6. 　前記算出部は、前記撮像画像に含まれる前記投影画像と、前記複数の投影部のそれぞれから投影される互いに異なるパタン画像の合成結果との差分を前記パラメータとして求め、
    　前記同期制御部は、前記算出部により算出された前記差分が最小となるように、各投影部の同期を制御する
    　請求項４に記載の画像処理装置。
  7. 　前記算出部は、各パタン画像の投影画像の撮像画像を用いて、前記合成結果を算出する
    　請求項６に記載の画像処理装置。
  8. 　前記複数の投影部が投影する画像に対して、各投影部の同期を制御するための画像処理を行う画像処理部をさらに備え、
    　前記同期制御部は、前記画像処理部により画像処理が施された前記撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御するように構成される
    　請求項１に記載の画像処理装置。
  9. 　前記画像処理部は、正の値の埋め込み値と負の値の埋め込み値とを互いに同一の画像に埋め込み、前記正の値の埋め込み値が埋め込まれた画像と、前記負の値の埋め込み値が埋め込まれた画像とを投影部に投影させる
    　請求項８に記載の画像処理装置。
  10. 　前記投影画像を撮像して前記撮像画像を得る撮像部をさらに備える
    　請求項１に記載の画像処理装置。
  11. 　前記撮像部は、前記複数の投影部の内のいずれかの投影部に同期して、前記投影部の画像投影の期間露光して前記撮像画像を得る
    　請求項１０に記載の画像処理装置。
  12. 　前記撮像部は、前記投影部の画像投影の期間と同じ長さの期間露光して前記撮像画像を得る
    　請求項１０に記載の画像処理装置。
  13. 　前記撮像部は、前記同期制御部による同期制御に用いられる互いに異なる複数のパタン画像のそれぞれの投影画像を撮像する
    　請求項１２に記載の画像処理装置。
  14. 　画像を投影する投影部をさらに備える
    　請求項１に記載の画像処理装置。
  15. 　前記投影部は、正の値の埋め込み値が埋め込まれた画像と、負の値の埋め込み値が埋め込まれた画像とを交互に投影する
    　請求項１４に記載の画像処理装置。
  16. 　前記投影部は、複数のパタン画像を順次投影する
    　請求項１４に記載の画像処理装置。
  17. 　前記投影部は、前記複数のパタン画像を順次投影する前に、各パタン画像を投影し、各投影画像を撮像部に撮像させる
    　請求項１６に記載の画像処理装置。
  18. 　複数の投影部により互いに同じ位置に投影された投影画像を撮像部が撮像して得られた撮像画像の画素値に基づいて、前記投影部間の画像投影のタイミングのずれを抑制するように、各投影部の同期を制御する
    　画像処理方法。
PCT/JP2018/008054 2017-03-17 2018-03-02 画像処理装置および方法 WO2018168528A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880017098.8A CN110383829B (zh) 2017-03-17 2018-03-02 图像处理设备和方法
US16/486,693 US11184590B2 (en) 2017-03-17 2018-03-02 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-052119 2017-03-17
JP2017052119 2017-03-17

Publications (1)

Publication Number Publication Date
WO2018168528A1 true WO2018168528A1 (ja) 2018-09-20

Family

ID=63523022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008054 WO2018168528A1 (ja) 2017-03-17 2018-03-02 画像処理装置および方法

Country Status (3)

Country Link
US (1) US11184590B2 (ja)
CN (1) CN110383829B (ja)
WO (1) WO2018168528A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6915597B2 (ja) * 2018-08-29 2021-08-04 セイコーエプソン株式会社 制御装置、マルチプロジェクションシステム、および制御装置の制御方法
CN117041508B (zh) * 2023-10-09 2024-01-16 杭州罗莱迪思科技股份有限公司 一种分布式投影方法、投影系统、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008051848A (ja) * 2006-08-22 2008-03-06 Seiko Epson Corp 表示装置、マルチディスプレイシステム、同期制御方法、同期制御プログラム、および記録媒体
JP2009122412A (ja) * 2007-11-15 2009-06-04 Seiko Epson Corp 画像表示システム及び画像表示装置
JP2014077933A (ja) * 2012-10-11 2014-05-01 Canon Inc 画像投影装置、画像投影方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1875732B1 (en) * 2005-04-26 2016-12-28 Imax Corporation Electronic projection systems and methods
JP4354449B2 (ja) * 2005-10-26 2009-10-28 オリンパス株式会社 表示画像撮像方法および装置
CN100551048C (zh) 2006-12-15 2009-10-14 上海元朔信息科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
EP2687019B1 (en) * 2011-03-14 2019-09-04 Dolby Laboratories Licensing Corporation 3d projection system
US20150293355A1 (en) * 2012-10-10 2015-10-15 Renault S.A.S. Head-up display device and method
JP2014106386A (ja) 2012-11-28 2014-06-09 Seiko Epson Corp 画像表示システム、画像表示方法及びプロジェクター
US20150177608A1 (en) * 2013-02-01 2015-06-25 Jeremy Richard Nelson Auto stereoscopic projector screen
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
JP2016225922A (ja) * 2015-06-02 2016-12-28 株式会社リコー 無線通信システム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008051848A (ja) * 2006-08-22 2008-03-06 Seiko Epson Corp 表示装置、マルチディスプレイシステム、同期制御方法、同期制御プログラム、および記録媒体
JP2009122412A (ja) * 2007-11-15 2009-06-04 Seiko Epson Corp 画像表示システム及び画像表示装置
JP2014077933A (ja) * 2012-10-11 2014-05-01 Canon Inc 画像投影装置、画像投影方法及びプログラム

Also Published As

Publication number Publication date
US20200059632A1 (en) 2020-02-20
CN110383829B (zh) 2021-12-24
CN110383829A (zh) 2019-10-25
US11184590B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
US10863155B2 (en) Reduction of banding artifacts in image processing
US10412291B2 (en) Intelligent interface for interchangeable sensors
US10284732B2 (en) Masking latency in USB photo capture
US10582122B2 (en) Image processing apparatus, image processing method, and image pickup apparatus
CN108702477B (zh) 图像处理装置和方法
US10098080B2 (en) Device, method and computer readable medium
KR101623826B1 (ko) 히트맵 영상 기능을 가진 감시카메라
US20170269187A1 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
US20170078649A1 (en) Method and system for unsynchronized structured lighting
CN105205787A (zh) 用于对ldr视频序列进行动态范围扩展的方法和设备
WO2018168528A1 (ja) 画像処理装置および方法
JP5675902B2 (ja) 動画生成方法及び装置
US20070188645A1 (en) Image output apparatus, method and program thereof, and imaging apparatus
JP7218721B2 (ja) 画像処理装置および方法
BR112016021186B1 (pt) Método e sistema para gerenciamento de estimação de movimento
US11601626B2 (en) Image processing apparatus and method
JP2018072760A (ja) 表示装置、表示システム及び表示装置の制御方法
US20150172557A1 (en) Signal processing device, signal processing method, and program
JP2013236172A (ja) 視差検出装置および視差検出方法
JP5484020B2 (ja) マルチプロジェクションシステムの制御装置、制御方法、プログラム
JP2016158004A (ja) 信号処理装置、信号処理方法、及び、プログラム
JP2016178456A (ja) 信号処理装置及び信号処理方法
JP2016178457A (ja) 信号処理装置及び信号処理方法
GB2527577A (en) Frame rate augmentation
JP2008252668A (ja) 多画面映像監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18766848

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18766848

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP