WO2018037948A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2018037948A1
WO2018037948A1 PCT/JP2017/029192 JP2017029192W WO2018037948A1 WO 2018037948 A1 WO2018037948 A1 WO 2018037948A1 JP 2017029192 W JP2017029192 W JP 2017029192W WO 2018037948 A1 WO2018037948 A1 WO 2018037948A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
pattern
unit
frame
Prior art date
Application number
PCT/JP2017/029192
Other languages
English (en)
French (fr)
Inventor
益義 黒川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17843431.2A priority Critical patent/EP3506623B1/en
Priority to JP2018535602A priority patent/JP7070417B2/ja
Priority to CN201780050280.9A priority patent/CN109644249B/zh
Priority to US16/321,958 priority patent/US10991340B2/en
Publication of WO2018037948A1 publication Critical patent/WO2018037948A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method that can realize the state of a projected image at a lower cost.
  • the projected image is captured by a camera, and the position, orientation, projection surface shape, etc. of the projector are estimated using the captured image, and accordingly
  • the projection image projected on the screen is captured by the camera, and if the projection image is deformed into a trapezoidal shape or the like, it is projected so as to be correctly projected on the screen.
  • ISL Interceptible Structured Light
  • a pattern image which is an image of a predetermined pattern is embedded in an image of content and projected so as not to be perceived by humans using an integration effect. Then, corresponding points are detected using the pattern image.
  • the present disclosure has been made in view of such a situation, and makes it possible to grasp the state of a projection image at a lower cost.
  • An image processing apparatus provides a projection image obtained by sequentially projecting predetermined pattern images with positive and negative opposite to each other by a projection unit at a speed higher than a frame rate of the projection image by an imaging unit driven by a rolling shutter method.
  • the difference calculation unit can calculate a difference between frames at intervals corresponding to a ratio of a frame rate of the projected image and a frame rate of the captured image.
  • the frame rate of the captured image is twice the frame rate of the projected image
  • the difference calculation unit can be configured to calculate a difference between frames at intervals of two frames.
  • An extraction unit that extracts an area in which the pattern image can be detected from a difference between frames calculated by the difference calculation unit, and the area extracted from each of a plurality of differences by the extraction unit are joined to each other. And a joint for generating the pattern image of the minute.
  • a corresponding point detection unit that detects a corresponding point between the projection unit and the imaging unit using the pattern image generated by the joint unit.
  • An image correction unit that corrects an image projected by the projection unit using the corresponding point detected by the corresponding point detection unit can be further provided.
  • the pattern image includes a pattern that can be used to detect corresponding points between the projection unit and the imaging unit, and a pattern that can be used to identify a pixel row of the projection image
  • the extraction unit includes the pattern image Can be extracted based on a pattern that can be used to identify a pixel row of the projection image.
  • the pattern image may further include a pattern that can be used for identifying a pixel row of the projection image.
  • the pattern usable for identifying the pixel row of the projected image and the pattern usable for identifying the pixel column of the projected image of the pattern image are formed in the vicinity of the upper left and right lower ends of the projected image. can do.
  • the pattern that can be used to identify the pixel row of the projection image and the pattern that can be used to identify the pixel column of the projection image of the pattern image are formed in a grid pattern on the entire projection image. be able to.
  • the pattern image includes a pattern that can be used for both detection of corresponding points of the projection unit and the imaging unit and identification of a pixel row of the projection image, and the extraction unit can detect the pattern image
  • the region may be configured to be extracted based on a pattern that can be used for both detection of corresponding points between the projection unit and the imaging unit and identification of a pixel row of the projection image.
  • a synchronization processing unit that synchronizes the timing of projection by the projection unit and the timing of imaging by the imaging unit.
  • the frame rate of the captured image is 2N (N is a natural number) times the frame rate of the projection image
  • the difference calculation unit is configured to calculate a difference between frames at 2N frame intervals. be able to.
  • the image selection unit can select a frame in which a plurality of frames of the projection image of the captured image are mixed.
  • the image selection unit can select a frame of the captured image that includes only a single frame of the projection image.
  • the projected image is obtained by sequentially projecting a superimposed image in which the positive pattern image is superimposed on a predetermined frame of a moving image and a superimposed image in which the negative pattern image is superimposed. be able to.
  • the image pickup unit can be further provided.
  • the projection unit may be further provided.
  • An image processing method is obtained by capturing a projection image obtained by sequentially projecting predetermined pattern images having opposite signs in the positive and negative directions at a speed higher than a frame rate of the projection image using a rolling shutter method. This is an image processing method for calculating a difference between discontinuous frames of a captured image composed of a plurality of frames.
  • a projected image obtained by sequentially projecting predetermined pattern images having opposite signs to each other is captured at a higher speed than the frame rate of the projected image by a rolling shutter method.
  • the difference between the discontinuous frames of the obtained captured image including a plurality of frames is calculated.
  • an image can be processed.
  • grasping of the state of the projected image can be realized at a lower cost.
  • First Embodiment> ⁇ Geometric correction of projected images> Depending on the orientation (position, orientation, etc.) of the projector with respect to the projection surface (screen, wall, etc.), the shape of the projection surface, etc., the projected image (also referred to as a projection image) may be distorted and difficult to see. In such a case, by performing geometric correction such as distortion correction on the image projected by the projector, it is possible to reduce the distortion of the projected image and make it easy to see.
  • geometric correction in which the position of each pixel of the projection image on the projection plane, such as deformation, movement, enlargement, and reduction of the projection image, is called geometric correction. That is, the “geometric correction” includes not only image processing but also control by optical system such as shift and zoom, control by the attitude of the projection unit, and the like. Further, in this specification, the “posture” of the projection unit, the imaging unit, and the like include not only their “direction” (direction of projection or imaging) but also their “position” (position where projection or imaging is performed). Shall be included.
  • Such geometric correction can be performed manually by an operator or the like who operates the projector, but there is a risk that complicated work is required. Therefore, a method has been considered in which a projected image projected by a projector is captured using a camera, and geometric correction is set using the captured image. In this case, the posture of the camera or projector, the screen shape, and the like are estimated from the projection image included in the captured image, and appropriate geometric correction is set in accordance with them.
  • Such a geometric correction setting may be necessary not only before the projection of the content (moving image) but also during the projection of the content. For example, if the attitude of the projector changes during content projection, the projected image will be distorted. In such a case, in order to set the geometric correction appropriately, it is necessary to re-estimate the attitude of the projector. However, interrupting the projection of content for that purpose is not preferable for the user who is viewing the content because it interferes with the viewing of the content. Therefore, a method of detecting corresponding points while continuing to project content (online sensing) was considered.
  • a method using invisible light such as Infrared for example, a method using image feature quantity such as SIFT, and an ISL (Imperceptible Structured Light) system were considered.
  • a method using invisible light such as Infrared
  • a projector that projects invisible light for example, an Infrared projector
  • image feature quantities such as SIFT
  • ISL method a pattern image which is an image of a predetermined pattern is embedded in an image of content and projected so as not to be perceived by humans using an integration effect. Then, corresponding points are detected using the pattern image. More specifically, a positive image and a negative image of a predetermined pattern image (Structured Light) are superimposed on an input image (content image), respectively, and a positive frame (Pos Frame) and a negative frame (Neg Frame) ) Are generated. These two frames are sequentially projected by the projector.
  • a pattern image positive image also referred to as a positive pattern image
  • a negative image also referred to as a negative pattern image
  • patterns whose luminance value change directions are opposite to each other for example, white and black.
  • a camera driven by the global shutter system operates in synchronization with the projection by the projector, and picks up these two frames of projected images.
  • Each captured image includes a positive image and a negative image of the pattern image. Therefore, by obtaining the difference between these captured images, the content image is erased and the pattern image is extracted. Corresponding points between the projector and camera pixels can be detected using this pattern image. That is, the grasp of the state of the projected image can be realized at a lower cost.
  • Such a camera is not directly related to image projection, but is an auxiliary configuration for correcting the projected image. Therefore, for example, even if this camera has an expensive function, it does not lead to a direct image quality improvement such as an improvement in the resolution of the projected image.
  • Such an auxiliary structure is often required to be realized as inexpensively as possible, rather than excessive performance improvement. For this reason, it is desired to realize such a camera using a rolling shutter type camera that is less expensive than a global shutter type camera, but it has been difficult to realize such a camera as described above.
  • an image of a captured image composed of a plurality of frames obtained by imaging a projected image obtained by sequentially projecting predetermined pattern images of opposite signs to each other by the rolling shutter method at a speed higher than the frame rate of the projected image.
  • the difference between consecutive frames is calculated.
  • FIG. 1 is a block diagram illustrating a main configuration example of an embodiment of a projection imaging system to which the present technology is applied.
  • a projection imaging system 100 is a system that can project an image, capture a projection image, or perform corresponding point detection by an ISL method by a method to which the present technology is applied.
  • the projection imaging system 100 includes a control device 101, a projection device 102, and an imaging device 103.
  • the projection device 102 and the imaging device 103 are connected to the control device 101 so that they can communicate with each other.
  • the communication and the communication medium for realizing this connection are arbitrary.
  • it may be connected via a dedicated cable, or connected via a cable of a predetermined standard such as HDMI (registered trademark) (High-DefinitioninMultimedia Interface) or USB (Universal Serial Bus).
  • the connection may be made via a predetermined network (communication network) such as a LAN (Local Area Network) or the Internet.
  • a predetermined network such as a LAN (Local Area Network) or the Internet.
  • connection is made by any wireless communication such as Bluetooth (registered trademark) communication, near field communication such as NFC (Near Field Communication), infrared communication, IEEE (Institute of Electrical and Electronic Engineers) 802.11 wireless LAN, or the like. You may do it.
  • the wireless LAN may be connected via a plurality of types of communication media such as the Internet.
  • the control device 101 is an embodiment of an image processing device or a control unit to which the present technology is applied, and controls operations of the projection device 102 and the imaging device 103. In addition, the control device 101 performs processing related to correction of an image projected by the projection device 102 using the captured image obtained by the imaging device 103.
  • the projection apparatus 102 is an embodiment of an image processing apparatus or a projection unit to which the present technology is applied, and is configured by, for example, a projector.
  • the projection device 102 projects the image supplied from the control device 101 onto the screen 10.
  • the imaging device 103 is an embodiment of an image processing device or an imaging unit to which the present technology is applied, and includes, for example, a camera.
  • the imaging device 103 captures the screen 10 on which the projection image is projected.
  • the projection apparatus 102 projects an image onto the PL or PR of the screen 10 as shown in FIG.
  • the imaging device 103 images the range of CL to CR of the screen 10. That is, the imaging device 103 images the screen 10 in an imaging range that includes the entire projection image. In FIG. 1, the horizontal direction of the projected image is shown, but the vertical direction is the same.
  • the imaging device 103 is driven by a rolling shutter method.
  • the imaging device 103 supplies a captured image of the obtained projection image to the control device 101.
  • FIG. 2 is a block diagram illustrating a main configuration example of the control apparatus 101 which is an embodiment of an image processing apparatus to which the present technology is applied.
  • the control device 101 includes a CPU 111, a ROM 112, a RAM 113, a bus 114, an input / output interface 120, an input unit 121, an output unit 122, a storage unit 123, a communication unit 124, and a drive 125.
  • the CPU 111, the ROM 112, and the RAM 113 are connected to each other via a bus 114.
  • An input / output interface 120 is also connected to the bus 114.
  • An input unit 121, an output unit 122, a storage unit 123, a communication unit 124, and a drive 125 are connected to the input / output interface 120.
  • the CPU 111 performs various processes by loading a program stored in the ROM 112 or the storage unit 123 into the RAM 113 and executing the program, for example.
  • the RAM 113 also appropriately stores data necessary for the CPU 111 to execute various processes.
  • the CPU 111 can perform processing related to grasping the situation of image projection by executing a program or the like in this way.
  • the input unit 121 includes an input device that accepts arbitrary external information such as user input, for example.
  • This input device may be anything.
  • a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, a barcode reader, and the like may be used.
  • various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, may be used.
  • it may be an input terminal that receives arbitrary external information as data (signal).
  • the output unit 122 includes an output device that outputs arbitrary information inside the apparatus such as an image and sound. Any output device may be used. For example, a display or a speaker may be used.
  • the output terminal which outputs arbitrary information as data (signal) outside may be sufficient.
  • the storage unit 123 includes a storage medium that stores information such as programs and data.
  • This storage medium may be anything. For example, it may be a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 124 includes a communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • This communication device may be anything.
  • a network interface may be used.
  • the communication method and communication standard of communication by the communication unit 124 are arbitrary.
  • the communication unit 124 may be able to perform wired communication, wireless communication, or both.
  • the drive 125 performs processing related to reading and writing of information (programs, data, and the like) with respect to the removable medium 131 attached to the drive 125.
  • the removable medium 131 may be any recording medium. For example, it may be a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like.
  • the drive 125 reads information (program, data, etc.) stored in the removable medium 131 attached to the drive 125 and supplies the information to the CPU 111, the RAM 113, and the like.
  • the drive 125 acquires information (programs, data, and the like) supplied from the CPU 111, the RAM 113, and the like, and writes the information to the removable medium 131 attached to the drive 125.
  • FIG. 3 is a functional block diagram illustrating an example of functions realized by the control device 101 executing a program or the like. As illustrated in FIG. 3, by executing the program, the control device 101 corresponds to, for example, a pattern synthesis unit 141, a projection control unit 142, an imaging control unit 143, a difference calculation unit 144, a cutout unit 145, and a joint unit 146. The functions of the point detection unit 147 and the image correction unit 148 are provided.
  • the pattern composition unit 141 performs processing related to composition of a pattern image with respect to content (moving image).
  • the projection control unit 142 performs processing related to the control of the projection apparatus 102.
  • the imaging control unit 143 performs processing related to control of the imaging device 103.
  • the difference calculation unit 144 performs processing related to calculation of the difference between frames of the captured image.
  • the cropping unit 145 performs processing related to extraction of a desired region of the difference image.
  • the joining unit 146 performs processing related to joining of regions.
  • the corresponding point detection unit 147 performs processing related to detection of corresponding points of pixels between the projection device 102 and the imaging device 103.
  • the image correction unit 148 performs processing related to image correction.
  • Each functional block can exchange information (for example, commands and data) with each other as necessary. Further, the control device 101 may have functions other than these.
  • the pattern synthesis unit 141 synthesizes the pattern image so as to be superimposed on the content frame image.
  • a frame image 161 shown in FIG. 4A is a frame image of the content to be projected.
  • the pattern of this frame image is arbitrary and is not limited to the example of A of FIG.
  • the pattern composition unit 141 superimposes the pattern image 170-1 and the pattern image 170-2 shown in FIG. 4B on the frame image 161, and generates two superimposed images.
  • the pattern image 170-1 is an image including a pattern 171-1 that can be used to detect corresponding points of pixels between the projection apparatus 102 and the imaging apparatus 103.
  • the pattern 171-1 is shown to be composed of a circular pattern, but this pattern 171-1 can be any pattern as long as the corresponding point can be detected. You may make it comprise by this pattern. Note that the luminance value of the pattern 171-1 changes in a more positive direction than the surrounding portions other than the pattern. That is, the pattern image 170-1 is a positive pattern image.
  • the pattern image 170-2 is an image including a pattern 171-2 that can be used to detect corresponding points of pixels between the projection apparatus 102 and the imaging apparatus 103.
  • This pattern 171-2 is composed of a pattern having the same pattern as that of the pattern 171-1, and the luminance value thereof changes in a negative direction as compared with a portion other than the surrounding pattern. That is, the pattern 171-2 is composed of the same pattern as the pattern 171-1 and a pattern whose luminance value changes in the opposite direction. That is, the pattern image 170-2 is a negative pattern image.
  • the pattern image 170 when there is no need to distinguish between the pattern image 170-1 and the pattern image 170-2, they are referred to as the pattern image 170.
  • the pattern 171-1 and the pattern 171-2 are referred to as a pattern 171.
  • the projection control unit 142 sequentially supplies and projects the superimposed images as described above generated by the pattern synthesis unit 141 to the projection apparatus 102.
  • the state of the projection is shown in the upper part of FIG.
  • the projection control unit 142 projects the superimposed image on the screen 10 at a frame rate of 30 Hz. Since each of the above-described superimposed images is projected as one frame, a superimposed image 181 in which the positive pattern image 170-1 is superimposed on the frame image 161 of the content is projected for about 1/30 second, and the next approximately 1 / 30th. A superimposed image 182 in which the negative pattern image 170-2 is superimposed on the content frame image 161 is projected for 30 seconds.
  • the frame of the superimposed image 181 and the frame of the superimposed image 182 may be captured by capturing at a frame rate of 30 Hz in synchronization with the projection of the superimposed image. Then, by obtaining a difference between consecutive frames of the captured image, the frame image 161 of the content can be removed and the pattern image 170 can be extracted. That is, during the projection of the content, the pattern image 170 can be projected so as not to be viewed by the viewer, and the pattern image 170 can be detected. Therefore, it is possible to detect corresponding points or update image correction settings during the projection of content.
  • the exposure timing and the readout timing are different for each pixel row (the lower pixel stroke, the timing is delayed), so that each frame of the captured image is mixed with a plurality of frames of the projected image. It becomes an image. Therefore, even if the difference between consecutive frames of the captured image is obtained, there is a possibility that a part where the pattern image 170 disappears or a part where the content image remains is generated, and the pattern image 170 cannot be appropriately extracted.
  • the imaging frame rate of the captured image is set to 60 Hz.
  • Each diamond shown in the lower part of FIG. 5 indicates the exposure time for each frame of the captured image.
  • the horizontal direction in the rhombus diagram indicates time, and the vertical direction in the diagram indicates a pixel row. Since the imaging device 103 is driven by the rolling shutter system, the exposure timing and the readout timing are different for each pixel row (lower pixel stroke and timing are delayed), so the exposure time has a diamond shape as shown in FIG.
  • the imaging apparatus 103 uses the global shutter method, when the difference between consecutive frames of the captured image is obtained, the pattern image 170 disappears or the content image remains, so that the pattern image 170 is appropriately displayed. There was a possibility that it could not be extracted.
  • the difference calculation unit 144 further calculates a difference between every other frame (at intervals of two frames) of the captured image. For example, as illustrated in FIG. 6, it is assumed that a captured image 191 of frame D, a captured image 192 of frame E, a captured image 193 of frame F, and a captured image 194 of frame G are obtained by the imaging device 103. The difference calculation unit 144 calculates a difference between the captured image 191 of the frame D and the captured image 193 of the frame F, and calculates a difference between the captured image 192 of the frame E and the captured image 194 of the frame G.
  • the cutout unit 145 cuts out and extracts an area below the pixel row A of the difference image 195.
  • the cutout unit 145 cuts out and extracts an area above the pixel row A of the difference image 196.
  • the joining unit 146 joins the region extracted from the difference image 195 and the region extracted from the difference image 196 to generate a pattern image 197 for one frame.
  • the corresponding point detection unit 147 detects corresponding points using the pattern image 197.
  • the image correction unit 148 corrects the projected image using the detected corresponding points.
  • the control device 101 projects the pattern image 170 so that the viewer does not visually recognize the content while projecting the content.
  • Image 170 can be detected. Therefore, it is possible to detect corresponding points or update image correction settings during the projection of content. That is, the grasp of the state of the projected image can be realized at a lower cost.
  • the pattern synthesis unit 141 of the control device 101 superimposes a positive pattern image and a negative pattern image on the frame image of the content to be projected (moving image) in step S101.
  • step S102 the projection control unit 142 sequentially supplies the superimposed image obtained in step S101 to the projection apparatus 102, and projects it on the screen 10 at a frame rate (projection frame rate) twice that of the content (moving image).
  • step S103 the imaging control unit 143 controls the imaging device 103 that is driven by the rolling shutter method, and the projection image projected on the screen 10 by the processing in step S102 is performed at a frame rate (imaging frame) that is twice the projection frame rate. Rate).
  • step S104 the difference calculation unit 144 includes four frames (frames D to G in FIG. 5) corresponding to the same frame of the content (moving image) of the captured image obtained by the process of step S103. A difference between odd-numbered frames and a difference between even-numbered frames are calculated.
  • step S105 the cutout unit 145 extracts a pattern detectable region of each difference image obtained by the process in step S104.
  • step S106 the joining unit 146 joins the regions extracted from the difference images by the process in step S105, and generates a pattern image for one frame.
  • step S107 the corresponding point detection unit 147 detects the corresponding points of the pixels of the projection device 102 and the imaging device 103 based on the pattern image for one frame obtained by the processing in step S106.
  • step S108 the image correction unit 148 geometrically corrects the superimposed image projected on the screen 10 based on the corresponding points obtained by the processing in step S107.
  • step S108 When the process of step S108 is completed, the projection control process ends.
  • the projection imaging system 100 can realize the state of the projection image at a lower cost.
  • FIG. 8 is a functional block diagram showing an example of functions realized by the control device 101 in that case. As shown in FIG. 8, in this case, in addition to the function described in the first embodiment (FIG. 3), for example, the function of the synchronization processing unit 241 is provided.
  • the synchronization processing unit 241 performs processing related to operation timing synchronization. For example, the synchronization processing unit 241 synchronizes the timing of projection by the projection device 102 and the timing of imaging by the imaging device 103. By doing this, the position of the pixel row A in FIG. 5 becomes known, and therefore the cutout unit 145 cuts out the region based on the known pixel row A, thereby more accurately identifying the pattern detectable region. Can be cut and extracted.
  • the pattern synthesis unit 141 of the control apparatus 101 superimposes a positive pattern image and a negative pattern image on the frame image of the content to be projected (moving image) in step S201.
  • step S202 the synchronization processing unit 241 controls the projection control unit 142 and the imaging control unit 143 to synchronize the timing of projection by the projection apparatus 102 and the timing of imaging by the imaging apparatus 103.
  • step S203 the projection control unit 142 sequentially supplies the superimposed image obtained in step S201 to the projection apparatus 102, and in accordance with the synchronization timing set by the process in step S202, the frame rate that is twice that of the content (moving image). Projection is performed on the screen 10 at (projection frame rate).
  • step S204 the imaging control unit 143 controls the imaging device 103 that is driven by the rolling shutter method, and the projection image projected on the screen 10 by the process of step S203 is performed according to the synchronization timing set by the process of step S202. Imaging is performed at a frame rate (imaging frame rate) that is twice the projection frame rate.
  • step S205 the difference calculation unit 144, among the four frames (frames D to G in FIG. 5) corresponding to the same frame of the content (moving image) of the captured image obtained by the process of step S204, A difference between odd-numbered frames and a difference between even-numbered frames are calculated.
  • step S206 the cutout unit 145 extracts a predetermined area corresponding to the synchronization timing set by the process of step S202 of each difference image obtained by the process of step S205. That is, the cutout unit 145 extracts an area above or below the known pixel row A corresponding to the synchronization timing, that is, an area where the pattern can be detected.
  • step S207 to step S209 is executed in the same manner as each process from step S106 to step S108.
  • the projection control process ends.
  • the projection imaging system 100 can more accurately cut out and extract a pattern detectable region. Also in this case, the projection imaging system 100 can realize the grasp of the state of the projection image at a lower cost.
  • a pattern that can be used for identifying the pixel row of the projection image may be included in the pattern image.
  • a positioning pattern 310 may be provided in the pattern image.
  • the positioning pattern 310 is a pattern formed in the vicinity of the upper and lower left and right edges (for example, several pixels) of the projected image, and the pattern and pattern are arbitrary.
  • the luminance may be uniform, or some pattern or pattern may be provided.
  • the pattern image is as shown in FIG.
  • the pattern image 320-1 is a positive pattern image, and includes the pattern 171-1 and the positioning pattern 310-1 described in the first embodiment. It should be noted that the luminance value of the positioning pattern 310-1 changes in the positive direction with respect to the portion other than the surrounding pattern.
  • the pattern image 320-2 is a negative pattern image, and includes the pattern 171-2 and the positioning pattern 310-2 described in the first embodiment. It should be noted that the luminance value of the positioning pattern 310-2 changes in the positive direction relative to the portion other than the surrounding pattern.
  • the positioning pattern 310-1 and the positioning pattern 310-2 are referred to as the positioning pattern 310 when it is not necessary to distinguish them from each other.
  • the pattern image 320-1 is referred to as a pattern image 320.
  • the difference calculation unit 144 calculates the difference between the frame D and the frame F, and the difference image of A in FIG. 331 is generated. Further, the difference calculation unit 144 calculates a difference between the frame E and the frame G, and generates a difference image 332 of B in FIG.
  • the positioning pattern 310 is a pixel row (for example, pixel row A) serving as a boundary between a region where a plurality of frames of the projection image are mixed and a region where the pattern can be detected. At breaks. That is, based on the positioning pattern 310, the pixel row that becomes the boundary can be identified more easily and accurately.
  • the positioning pattern 310 is interrupted in a pixel row (for example, pixel row A) serving as a boundary between a region where a plurality of frames of the projection image are mixed and a region where the pattern can be detected. Based on 310, it is possible to more easily and accurately specify the pixel row serving as the boundary.
  • the projection imaging system 100 can cut out and extract the pattern detectable area more accurately. In this case, since it is not necessary to synchronize projection and imaging as described in the second embodiment, it can be realized more easily and can be applied to various systems. Also in this case, the projection imaging system 100 can realize the grasp of the state of the projection image at a lower cost.
  • the pattern synthesis unit 141 of the control device 101 superimposes a positive pattern image and a negative pattern image on the frame image of the content to be projected (moving image) in step S301.
  • the pattern image includes a pattern (for example, pattern 171) that can be used to detect corresponding points between the projection apparatus 102 and the imaging apparatus 103, and a pattern (for example, positioning pattern) that can be used to identify pixel rows in the projection image. 310).
  • step S302 to step S304 is executed in the same manner as each process (FIG. 7) of step S102 to step S104 described in the first embodiment.
  • step S305 the cutout unit 145 extracts an area corresponding to the positioning pattern 310 of each difference image obtained by the process in step S304.
  • step S306 to step S308 is executed in the same manner as each process from step S106 to step S108.
  • step S308 When the process of step S308 is completed, the projection control process ends.
  • the projection imaging system 100 can more easily and accurately cut out and extract a pattern detectable region. Also in this case, the projection imaging system 100 can realize the grasp of the state of the projection image at a lower cost.
  • the positioning pattern 310 shown in FIG. 10A includes not only a positioning pattern that can be used to identify a pixel row of a projection image but also a positioning pattern that can be used to identify a pixel column of the projection image.
  • the vertical pattern formed in the vicinity of the left and right edges of the projected image in the positioning pattern 310 is a positioning pattern that can be used for identifying pixel rows of the projected image, and is formed in the vicinity of the upper and lower ends of the projected image.
  • the pattern in the horizontal direction is a positioning pattern that can be used for identifying the pixel row of the projection image.
  • this positioning pattern can also be used for geometric correction of the projection image.
  • the positioning pattern 310 may be configured only by a positioning pattern that can be used for identifying a pixel row of the projected image, or may be configured by only a positioning pattern that can be used for identifying a pixel column of the projected image. You may do it.
  • the pattern, pattern, shape, position, etc. of the positioning pattern 310 are arbitrary and are not limited to the example of FIG.
  • the positioning pattern that can be used for identifying the pixel row of the projection image may be formed only in the vicinity of the left end or the right end of the projection image, or may be formed in a portion other than the end portion.
  • the positioning pattern that can be used for identifying the pixel row of the projection image may be formed only near the upper end or near the lower end of the projection image, or may be formed other than the end portion. Good.
  • the positioning pattern 310 may be a pattern formed in a grid pattern on the entire projection image.
  • the pattern image may include patterns that can be used for both detection of corresponding points between the projection apparatus 102 and the imaging apparatus 103 and identification of pixel rows of the projection image.
  • the pattern image 320 may include a pattern having both functions of the pattern 171 and the positioning pattern 310.
  • the frame rate of the captured image has been described to be twice the frame rate of the projected image.
  • the present invention is not limited to this, and the frame rate of the captured image is higher than the frame rate of the projected image.
  • the difference calculation unit 144 is obtained by imaging a projection image obtained by sequentially projecting predetermined pattern images with opposite signs by the projection unit at a higher speed than the frame rate of the projection image by an imaging unit driven by a rolling shutter method. The difference between the discontinuous frames of the captured image composed of a plurality of frames is calculated. In this way, ISL online sensing can be realized using a camera driven by a rolling shutter system. That is, the state of the projected image can be grasped at a lower cost.
  • the difference calculation unit 144 may calculate the difference between frames at intervals corresponding to the ratio of the frame rate of the projected image and the frame rate of the captured image.
  • the frame rate of the captured image may be 2N (N is a natural number) times the frame rate of the projected image. In that case, the difference calculation unit 144 may calculate a difference between frames at 2N frame intervals.
  • FIG. 13 shows an example of a timing chart when the frame rate of the captured image is four times the frame rate of the projected image. As shown in the lower part of FIG. 13, if the frame rate of the captured image is increased, the exposure time of each frame is shortened and the number of frames obtained is increased. Therefore, all the frames are used for detection of the pattern image. There is no need.
  • the control apparatus 101 may be configured to select a frame used for pattern image detection from each frame of the captured image. At that time, the control apparatus 101 may select a frame in which a plurality of frames of the projection image are mixed, such as a frame D, a frame G, a frame H, and a frame L in FIG.
  • FIG. 14 is a functional block diagram illustrating an example of functions realized by the control device 101 in this case. As shown in FIG. 14, in this case, in addition to the function described in the first embodiment (FIG. 3), for example, the function of the image selection unit 441 is provided.
  • the image selection unit 441 selects a frame to be used for pattern image detection from the captured image. At that time, the image selection unit 441 selects a frame in which a plurality of frames of the projection image are mixed (for example, frame D, frame G, frame H, and frame L).
  • the difference calculation unit 144 to the joining unit 146 perform each process using the selected frame in the same manner as described in the first embodiment, and perform one frame.
  • the pattern image of is detected.
  • the projection imaging system 100 can realize the state of the projection image at a lower cost.
  • step S401 and step S402 are executed in the same manner as the processes of step S101 and step S102 (FIG. 7).
  • step S403 the imaging control unit 143 controls the imaging device 103 that is driven by the rolling shutter method, and images the projection image projected on the screen 10 by the process in step S402 at an imaging frame rate that is faster than the projection frame rate.
  • step S404 the image selection unit 441 mixes a positive pattern image and a negative pattern image in the same partial area in the same group of frames of the captured image corresponding to the same frame of the moving image.
  • a frame set including a positive or negative pattern image in the region is selected.
  • step S405 the difference calculation unit 144 obtains a difference between the frame sets selected by the process in step S404.
  • or step S409 is performed similarly to each process of step S105 thru
  • step S409 When the process of step S409 is completed, the projection control process ends.
  • the projection imaging system 100 can also realize the state of the projection image at a lower cost in this case.
  • the control apparatus 101 when selecting a frame to be used for pattern image detection from each frame of the captured image, the control apparatus 101 has a plurality of frames of the projected image, such as frame E or frame F and frame J or frame K in FIG. A frame that is not mixed (that is, a frame that includes only a single frame of the projection image) may be selected.
  • FIG. 16 is a functional block diagram illustrating an example of functions realized by the control device 101 in this case. As shown in FIG. 16, in this case, the function of the image selection unit 441 is provided as in the case described with reference to FIG. Further, the cutout portion 145 and the joint portion 146 can be omitted.
  • the image selection unit 441 selects a frame to be used for pattern image detection from the captured image. At that time, the image selection unit 441 selects a frame including only a single frame of the projection image (for example, frame E or frame F, frame J or frame K).
  • the difference calculation unit 144 When the image selection unit 441 selects a frame, the difference calculation unit 144 generates a difference image of the selected frame. In this case, since the selected frame does not mix a plurality of frames of the projection image, the difference calculation unit 144 can detect the pattern image for one frame by generating the difference image. Therefore, in this case, the cutout portion 145 and the joint portion 146 can be omitted.
  • the projection imaging system 100 can realize the state of the projection image at a lower cost.
  • step S504 the image selection unit 441 selects a frame group in which the positive pattern image and the negative pattern image are not mixed from the frame group corresponding to the same frame of the moving images of the captured image.
  • step S505 the difference calculation unit 144 obtains a difference between the frame sets selected by the process in step S504.
  • step S506 and step S507 are performed similarly to each process of step S408 and step S409 (FIG. 15).
  • step S507 When the process of step S507 is completed, the projection control process ends.
  • the projection imaging system 100 can also realize the state of the projection image at a lower cost in this case.
  • the configuration of the projection imaging system 100 to which the present technology is applied is arbitrary and is not limited to the above-described example.
  • the control device 101 and the imaging device 103 may be integrated.
  • the projection imaging system 100 includes a projection device 102 and an imaging device 603.
  • the projection device 102 and the imaging device 603 are connected to be communicable with each other by an arbitrary configuration.
  • the imaging device 603 incorporates a control unit 601 having the same function as the control device 101 described above, and has the functions of the control device 101 and the imaging device 103 described above. Therefore, also in this case, it is possible to realize the state of the projected image at a lower cost.
  • the control device 101 and the projection device 102 may be integrated.
  • the projection imaging system 100 includes a projection device 612 and an imaging device 103.
  • the projection device 612 and the imaging device 103 are connected to be communicable with each other by an arbitrary configuration.
  • the projection device 612 has a built-in control unit 611 having the same function as the control device 101 described above, and has the functions of the control device 101 and the projection device 102 described above. Therefore, also in this case, it is possible to realize the state of the projected image at a lower cost.
  • the projection imaging system 100 may be realized as an apparatus.
  • the projection imaging apparatus 620 has the same function as the projection imaging system 100. That is, the projection imaging device 620 includes a control unit 621, a projection unit 622, and an imaging unit 623.
  • the control unit 621 has the same function as the control device 101 described above
  • the projection unit 622 has the same function as the projection device 102 described above
  • the imaging unit 623 has the same function as the imaging device 103 described above. Therefore, also in this case, it is possible to realize the state of the projected image at a lower cost.
  • the projection device 102 and the imaging device 103 may be integrated. That is, the projection imaging system 100 may be configured by the control device 101 and a projection imaging device having the functions of both the projection device 102 and the imaging device 103.
  • various devices such as a control device, a projection device, an imaging device, and a projection imaging device are shown, but the number of these various devices is arbitrary.
  • the projection imaging system 100 may include a plurality of these various devices. Further, the number of devices may not be unified. Furthermore, the projection imaging system 100 may include devices other than these devices.
  • the present technology can also be applied to a system that projects and images an image used for viewing.
  • the present technology can also be applied to a system provided for transportation.
  • the present technology can also be applied to a system provided for security.
  • the present technology can be applied to a system used for sports.
  • the present technology can be applied to a system provided for agriculture.
  • the present technology can also be applied to a system provided for livestock industry.
  • the present technology can be applied to systems that monitor natural conditions such as volcanoes, forests, and oceans, meteorological observation systems that observe weather, temperature, humidity, wind speed, sunshine hours, and so on, such as birds, fish, and reptiles. It can also be applied to a system for observing the ecology of wildlife such as moss, amphibians, mammals, insects and plants.
  • this recording medium is configured by a removable medium 131 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the program stored in the removable medium 131 can be read and installed in the storage unit 123.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 124 and installed in the storage unit 123.
  • this program can be installed in advance in a storage unit or ROM.
  • the program can be installed in advance in the storage unit 123, the ROM 112, or the like.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology is not only implemented as a device or system, but also any configuration mounted on a device constituting the device or system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, etc. It can also be implemented as a unit using a plurality of modules or the like, a set in which other functions are further added to the unit, or the like (that is, a partial configuration of the apparatus).
  • LSI Large Scale Integration
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • this technique can also take the following structures.
  • a plurality of projection images obtained by imaging a projected image in which predetermined pattern images with opposite signs are sequentially projected by a projection unit at a speed higher than the frame rate of the projection image by an imaging unit driven by a rolling shutter system.
  • An image processing apparatus comprising: a difference calculation unit that calculates a difference between discontinuous frames of a captured image including frames.
  • the difference calculation unit is configured to calculate a difference between frames at intervals corresponding to a ratio of a frame rate of the projection image and a frame rate of the captured image. apparatus.
  • the frame rate of the captured image is twice the frame rate of the projection image;
  • the image processing apparatus according to (1) or (2), wherein the difference calculation unit calculates a difference between frames at intervals of two frames.
  • An extraction unit that extracts an area in which the pattern image can be detected from the difference between frames calculated by the difference calculation unit;
  • a corresponding point detection unit that detects a corresponding point between the projection unit and the imaging unit using the pattern image generated by the joint unit.
  • Image processing apparatus In any one of (1) to (4), further comprising: a corresponding point detection unit that detects a corresponding point between the projection unit and the imaging unit using the pattern image generated by the joint unit.
  • the pattern image includes a pattern that can be used to detect corresponding points between the projection unit and the imaging unit, and a pattern that can be used to identify a pixel row of the projection image.
  • the extraction unit is configured to extract an area in which the pattern image can be detected based on a pattern that can be used to identify a pixel row of the projection image.
  • (1) to (6) Image processing apparatus.
  • the pattern usable for identifying the pixel row of the projected image and the pattern usable for identifying the pixel column of the projected image of the pattern image are formed in the vicinity of the upper and lower left and right edges of the projected image.
  • the image processing device according to any one of (1) to (8).
  • the pattern that can be used to identify the pixel row of the projection image and the pattern that can be used to identify the pixel column of the projection image of the pattern image are formed in a grid pattern on the entire projection image.
  • the image processing apparatus according to any one of (9).
  • the pattern image includes a pattern that can be used for both detection of corresponding points of the projection unit and the imaging unit and identification of a pixel row of the projection image
  • the extraction unit extracts a region in which the pattern image can be detected based on a pattern that can be used for both detection of corresponding points of the projection unit and the imaging unit and identification of a pixel row of the projection image.
  • the image processing device according to any one of (1) to (10).
  • the frame rate of the captured image is 2N (N is a natural number) times the frame rate of the projected image
  • the image processing apparatus according to any one of (1) to (12), wherein the difference calculation unit is configured to calculate a difference between frames at 2N frame intervals.
  • the image processing device according to any one of (1) to (13), further including an image selection unit that selects a frame from which the difference calculation unit calculates a difference from the captured images of the plurality of frames.
  • the image selection unit selects a frame in which a plurality of frames of the projection image of the captured image are mixed.
  • the image processing device according to any one of (1) to (15), wherein the image selection unit selects a frame of the captured image that includes only a single frame of the projection image.
  • the projected image is obtained by sequentially projecting a superimposed image in which the positive pattern image is superimposed on a predetermined frame of a moving image and a superimposed image in which the negative pattern image is superimposed.
  • the image processing device according to any one of (16).
  • the image processing apparatus according to any one of (1) to (17), further including the imaging unit.
  • the image processing apparatus according to any one of (1) to (18), further including the projection unit.
  • 100 projection imaging system 101 control device, 102 projection device, 103 imaging device, 111 CPU, 112 ROM, 113 RAM, 114 bus, 120 input / output interface, 121 input unit, 122 output unit, 123 storage unit, 124 communication unit, 125 drives, 131 removable media, 141 pattern composition unit, 142 projection control unit, 143 imaging control unit, 144 difference calculation unit, 145 cutout unit, 146 joint unit, 147 corresponding point detection unit, 148 image correction unit, 241 synchronization processing unit , 441 image selection unit, 601 control unit, 603 imaging device, 611 control unit, 612 projection device, 620 projection imaging device, 621 control unit, 622 projection unit, 623 The imaging unit

Abstract

本開示は、投影画像の状態の把握をより安価に実現することができるようにする画像処理装置および方法に関する。 正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、その投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する。本開示は、例えば、画像処理装置、投影装置、撮像装置、投影撮像装置、制御装置、または投影撮像システム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、投影画像の状態の把握をより安価に実現することができるようにした画像処理装置および方法に関する。
　従来、プロジェクタにより投影された投影画像の歪みの低減等のために、カメラによって投影画像を撮像し、その撮像画像を用いて、プロジェクタの位置や姿勢、投影面形状等を推定し、それらに応じた投影画像の幾何補正を行う方法があった。例えば、スクリーンが、プロジェクタに正対してない場合、カメラでスクリーンに投影された投影画像を撮影し、投影画像が台形状などに変形していれば、スクリーン上に正しく投影されるよう、投影する画像を逆台形状に補正する等の処理があった。
　このような方法の場合、投影画像と撮像画像との間で対応点を求める必要があり、この対応点を求める方法として、コンテンツの視聴中にセンシングを行うISL（Imperceptible Structured Light）が提案された（例えば、非特許文献１参照）。ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。
Imperceptible Structured Light Ramesh Raskar, SIGGRAPH 98
　しかしながら、この方法を安価なローリングシャッタ方式のカメラを用いて行うと、撮像画像1フレームに複数フレームの投影画像が映り込むため、撮像画像からパタン画像を抽出することが困難であった。そのため、投影画像の状態を把握するために、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、投影画像の状態の把握をより安価に実現することができるようにするものである。
　本技術の一側面の画像処理装置は、投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部によって前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する差分算出部を備える画像処理装置である。
　前記差分算出部は、前記投影画像のフレームレートと、前記撮像画像のフレームレートの比に応じた間隔のフレーム同士の差分を算出することができる。
　前記撮像画像のフレームレートは、前記投影画像のフレームレートの２倍であり、前記差分算出部は、２フレーム間隔のフレーム同士の差分を算出するように構成されるようにすることができる。
　前記差分算出部により算出されたフレーム同士の差分から、前記パタン画像を検出可能な領域を抽出する抽出部と、前記抽出部により複数の差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成する接合部とをさらに備えるようにすることができる。
　前記接合部により生成された前記パタン画像を用いて、前記投影部と前記撮像部との対応点を検出する対応点検出部をさらに備えるようにすることができる。
　前記対応点検出部により検出された前記対応点を用いて、前記投影部により投影される画像を補正する画像補正部をさらに備えるようにすることができる。
　前記パタン画像は、前記投影部と前記撮像部との対応点の検出に利用可能なパタンと、前記投影画像の画素行の識別に利用可能なパタンとを含み、前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素行の識別に利用可能なパタンに基づいて抽出するように構成されるようにすることができる。
　前記パタン画像は、前記投影画像の画素列の識別に利用可能なパタンをさらに含むようにすることができる。
　前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の左右上下端近傍に形成されるようにすることができる。
　前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像全体に格子状に形成されるようにすることができる。
　前記パタン画像は、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンを含み、前記抽出部は、前記パタン画像を検出可能な領域を、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンに基づいて抽出するように構成されるようにすることができる。
　前記投影部による投影のタイミングと前記撮像部による撮像のタイミングとの同期をとる同期処理部をさらに備えるようにすることができる。
　前記撮像画像のフレームレートは、前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍であり、前記差分算出部は、２Ｎフレーム間隔のフレーム同士の差分を算出するように構成されるようにすることができる。
　前記複数フレームの前記撮像画像の中から、前記差分算出部が差分を算出するフレームを選択する画像選択部をさらに備えるようにすることができる。
　前記画像選択部は、前記撮像画像の、前記投影画像の複数のフレームが混合するフレームを選択することができる。
　前記画像選択部は、前記撮像画像の、前記投影画像の単数のフレームのみが含まれるフレームを選択することができる。
　前記投影画像は、動画像の所定のフレームに、正の前記パタン画像が重畳された重畳画像と、負の前記パタン画像が重畳された重畳画像とが、順次投影されたものであるようにすることができる。
　前記撮像部をさらに備えるようにすることができる。
　前記投影部をさらに備えるようにすることができる。
　本技術の一側面の画像処理方法は、正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、その投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分が算出される。
　本開示によれば、画像を処理することができる。特に、投影画像の状態の把握をより安価に実現することができる。
投影撮像システムの主な構成例を示す図である。 制御装置の主な構成例を示すブロック図である。 制御装置が実現する機能例を示す機能ブロック図である。 投影する画像とパタン画像の例を示す図である。 投影と撮像との関係の例を示すタイミングチャートである。 パタン画像抽出の様子の例を説明する図である。 投影制御処理の流れの例を説明するフローチャートである。 制御装置が実現する機能例を示す機能ブロック図である。 投影制御処理の流れの例を説明するフローチャートである。 パタン画像の例を示す図である。 差分画像の領域抽出の様子の例を説明する図である。 投影制御処理の流れの例を説明するフローチャートである。 投影と撮像との関係の例を示すタイミングチャートである。 制御装置が実現する機能例を示す機能ブロック図である。 投影制御処理の流れの例を説明するフローチャートである。 制御装置が実現する機能例を示す機能ブロック図である。 投影制御処理の流れの例を説明するフローチャートである。 投影撮像システムや投影撮像装置の主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（投影撮像システム）
　２．第２の実施の形態（投影撮像システム：同期）
　３．第３の実施の形態（投影撮像システム：位置決めパタン）
　４．第４の実施の形態（投影撮像システム：高速撮像）
　５．第５の実施の形態（投影撮像システム・投影撮像装置：他の構成）
　６．その他
　＜１．第１の実施の形態＞
　　＜投影画像の幾何補正＞
　プロジェクタの投影面（スクリーンや壁等）に対する姿勢（位置や向き等）や投影面の形状等によって、投影された画像（投影画像とも称する）が歪み、見づらくなってしまう場合がある。このような場合、プロジェクタが投影する画像に対して歪みの補正等の幾何補正を施すことにより、投影画像の歪みを低減し、見やすくすることができる。
　本明細書においては、投影画像の変形、移動、拡大、縮小等、投影画像の各画素の投影面における位置が変化する補正を幾何補正と称する。つまり、「幾何補正」には、画像処理によるものだけでなく、シフトやズーム等の光学系の制御によるものや、投影部の姿勢等の制御によるもの等も含まれるものとする。また、本明細書において、投影部や撮像部等の「姿勢」には、それらの「向き」（投影や撮像の向き）だけでなく、それらの「位置」（投影や撮像を行う位置）も含まれるものとする。
　このような幾何補正は、プロジェクタを操作する操作者等の手動によって行うこともできるが、煩雑な作業を必要とするおそれがある。そこで、カメラを用いてプロジェクタが投影した投影画像を撮像し、その撮像画像を用いて幾何補正の設定を行う方法が考えられた。この場合、撮像画像に含まれる投影画像から、カメラやプロジェクタの姿勢や、スクリーン形状等が推定され、それらに応じて適切な幾何補正が設定される。
　　＜オンラインセンシング＞
　このような幾何補正の設定は、コンテンツ（動画像）の投影前だけでなく、コンテンツの投影中に必要になる場合もある。例えば、コンテンツの投影中にプロジェクタの姿勢が変化すると、投影画像に歪みが生じてしまう。このような場合、幾何補正を適切な設定にするためには、このプロジェクタの姿勢を推定し直す必要がある。しかしながら、そのためにコンテンツの投影を中断するのは、コンテンツを視聴しているユーザにとって、そのコンテンツの視聴を妨げることになり、好ましくない。そこで、コンテンツの投影を継続したまま対応点を検出する方法（オンラインセンシング）が考えられた。
　オンラインセンシング技術として、例えば、Infrared等の不可視光を利用した方式、SIFT等の画像特徴量を利用した方式、ISL（Imperceptible Structured Light）方式等が考えられた。Infrared等の不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばInfraredプロジェクタ）がさらに必要になるためコストが増大するおそれがあった。また、SIFT等の画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難であった。
　これらに対してISL方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　　＜ISL方式＞
　ISL方式では、所定のパタンの画像であるパタン画像が、コンテンツの画像に埋め込まれ、積分効果を利用して人間に知覚されないように投影される。そして、そのパタン画像を用いて対応点の検出が行われる。より具体的に説明すると、入力画像（コンテンツの画像）に対して、所定のパタン画像（Structured Light）のポジ画像とネガ画像とがそれぞれ重畳され、ポジフレーム（Pos Frame）とネガフレーム（Neg Frame）との２フレームが生成される。この２フレームをプロジェクタにより順次投影させる。パタン画像のポジ画像（正のパタン画像とも称する）とネガ画像（負のパタン画像とも称する）は、パタンの輝度値変化方向が互いに逆向き（例えば白と黒）であるので、プロジェクタからこれらの２フレームが連続して投影されると、ユーザには、積分効果によりこのパタン画像（ポジ画像とネガ画像）を知覚することが困難になる。
　これに対して、グローバルシャッタ方式で駆動するカメラは、プロジェクタによる投影に同期して動作し、この２フレームの投影画像をそれぞれ撮像する。各撮像画像には、パタン画像のポジ画像とネガ画像とがそれぞれ含まれる。したがって、これらの撮像画像の差分を求めることにより、コンテンツの画像が消去され、パタン画像が抽出される。このパタン画像を用いてプロジェクタとカメラの画素の対応点を検出することができる。つまり、投影画像の状態の把握をより安価に実現することができる。
　しかしながら、この方法を安価なローリングシャッタ方式のカメラを用いて行うと、撮像画像1フレームに複数フレームの投影画像が映り込むため、撮像画像からパタン画像を抽出することが困難であった。そのため、投影画像の状態を把握するために、高価なグローバルシャッタ方式のカメラを用いなければならず、コストが増大するおそれがあった。
　このようなカメラは、直接的に画像投影に関わる構成では無く、投影画像の補正の為の補助的な構成である。そのため、例えば、このカメラが高価な機能を備えても、投影画像の解像度が向上する等の直接的な画質改善には繋がらない。このような補助的な構成は、特に、過度な性能向上よりも、できるだけ安価に実現することが求められることが多い。そのため、グローバルシャッタ方式のカメラよりも安価なローリングシャッタ方式のカメラを用いてこのようなカメラを実現することが望まれるが、上述のように、その実現は困難であった。
　そこで、正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、その投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出するようにする。このようにすることにより、ローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
　　＜投影撮像システム＞
　図１は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、ISL方式による対応点検出を行ったりすることができるシステムである。
　図１に示されるように、投影撮像システム１００は、制御装置１０１、投影装置１０２、および撮像装置１０３を有する。投影装置１０２および撮像装置１０３は、それぞれ制御装置１０１と通信可能に接続される。
　この接続を実現する通信およびその通信媒体は任意である。例えば、専用のケーブルを介して接続されるようにしてもよいし、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の所定の規格のケーブルを介して接続されるようにしてもよいし、LAN（Local Area Network）やインターネット等の所定のネットワーク（通信網）を介して接続されるようにしてもよい。また、例えば、Bluetooth（登録商標）通信、NFC（Near Field Communication）等の近距離無線通信、赤外線通信、IEEE（Institute of Electrical and Electronic Engineers）802.11の無線LAN等といった任意の無線通信により接続されるようにしてもよい。また、例えば、無線LANとインターネット等のように、複数種類の通信媒体を介して接続されるようにしてもよい。
　制御装置１０１は、本技術を適用した画像処理装置または制御部の一実施の形態であり、投影装置１０２や撮像装置１０３の動作を制御する。また、制御装置１０１は、撮像装置１０３により得られた撮像画像を用いて、投影装置１０２により投影させる画像の補正等に関する処理を行う。
　投影装置１０２は、本技術を適用した画像処理装置または投影部の一実施の形態であり、例えばプロジェクタ等により構成される。投影装置１０２は、制御装置１０１から供給される画像を、スクリーン１０に投影する。撮像装置１０３は、本技術を適用した画像処理装置または撮像部の一実施の形態であり、例えばカメラ等により構成される。撮像装置１０３は、その投影画像が投影されたスクリーン１０を撮像する。このとき、投影装置１０２は、図１に示されるように、スクリーン１０のPL乃至PRに画像を投影する。また、撮像装置１０３は、スクリーン１０のCL乃至CRの範囲を撮像する。つまり、撮像装置１０３は、投影画像全体を含むような撮像範囲でスクリーン１０を撮像する。図１においては、投影画像の横方向について示されているが、縦方向も同様である。なお、撮像装置１０３は、ローリングシャッタ方式で駆動する。撮像装置１０３は、得られた投影画像の撮像画像を制御装置１０１に供給する。
　　＜制御装置＞
　図２は、本技術を適用した画像処理装置の一実施の形態である制御装置１０１の主な構成例を示すブロック図である。
　図２に示されるように、制御装置１０１は、CPU１１１、ROM１１２、RAM１１３、バス１１４、入出力インタフェース１２０、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、およびドライブ１２５を有する。
　CPU１１１、ROM１１２、RAM１１３は、バス１１４を介して相互に接続されている。バス１１４にはまた、入出力インタフェース１２０も接続されている。入出力インタフェース１２０には、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、およびドライブ１２５が接続されている。
　CPU１１１は、例えば、ROM１１２や記憶部１２３に記憶されているプログラム等をRAM１１３にロードして実行することにより、各種処理を行う。RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　例えば、CPU１１１は、そのようにプログラム等を実行することにより、画像投影の状況把握に関する処理を行うことができる。
　入力部１２１は、例えばユーザ入力等の外部の任意の情報を受け付ける入力デバイスを含む。この入力デバイスはどのようなものであってもよい。例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、バーコードリーダ等であってもよい。また、加速度センサ、光センサ、温度センサ等の各種センサであってもよい。さらに、外部の任意の情報をデータ（信号）として受け付ける入力端子であってもよい。出力部１２２は、例えば画像や音声等の装置内部の任意の情報を出力する出力デバイスを含む。この出力デバイスはどのようなものであってもよい。例えば、ディスプレイやスピーカ等であってもよい。また、任意の情報をデータ（信号）として外部に出力する出力端子であってもよい。
　記憶部１２３は、プログラムやデータ等の情報を記憶する記憶媒体を含む。この記憶媒体はどのようなものであってもよい。例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。通信部１２４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを含む。この通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。この通信部１２４による通信の通信方法や通信規格は任意である。例えば、通信部１２４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。
　ドライブ１２５は、自身に装着されたリムーバブルメディア１３１に対する情報（プログラムやデータ等）の読み出しや書き込みに関する処理を行う。このリムーバブルメディア１３１は、どのような記録媒体であってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。例えば、ドライブ１２５は、自身に装着されたリムーバブルメディア１３１に記憶されている情報（プログラムやデータ等）を読み出し、その情報をCPU１１１やRAM１１３等に供給する。また、例えば、ドライブ１２５は、CPU１１１やRAM１１３等から供給される情報（プログラムやデータ等）を取得し、その情報を自身に装着されたリムーバブルメディア１３１に書き込む。
　　＜制御装置の機能ブロック＞
　図３は、制御装置１０１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図３に示されるように、プログラムを実行することにより制御装置１０１は、例えば、パタン合成部１４１、投影制御部１４２、撮像制御部１４３、差分算出部１４４、切り取り部１４５、接合部１４６、対応点検出部１４７、および画像補正部１４８の機能を有する。
　パタン合成部１４１は、コンテンツ（動画像）に対するパタン画像の合成に関する処理を行う。投影制御部１４２は、投影装置１０２の制御に関する処理を行う。撮像制御部１４３は、撮像装置１０３の制御に関する処理を行う。差分算出部１４４は、撮像画像のフレーム同士の差分の算出に関する処理を行う。切り取り部１４５は、差分画像の所望の領域の抽出に関する処理を行う。接合部１４６は、領域の接合に関する処理を行う。対応点検出部１４７は、投影装置１０２と撮像装置１０３との間の画素の対応点の検出に関する処理を行う。画像補正部１４８は、画像の補正に関する処理を行う。
　なお、各機能ブロックは、必要に応じて相互に情報（例えば命令やデータ等）を授受することが可能とされている。また、制御装置１０１がこれら以外の機能を有するようにしてもよい。
　　＜パタン画像の合成＞
　パタン合成部１４１は、コンテンツのフレーム画像にパタン画像を重畳するように合成する。図４のＡに示されるフレーム画像１６１は、投影するコンテンツのフレーム画像である。なお、このフレーム画像の絵柄は任意であり、図４のＡの例に限定されない。パタン合成部１４１は、このフレーム画像１６１に、図４のＢに示されるパタン画像１７０－１とパタン画像１７０－２をそれぞれ重畳し、２枚の重畳画像を生成する。
　パタン画像１７０－１は、投影装置１０２と撮像装置１０３との間の画素の対応点の検出に利用可能なパタン１７１－１を含む画像である。図４のＢにおいては、パタン１７１－１が円形のパタンにより構成されるように示されているが、このパタン１７１－１は、対応点の検出が可能なものであれば、どのような絵柄のパタンにより構成されるようにしてもよい。なお、パタン１７１－１の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。つまり、パタン画像１７０－１は、正のパタン画像である。
　パタン画像１７０－２は、パタン画像１７０－１と同様に、投影装置１０２と撮像装置１０３との間の画素の対応点の検出に利用可能なパタン１７１－２を含む画像である。このパタン１７１－２は、パタン１７１－１と同一の絵柄のパタンにより構成され、かつ、その輝度値は、周囲のパタン以外の部分よりも負の方向に変化している。つまり、パタン１７１－２は、パタン１７１－１と同一の絵柄で、かつ、輝度値変化が逆向きのパタンにより構成される。つまり、パタン画像１７０－２は、負のパタン画像である。
　以下において、パタン画像１７０－１とパタン画像１７０－２とを互いに区別して説明する必要が無い場合、パタン画像１７０と称する。また、パタン１７１－１とパタン１７１－２とを互いに区別して説明する必要が無い場合、パタン１７１と称する。
　　＜重畳画像の投影と撮像＞
　投影制御部１４２は、投影装置１０２にパタン合成部１４１が生成した以上のような重畳画像を順次供給し、投影させる。図５の上段にその投影の様子を示す。例えば、投影制御部１４２は、30Hzのフレームレートで重畳画像をスクリーン１０に投影する。上述の各重畳画像が１フレームとして投影されるので、約1/30秒間、コンテンツのフレーム画像１６１に正のパタン画像１７０－１が重畳された重畳画像１８１が投影され、その次の約1/30秒間、コンテンツのフレーム画像１６１に負のパタン画像１７０－２が重畳された重畳画像１８２が投影される。
　撮像装置１０３がグローバルシャッタ方式で駆動するのであれば、重畳画像の投影に同期して30Hzのフレームレートで撮像するようにして、重畳画像１８１のフレームと重畳画像１８２のフレームを撮像すればよい。そして、撮像画像の連続するフレーム同士の差分を求めることにより、コンテンツのフレーム画像１６１を除去し、パタン画像１７０を抽出することができる。つまり、コンテンツを投影中に、視聴者に視認されないようにパタン画像１７０を投影し、そのパタン画像１７０を検出させることができる。したがって、コンテンツの投影中に、対応点の検出を行ったり、さらに画像補正の設定を更新したりすることができる。
　しかしながら、ローリングシャッタ方式の撮像装置１０３の場合、画素行毎に露光タイミングおよび読み出しタイミングが異なる（下の画素行程、タイミングが遅れる）ため、撮像画像の各フレームが、投影画像の複数フレームが混合する画像となってしまう。そのため、撮像画像の連続するフレーム同士の差分を求めても、パタン画像１７０が消える部分やコンテンツの画像が残る部分が発生し、パタン画像１７０を適切に抽出することができないおそれがあった。
　そこで、撮像のフレームレートを投影の２倍にしてみる。つまり、図５の下段に示されるように、撮像画像のフレームレートを60Hzとする。この図５の下段に示される各ひし形は、撮像画像のフレーム毎の露光時間を示している。このひし形の図中横方向が時間を示し、図中縦方向が画素行を示す。撮像装置１０３は、ローリングシャッタ方式で駆動しているため、画素行毎に露光タイミングおよび読み出しタイミングが異なる（下の画素行程、タイミングが遅れる）ため、露光時間は図５のようにひし形となる。
　したがって、この場合も、撮像画像の各フレームには、投影画像の複数フレームが混合する可能性がある。例えば、フレームＤにおいては、所定の画素行Ａより上側の両矢印Ｂの範囲の領域Ｄ１において、重畳画像１８１のフレームだけでなく、その１つ前のフレームも露光してしまう。また、その次のフレームＥにおいては、所定の画素行Ａより下側の両矢印Ｃの範囲の領域Ｅ２において、重畳画像１８１のフレームだけでなく、その次の重畳画像１８２のフレームも露光してしまう。同様に、フレームＦにおいては、所定の画素行Ａより上側の両矢印Ｂの範囲の領域Ｆ１において、重畳画像１８２のフレームだけでなく、その１つ前の重畳画像１８１のフレームも露光してしまう。また、その次のフレームＧにおいては、所定の画素行Ａより下側の両矢印Ｃの範囲の領域Ｇ２において、重畳画像１８２のフレームだけでなく、その次のフレームも露光してしまう。
　したがって、撮像装置１０３がグローバルシャッタ方式の場合と同様に、撮像画像の連続するフレーム同士の差分を求めると、パタン画像１７０が消えたり、コンテンツの画像が残ったりして、パタン画像１７０を適切に抽出することができないおそれがあった。
　そこで、差分算出部１４４は、さらに、撮像画像の１フレームおきの（２フレーム間隔の）フレーム同士で差分を算出する。例えば、図６に示されるように、撮像装置１０３によって、フレームＤの撮像画像１９１、フレームＥの撮像画像１９２、フレームＦの撮像画像１９３、およびフレームＧの撮像画像１９４が得られたとする。差分算出部１４４は、フレームＤの撮像画像１９１とフレームＦの撮像画像１９３との差分を算出し、フレームＥの撮像画像１９２とフレームＧの撮像画像１９４との差分を算出する。
　上述したように、撮像画像１９１の画素行Ａより上の領域Ｄ１は、重畳画像１８１のフレームの画像だけでなく、その１つ前のフレームの画像も混合されている。また、撮像画像１９３の画素行Ａより上の領域Ｆ１は、重畳画像１８２のフレームの画像だけでなく、重畳画像１８１も混合されている。したがって、撮像画像１９１と撮像画像１９３との差分画像１９５の画素行Ａより上の領域は、パタン画像１７０が消えたり、コンテンツの画像１６１が残ったりする。そこで、切り取り部１４５は、差分画像１９５の画素行Ａより下の領域を切り取り、抽出する。
　同様に、撮像画像１９２の画素行Ａより下の領域Ｅ２は、重畳画像１８１のフレームの画像だけでなく、重畳画像１８２も混合されている。同様に、撮像画像１９４の画素行Ａより下の領域Ｇ２は、重畳画像１８２のフレームの画像だけでなく、その１つ後のフレームの画像も混合されている。したがって、撮像画像１９２と撮像画像１９４との差分画像１９６の画素行Ａより下の領域は、パタン画像１７０が消えたり、コンテンツの画像１６１が残ったりする。そこで、切り取り部１４５は、差分画像１９６の画素行Ａより上の領域を切り取り、抽出する。
　そして、接合部１４６は、差分画像１９５より抽出された領域と、差分画像１９６より抽出された領域とを接合し、１フレーム分のパタン画像１９７を生成する。対応点検出部１４７は、このパタン画像１９７を用いて対応点の検出を行う。また、画像補正部１４８は、検出された対応点を利用して、投影する画像の補正を行う。
　このようにすることにより、制御装置１０１は、撮像装置１０３がローリングシャッタ方式で駆動する場合であっても、コンテンツを投影中に、視聴者に視認されないようにパタン画像１７０を投影し、そのパタン画像１７０を検出することができる。したがって、コンテンツの投影中に、対応点の検出を行ったり、さらに画像補正の設定を更新したりすることができる。つまり、投影画像の状態の把握をより安価に実現することができる。
　　＜投影制御処理の流れ＞
　次に、このような構成の投影撮像システム１００において実行される処理について説明する。上述したように、投影撮像システム１００の制御装置１０１は、投影装置１０２を制御し、コンテンツ（動画像）を投影する。このようなコンテンツの投影を行うために制御装置１０１において実行される投影制御処理の流れの例を、図７のフローチャートを参照して説明する。
　投影制御処理が開始されると、制御装置１０１のパタン合成部１４１は、ステップＳ１０１において、投影するコンテンツ（動画像）のフレーム画像に正のパタン画像と負のパタン画像をそれぞれ重畳する。
　ステップＳ１０２において、投影制御部１４２は、ステップＳ１０１において得られた重畳画像を順次投影装置１０２に供給し、コンテンツ（動画像）の２倍のフレームレート（投影フレームレート）でスクリーン１０に投影させる。
　ステップＳ１０３において、撮像制御部１４３は、ローリングシャッタ方式で駆動する撮像装置１０３を制御し、ステップＳ１０２の処理によりスクリーン１０に投影された投影画像を、投影フレームレートの２倍のフレームレート（撮像フレームレート）で撮像させる。
　ステップＳ１０４において、差分算出部１４４は、ステップＳ１０３の処理により得られた撮像画像の、コンテンツ（動画像）の互いに同一のフレームに対応する４フレーム（図５のフレームＤ乃至フレームＧ）の内、奇数番目のフレーム同士の差分と、偶数番目のフレーム同士の差分とを算出する。
　ステップＳ１０５において、切り取り部１４５は、ステップＳ１０４の処理により得られた各差分画像の、パタン検出可能な領域を抽出する。
　ステップＳ１０６において、接合部１４６は、ステップＳ１０５の処理により各差分画像から抽出された領域同士を接合し、１フレーム分のパタン画像を生成する。
　ステップＳ１０７において、対応点検出部１４７は、ステップＳ１０６の処理により得られた１フレーム分のパタン画像に基づいて、投影装置１０２と撮像装置１０３との画素の対応点を検出する。
　ステップＳ１０８において、画像補正部１４８は、ステップＳ１０７の処理により得られた対応点に基づいて、スクリーン１０に投影する重畳画像を幾何補正する。
　ステップＳ１０８の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。
　＜２．第２の実施の形態＞
　　＜同期＞
　なお、第１の実施の形態において説明した投影撮像システム１００において、投影のタイミングと撮像のタイミングとの同期をとるようにしてもよい。図８は、その場合の、制御装置１０１が実現する機能の例を示す機能ブロック図である。図８に示されるように、この場合、第１の実施の形態において説明した機能（図３）の他に、例えば同期処理部２４１の機能を有する。
　同期処理部２４１は、動作タイミングの同期に関する処理を行う。例えば、同期処理部２４１は、投影装置１０２による投影のタイミングと、撮像装置１０３による撮像のタイミングとの同期をとる。このようにすることにより、図５の画素行Ａの位置が既知となるので、切り取り部１４５は、その既知の画素行Ａに基づいて領域を切り取ることにより、パタン検出可能な領域をより正確に切り取り、抽出することができる。
　　＜投影制御処理の流れ＞
　この場合の投影制御処理の流れの例を、図９のフローチャートを参照して説明する。
　投影制御処理が開始されると、制御装置１０１のパタン合成部１４１は、ステップＳ２０１において、投影するコンテンツ（動画像）のフレーム画像に正のパタン画像と負のパタン画像をそれぞれ重畳する。
　ステップＳ２０２において、同期処理部２４１は、投影制御部１４２および撮像制御部１４３を制御し、投影装置１０２による投影のタイミングと、撮像装置１０３による撮像のタイミングとの同期をとる。
　ステップＳ２０３において、投影制御部１４２は、ステップＳ２０１において得られた重畳画像を順次投影装置１０２に供給し、ステップＳ２０２の処理により設定された同期タイミングに従って、コンテンツ（動画像）の２倍のフレームレート（投影フレームレート）でスクリーン１０に投影させる。
　ステップＳ２０４において、撮像制御部１４３は、ローリングシャッタ方式で駆動する撮像装置１０３を制御し、ステップＳ２０３の処理によりスクリーン１０に投影された投影画像を、ステップＳ２０２の処理により設定された同期タイミングに従って、投影フレームレートの２倍のフレームレート（撮像フレームレート）で撮像させる。
　ステップＳ２０５において、差分算出部１４４は、ステップＳ２０４の処理により得られた撮像画像の、コンテンツ（動画像）の互いに同一のフレームに対応する４フレーム（図５のフレームＤ乃至フレームＧ）の内、奇数番目のフレーム同士の差分と、偶数番目のフレーム同士の差分とを算出する。
　ステップＳ２０６において、切り取り部１４５は、ステップＳ２０５の処理により得られた各差分画像の、ステップＳ２０２の処理により設定された同期タイミングに応じた所定の領域を抽出する。つまり、切り取り部１４５は、同期タイミングに応じた既知の画素行Ａより上または下の領域、すなわち、パタン検出可能な領域を抽出する。
　ステップＳ２０７乃至ステップＳ２０９の各処理は、ステップＳ１０６乃至ステップＳ１０８の各処理と同様に実行される。
　ステップＳ２０９の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、パタン検出可能な領域をより正確に切り取り、抽出することができる。そしてこの場合も、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。
　＜３．第３の実施の形態＞
　　＜位置決めパタン＞
　上述のように、撮像画像において、投影画像の複数のフレームが混合する領域が存在する場合、そのような領域を含まない、パタン検出可能な領域を抽出することにより、投影画像の状態をより正確に把握することができる。つまり、この投影画像の複数のフレームが混合する領域とパタン検出可能な領域との境界となる画素行（例えば画素行Ａ）を、より正確に特定することにより、投影画像の状態をより正確に把握することができる。
　そこで、このような境界（画素行）を求めるために、投影画像の画素行の識別に利用可能なパタンを、パタン画像に含めるようにしてもよい。例えば、図１０のＡに示されるように、パタン画像に位置決めパタン３１０を設けるようにしてもよい。この位置決めパタン３１０は、投影画像の左右上下端近傍（例えば数画素分）に形成されるパタンであり、絵柄や模様は任意である。例えば、一様の輝度としてもよいし、何らかの絵柄や模様を有するようにしてもよい。
　つまり、この場合、パタン画像は、図１０のＢのようになる。図１０のＢにおいて、パタン画像３２０－１は、正のパタン画像であり、第１の実施の形態において説明したパタン１７１－１と、位置決めパタン３１０－１を有する。なお、位置決めパタン３１０－１の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。また、パタン画像３２０－２は、負のパタン画像であり、第１の実施の形態において説明したパタン１７１－２と、位置決めパタン３１０－２を有する。なお、位置決めパタン３１０－２の輝度値は、周囲のパタン以外の部分よりも正の方向に変化している。
　なお、以下において、位置決めパタン３１０－１と位置決めパタン３１０－２とを互いに区別して説明する必要が無い場合、位置決めパタン３１０と称する。また、パタン画像３２０－１とパタン画像３２０－２とを互いに区別して説明する必要が無い場合、パタン画像３２０と称する。
　このようなパタン画像３２０を用いて第１の実施の形態において説明したように処理を行うと、差分算出部１４４は、フレームＤとフレームＦとの差分を算出し、図１１のＡの差分画像３３１を生成する。また、差分算出部１４４は、フレームＥとフレームＧとの差分を算出し、図１１のＢの差分画像３３２を生成する。
　図１１のＡに示されるように、差分画像３３１においては、位置決めパタン３１０が、投影画像の複数のフレームが混合する領域とパタン検出可能な領域との境界となる画素行（例えば画素行Ａ）において途切れる。つまり、この位置決めパタン３１０に基づいて、より容易かつ正確に、この境界となる画素行を特定することができる。差分画像３３２の場合も同様に、位置決めパタン３１０が、投影画像の複数のフレームが混合する領域とパタン検出可能な領域との境界となる画素行（例えば画素行Ａ）において途切れるので、この位置決めパタン３１０に基づいて、より容易かつ正確に、この境界となる画素行を特定することができる。
　つまり、切り取り部１４５がこの位置決めパタン３１０の途切れる画素行に応じた領域を切り取ることにより、投影撮像システム１００は、パタン検出可能な領域をより正確に切り取り、抽出することができる。なお、この場合、第２の実施の形態において説明したような投影と撮像の同期をとる必要が無いので、より容易に実現することができ、より多様なシステムに適用することができる。そしてこの場合も、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。
　　＜投影制御処理の流れ＞
　この場合の投影制御処理の流れの例を、図１２のフローチャートを参照して説明する。
　投影制御処理が開始されると、制御装置１０１のパタン合成部１４１は、ステップＳ３０１において、投影するコンテンツ（動画像）のフレーム画像に正のパタン画像と負のパタン画像をそれぞれ重畳する。なお、このパタン画像は、投影装置１０２と撮像装置１０３との対応点の検出に利用可能なパタン（例えば、パタン１７１）と、投影画像の画素行の識別に利用可能なパタン（例えば、位置決めパタン３１０）との両方を含む。
　ステップＳ３０２乃至ステップＳ３０４の各処理は、第１の実施の形態において説明したステップＳ１０２乃至ステップＳ１０４の各処理（図７）と同様に実行される。
　ステップＳ３０５において、切り取り部１４５は、ステップＳ３０４の処理により得られた各差分画像の、位置決めパタン３１０に応じた領域を抽出する。
　ステップＳ３０６乃至ステップＳ３０８の各処理は、ステップＳ１０６乃至ステップＳ１０８の各処理と同様に実行される。
　ステップＳ３０８の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、パタン検出可能な領域をより容易かつ正確に切り取り、抽出することができる。そしてこの場合も、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。
　＜位置決めパタンの構成＞
　なお、図１０のＡに示される位置決めパタン３１０は、投影画像の画素行の識別に利用可能な位置決めパタンだけでなく、投影画像の画素列の識別に利用可能な位置決めパタンも含む。例えば、位置決めパタン３１０の内、投影画像の左右端近傍に形成される縦方向のパタンが、投影画像の画素行の識別に利用可能な位置決めパタンであり、投影画像の上下端近傍に形成される横方向のパタンが、投影画像の画素列の識別に利用可能な位置決めパタンである。
　このように、パタン画像に、投影画像の画素列の識別に利用可能な位置決めパタンも含めることにより、この位置決めパタンを投影画像の幾何補正等にも利用することができる。
　なお、位置決めパタン３１０が、投影画像の画素行の識別に利用可能な位置決めパタンのみにより構成されるようにしてもよいし、投影画像の画素列の識別に利用可能な位置決めパタンのみにより構成されるようにしてもよい。
　また、位置決めパタン３１０の絵柄、模様、形状、位置等は、任意であり、図１０の例に限定されない。例えば、投影画像の画素行の識別に利用可能な位置決めパタンは、投影画像の左端近傍または右端近傍のみに形成されるようにしてもよいし、端部以外に形成されるようにしてもよい。また、例えば、投影画像の画素列の識別に利用可能な位置決めパタンは、投影画像の上端近傍または下端近傍のみに形成されるようにしてもよいし、端部以外に形成されるようにしてもよい。
　例えば、位置決めパタン３１０が、投影画像全体に格子状に形成されるパタンであるようにしてもよい。
　また、例えば、パタン画像が、投影装置１０２と撮像装置１０３との対応点の検出と、投影画像の画素行の識別との両方に利用可能なパタンを含むようにしてもよい。例えば、図１０の場合、パタン画像３２０が、パタン１７１と位置決めパタン３１０との両方の機能を有するパタンを含むようにしてもよい。
　＜４．第４の実施の形態＞
　　＜高速撮像＞
　なお、以上においては、撮像画像のフレームレートが、投影画像のフレームレートの２倍であるように説明したが、これに限らず、撮像画像のフレームレートは、投影画像のフレームレートよりも高速であればよい。差分算出部１４４は、投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部によって投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する。このようにすることにより、ローリングシャッタ方式で駆動するカメラを用いてISL方式のオンラインセンシングを実現することができる。すなわち、投影画像の状態の把握をより安価に実現することができる。
　例えば、差分算出部１４４が、投影画像のフレームレートと撮像画像のフレームレートの比に応じた間隔のフレーム同士の差分を算出するようにしてもよい。例えば、撮像画像のフレームレートが、投影画像のフレームレートの２Ｎ（Ｎは自然数）倍であるようにしてもよい。その場合、差分算出部１４４が、２Ｎフレーム間隔のフレーム同士の差分を算出するようにしてもよい。
　例えば、撮像画像のフレームレートを、投影画像のフレームレートの４倍とした場合のタイミングチャートの例を図１３に示す。図１３の下段に示されるように、撮像画像のフレームレートをより高速にすると、各フレームの露光時間が短くなり、得られるフレーム数が多くなるので、パタン画像の検出に全てのフレームを利用する必要が無くなる。
　　＜画像選択＞
　そこで、制御装置１０１は、撮像画像の各フレームから、パタン画像の検出に用いるフレームを選択することができるようにしてもよい。その際、制御装置１０１は、図１３のフレームＤ、フレームＧ、フレームＨ、フレームＬのように、投影画像の複数のフレームが混合するフレームを選択するようにしてもよい。
　　＜制御装置の機能ブロック＞
　図１４は、この場合の制御装置１０１が実現する機能の例を示す機能ブロック図である。図１４に示されるように、この場合、第１の実施の形態において説明した機能（図３）の他に、例えば画像選択部４４１の機能を有する。
　画像選択部４４１は、撮像画像の中から、パタン画像の検出に用いるフレームを選択する。その際、画像選択部４４１は、投影画像の複数のフレームが混合するフレームを選択する（例えば、フレームＤ、フレームＧ、フレームＨ、フレームＬ）。
　画像選択部４４１がフレームを選択すると、差分算出部１４４乃至接合部１４６は、その選択されたフレームを用いて、第１の実施の形態において説明したのと同様に各処理を行い、１フレーム分のパタン画像を検出する。
　このようにすることにより、第１の実施の形態の場合と同様に、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。
　　＜投影制御処理の流れ＞
　この場合の投影制御処理の流れの例を、図１５のフローチャートを参照して説明する。
　投影制御処理が開始されると、ステップＳ４０１およびステップＳ４０２の各処理がステップＳ１０１およびステップＳ１０２の各処理（図７）と同様に実行される。
　ステップＳ４０３において、撮像制御部１４３は、ローリングシャッタ方式で駆動する撮像装置１０３を制御し、ステップＳ４０２の処理によりスクリーン１０に投影された投影画像を、投影フレームレートより高速な撮像フレームレートで撮像させる。
　ステップＳ４０４において、画像選択部４４１は、撮像画像の、動画像の互いに同一のフレームに対応するフレーム群の内、互いに同一の部分領域において正のパタン画像と負のパタン画像とが混合し、その他の領域において正または負のパタン画像を含むフレーム組を選択する。
　ステップＳ４０５において、差分算出部１４４は、ステップＳ４０４の処理により選択されたフレーム組の差分を求める。
　ステップＳ４０６乃至ステップＳ４０９の各処理は、ステップＳ１０５乃至ステップＳ１０８（図７）の各処理と同様に実行される。
　ステップＳ４０９の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、この場合も、投影画像の状態の把握をより安価に実現することができる。
　　＜画像選択＞
　なお、撮像画像の各フレームからパタン画像の検出に用いるフレームを選択する際、制御装置１０１は、図１３のフレームＥまたはフレームＦ、フレームＪまたはフレームＫのように、投影画像の複数のフレームが混合しないフレーム（つまり、投影画像の単数のフレームのみが含まれるフレーム）を選択するようにしてもよい。
　　＜制御装置の機能ブロック＞
　図１６は、この場合の制御装置１０１が実現する機能の例を示す機能ブロック図である。図１６に示されるように、この場合、図１４を参照して説明した場合と同様に画像選択部４４１の機能を有する。また、切り取り部１４５および接合部１４６を省略することができる。
　画像選択部４４１は、撮像画像の中から、パタン画像の検出に用いるフレームを選択する。その際、画像選択部４４１は、投影画像の単数のフレームのみが含まれるフレームを選択する（例えば、フレームＥまたはフレームＦ、フレームＪまたはフレームＫ）。
　画像選択部４４１がフレームを選択すると、差分算出部１４４は、その選択されたフレームの差分画像を生成する。この場合、選択されたフレームは、投影画像の複数フレームが混合しないので、差分算出部１４４が差分画像を生成することにより、１フレーム分のパタン画像を検出することができる。したがって、この場合、切り取り部１４５および接合部１４６を省略することができる。
　このようにすることにより、第１の実施の形態の場合と同様に、投影撮像システム１００は、投影画像の状態の把握をより安価に実現することができる。
　　＜投影制御処理の流れ＞
　この場合の投影制御処理の流れの例を、図１７のフローチャートを参照して説明する。
　投影制御処理が開始されると、ステップＳ５０１乃至ステップＳ５０３の各処理がステップＳ４０１乃至ステップＳ４０３の各処理（図１５）と同様に実行される。
　ステップＳ５０４において、画像選択部４４１は、撮像画像の、動画像の互いに同一のフレームに対応するフレーム群の内、正のパタン画像と負のパタン画像とが混合しないフレーム組を選択する。
　ステップＳ５０５において、差分算出部１４４は、ステップＳ５０４の処理により選択されたフレーム組の差分を求める。
　ステップＳ５０６およびステップＳ５０７の各処理は、ステップＳ４０８およびステップＳ４０９（図１５）の各処理と同様に実行される。
　ステップＳ５０７の処理が終了すると、投影制御処理が終了する。このように投影制御処理を実行することにより、投影撮像システム１００は、この場合も、投影画像の状態の把握をより安価に実現することができる。
　＜５．第５の実施の形態＞
　　＜他の構成例＞
　なお、本技術を適用する投影撮像システム１００の構成は任意であり、上述した例に限定されない。例えば図１８のＡに示されるように、制御装置１０１と撮像装置１０３とを一体化するようにしてもよい。図１８のＡの例の場合、投影撮像システム１００は、投影装置１０２と撮像装置６０３とにより構成される。投影装置１０２と撮像装置６０３は、任意の構成により、互いに通信可能に接続されている。また、撮像装置６０３は、上述した制御装置１０１と同様の機能を有する制御部６０１を内蔵しており、上述した制御装置１０１および撮像装置１０３の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
　また、例えば、図１８のＢに示されるように、制御装置１０１と投影装置１０２とを一体化するようにしてもよい。図１８のＢの例の場合、投影撮像システム１００は、投影装置６１２と撮像装置１０３とにより構成される。投影装置６１２と撮像装置１０３は、任意の構成により、互いに通信可能に接続されている。また、投影装置６１２は、上述した制御装置１０１と同様の機能を有する制御部６１１を内蔵しており、上述した制御装置１０１および投影装置１０２の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
　なお、例えば、図１８のＣに示されるように、投影撮像システム１００を装置として実現するようにしてもよい。図１８のＣの例の場合、投影撮像装置６２０は、投影撮像システム１００と同様の機能を有する。つまり、投影撮像装置６２０は、制御部６２１、投影部６２２、および撮像部６２３を有する。制御部６２１は上述した制御装置１０１と同様の機能を有し、投影部６２２は上述した投影装置１０２と同様の機能を有し、撮像部６２３は上述した撮像装置１０３と同様の機能を有する。したがって、この場合も、投影画像の状態の把握をより安価に実現することができる。
　なお、図示は省略するが、投影装置１０２と撮像装置１０３とを一体化するようにしてもよい。つまり、投影撮像システム１００が、制御装置１０１と、投影装置１０２と撮像装置１０３の両方の機能を有する投影撮像装置とにより構成されるようにしてもよい。
　また、以上においては、制御装置、投影装置、撮像装置、投影撮像装置等の各種装置を１台ずつ示したが、これらの各種装置の数は任意である。例えば、投影撮像システム１００が、これらの各種装置を複数台有するようにしてもよい。また、各装置の台数が統一されていなくてもよい。さらに、投影撮像システム１００が、これらの装置以外の装置を有するようにしてもよい。
　＜６．その他＞
　　＜本技術の適用例＞
　上述した実施形態に係るシステムや装置は、任意のシステムや電子機器に応用され得る。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野の画像処理システムや画像処理装置に適用することができる。
　例えば、本技術は、鑑賞の用に供される画像を投影・撮像するシステムにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムや、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステム等にも適用することができる。
　　＜ソフトウェア＞
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　例えば図２の制御装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１３１により構成される。その場合、例えば、リムーバブルメディア１３１をドライブ１２５に装着することにより、そのリムーバブルメディア１３１に記憶されているこのプログラムを読み出させ、記憶部１２３にインストールさせることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２の制御装置１０１の場合、プログラムは、通信部１２４で受信し、記憶部１２３にインストールすることができる。
　その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図２の制御装置１０１の場合、プログラムは、記憶部１２３やROM１１２等に予めインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本技術は、装置やシステムとして実施するだけでなく、装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部によって前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する差分算出部
　を備える画像処理装置。
　（２）　前記差分算出部は、前記投影画像のフレームレートと、前記撮像画像のフレームレートの比に応じた間隔のフレーム同士の差分を算出するように構成される
　（１）に記載の画像処理装置。
　（３）　前記撮像画像のフレームレートは、前記投影画像のフレームレートの２倍であり、
　前記差分算出部は、２フレーム間隔のフレーム同士の差分を算出する
　（１）または（２）に記載の画像処理装置。
　（４）　前記差分算出部により算出されたフレーム同士の差分から、前記パタン画像を検出可能な領域を抽出する抽出部と、
　前記抽出部により複数の差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成する接合部と
　をさらに備える（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記接合部により生成された前記パタン画像を用いて、前記投影部と前記撮像部との対応点を検出する対応点検出部
　をさらに備える（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記対応点検出部により検出された前記対応点を用いて、前記投影部により投影される画像を補正する画像補正部
　をさらに備える（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記パタン画像は、前記投影部と前記撮像部との対応点の検出に利用可能なパタンと、前記投影画像の画素行の識別に利用可能なパタンとを含み、
　前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素行の識別に利用可能なパタンに基づいて抽出するように構成される
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記パタン画像は、前記投影画像の画素列の識別に利用可能なパタンをさらに含む
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の左右上下端近傍に形成される
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像全体に格子状に形成される
　（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記パタン画像は、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンを含み、
　前記抽出部は、前記パタン画像を検出可能な領域を、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンに基づいて抽出するように構成される
　（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記投影部による投影のタイミングと前記撮像部による撮像のタイミングとの同期をとる同期処理部
　をさらに備える（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記撮像画像のフレームレートは、前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍であり、
　前記差分算出部は、２Ｎフレーム間隔のフレーム同士の差分を算出するように構成される
　（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　前記複数フレームの前記撮像画像の中から、前記差分算出部が差分を算出するフレームを選択する画像選択部をさらに備える
　（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記画像選択部は、前記撮像画像の、前記投影画像の複数のフレームが混合するフレームを選択する
　（１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記画像選択部は、前記撮像画像の、前記投影画像の単数のフレームのみが含まれるフレームを選択する
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記投影画像は、動画像の所定のフレームに、正の前記パタン画像が重畳された重畳画像と、負の前記パタン画像が重畳された重畳画像とが、順次投影されたものである
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記撮像部をさらに備える
　（１）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　前記投影部をさらに備える
　（１）乃至（１８）のいずれかに記載の画像処理装置。
　（２０）　正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する
　画像処理方法。
　１００　投影撮像システム，　１０１　制御装置，　１０２　投影装置，　１０３　撮像装置，　１１１　CPU，　１１２　ROM，　１１３　RAM，　１１４　バス，　１２０　入出力インタフェース，　１２１　入力部，　１２２　出力部，　１２３　記憶部，　１２４　通信部，　１２５　ドライブ，　１３１　リムーバブルメディア，　１４１　パタン合成部，　１４２　投影制御部，　１４３　撮像制御部，　１４４　差分算出部，　１４５　切り取り部，　１４６　接合部，　１４７　対応点検出部，　１４８　画像補正部，　２４１　同期処理部，　４４１　画像選択部，　６０１　制御部，　６０３　撮像装置，　６１１　制御部，　６１２　投影装置，　６２０　投影撮像装置，　６２１　制御部，　６２２　投影部，　６２３　撮像部

Claims (20)

  1. 　投影部により正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で駆動する撮像部によって前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する差分算出部
    　を備える画像処理装置。
  2. 　前記差分算出部は、前記投影画像のフレームレートと、前記撮像画像のフレームレートの比に応じた間隔のフレーム同士の差分を算出するように構成される
    　請求項１に記載の画像処理装置。
  3. 　前記撮像画像のフレームレートは、前記投影画像のフレームレートの２倍であり、
    　前記差分算出部は、２フレーム間隔のフレーム同士の差分を算出する
    　請求項２に記載の画像処理装置。
  4. 　前記差分算出部により算出されたフレーム同士の差分から、前記パタン画像を検出可能な領域を抽出する抽出部と、
    　前記抽出部により複数の差分のそれぞれから抽出された前記領域を接合し、１フレーム分の前記パタン画像を生成する接合部と
    　をさらに備える請求項３に記載の画像処理装置。
  5. 　前記接合部により生成された前記パタン画像を用いて、前記投影部と前記撮像部との対応点を検出する対応点検出部
    　をさらに備える請求項４に記載の画像処理装置。
  6. 　前記対応点検出部により検出された前記対応点を用いて、前記投影部により投影される画像を補正する画像補正部
    　をさらに備える請求項５に記載の画像処理装置。
  7. 　前記パタン画像は、前記投影部と前記撮像部との対応点の検出に利用可能なパタンと、前記投影画像の画素行の識別に利用可能なパタンとを含み、
    　前記抽出部は、前記パタン画像を検出可能な領域を、前記投影画像の画素行の識別に利用可能なパタンに基づいて抽出するように構成される
    　請求項４に記載の画像処理装置。
  8. 　前記パタン画像は、前記投影画像の画素列の識別に利用可能なパタンをさらに含む
    　請求項７に記載の画像処理装置。
  9. 　前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像の左右上下端近傍に形成される
    　請求項８に記載の画像処理装置。
  10. 　前記パタン画像の、前記投影画像の画素行の識別に利用可能なパタン、および、前記投影画像の画素列の識別に利用可能なパタンは、前記投影画像全体に格子状に形成される
    　請求項８に記載の画像処理装置。
  11. 　前記パタン画像は、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンを含み、
    　前記抽出部は、前記パタン画像を検出可能な領域を、前記投影部と前記撮像部との対応点の検出と前記投影画像の画素行の識別との両方に利用可能なパタンに基づいて抽出するように構成される
    　請求項４に記載の画像処理装置。
  12. 　前記投影部による投影のタイミングと前記撮像部による撮像のタイミングとの同期をとる同期処理部
    　をさらに備える請求項２に記載の画像処理装置。
  13. 　前記撮像画像のフレームレートは、前記投影画像のフレームレートの２Ｎ（Ｎは自然数）倍であり、
    　前記差分算出部は、２Ｎフレーム間隔のフレーム同士の差分を算出するように構成される
    　請求項２に記載の画像処理装置。
  14. 　前記複数フレームの前記撮像画像の中から、前記差分算出部が差分を算出するフレームを選択する画像選択部をさらに備える
    　請求項１３に記載の画像処理装置。
  15. 　前記画像選択部は、前記撮像画像の、前記投影画像の複数のフレームが混合するフレームを選択する
    　請求項１４に記載の画像処理装置。
  16. 　前記画像選択部は、前記撮像画像の、前記投影画像の単数のフレームのみが含まれるフレームを選択する
    　請求項１４に記載の画像処理装置。
  17. 　前記投影画像は、動画像の所定のフレームに、正の前記パタン画像が重畳された重畳画像と、負の前記パタン画像が重畳された重畳画像とが、順次投影されたものである
    　請求項２に記載の画像処理装置。
  18. 　前記撮像部をさらに備える
    　請求項１に記載の画像処理装置。
  19. 　前記投影部をさらに備える
    　請求項１に記載の画像処理装置。
  20. 　正負が互いに逆の所定のパタン画像が順次投影された投影画像を、ローリングシャッタ方式で、前記投影画像のフレームレートよりも高速に撮像して得られた複数フレームからなる撮像画像の、不連続なフレーム同士の差分を算出する
    　画像処理方法。
PCT/JP2017/029192 2016-08-24 2017-08-10 画像処理装置および方法 WO2018037948A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17843431.2A EP3506623B1 (en) 2016-08-24 2017-08-10 Image processing apparatus and method
JP2018535602A JP7070417B2 (ja) 2016-08-24 2017-08-10 画像処理装置および方法
CN201780050280.9A CN109644249B (zh) 2016-08-24 2017-08-10 图像处理设备和图像处理方法
US16/321,958 US10991340B2 (en) 2016-08-24 2017-08-10 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-163833 2016-08-24
JP2016163833 2016-08-24

Publications (1)

Publication Number Publication Date
WO2018037948A1 true WO2018037948A1 (ja) 2018-03-01

Family

ID=61244916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029192 WO2018037948A1 (ja) 2016-08-24 2017-08-10 画像処理装置および方法

Country Status (5)

Country Link
US (1) US10991340B2 (ja)
EP (1) EP3506623B1 (ja)
JP (1) JP7070417B2 (ja)
CN (1) CN109644249B (ja)
WO (1) WO2018037948A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11397376B2 (en) * 2017-09-12 2022-07-26 Sony Corporation Image processing device and method for suppressing a reduction in image quality
GB201807461D0 (en) * 2018-05-08 2018-06-20 Barco Nv Closed loop driving of a highlighter type projector
US10477141B1 (en) 2018-05-17 2019-11-12 Futurewei Technologies, Inc. Frame synchronous packet switching for high-definition multimedia interface (HDMI) video transitions
US20220319013A1 (en) * 2019-06-25 2022-10-06 Sony Group Corporation Image processing device, image processing method, and program
WO2021169789A1 (zh) * 2020-02-25 2021-09-02 青岛海信激光显示股份有限公司 投影系统、投影系统的开机运行方法、关机运行方法
US11223808B1 (en) * 2020-06-30 2022-01-11 Christie Digital Systems Usa, Inc. Device, system and method for generating a mapping of projector pixels to camera pixels and/or object positions using alternating patterns

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051346A (ja) * 1999-08-05 2001-02-23 Nippon Telegr & Teleph Corp <Ntt> 自動画素位置調整装置
JP2006311029A (ja) * 2005-04-27 2006-11-09 Olympus Corp 表示画像撮像方法および装置
JP2011064859A (ja) * 2009-09-16 2011-03-31 Sanyo Electric Co Ltd 投写型映像表示装置、およびフォーカス制御回路
US20150062013A1 (en) * 2013-08-29 2015-03-05 Interphase Corporation Rolling Shutter Synchronization of a Pointing Device in an Interactive Display System
JP2016051157A (ja) * 2014-09-02 2016-04-11 国立大学法人 奈良先端科学技術大学院大学 情報取得装置及び情報伝達システム
JP2017092819A (ja) * 2015-11-13 2017-05-25 キヤノン株式会社 投影装置およびその制御方法、および投影システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7131596B2 (en) * 2003-04-07 2006-11-07 Silverbrook Research Pty Ltd Symmetric data tags
JP5098831B2 (ja) * 2008-06-06 2012-12-12 ソニー株式会社 固体撮像素子およびカメラシステム
US20110079761A1 (en) * 2009-10-06 2011-04-07 Young Ronald A Modular wire partition
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
KR20120063984A (ko) * 2010-12-08 2012-06-18 한국전자통신연구원 다시점 영상 생성 방법 및 장치
JP5898484B2 (ja) * 2011-12-19 2016-04-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9294746B1 (en) * 2012-07-09 2016-03-22 Amazon Technologies, Inc. Rotation of a micro-mirror device in a projection and camera system
CN104614928A (zh) * 2013-11-04 2015-05-13 光宝科技股份有限公司 影像投影装置与影像投影方法
US9940717B2 (en) * 2014-12-23 2018-04-10 Intel Corporation Method and system of geometric camera self-calibration quality assessment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051346A (ja) * 1999-08-05 2001-02-23 Nippon Telegr & Teleph Corp <Ntt> 自動画素位置調整装置
JP2006311029A (ja) * 2005-04-27 2006-11-09 Olympus Corp 表示画像撮像方法および装置
JP2011064859A (ja) * 2009-09-16 2011-03-31 Sanyo Electric Co Ltd 投写型映像表示装置、およびフォーカス制御回路
US20150062013A1 (en) * 2013-08-29 2015-03-05 Interphase Corporation Rolling Shutter Synchronization of a Pointing Device in an Interactive Display System
JP2016051157A (ja) * 2014-09-02 2016-04-11 国立大学法人 奈良先端科学技術大学院大学 情報取得装置及び情報伝達システム
JP2017092819A (ja) * 2015-11-13 2017-05-25 キヤノン株式会社 投影装置およびその制御方法、および投影システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3506623A4 *

Also Published As

Publication number Publication date
CN109644249B (zh) 2021-09-07
JPWO2018037948A1 (ja) 2019-06-20
JP7070417B2 (ja) 2022-05-18
US10991340B2 (en) 2021-04-27
EP3506623B1 (en) 2022-03-02
EP3506623A4 (en) 2019-08-21
CN109644249A (zh) 2019-04-16
EP3506623A1 (en) 2019-07-03
US20190172423A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
WO2018037948A1 (ja) 画像処理装置および方法
US10359498B2 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
US10872434B2 (en) Image processing apparatus and method
KR102149463B1 (ko) 이미지를 처리하기 위한 전자 장치 및 방법
JP6226538B2 (ja) 表示制御装置、表示制御方法、およびプログラム
WO2017154628A1 (ja) 画像処理装置および方法
KR20090088325A (ko) 화상 처리 장치, 화상 처리 방법 및 촬상 장치
US9569823B2 (en) Image processing device and method, and program for correcting a blurred moving image
JP4839183B2 (ja) 画像処理装置
JP6141084B2 (ja) 撮像装置
US9773523B2 (en) Apparatus, method and computer program
TW201709720A (zh) 用於產生經圖像穩定化之視訊的方法與攝像機
JP2014165764A (ja) 編集装置、編集方法、及び編集プログラム
EP3293960A1 (en) Information processing device, information processing method, and program
US11151698B2 (en) Image processing apparatus and method for suppressing overlap blur and individual blur from projection images using an inverted filter
JP7040511B2 (ja) 情報処理装置および方法
JP2011108251A (ja) プレゼンテーション制御装置及びプログラム
JP6426594B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20190122692A (ko) 화상 처리 장치 및 화상 처리 방법
JP2016042661A (ja) 情報処理装置、システム、情報処理方法及びプログラム
WO2024018973A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2013118471A (ja) 映像処理装置およびその制御方法
JP2023070220A (ja) カメラ操作模擬装置およびそのプログラム、ならびに、カメラ映像生成装置およびそのプログラム
JP2014138410A (ja) 画像処理装置及びその制御方法、プログラム
JP2006340319A (ja) 監視装置及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843431

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018535602

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017843431

Country of ref document: EP

Effective date: 20190325