WO2021111733A1 - 画像処理装置及び画像処理方法、並びに画像投影システム - Google Patents

画像処理装置及び画像処理方法、並びに画像投影システム Download PDF

Info

Publication number
WO2021111733A1
WO2021111733A1 PCT/JP2020/038405 JP2020038405W WO2021111733A1 WO 2021111733 A1 WO2021111733 A1 WO 2021111733A1 JP 2020038405 W JP2020038405 W JP 2020038405W WO 2021111733 A1 WO2021111733 A1 WO 2021111733A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dots
predetermined pattern
dot
point information
Prior art date
Application number
PCT/JP2020/038405
Other languages
English (en)
French (fr)
Inventor
益義 黒川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/756,520 priority Critical patent/US20220417483A1/en
Priority to JP2021562481A priority patent/JPWO2021111733A1/ja
Priority to CN202080082221.1A priority patent/CN114762318A/zh
Publication of WO2021111733A1 publication Critical patent/WO2021111733A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Definitions

  • the technology disclosed in the present specification (hereinafter referred to as "the present disclosure") relates to an image processing device and an image processing method for processing a projected image of a projector, and an image projection system.
  • Projection technology for projecting images on screens has been known for a long time, and is widely used in educational settings, conferences, presentations, etc. Since the image can be enlarged and displayed on a relatively large screen, there is an advantage that the same image can be presented to a plurality of people at the same time.
  • projection mapping that projects and displays an image on the surface of a screen having an arbitrary shape such as a building, and projector stacking that superimposes and projects the same projection surface using multiple projectors have also been used. It's coming.
  • the projection status of the projector is grasped before the projection is started. Further, even during the projection of an image, the posture of the projector and the shape of the projection surface may change due to the influence of disturbances such as temperature and vibration. Therefore, even after the projection is started, it is necessary to grasp the projection status of the projector and correct the image again. It is not preferable for the presenter and the audience to stop the projection operation and interrupt the presentation or the like every time the projection status of the projector is confirmed. Therefore, online sensing that confirms the projection status of the projector while continuing the image projection operation has also been proposed (see, for example, Patent Document 1).
  • An object of the present disclosure is to provide an image processing device and an image processing method for processing a projected image including a predetermined pattern, and an image projection system.
  • the first aspect of the disclosure is A detection unit that detects an error in an area based on an error detection function assigned to each area of a predetermined pattern extracted from the first image, and a detection unit.
  • An acquisition unit that acquires corresponding point information of a region in the original predetermined pattern based on an identification function assigned to each region of the predetermined pattern extracted from the first image, and an acquisition unit. It is an image processing apparatus provided with.
  • Each dot has an attribute value represented by 2 bits of 0 to 3, and in the original predetermined pattern, the central dot has an attribute value 3 for each region consisting of 3 ⁇ 3 dots. Moreover, the sum of the attribute values of the eight dots in the vicinity of the central dot is configured to satisfy the first constraint condition in which modulo 3 is 0.
  • the sum of the attribute values of 8 dots in the vicinity of the dots having the attribute value of 3 detected from the extracted predetermined pattern is 3 ⁇ 3 corresponding based on whether modulo 3 is 0 or not. Detects errors in the area consisting of dots.
  • the acquisition unit is based on a comparison result between a series of attribute values of 8 dots in the vicinity of dots having an attribute value of 3 detected from the extracted predetermined pattern and a series of attribute values in the original predetermined pattern. Acquire correspondence point information.
  • the second aspect of the present disclosure is A detection step of detecting an error in an area based on an error detection function assigned to each area of a predetermined pattern extracted from the first image, and a detection step.
  • the third aspect of the present disclosure is with a projector A camera that captures the projected image of the projector,
  • the predetermined pattern is extracted from the captured image taken by the camera from the projected image obtained by projecting the image in which the projector embeds the predetermined pattern.
  • the detection unit Based on the error detection function assigned to each region of the predetermined pattern, the detection unit that detects the error in each region of the extracted predetermined pattern, and the detection unit.
  • An acquisition unit that acquires corresponding point information for each extracted predetermined pattern area based on the identification function assigned to each predetermined pattern area.
  • An image correction unit that corrects an image projected from the projector based on the acquired corresponding point information, and an image correction unit. It is an image projection system provided with.
  • system here means a logical assembly of a plurality of devices (or functional modules that realize a specific function), and each device or functional module is in a single housing. It does not matter whether or not it is.
  • an image processing device and an image processing method for confirming the projection status of a projector by online sensing, and an image projection system it is possible to provide an image processing device and an image processing method for confirming the projection status of a projector by online sensing, and an image projection system.
  • FIG. 1 is a diagram showing an example of an external configuration of the image projection system 100.
  • FIG. 2 is a diagram showing a functional configuration example of the image projection system 100.
  • FIG. 3 is a diagram showing an example of the internal configuration of the projection unit 201.
  • FIG. 4 is a diagram showing an example of the internal configuration of the image processing unit 202.
  • FIG. 5 is a diagram for explaining the operating principle of the ISL method.
  • FIG. 6 is a diagram showing an embodiment of the structured light pattern 600.
  • FIG. 7 is a diagram showing the types of dots 601 used in the structured pattern 600.
  • FIG. 8 is a diagram showing the types of dots 601 used in the structured light pattern 600.
  • FIG. 9 is a diagram showing a specific example of the structured optical pattern used in the present disclosure.
  • FIG. 1 is a diagram showing an example of an external configuration of the image projection system 100.
  • FIG. 2 is a diagram showing a functional configuration example of the image projection system 100.
  • FIG. 3 is a
  • FIG. 10 is a diagram for explaining a method of generating a structured light pattern.
  • FIG. 11 is a flowchart showing a processing procedure for creating a structured light pattern.
  • FIG. 12 is a diagram showing a specific example of the structured light pattern used in the present disclosure.
  • FIG. 13 is a diagram showing the verification results of the attribute values set for each of the 3 ⁇ 3 dot groups included in the structured light pattern shown in FIG.
  • FIG. 14 is a flowchart showing a processing procedure for the corresponding point information acquisition unit 204 to acquire the corresponding point information.
  • FIG. 15 is a flowchart showing a processing procedure executed by the image projection system 100 during a projection status confirmation operation.
  • FIG. 16 is a diagram illustrating a projected image including geometric distortion.
  • FIG. 17 is a diagram illustrating a projected image after geometric correction.
  • FIG. 1 schematically shows an external configuration example of the image projection system 100 to which the present disclosure is applied.
  • the illustrated image projection system 100 includes a projector 101 that projects an image on the screen 102, a camera 103 that captures a projected image on the screen 102, and a video signal processing unit 104 that develops and processes the imaging signal of the camera 103.
  • a video source 105 that supplies a video signal for projection to the projector 101 is provided.
  • the method by which the projector 101 projects an image is not particularly limited.
  • the structure, shape, and material of the screen 102 are not particularly limited.
  • the screen 102 may be a projection screen made of cloth or the like, or may be a wall of a room, an outer wall of a building, or the like.
  • the video source 105 is arbitrary, and may be an information terminal such as a disc playback device or a personal computer, a cloud, or the like. Further, the communication path through which the video source 105 transmits the video signal to the projector 101 is not particularly limited, and is wired such as HDMI (registered trademark) (High Definition Multimedia Interface), VGA (Video Graphic Array), USB (Universal Serial Bus), and the like. It may be a cable or wireless communication such as Wi-Fi (registered trademark).
  • the projector 101 projects the image supplied from the image cord 105 onto the screen 102 during the normal projection operation. Further, the projector 101 projects a test pattern on the screen 102 when confirming the projection status. In this embodiment, it is assumed that the projection status confirmation operation is performed by online sensing as described later. Therefore, the projector 101 embeds a test pattern in the original image and projects it on the screen 102.
  • the projector 101 may internally store a test pattern generated by an external device (not shown) in advance and read it out for use during a projection status confirmation operation. Alternatively, the projector 101 may have a function of internally generating a test pattern.
  • the camera 103 captures a projected image on the screen 102 during the projection status confirmation operation.
  • the video signal processing unit 104 performs signal processing such as development processing on the shooting signal of the camera 103 and outputs the signal to the projector 101.
  • the camera 103 may constantly capture the projected image on the screen 102, and the projector 101 may acquire the image from the video signal processing unit 104 during the operation of confirming the projection status.
  • the projector 101 geometrically corrects the original image based on the correspondence between the original test pattern and the test pattern on the captured image.
  • the principle of geometric correction will be briefly explained.
  • the projected image may be distorted as shown in FIG. 16, for example, and may be difficult to see.
  • geometric correction such as canceling the distortion on the original image projected by the projector 101
  • the distortion is reduced as shown in FIG. 17, and an image close to the original image is projected. It can be made easier to see.
  • the geometric correction of the projected image can be manually performed by an operator or the like who operates the projector 101, but the work is complicated. Therefore, in the image projection system 100 according to the present embodiment, a method is used in which a projected image of the projector 101 is photographed by using the camera 103, and geometric correction is automatically performed using the photographed image.
  • Confirmation of the projection status of the projector 101 when performing such geometric correction corresponds to acquiring information on the corresponding points between the original image to be projected and the captured image of the projected image on the screen 102.
  • FIG. 2 shows an example of a functional configuration of the image projection system 100.
  • the image projection system 100 includes a projector 101 that projects an image on a screen (not shown in FIG. 2), a camera 103 that captures a projected image on the screen, and a video signal process that develops a capture signal of the camera 103.
  • a unit 104 and a video source (not shown in FIG. 2) that supplies a video signal for projection to the projector 101 are provided.
  • the projector 101 includes a projection unit 201, an image processing unit 202, an image input unit 203, and a corresponding store information acquisition unit 204.
  • the image input unit 203 inputs a video signal from a video source such as a disc playback device, an information terminal, or a cloud.
  • the image processing unit 202 processes the image projected and output from the projection unit 201.
  • the image output from the image processing unit 202 is an input image input from the image input unit 203 and a test pattern held in the image processing unit 102.
  • online sensing is applied as described later, and the image processing unit 202 embeds an image in which a test pattern is embedded in the input image at the time of the confirmation operation of the projection status (or at the time of acquiring the corresponding point information). Output to the projection unit 201.
  • the distortion generated in the projected image is also geometrically corrected based on the corresponding point information supplied from the corresponding point information acquisition unit 204.
  • the distortion to be corrected is a distortion based on the posture of the projector 101 with respect to the projection surface and the shape of the projection surface, but may include optical distortion due to the optical system of the projector 101 or the camera 103.
  • the projection unit 201 projects the image output from the image processing unit 202 onto a screen (not shown in FIG. 2). Geometric distortion occurs in the projected image due to the posture of the projector 101 with respect to the projection surface and the shape of the projection surface.
  • the camera 103 captures a projected image in which a test pattern projected on the screen from the projection unit 201 is embedded during the operation of confirming the projection status (or when acquiring the corresponding point information).
  • the captured image of the camera 103 is supplied to the corresponding point information acquisition unit 204 after the signal processing is performed by the video signal processing unit 104.
  • the corresponding point information acquisition unit 204 detects the test pattern from the captured image in which the test pattern is embedded, obtains the corresponding point information between the original projected image and the captured image, and causes the image processing unit 202 to obtain the corresponding point information. Provide correspondence point information.
  • the correction amount for correcting the geometric distortion included in the projected image is calculated based on the corresponding point information, and the geometric distortion is corrected by performing the projective transformation on the output image.
  • the camera 103 is arranged at a position different from the irradiation position of the projection unit 201, and the optical axis is set so that the photographing range covers the irradiation range of the projection unit 201 as much as possible.
  • the image in which the test pattern is embedded is projected from the projection unit 201 onto the screen and photographed by the camera unit 104.
  • the corresponding point information acquisition unit 204 extracts a test pattern from the captured image, obtains the corresponding point information between the original projected image and the captured image, and outputs the information to the image processing unit 202.
  • the correction parameters for geometrically correcting the projected image are calculated based on the corresponding point information, and thereafter, the correction parameters are applied to all the images input from the image input unit 203, and the projection unit From 201, an image corrected for geometric distortion is emitted.
  • FIG. 3 shows an example of the internal configuration of the projection unit 201.
  • the illustrated projection unit 201 includes an illumination optical unit 301, a liquid crystal panel 302, a liquid crystal panel drive unit 303, and a projection optical unit 304.
  • the liquid crystal panel driving unit 303 drives the liquid crystal panel 302 based on the image signal input from the image processing unit 202, and draws a projected image on the display screen thereof.
  • the illumination optics unit 301 irradiates the liquid crystal panel 302 from the back surface.
  • the image projection system 100 is a pico projector, for example, an LED (Light Emitting Diode) or a laser is used as the light source of the illumination optical unit 301.
  • the projection optical unit 304 magnifies and projects the light transmitted through the liquid crystal panel 302 onto the screen (not shown in FIG. 3) via the projection optical unit 304.
  • An input image to the image input unit 203 is projected from the projection unit 201.
  • the projection unit 201 projects the test pattern embedded in the input image to the image input unit 203.
  • the projection optical unit 304 is composed of one or two or more optical lenses. It is assumed that the projection optical unit 304 has lens distortion, and therefore, the geometric distortion of the projected image is caused by the lens distortion in addition to the posture of the projector 101 and the shape of the projection surface.
  • FIG. 4 shows an example of the internal configuration of the image processing unit 202.
  • the illustrated image processing unit 202 includes an image writing / reading control unit 401, a frame memory 402, an image correction unit 403, an image quality adjustment unit 404, a test pattern storage unit 405, and an output image switching unit 406.
  • the frame memory 402 stores an image supplied from the image input unit 203.
  • the image write / read control unit 401 controls the writing and reading of the image frame to the frame memory 402.
  • the image correction unit 403 corrects the image read from the frame memory 402 based on the correspondence point information received from the correspondence point information acquisition unit 204 so that the geometric distortion is eliminated when the image is projected from the projection unit 201 onto the subject. To do. Geometric correction has been described with reference to FIGS. 16 and 17, but is not limited thereto.
  • the image quality adjustment unit 404 adjusts the image quality such as brightness, contrast, synchronization, tracking, color depth, and hue so that the projected image after distortion correction is in a desired display state.
  • the test pattern storage unit 405 stores a test pattern to be embedded in the projected image during the confirmation operation of the projection status of the projector 101 (or when the corresponding point information is acquired).
  • the test pattern storage unit 405 may store a test pattern that has been generated in advance by an external device (not shown), or has a function of generating a test pattern in the image processing unit 202 (or the projector 101). May be provided.
  • the ISL (Implementable Structured Light) method of online sensing is applied to the acquisition of correspondence point information, and the test pattern consists of a structured optical pattern.
  • the output image switching unit 406 switches the output image so as to output an image in which the test pattern read from the test pattern storage unit 405 is embedded during the operation of confirming the projection status (or when acquiring the corresponding point information). Perform processing.
  • the image projection system 100 confirms the projection status of the projector 101, that is, acquires information on the corresponding points between the original image and the captured image of the camera 103 while continuing the projection operation of the projector 101. I am trying to carry out the processing to be done.
  • Examples of the online sensing technology include a method using invisible light such as Infrared, a method using an image feature amount such as SIFT (Scale Invariant Feature Transfer), and an ISL method.
  • a method using invisible light such as Infrared
  • a method using an image feature amount such as SIFT (Scale Invariant Feature Transfer)
  • an ISL method In the case of a method using invisible light such as Infrared, a projector that projects invisible light (for example, an Infrared projector) is further required, which increases the cost.
  • an image feature amount such as SIFT
  • it is difficult to detect the corresponding points with stable accuracy because the detection accuracy and the density of the corresponding points depend on the projected image content.
  • the ISL method since visible light is used, it is possible to suppress an increase in system components (that is, an increase in cost). In addition, the ISL method can detect corresponding points with stable accuracy without depending on the projected image.
  • the projector 101 adds a predetermined structured light pattern to a frame having an input image to generate a frame image obtained by synthesizing a positive image of the structured light pattern with the input image, and sets the frame image next to the input image.
  • a frame image in which a negative image of the structured light pattern is combined with an input image is generated.
  • the projector 101 continuously continuously projects the positive image frame and the negative image frame for each frame. Two consecutive frames of a positive image and a negative image that are switched at high speed are added and perceived by the human eye due to the integration effect. As a result, it is difficult for the user observing the projected image to recognize the structured light pattern embedded in the input image, that is, the structured light pattern becomes invisible from the observed image.
  • the camera 103 captures a projected image of a positive image frame and a negative image frame. Then, the corresponding point information acquisition unit 204 extracts only the structured light pattern included in the captured image by obtaining the difference between the captured images of both frames. Corresponding point detection is performed using this extracted structured light pattern.
  • the structured optical pattern can be easily extracted simply by obtaining the difference between the captured images, so that the corresponding point can be detected with stable accuracy without depending on the projected image. it can.
  • Gray code and checker pattern can be mentioned as the structured light pattern used in the ISL method.
  • the Gray code and the checker code refer to, for example, Patent Document 1. Since the Gray code and the checker pattern have a pattern having a large luminance change gradient and high spatial regularity, they are easily perceived by the user who is viewing the projected image, and invisibility may be reduced.
  • the structured light pattern is unnecessary for the image to be projected, and the user's perception of the structured light pattern corresponds to the reduction of the image quality of the projected image.
  • it is necessary to project a large number of sheets in order to acquire the corresponding point information. In general, as the number of projected images increases, it becomes more easily perceived by the user, and invisibility may be further reduced.
  • the corresponding point detection time increases by the amount of projection of a large number of sheets.
  • FIG. 6 shows an embodiment of the structured light pattern used in the present disclosure.
  • the structured light pattern is used to detect the correspondence between the original projected image and the captured image of the projected image.
  • the structured light pattern 600 shown in FIG. 6 is configured by arranging elliptical dots 601 having different brightness values from the periphery in a grid pattern.
  • the projected image of the image in which the structured pattern 600 is embedded is captured by the camera 103, and each dot 601 is detected from the captured image to be projected. Correspondence points can be obtained between the original image and the captured image.
  • the white and black dots 601 in FIG. 6 are actually positive images by forming an elliptical shape having a two-dimensional Gaussian function-like luminance distribution from the periphery toward the center toward the center. And the invisibility of the dot 601 can be improved in each of the negative images.
  • FIG. 7 shows the brightness distribution of the dots in which the brightness change directions are the positive direction and the negative direction. As shown in the curve 711, the brightness value of the dot 701 whose brightness change direction is in the positive direction changes in a Gaussian function in the positive direction from the periphery of the ellipse toward the geometric center of gravity.
  • the brightness value of the dot 702 in which the brightness change direction is in the negative direction changes in a Gaussian function in the negative direction from the periphery of the ellipse toward the geometric center. That is, the structured light pattern 600 has two types of dots whose brightness change directions are opposite to each other.
  • the two frames of the positive image and the negative image switched at high speed are added and perceived by the human eye due to the integration effect.
  • the structured light pattern included in the captured image is extracted. Corresponding point detection is performed using this extracted structured light pattern.
  • the brightness change direction of the dot 601 is two types (represented by white and black in FIG. 6), and the elliptical shape has two types whose major axis is the horizontal direction or the vertical direction. Therefore, each dot 601 can have 1 bit of information in the direction of change in brightness and 1 bit of information in the direction of the elliptical long axis, and 2 bits, that is, quaternary information by combining the direction of change in brightness and the direction of the long axis. Can have However, it is assumed that the dots shown in white in FIG. 6 have a positive luminance change direction and the dots shown in black have a negative luminance change direction.
  • FIG. 8 shows the types of dots 601 used in the structured light pattern 600 in this embodiment.
  • the combination of the brightness change direction (positive or negative) and the direction of the major axis of the ellipse (vertical or horizontal) has four types of dots 601-1, 601-2, 601-3, 601-4. .. Therefore, dot 601 can represent 2 bits of information.
  • each dot 601-1, 601-2, 601-3, 601-4 will be indicated by four attribute values of "0", “1", “2", and "3", respectively.
  • D. Solving Problems with Structured Light Patterns By using a structured light pattern that combines contours or shapes and dots that express information according to the direction of brightness change, invisibility can be ensured by the integration effect.
  • the structured light pattern can be extracted by taking the difference between the captured images of the two projected images of the positive image frame and the negative image frame, so that the corresponding point information acquisition time can be shortened. ..
  • the present disclosure further imparts two functions, an identification function and an error detection function, to a combination of a plurality of dots in the vicinity.
  • the identification function is a function in which an information series represented by a combination of a plurality of dots in the vicinity is unique information within the same structured optical pattern, and can be distinguished from other combinations of dots. Therefore, it is possible to acquire the position information of these dots in the structured optical pattern based on the information series represented by the combination of a plurality of dots in the vicinity.
  • the captured image of the projected image is sensed online, the corresponding point of the original image can be specified for the combination of dots whose information series can be read.
  • the error detection function is a function that can detect whether or not the information of each dot is erroneously determined depending on whether the information series represented by the combination of a plurality of dots in the vicinity conforms to a predetermined rule or condition. Specifically, it is detected whether or not the information of each dot is erroneously determined depending on whether the total value of the values read from the plurality of dots in the vicinity conforms to a predetermined rule or condition. Even if the corresponding point information can be acquired based on the information sequence represented by the combination of a plurality of dots in the vicinity, when an error in the information sequence is detected, the corresponding point information is discarded and not used.
  • the corresponding point information acquisition unit 204 can acquire only the correct corresponding point information, and the image correction unit 403 in the image processing unit 202 has the correct geometry for the projected image based on the correct corresponding point information. Corrections can be made. Even if all the dots cannot be detected, for example, if the corresponding point information of the four corners in the vicinity of the undetectable part can be obtained, the corresponding point information is estimated by a method such as interpolation. There is a possibility that it can be done. On the other hand, if erroneous correspondence point information based on erroneously determined dots is used, erroneous geometric correction will be performed, and the distortion of the projected image may be rather severe.
  • the structured light pattern used in this disclosure will be specifically described. Similar to FIG. 6, the structured light pattern is composed of an array of dots having 2-bit information by combining the direction of change in brightness and the direction of the long axis. In the following, for the sake of simplification of the drawing, each dot will be indicated by four attribute values of "0", “1", “2”, and "3" according to FIG.
  • FIG. 9 illustrates a group of 7 ⁇ 5 dots arranged in a grid pattern, which is a part of the structured light pattern used in the present disclosure. It is assumed that FIG. 9 represents a dot pattern detected according to the operating principle of the ISL method described with reference to FIG.
  • the 2-bit information represented by each dot detected from the captured image is associated with the dots on the original structured light pattern, and the corresponding points on the coordinates are based on the position of the center of gravity of the associated dots. Is used.
  • the amplitude of the brightness that changes in the positive direction and the negative direction is made small with an emphasis on invisibility (see FIG. 7), and therefore the projected image.
  • the detection process is affected by the brightness and brightness fluctuation of the dot, and there is a possibility that the dot cannot be detected and the 2-bit information represented by the dot is erroneously determined.
  • an identification function and an error detection function are further added to the combination of a plurality of dots in the vicinity.
  • an identification function and an error detection function are provided for each dot group consisting of 9 dots of 3 ⁇ 3 as a combination of a plurality of dots in the vicinity.
  • a dot indicating the attribute value "3" indicating that the dot is the center dot of the 3x3 9 dots is arranged at the center of the 3x3 9 dots.
  • dots indicating the attribute value "3” are arranged at intervals of 1 dot on the top, bottom, left and right.
  • dots indicating any of the attribute values “0”, “1”, and “2” other than the attribute value “3” are arranged.
  • the sum of the attribute values represented by each of the 8 dots other than the center of the 9 dots of 3 ⁇ 3 is 0, that is, a multiple of 3 so that the modulo 3 is 0, that is, a multiple of 3.
  • Arranging 8 dots in the vicinity of the dots representing the attribute value "3" is a constraint condition when creating a structured light pattern. That is, 9 dots of 3 ⁇ 3 are arranged so that the sum of the attribute values represented by each of the eight dots in the vicinity of the dot representing the attribute value “3” is 0, 3, 6, 9, 12, or 15. Deploy.
  • the 3 ⁇ 3 9 dots that do not satisfy the above constraints and are presumed to be erroneous judgments are not used in the subsequent correspondence point information acquisition processing so as not to acquire erroneous correspondence point information.
  • the corresponding points may be interpolated based on the determination result of 3 ⁇ 3 9 dots at the four corners in the vicinity of the 3 ⁇ 3 9 dots estimated to be erroneous determination.
  • the series of attribute values represented by each of the 8 dots other than the center of the 3 ⁇ 3 9 dots is another 3 ⁇ 3.
  • Another constraint when creating a structured optical pattern is that it does not overlap with the 9 dots (that is, it is unique information).
  • the sequence of the attribute values represented by the eight dots in the vicinity of the dots representing the attribute value “3” is 11012202. Further, in the 3 ⁇ 3 9 dots indicated by the reference number 902, which is moved 1 dot to the right and 1 dot downward from the position indicated by the reference number 901, 8 dots in the vicinity of the dot representing the attribute value “3” are obtained.
  • the series of attribute values represented by each is 20221211, and does not overlap with the 3 ⁇ 3 dot group indicated by the reference number 901.
  • the sequence of attribute values represented by each of the eight dots in the vicinity of the dot representing the attribute value "3" in each 3 ⁇ 3 dot group is unique information within the same structured light pattern, and the other 3 ⁇ 3 dots.
  • Three dot groups can be identified. That is, the identification function can be added to the structured light pattern by setting another constraint condition at the time of creating the structured light pattern.
  • the structured light pattern as shown in FIG. 9 is extracted from the image captured by the camera 103 from the projected image of the projector 101, and 8 dots in the vicinity of the dots having the attribute value “3” are formed.
  • the pixel position of the dot that is, the corresponding point information can be acquired by referring to the association list. For example, a series of eight attribute values "11012202" is detected from the 3 ⁇ 3 dot group indicated by the reference number 901, and the series of the attribute values is referred to in the association list, and each dot of this dot group is referred to. Pixel position, that is, corresponding point information can be acquired.
  • the 3 ⁇ 3 ⁇ indicated by the reference number 901 is referred to. It is possible to acquire the pixel position, that is, the corresponding point information of each dot of this dot group without overlapping with the other 3 ⁇ 3 dot group including the three dot group.
  • the structured optical pattern shall be composed of a large number of dots arranged in a grid pattern, and each dot shall be "0", “1", “2” according to FIG. , "3" will be indicated by four attribute values.
  • FIG. 10 shows an example of a processing procedure for creating a structured light pattern in the form of a flowchart.
  • a dot indicating the attribute value "3" indicating that the dot is the center dot of the 3 ⁇ 3 9 dots is arranged at the center of the 3 ⁇ 3 9 dots.
  • each value of 8 dots is generated in the vicinity of the dot representing the attribute value "3", for example, a random number is generated (step S1103), the sum of the attribute values is modulo 3 becomes 0, and the neighboring 8 dots are respectively. Confirm that the series of attribute values to be represented does not overlap with the already created 3 ⁇ 3 9 dots (step S1104).
  • step S1105 If the generated random number does not satisfy at least one constraint condition (No in step S1105), the random number is generated again and it is checked whether or not the constraint condition is satisfied.
  • step S1105 if each attribute value of 3 ⁇ 3 9 dots satisfying the two constraint conditions can be generated (Yes in step S1105), a series of attribute values represented by each of the eight neighboring dots is displayed. It is recorded in the correspondence list in association with the pixel position of the dot (step S1106).
  • the position of the 3 ⁇ 3 dot group is moved every other dot on the current scan line (No in step S1107, step S1109). ). Further, when the scanning of one line in the horizontal direction is completed (Yes in step S1107), the scan line is moved in the vertical direction every other line (step S1110). On the next scan line as well, move horizontally every other dot in the same manner as above, and the attributes of each dot in the 3 ⁇ 3 dot group so as to satisfy the above-mentioned two constraint conditions for each scan position. Generate a value. Then, when all the scan lines are reached (Yes in step S1108) and the setting of the attribute values of all the dots constituting the structured light pattern is completed, this process ends.
  • a correspondence list that records the correspondence between the series of attribute values of neighboring 8 dots and the pixel position of each dot is indispensable when the correspondence point information acquisition unit 204 acquires the correspondence point information of the structured optical pattern.
  • the association list is created at the same time as the structured optical pattern is created.
  • the procedure for creating the structured optical pattern shown in FIG. 11 is an example, and is not limited to this. If a structured light pattern satisfying the above two constraint conditions can be created, other processing procedures may be followed.
  • FIG. 9 shows a specific example of a structured light pattern consisting of 7 ⁇ 5 dots.
  • FIG. 12 shows an example of a structured light pattern composed of 21 ⁇ 21 dots. A specific example of the structured light pattern shown in FIG. 12 is shown.
  • the structured light pattern shown in FIG. 12 can be generated according to the processing procedure shown in FIG. Further, the attribute values set for each dot of the structured light pattern shown in FIG. 12 satisfy the above-mentioned two constraint conditions.
  • FIG. 13 shows the verification results of the attribute values set for each 3 ⁇ 3 dot group included in the structured light pattern shown in FIG. 12 in a list format.
  • each item in the list includes a serial number (#) indicating the order of scanning, a series of eight attribute values, and a sum of eight attribute values.
  • the structured light pattern shown in FIG. 12 is generated so as to satisfy the first constraint condition.
  • the structured light pattern extracted from the captured image of the projected image in which the structured light pattern is embedded at the time of acquiring the corresponding point information the sum of the attribute values represented by the 8 dots in the vicinity of the dots whose attribute value is "3".
  • the constraint condition "modulo 3 is 0" it can be estimated that an erroneous determination has occurred in the 3 ⁇ 3 dot group.
  • a structured optical pattern satisfying the above two constraint conditions and a list thereof, which are created according to the processing procedure shown in FIG. 11 or other processing procedures, are stored in the projector 101 in advance before shipment. Then, the corresponding point information acquisition unit 204 executes the corresponding point information acquisition process by using the structured optical pattern stored in advance and the association list thereof. Alternatively, the structured light pattern and its association list may be generated in the projector 101 according to the processing procedure shown in FIG. 11 or other processing procedures.
  • FIG. 14 shows the processing procedure for acquiring the corresponding point information in the corresponding point information acquisition unit 204 in the form of a flowchart.
  • the structured optical pattern is extracted by taking the difference between the captured images of the projected images of the positive image frame and the negative image frame. The subsequent processing is shown. Further, each dot of the structured light pattern is indicated by four attribute values of "0", “1", “2", and "3" according to FIG.
  • the corresponding point information acquisition unit 204 searches for a dot indicating the attribute value "3" on the current scan line, and when the scan of one line is completed, moves the scan line in the vertical direction and also on the next scan line. Similarly, the dot indicating the attribute value "3" is searched. Then, every time a dot showing the attribute value "3" is detected, a corresponding point information acquisition process of a group of 3 ⁇ 3 dots including the detected dot is performed according to the processing procedure shown in FIG.
  • step S1402 When the corresponding point information acquisition unit 204 scans the structured light pattern extracted from the captured image and detects a dot indicating the attribute value “3” (Yes in step S1401), each dot detected around the dot is detected. The distance to and from is calculated (step S1402).
  • the corresponding point information acquisition unit 204 detects 8 dots in the vicinity of the dot indicating the attribute value "3" based on the detection result of the inter-dot distance, and calculates the sum of the attribute values of the detected neighboring 8 dots. (Step S1403).
  • the corresponding point information acquisition unit 204 verifies the first constraint condition, that is, checks whether the modulo of the sum of the attribute values is 0 (step S1404).
  • step S1404 When the modulo of the sum of the attribute values is 0 (Yes in step S1404), it can be seen that the 3 ⁇ 3 dot group including the dots detected in step S1401 satisfies the first constraint condition.
  • the correspondence point information acquisition unit 204 searches the association list for a series of attribute values of neighboring 8 dots (step S1405). Based on the second constraint, it is guaranteed that only one item will be found in the mapping list. Then, the corresponding point information acquisition unit 204 acquires the pixel position of each dot of the 3 ⁇ 3 individual dot group, that is, the corresponding point information from the hit item in the correspondence list (step S1406).
  • the corresponding point information acquisition unit 204 makes an erroneous determination in the structured light pattern extracted from the captured image captured by the camera 103. It is assumed that there is no corresponding point information for the 3 ⁇ 3 dot group including the dots detected in step S1401. For the dot group for which there is no corresponding point information, it is presumed to be an erroneous judgment of 3 ⁇ 3 9 after the corresponding point information acquisition process is completed for the entire structured light pattern extracted from the captured image of the camera 103. Corresponding points may be interpolated based on the determination result of 3 ⁇ 3 9 dots at the four corners near the dots.
  • FIG. 15 shows the processing procedure executed by the image projection system 100 during the projection status confirmation operation in the form of a flowchart.
  • an image in which a structured light pattern is embedded is projected from the projector 101 onto the screen 102, and the projected image is captured by the camera 103 (step S1501).
  • the projector 101 alternately continuously projects a positive image frame in which a structured light pattern is added to the original image and a negative image in which the structured light pattern is added to the original image.
  • the camera 103 captures the projected images of the positive image frame and the negative image frame.
  • Corresponding point information acquisition unit 204 detects each dot constituting the structured optical pattern by obtaining the difference between the captured images corresponding to each of the positive image frame and the negative image frame (step S1502).
  • the attribute value of each dot is detected as the detection result of the dots arranged in a grid pattern.
  • Corresponding point information acquisition unit 204 scans the array of detected dots and searches for dots indicating the attribute value "3". Then, when the dot indicating the attribute value "3" is detected, the corresponding point information acquisition unit 204 activates the process shown in FIG. 14 to acquire the corresponding point information of a group of 3 ⁇ 3 dots including the detected dot. The process is carried out (step S1503).
  • the corresponding point information acquisition unit 204 scans the detected array of dots in the horizontal direction, and when the scan of one line is completed, moves the scan line in the vertical direction, and the attribute value "3" is also on the next scan line. Search for dots that indicate.
  • the corresponding point information acquisition unit 204 Check the acquisition result of the corresponding point information. Specifically, the correspondence point information acquisition unit 204 searches for the dots for which the correspondence point information could not be acquired (step S1505), and the correspondence point information of the dots for which the correspondence point information cannot be acquired is acquired at the four nearby corners. It is checked whether or not the interpolation process can be performed based on the information (step S1506).
  • step S1506 the process returns to step S1501 and the operation of confirming the projection status is restarted from the beginning.
  • the corresponding point information acquisition unit 204 performs the interpolation processing. As a result, it is possible to acquire the corresponding point information of all the dots of the structured light pattern extracted from the captured image of the camera 103. If the corresponding point information of all the dots can be acquired by the corresponding point information acquisition process in step S1503, the processing is performed in the same manner as in the case where the interpolation process is possible on this flowchart.
  • the image correction unit 403 eliminates the geometric distortion when the image read from the frame memory 402 is projected onto the subject from the projection unit 201 based on the correspondence point information received from the correspondence point information acquisition unit 204. (Step S1507).
  • the first constraint imposed on the structured optical pattern that is, the sum of the attribute values of the neighboring 8-bits is 0 for modulo 3, and the dot is erroneously determined. Since it can be detected, it is possible to prevent erroneous geometric correction.
  • This disclosure can be applied to various types of image projection systems. Further, although detailed description is omitted in the present specification, the present disclosure can also be applied to projector stacking. Further, the present disclosure can be applied to a technique of embedding information in an image so that the viewer cannot perceive it and a technique of acquiring the information embedded in the image, in addition to the correction of the projected image.
  • a detection unit that detects an error in an area based on an error detection function assigned to each area of a predetermined pattern extracted from the first image, and a detection unit.
  • An acquisition unit that acquires corresponding point information of a region in the original predetermined pattern based on an identification function assigned to each region of the predetermined pattern extracted from the first image, and an acquisition unit.
  • An image processing device comprising.
  • the predetermined pattern is composed of a plurality of dots arranged in a grid pattern, and each dot has an attribute value represented by a predetermined number of bits.
  • the detection unit detects an error in the region based on whether the attribute values of the plurality of dots in the region consisting of N ⁇ M dots satisfy the first constraint condition.
  • Each dot has an attribute value represented by 2 bits of 0 to 3, and has an attribute value.
  • the central dot has an attribute value 3 for each region consisting of 3 ⁇ 3 dots, and the sum of the attribute values of the 8 dots in the vicinity of the central dot is modulo 3. Is configured to satisfy the first constraint condition of 0.
  • the sum of the attribute values of 8 dots in the vicinity of the dots having the attribute value of 3 detected from the extracted predetermined pattern is 3 ⁇ 3 corresponding to the sum of the attribute values of modulo 3 of 0 or not. Detects errors in the area of dots, The image processing apparatus according to (2) above.
  • the acquisition unit acquires corresponding point information of a region in which an error is not detected by the detection unit.
  • the image processing apparatus according to any one of (1) to (3) above.
  • the predetermined pattern is composed of a plurality of dots arranged in a grid pattern, and each dot has an attribute value represented by a predetermined number of bits.
  • the acquisition unit acquires the corresponding point information of the area in the original predetermined pattern based on the second constraint condition set in the series of the attribute values of a plurality of dots in the area consisting of N ⁇ M dots.
  • Each dot has an attribute value represented by 2 bits of 0 to 3, and has an attribute value.
  • the central dot has an attribute value of 3 for each of the regions consisting of 3 ⁇ 3 dots, and the sequence of the attribute values of 8 dots in the vicinity of the central dot is unique. It is configured to satisfy the second constraint condition.
  • the acquisition unit corresponds to a corresponding point based on a comparison result between a series of attribute values of 8 dots in the vicinity of dots having an attribute value of 3 detected from the extracted predetermined pattern and a series of attribute values in the original predetermined pattern. Get information, The image processing apparatus according to (5) above.
  • the first image is a captured image obtained by capturing a projected image of a projector with the camera.
  • the image processing apparatus according to any one of (1) to (6) above.
  • the projector projects an image in which the predetermined pattern is embedded.
  • the predetermined pattern embedded in the projected image is extracted from the first image taken by the camera of the projected image of the projector.
  • the image processing apparatus according to any one of (1) to (7) above.
  • the predetermined pattern is formed by arranging dots having an elliptical shape, two types of brightness change directions of positive and negative directions, and two types of elliptical major axis directions in a grid pattern.
  • An image processing method comprising.
  • the predetermined pattern is extracted from the captured image taken by the camera from the projected image obtained by projecting the image in which the projector embeds the predetermined pattern.
  • the detection unit Based on the error detection function assigned to each region of the predetermined pattern, the detection unit that detects the error in each region of the extracted predetermined pattern, and the detection unit.
  • An acquisition unit that acquires corresponding point information for each extracted predetermined pattern area based on the identification function assigned to each predetermined pattern area.
  • An image correction unit that corrects an image projected from the projector based on the acquired corresponding point information, and an image correction unit.
  • An image projection system comprising.

Abstract

プロジェクタの投影画像を処理する画像処理装置を提供する。　画像処理装置は、第１の画像から抽出された所定のパターンの領域毎に付与された誤り検出機能に基づいて領域内の誤りを検出する検出部と、前記第１の画像から抽出された所定のパターンの領域毎に付与された識別機能に基づいて元の所定のパターンにおける領域の対応点情報を取得する取得部を具備する。前記元の所定のパターンは、３×３個のドットからなる前記領域毎に、中央のドットが属性値３を持ち、且つ、前記中央のドットの近傍の８ドットの属性値の和はｍｏｄｕｌｏ　３を０とする前記第１の制約条件を満たすように構成される。

Description

画像処理装置及び画像処理方法、並びに画像投影システム
　本明細書で開示する技術（以下、「本開示」とする）は、プロジェクタの投影画像を処理する画像処理装置及び画像処理方法、並びに画像投影システムに関する。
　スクリーンに映像を投影するプロジェクション技術は古くから知られており、教育現場や会議、プレゼンテーションなどで広く利用されている。比較的大きなスクリーンで映像を拡大して表示できるので、複数人に対して同じ映像を同時に提示できるなどの利点がある。最近では、建造物などの任意形状を有するスクリーンの表面に映像を投影して表示するプロジェクションマッピングや、複数のプロジェクタを用いて同じ投影面を重畳して投影するプロジェクタスタッキングも利用されるようになってきている。
　さまざまな環境で投影画像の歪みを低減し、あるいは複数のプロジェクタによる投影画像の位置合わせを行うために、プロジェクタの投影状況を把握する必要がある。一般には、プロジェクタからテストパターンを投影し、カメラでその投影画像を撮影して、元のテストパターンと撮影画像上のテストパターンとの対応関係に基づいて元の映像に幾何補正を行う方法が用いられている。
　通常、プロジェクタの投影状況の把握は、投影を開始する前に行われる。また、映像を投影している最中にも、温度や振動などの外乱の影響によりプロジェクタの姿勢や投影面の形状が変化するおそれがある。このため、投影を開始した後もプロジェクタの投影状況を把握して、映像の補正を再度行う必要がある。プロジェクタの投影状況を確認する度に、投影動作を止めてプレゼンテーションなどを中断することは、プレゼンター及び聴衆にとって好ましくない。そこで、映像の投影動作を続けながら、プロジェクタの投影状況の確認を行うオンラインセンシングも提案されている（例えば、特許文献１を参照のこと）。
ＷＯ２０１７／１０４４４７
　本開示の目的は、所定のパターンを含んだ投影画像を処理する画像処理装置及び画像処理方法、並びに画像投影システムを提供することにある。
　本開示の第１の側面は、
　第１の画像から抽出された所定のパターンの領域毎に付与された誤り検出機能に基づいて領域内の誤りを検出する検出部と、
　前記第１の画像から抽出された所定のパターンの領域毎に付与された識別機能に基づいて元の所定のパターンにおける領域の対応点情報を取得する取得部と、
を具備する画像処理装置である。
　各ドットは０～３の２ビットで表される属性値を有し、前記元の所定のパターンは、３×３個のドットからなる前記領域毎に、中央のドットが属性値３を持ち、且つ、前記中央のドットの近傍の８ドットの属性値の和はｍｏｄｕｌｏ　３を０とする前記第１の制約条件を満たすように構成される。
　前記検出部は、前記抽出された所定のパターンから検出した属性値が３のドットの近傍８ドットの属性値の和はｍｏｄｕｌｏ　３が０となるかどうかに基づいて、該当する３×３個のドットからなる領域内の誤りを検出する。
　また、前記取得部は、前記抽出された所定のパターンから検出した属性値が３のドットの近傍８ドットの属性値の系列と元の所定のパターンにおける属性値の系列との比較結果に基づいて対応点情報を取得する。
　また、本開示の第２の側面は、
　第１の画像から抽出された所定のパターンの領域毎に付与された誤り検出機能に基づいて領域内の誤りを検出する検出ステップと、
　前記第１の画像から抽出された所定のパターンの領域毎に付与された識別機能に基づいて元の所定のパターンにおける領域の対応点情報を取得する取得ステップと、
を具備する画像処理方法である。
　また、本開示の第３の側面は、
　プロジェクタと、
　前記プロジェクタの投影画像を撮影するカメラと、
　前記プロジェクタが所定のパターンを埋め込んだ画像を投影した投影画像を前記カメラで撮影した撮影画像から前記所定のパターンを抽出し、
　所定のパターンの領域毎に付与された誤り検出機能に基づいて、前記抽出された所定のパターンの領域毎の誤りを検出する検出部と、
　所定のパターンの領域毎に付与された識別機能に基づいて、前記抽出された所定のパターンの領域毎に対応点情報を取得する取得部と、
　取得した対応点情報に基づいて、前記プロジェクタから投影する画像を補正処理する画像補正部と、
を具備する画像投影システムである。
　但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
　本開示によれば、オンラインセンシングによりプロジェクタの投影状況の確認動作を行う画像処理装置及び画像処理方法、並びに画像投影システムを提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、画像投影システム１００の外観構成例を示した図である。 図２は、画像投影システム１００の機能的構成例を示した図である。 図３は、投影部２０１の内部構成例を示した図である。 図４は、画像処理部２０２の内部構成例を示した図である。 図５は、ＩＳＬ方式の動作原理を説明するための示した図である。 図６は、構造化光パターン６００の一実施形態を示した図である。 図７は、構造化パターン６００で使用されるドット６０１の種類を示した図である。 図８は、構造化光パターン６００で使用されるドット６０１の種類を示した図である。 図９は、本開示で使用する構造化光パターンの具体例を示した図である。 図１０は、構造化光パターンを生成する方法を説明するための図である。 図１１は、構造化光パターンを作成する処理手順を示したフローチャートである。 図１２は、本開示で使用する構造化光パターンの具体例を示した図である。 図１３は、図１２に示した構造化光パターンに含まれる各３×３個のドット群毎に設定された属性値の検証結果を示した図である。 図１４は、対応点情報取得部２０４が対応点情報を取得するための処理手順を示したフローチャートである。 図１５は、画像投影システム１００が投影状況の確認動作時に実行する処理手順を示したフローチャートである。 図１６は、幾何歪みを含んだ投影画像を例示した図である。 図１７は、幾何補正後の投影画像を例示した図である。
　以下、図面を参照しながら本開示の実施形態について詳細に説明する。
Ａ．システム構成
　図１には、本開示を適用した画像投影システム１００の外観構成例を模式的に示している。図示の画像投影システム１００は、スクリーン１０２に映像を投影するプロジェクタ１０１と、スクリーン１０２上の投影画像を撮影するカメラ１０３と、カメラ１０３の撮影信号の現像処理などを行う映像信号処理部１０４と、プロジェクタ１０１に投影用の映像信号を供給する映像ソース１０５を備えている。
　プロジェクタ１０１が映像を投影する方式は特に限定されない。また、スクリーン１０２の構造、形状、材質は特に限定されない。スクリーン１０２は、布などでできた投影用のスクリーンであってもよいし、部屋の壁や建造物の外壁などでもよい。映像ソース１０５は、任意であり、ディスク再生装置やパーソナルコンピュータなどの情報端末、クラウドなどであってもよい。また、映像ソース１０５がプロジェクタ１０１に映像信号を伝送する通信路は特に限定されず、ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、ＶＧＡ（Ｖｉｄｅｏ　Ｇｒａｐｈｉｃ　Ａｒｒａｙ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などの有線ケーブルや、Ｗｉ－Ｆｉ（登録商標）などの無線通信であってもよい。
　プロジェクタ１０１は、通常の投影動作時には、映像索子１０５から供給される映像をスクリーン１０２上に投影する。また、プロジェクタ１０１は、投影状況の確認時には、テストパターンをスクリーン１０２上に投影する。本実施形態では、後述するように投影状況の確認動作をオンラインセンシングで実施することを想定している。したがって、プロジェクタ１０１は、本来の映像にテストパターンを埋め込んでスクリーン１０２上に投影する。プロジェクタ１０１は、あらかじめ外部装置（図示しない）で生成しておいたテストパターンを内部記憶しておき、投影状況の確認動作時に読み出して使用するようにしてもよい。あるいは、プロジェクタ１０１は、テストパターンを内部で生成する機能を備えていてもよい。
　カメラ１０３は、投影状況の確認動作時に、スクリーン１０２上の投影画像を撮影する。映像信号処理部１０４は、カメラ１０３の撮影信号に現像処理などの信号処理を行って、プロジェクタ１０１に出力する。あるいは、カメラ１０３は、スクリーン１０２上の投影画像を常時撮影し、プロジェクタ１０１は投影状況の確認動作時に映像信号処理部１０４から映像を取得するようにしてもよい。
　プロジェクタ１０１は、元のテストパターンと撮影画像上のテストパターンとの対応関係に基づいて元の映像に幾何補正を行う。幾何補正の原理について簡単に説明しておく。
　スクリーン１０２の投影面に対するプロジェクタ１０１の姿勢や投影面の形状などによって、投影画像が例えば図１６に示すように歪んでしまい、見えづらくなることがある。このような場合、プロジェクタ１０１が投影する元の画像に対して歪みをキャンセルするような幾何補正を施すことによって、図１７に示すような、歪みが低減され、元の画像に近い画像を投影して、見え易くすることができる。
　投影画像の幾何補正は、プロジェクタ１０１を操作する操作者などが手動により行うこともできるが、作業が煩雑である。そこで、本実施形態に係る画像投影システム１００では、カメラ１０３を用いてプロジェクタ１０１の投影画像を撮影し、その撮影画像を用いて自動で幾何補正を行う方法を用いるようにしている。
　カメラ１０３を用いて投影画像の幾何補正を行う場合、投影される元の画像と撮影画像との間で対応点を求める必要がある。すなわち、カメラ１０３がスクリーン１０２上の投影画像を撮影した撮影画像と、プロジェクタ１０１が投影する元の画像の間で画素の対応関係を求める必要がある。元の画像と撮影画像間で対応点の位置を比較することで、撮影画像、言い換えればプロジェクタ１０１が投影した投影画像の各対応点における歪みを計算することができ、歪みをキャンセルするように元の画像の各対応点の位置の幾何補正を行うことで、投影画像の歪みを低減することができる。
　このような幾何補正を行なう際のプロジェクタ１０１の投影状況の確認は、投影する元の画像とスクリーン１０２上の投影映像の撮影画像の間の対応点の情報を取得することに相当する。
　図２には、画像投影システム１００の機能的構成例を示している。画像投影システム１００は、スクリーン（図２には図示しない）に映像を投影するプロジェクタ１０１と、スクリーン上の投影画像を撮影するカメラ１０３と、カメラ１０３の撮影信号の現像処理などを行う映像信号処理部１０４と、プロジェクタ１０１に投影用の映像信号を供給する映像ソース（図２には図示しない）を備えている。プロジェクタ１０１は、投影部２０１と、画像処理部２０２と、画像入力部２０３と、対応店情報取得部２０４を備えている。
　画像入力部２０３は、ディスク再生装置や情報端末、クラウドなどの映像ソースから映像信号を入力する。
　画像処理部２０２は、投影部２０１から投影出力する画像の処理を行なう。画像処理部２０２から出力される画像は、画像入力部２０３から入力される入力画像と、画像処理部１０２内で保持するテストパターンである。本実施形態では、後述するようにオンラインセンシングが適用され、画像処理部２０２は、投影状況の確認動作時（又は、対応点情報の取得時）には、入力画像にテストパターンを埋め込んだ画像を投影部２０１に出力する。
　画像処理部２０２内では、対応点情報取得部２０４から供給される対応点情報に基づいて、投射画像に発生している歪みの幾何補正も行なう。補正の対象となる歪みは、投影面に対するプロジェクタ１０１の姿勢や投影面の形状に基づく歪みであるが、プロジェクタ１０１やカメラ１０３の光学系に起因する光学歪みを含んでもよい。
　投影部２０１は、画像処理部２０２から出力される画像を、スクリーン（図２には図示しない）に投影する。投影面に対するプロジェクタ１０１の姿勢や投影面の形状に起因して、投影画像には幾何歪みが発生する。
　カメラ１０３は、投影状況の確認動作時（又は、対応点情報の取得時）には、投影部２０１からスクリーンに投影されたテストパターンが埋め込まれた投影画像を撮影する。カメラ１０３の撮影画像は、映像信号処理部１０４で信号処理が施された後に、対応点情報取得部２０４に供給される。
　対応点情報取得部２０４は、テストパターンが埋め込まれた撮影画像からテストパターンを検出して、投影される元の画像と撮影画像との間で対応点の情報を求めて、画像処理部２０２に対応点情報を供給する。画像処理部２０２内では、対応点情報に基づいて、投影画像に含まれる幾何歪みを補正するための補正量を計算して、出力画像に対して射影変換を行なうことにより幾何歪みを補正する。
　なお、カメラ１０３は、投影部２０１の照射位置と異なる位置に配設され、撮影範囲が投影部２０１の照射範囲を極力包含するように光軸が設定されている。投影状況の確認時（又は、対応点情報の取得時）には、投影部２０１からテストパターンが埋め込まれた画像をスクリーンに投影して、カメラ部１０４で撮影する。そして、対応点情報取得部２０４は、撮影画像からテストパターンを抽出して、投影される元の画像と撮影画像との間で対応点の情報を求め、画像処理部２０２に出力する。画像処理部２０２内では、対応点情報に基づいて、投影画像を幾何補正するための補正パラメータを算出すると、以降は、画像入力部２０３から入力されるすべて画像に補正パラメータを適用し、投影部２０１からは幾何歪みが補正された画像が照射される。
　図３には、投影部２０１の内部構成例を示している。図示の投影部２０１は、照明光学部３０１と、液晶パネル３０２と、液晶パネル駆動部３０３と、投影光学部３０４を備えている。
　液晶パネル駆動部３０３は、画像処理部２０２から入力される画像信号に基づいて液晶パネル３０２を駆動して、その表示画面に投影画像を描画する。照明光学部３０１は、液晶パネル３０２を背面から照射する。画像投影システム１００がピコプロジェクターの場合、照明光学部３０１の光源には例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）やレーザーが用いられる。投影光学部３０４は、液晶パネル３０２を透過した光を、投影光学部３０４を介してスクリーン（図３には図示しない）に拡大投影する。投影部２０１からは、画像入力部２０３への入力画像が投影される。また、投影状況の確認動作時（又は、対応点情報の取得時）には、投影部２０１からは、画像入力部２０３への入力画像にテストパターンが埋め込まれたが投影される。投影光学部３０４は、１枚又は２枚以上の光学レンズからなる。投影光学部３０４がレンズ歪みを持つことが想定され、このため、投影画像の幾何歪みはプロジェクタ１０１の姿勢や投影面の形状の他にレンズ歪みも起因する。
　図４には、画像処理部２０２の内部構成例を示している。図示の画像処理部２０２は、画像書き込み読み出し制御部４０１と、フレームメモリ４０２と、画像補正部４０３と、画質調整部４０４と、テストパターン記憶部４０５と、出力画像切り替え部４０６を備えている。
　フレームメモリ４０２には、画像入力部２０３から供給される画像を記憶する。画像書き込み読み出し制御部４０１は、フレームメモリ４０２への画像フレームの書き込み及び読み出しを制御する。
　画像補正部４０３は、対応点情報取得部２０４から受け取った対応点情報に基づいて、フレームメモリ４０２から読み出した画像に対して、投影部２０１から被写体に投影した際に幾何歪みが解消するよう補正を行なう。幾何補正については、図１６及び図１７を参照しながら説明したが、これに限定されるものではない。
　画質調整部４０４は、歪み補正を行なった後の投影画像が所望の表示状態となるよう、輝度、コントラスト、同期、トラッキング、色の濃さ、色合いなどの画質調整を行なう。
　テストパターン記憶部４０５は、プロジェクタ１０１の投影状況の確認動作時（又は、対応点情報取得時）に、投影される画像に埋め込むテストパターンを記憶している。テストパターン記憶部４０５は、あらかじめ外部装置（図示しない）で生成しておいたテストパターンを記憶しておいてもよいし、画像処理部２０２（又は、プロジェクタ１０１）内でテストパターンを生成する機能を備えていてもよい。後述するように、本開示では、対応点情報の取得にはオンラインセンシングのうちＩＳＬ（Ｉｍｐｅｒｃｅｐｔｉｂｌｅ　Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔ）方式が適用され、テストパターンは構造化光パターンからなる。出力画像切り替え部４０６は、投影状況の確認動作時（又は、対応点情報の取得時）には、テストパターン記憶部４０５から読み出したテストパターンを埋め込んだ画像を出力するように、出力画像の切り替え処理を行う。
Ｂ．オンラインセンシング
　プロジェクタ１０１を設置したときに投影上機能の確認を行うが、映像を投影している最中にもプロジェクタ１０１の姿勢やスクリーン１０２の投影面の形状が変化するおそれがある。このため、投影を開始した後も、プロジェクタ１０１の投影状況を確認して、投影画像の幾何補正を再度行う必要がある。
　プロジェクタの投影状況を確認する度に、投影動作を止めてプレゼンテーションなどを中断することは、プレゼンター及び聴衆にとって好ましくない。そこで、本実施形態に係る画像投影システム１００は、プロジェクタ１０１の投影動作を継続したまま、プロジェクタ１０１の投影状況の確認、すなわち元の画像とカメラ１０３の撮影画像の間の対応点の情報を取得する処理を実施するようにしている。
　オンラインセンシング技術として、例えば、Ｉｎｆｒａｒｅｄなどの不可視光を利用した方式、ＳＩＦＴ（Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）などの画像特徴量を利用した方式、ＩＳＬ方式などが挙げられる。Ｉｎｆｒａｒｅｄなどの不可視光を利用した方式の場合、不可視光を投影するプロジェクタ（例えばＩｎｆｒａｒｅｄプロジェクタ）がさらに必要になるためコストが増大する。また、ＳＩＦＴなどの画像特徴量を利用した方式の場合、対応点の検出精度や密度が投影する画像コンテンツに依存してしまうため、対応点検出を安定した精度で行うことが困難である。
　これらに対してＩＳＬ方式の場合、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができる。また、ＩＳＬ方式は、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　ＩＳＬ方式の動作原理について、図５を参照しながら説明する。プロジェクタ１０１は、入力画像のあるフレームに対して所定の構造化光パターンを足すことにより、入力画像に構造化光パターンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パターンを引くことにより、入力画像に構造化光パターンのネガ画像を合成したフレーム画像を生成する。そして、プロジェクタ１０１は、ポジ画像フレームとネガ画像フレームをフレーム毎に交互に連続投影する。高速に切り替えられたポジ画像及びネガ画像の連続する２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を観察するユーザにとって、入力画像に埋め込まれた構造化光パターンを認識することが困難、すなわち観測画像からは構造化光パターンは不可視になる。
　カメラ１０３は、ポジ画像フレーム及びネガ画像フレームの投影画像を撮影する。そして、対応点情報取得部２０４は、両フレームの撮影画像の差分を求めることにより、撮影画像に含まれる構造化光パターンのみを抽出する。この抽出された構造化光パターンを用いて対応点検出が行われる。
　このように、ＩＳＬ方式では撮影画像の差分を求めるだけで容易に構造化光パタ－ンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
　ＩＳＬ方式で用いる構造化光パターンとして、グレイコード並びにチェッカーパターンを挙げることができる。グレイコード並びにチェッカーコードの詳細については、例えば特許文献１を参照されたい。グレイコードやチェッカーパターンは、輝度変化勾配が大きく且つ空間的に規則性の高いパターンを有するため、投影画像を見ているユーザに知覚され易く、不可視性が低減するおそれがある。構造化光パターンは、本来投影すべき画像にとって不要であり、ユーザが構造化光パターンを知覚することは投影画像の画質低減に相当する。なお、グレイコードやチェッカーパターンを用いる場合、対応点情報を取得するために多くの枚数を投影する必要がある。一般的に、投影する枚数が増大するほどよりユーザに知覚され易くなり、不可視性がより低減するおそれがある。また、多くの枚数を投影する分だけ対応点検出の時間が増大する。
Ｃ．構造化光パターンの構造
　本開示では、オンラインセンシングにおいて、可視光を利用するため、システム構成要素の増大（すなわちコストの増大）を抑制することができるＩＳＬ方式を採用する。また、本開示では、グレイコードやチェッカーパターンにおける課題を解決し、不可視性を確保しつつ、検出時間を短縮できる構造化光パターンを採用する。具体的には、本開示では、輪郭又は形状と、輝度変化方向によって情報を表現するドットを組み合わせた構造化光パターンを、対応点情報の取得に利用する。
　図６には、本開示で使用する構造化光パターンの一実施形態を示している。構造化光パターンは、投影される元の画像と投影画像の撮影画像の間の対応点を検出するために使用される。図６に示す構造化光パターン６００は、周辺と輝度値が異なる楕円形状のドット６０１を格子状に配置して構成される。プロジェクタ１０１の投影状況の確認時すなわち対応点情報の取得時に、構造化パターン６００が埋め込まれた画像の投影画像をカメラ１０３で撮影し、その撮影画像から各ドット６０１を検出することで、投影される元の画像と撮影画像との間で対応点を求めることができる。
　図６中の白及び黒のドット６０１は、実際には、それぞれ周辺から中心に向かって正又は負の方向に向かって２次元ガウス関数状の輝度分布を持つ楕円形状とすることにより、ポジ画像及びネガ画像のそれぞれにおいてドット６０１の不可視性を向上させることができる。図７には、輝度変化方向が正方向及び負方向のそれぞれのドットの輝度分布を示している。輝度変化方向が正方向のドット７０１の輝度値は、曲線７１１に示すように、楕円の周辺から幾何重心に向かって正の方向にガウス関数状に変化する。これに対し、輝度変化方向が負方向のドット７０２の輝度値は、曲線７１２に示すように、楕円の周辺から幾何中心に向かって負の方向にガウス関数状に変化する。つまり、構造化光パターン６００は、輝度変化方向が互いに逆の２種類のドットを有する。
　高速に切り替えられたポジ画像及びネガ画像の２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を観察するユーザにとって、画像に埋め込まれた構造化光パターンを認識することが困難、すなわち不可視になる。一方、ポジ画像フレーム及びネガ画像フレームの投影画像をカメラ１０３で撮影した撮影画像の差分をとることで、撮影画像に含まれる構造化光パターンのみを抽出する。この抽出された構造化光パターンを用いて対応点検出が行われる。
　ドット６０１の輝度変化方向は２種類（図６では白と黒で表現）、楕円形状は長軸が水平方向又は垂直方向の２種類である。したがって、各ドット６０１は、輝度変化方向で１ビット、楕円形状の長軸の向きで１ビットの情報を持つことができ、輝度変化方向と長軸の向きを組み合わせて２ビットすなわち４値の情報を持つことができる。但し、図６中の白で示すドットは輝度変化方向が正であり、黒で示すドットは輝度変化方向が負であるとする。
　図８には、本実施形態において、構造化光パターン６００で使用されるドット６０１の種類を示している。図示のように、輝度変化方向（正又は負）と楕円の長軸の向き（縦又は横）の組み合わせで、４種類のドット６０１－１、６０１－２、６０１－３、６０１－４を有する。したがって、ドット６０１は２ビットの情報を表すことができる。以下の説明では、各ドット６０１－１、６０１－２、６０１－３、６０１－４をそれぞれ「０」、「１」、「２」、「３」の４つの属性値で示すことにする。
Ｄ．構造化光パターンにおける課題の解決
　図６に示したような、輪郭又は形状と、輝度変化方向によって情報を表現するドットを組み合わせた構造化光パターンを用いれば、積分効果により不可視性を確保することができ、且つ、ポジ画像フレーム及びネガ画像フレームの２枚の投影画像の撮影画像の差分をとることで構造化光パターンを抽出することができるので、対応点情報取得時間を短縮することができる。
　しかしながら、図６に示したような構造化光パターンを用いて対応点情報の取得を行なう際にも課題がある。構造化光パターンの不可視性を確保するために、正方向及び負方向にそれぞれ変化する輝度の振幅を微小にしている（図７を参照のこと）。このため、投影している画像の輝度、あるいは輝度変動などによって、検出処理が影響を受けて、ドットを検出できないことや、ドットが表す２ビットの情報を誤判定する可能性が生じる。
　上記では、ＩＳＬ方式のオンラインセンシングで使用する構造化光パターンを構成する各ドットに２ビットの情報を表すことを説明した。これに対し、本開示は、近傍の複数個のドットの組み合わせに対して、さらに識別機能と誤り検出機能という２つの機能を付与するようにしている。
　識別機能は、同じ構造化光パターン内では、近傍の複数個のドットの組み合わせで表される情報系列が固有の情報であり、他のドットの組み合わせと識別できる機能である。したがって、近傍の複数個のドットの組み合わせが表す情報系列に基づいて、これらのドットの構造化光パターン内での位置情報を取得することができる。投影画像の撮影画像をオンラインセンシングするとき、情報系列を読み取ることができたドットの組み合わせについては、元の画像の対応点を特定することができる。
　誤り検出機能は、近傍の複数個のドットの組み合わせで表される情報系列が所定の規則又は条件に適合するかによって、各ドットの情報を誤判定していないかどうかを検出できる機能である。具体的には、近傍の複数個のドットから読み取った値の合計値が所定の規則又は条件に適合するかによって、各ドットの情報を誤判定していないかどうかを検出する。近傍の複数個のドットの組み合わせが表す情報系列に基づいて対応点情報を取得することができたとしても、情報系列の誤りが検出されたときには、その対応点情報を破棄して使用しない。
　したがって、対応点情報取得部２０４は正しい対応点情報のみを取得することができ、画像処理部２０２内の画像補正部４０３は、正しい対応点情報に基づいて、投影される画像に対して正しい幾何補正を行うことができる。また、たとえすべてのドットを検出することができなくても、例えば検出できなかった箇所の近傍４隅の対応点情報を取得することができたならば、補間などの手法で対応点情報を推定できる可能性がある。他方、誤判定したドットに基づく誤った対応点情報を用いると、誤った幾何補正を行うことになり、投影画像の歪みはむしろひどくなるおそれがある。
　本開示で使用する構造化光パターンについて、具体的に説明する。図６と同様に、構造化光パターンは輝度変化方向と長軸の向きの組み合わせで２ビットの情報を持つドットの配列で構成される。以下では、図面の簡素化のため、図８に則って各ドットをそれぞれ「０」、「１」、「２」、「３」の４つの属性値で示すことにする。
　図９には、本開示で使用する構造化光パターンの一部となる、格子状に配置された７×５個のドット群を例示している。図９は、図５を参照しながら説明したＩＳＬ方式の動作原理に従って検出されたドットのパターンを表しているものとする。
　従来、撮影画像から検出した各ドットが表す２ビットの情報から、元の構造化光パターン上のドットとの対応付けを行い、対応付けされたドットの重心位置に基づいて座標上での対応点を算出する方法が用いられている。ところが、ここで使用する構造化光パターンは、不可視性を重視して正方向及び負方向にそれぞれ変化する輝度の振幅を微小にしているため（図７を参照のこと）、投影している画像の輝度や輝度変動などによって検出処理が影響を受けて、ドットを検出できないことや、ドットが表す２ビットの情報を誤判定する可能性が生じる。
　そこで、本開示では、近傍の複数個のドットの組み合わせに対して、さらに識別機能と誤り検出機能という２つの機能を付与する。図９に示す実施形態では、近傍の複数個のドットの組み合わせとして、３×３の９ドットからなるドット群毎に識別機能と誤り検出機能を付与している。
　まず、３×３の９ドットの中央に、３×３の９ドットの中央のドットであることを示す、属性値「３」を示すドットを配置する。図９に示すように、上下及び左右に１ドット置きに属性値「３」を示すドットが配置される。また、３×３の９ドットの中央以外には、属性値「３」以外、すなわち属性値「０」、「１」、「２」のいずれかを示すドットが配置される。
　ここで、３×３の９ドットの中央以外（すなわち、属性値「３」を表すドットの近傍）の８ドットがそれぞれ表す属性値の和がｍｏｄｕｌｏ　３が０すなわち３の倍数となるように、属性値「３」を表すドットの近傍に８ドットを配置することを、構造化光パターンを作成する際の制約条件とする。すなわち、属性値「３」を表すドットの近傍の８個のドットがそれぞれ表す属性値の和が０、３、６、９、１２、１５のいずれかとなるように、３×３の９ドットを配置する。
　図９に示す例では、参照番号９０１で示す３×３の９ドットでは、属性値「３」を表すドットの近傍の８個のドットがそれぞれ表す属性値を合計すると、１＋１＋０＋１＋２＋２＋０＋２＝９となりｍｏｄｕｌｏ　３は０となる。また、参照番号９０１で示した位置から右に１ドット及び下に１ドット移動した、参照番号９０２で示す３×３の９ドットでは、属性値「３」を表すドットの近傍の８個のドットがそれぞれ表す属性値を合計すると、０＋２＋０＋２＋１＋２＋１＋１＝９となりｍｏｄｕｌｏ　３は０である。
　対応点情報を取得するとき、プロジェクタ１０１の投影画像をカメラ１０３で撮影した画像から図９に示すような構造化光パターンを抽出すると、属性値が「３」のドットの近傍の８ドットがそれぞれ表す属性値の和が制約条件「ｍｏｄｕｌｏ　３は０」を満たすかどうかをチェックする。そして、制約条件を満たすときにはその３×３の９ドットの判定に誤りがないと推定するが、制約条件を満たさないときにはその３×３の９ドットの判定が誤判定を含むと推定する。すなわち、構造化光パターンの作成時にこの制約条件を設定することにより、構造化光パターンに誤り検出機能を付与することができる。但し、ｍｏｄｕｌｏを利用した１誤り検出だけでは２以上の誤判定を検出できない可能性があるため、ｍｏｄｕｌｏを使用する方法に加えて（又は、ｍｏｄｕｌｏを使用する方法に代えて）他の誤り検出方法を用いるようにしてもよい。
　なお、上記の制約条件を満たさず誤判定と推定された３×３の９ドットについては、誤った対応点情報を取得しないように、後続の対応点情報取得処理には使用しない。あるいは、誤判定と推定された３×３の９ドットの近傍４隅の３×３の９ドットの判定結果に基づいて対応点を補間するようにしてもよい。
　また、３×３の９ドットの中央以外（すなわち、属性値「３」を表すドットの近傍）の８ドットがそれぞれ表す属性値の系列が、同じ構造化光パターン内では、他の３×３の９ドットとは重複しないこと（すなわち、固有の情報であること）を、構造化光パターンを作成する際のもう１つの制約条件とする。
　図９に示す例では、参照番号９０１で示す３×３の９ドットでは、属性値「３」を表すドットの近傍の８個のドットがそれぞれ表す属性値の系列は１１０１２２０２である。また、参照番号９０１で示した位置から右に１ドット及び下に１ドット移動した、参照番号９０２で示す３×３の９ドットでは、属性値「３」を表すドットの近傍の８個のドットがそれぞれ表す属性値の系列は０２０２１２１１であり、参照番号９０１で示す３×３個のドット群とは重複しない。
　各３×３個のドット群において属性値「３」を表すドットの近傍の８個のドットがそれぞれ表す属性値の系列は、同じ構造化光パターン内では固有の情報であり、他の３×３個のドット群の識別することができる。すなわち、構造化光パターンの作成時にもう１つの制約条件を設定することにより、構造化光パターンに識別機能を付与することができる。
　構造化光パターンの作成時には、３×３個のドット群の属性値を設定する度に、１番目の制約条件を満たすように、中央の属性値「３」を表すドットの近傍の８個のドットがそれぞれ表す属性値の系列を生成して、その属性値の系列をドットの画素位置と対応付けて対応付けリストに記録しておく。また、次の３×３個のドット群の属性値を設定する際には、同様に１番目の制約条件を満たしつつ、既に設定した３×３個のドット群の８個の属性値の系列とは重複しないように、近傍の８個のドットがそれぞれ表す属性値の系列を生成して、その属性値の系列をドットの画素位置と対応付けて対応付けリストに記録しておく。
　対応点情報を取得するとき、プロジェクタ１０１の投影画像をカメラ１０３で撮影した画像から図９に示すような構造化光パターンを抽出して、属性値が「３」のドットの近傍の８ドットがそれぞれ表す属性値の系列を取得すると、対応付けリストを参照してドットの画素位置すなわち対応点情報を取得することができる。例えば、参照番号９０１で示す３×３個のドット群からは８個の属性値の系列「１１０１２２０２」を検出し、この属性値の系列を対応付けリストで参照して、このドット群の各ドットの画素位置すなわち対応点情報を取得することができる。また、参照番号９０２で示す３×３個のドット群からは８個の属性値の系列「０２０２１２１１」を検出し、この属性値の系列を対応付けリストで参照すると、参照番号９０１で示す３×３個のドット群を含む他の３×３個のドット群とは重複することなく、このドット群の各ドットの画素位置すなわち対応点情報を取得することができる。
　ここで、本開示で使用する構造化光パターンを作成する処理手順の一例について、簡単に説明しておく。但し、説明の簡素化のため、構造化光パターンは格子状に配置された多数のドットで構成されるものとし、図８に則って各ドットをそれぞれ「０」、「１」、「２」、「３」の４つの属性値で示すことにする。
　図１０に示すように、ドットが配置される格子を３×３個のドットの単位で、１ドット置きに水平方向に移動して、スキャン位置毎に上述した２つの制約条件を満たすように、３×３個のドット内の各ドットの属性値を生成する。図１１には、構造化光パターンを作成する処理手順の一例をフローチャートの形式で示している。
　まず、現在のスキャン位置にて（ステップＳ１１０１）、３×３の９ドットの中央に、３×３の９ドットの中央のドットであることを示す、属性値「３」を示すドットを配置する（ステップＳ１１０２）。
　次いで、属性値「３」を表すドットの近傍に８ドットの各値を、例えば乱数を生成して（ステップＳ１１０３）、属性値の和がｍｏｄｕｌｏ　３が０となり、且つ、近傍の８ドットがそれぞれ表す属性値の系列が、既に作成した３×３の９ドットと重複しないことを確認する（ステップＳ１１０４）。
　生成した乱数が少なくとも一方の制約条件を満たさない場合には（ステップＳ１１０５のＮｏ）、再度乱数を生成して、制約条件を満たすかどうかをチェックする。
　そして、２つの制約条件を満たす３×３の９ドットの各属性値を生成することができたならば（ステップＳ１１０５のＹｅｓ）、近傍の８個のドットがそれぞれ表す属性値の系列を、各ドットの画素位置と対応付けて対応リストに記録しておく（ステップＳ１１０６）。
　上記のようにして、３×３の９ドットの属性値を設定した後、現在のスキャンライン上で１ドット置きに３×３個のドット群の位置を移動する（ステップＳ１１０７のＮｏ、ステップＳ１１０９）。また、水平方向に１ラインのスキャンが終了すると（ステップＳ１１０７のＹｅｓ）、１ライン置きに垂直方向にスキャンラインを移動させる（ステップＳ１１１０）。次のスキャンライン上でも、上記と同様に１ドット置きに水平方向に移動して、スキャン位置毎に上述した２つの制約条件を満たすように、３×３個のドット群内の各ドットの属性値を生成する。そして、すべてのスキャンラインに到達して（ステップＳ１１０８のＹｅｓ）、構造化光パターンを構成するすべてのドットの属性値の設定を完了すると、本処理を終了する。
　近隣８ドットの属性値の系列と各ドットの画素位置の対応関係を記録する対応付けリストは、対応点情報取得部２０４が構造化光パターンの対応点情報を取得する際に必須である。図１１に示した処理手順では、構造化光パターンの作成と同時に対応付けリストの作成も行う。
　なお、図１１に示した構造化光パターンの作成処理手順は一例であり、これに限定される訳ではない。上述した２つの制約条件を満たす構造化光パターンを作成することができれば、他の処理手順に従ってもよい。
　図９には、７×５個のドットからなる構造化光パターンの具体例を示した。図１２には、２１×２１個のドットからなる構造化光パターンの例を示している。図１２に示す構造化光パターンの具体例を示している。図１２に示す構造化光パターンを、図１１に示した処理手順に従って生成することができる。また、図１２に示す構造化光パターンの各ドットに設定された属性値は、上述した２つの制約条件を満たしている。
　図１３には、図１２に示した構造化光パターンに含まれる各３×３個のドット群毎に設定された属性値の検証結果をリスト形式で示している。但し、リストの各項目は、スキャンした順を示すシリアル番号（＃）と、８個の属性値の系列と、８個の属性値の和を含んでいる。
　図１３中の各項目において、８個のドットがそれぞれ表す属性値の和は、すべてｍｏｄｕｌｏ　３は０という制約条件を満たしている。したがって、図１２に示した構造化光パターンは第１の制約条件を満たすように生成されているということができる。対応点情報の取得時に、構造化光パターンが埋め込まれた投影画像の撮像画像から抽出された構造化光パターンにおいて、属性値が「３」のドットの近傍の８ドットがそれぞれ表す属性値の和が制約条件「ｍｏｄｕｌｏ　３は０」を満たさなければ、その３×３個のドット群において誤判定が発生していると推定することができる。
　また、図１３中の各項目を比較すると、８個のドットの属性値の系列が重複する項目は存在しない。したがって、全項目の属性値の系列は固有の情報であり、図１２に示した構造化光パターンは第２の制約条件を満たすように生成されているということができる。対応点情報の取得時に、構造化光パターンが埋め込まれた投影画像の撮像画像から抽出された構造化光パターンに含まれる、属性値「３」を表すドットの近傍の８個のドットが表す属性値の系列を対応付けリストで参照することによって、このドット群の各ドットの画素位置すなわち対応点情報を取得することができる。
　図１１に示した処理手順あるいはその他の処理手順に従って作成された、上記２つの制約条件を満たす構造化光パターンとその対応付けリストが、出荷前にプロジェクタ１０１内にあらかじめ格納される。そして、対応点情報取得部２０４は、あらかじめ格納された構造化光パターンとその対応付けリストを用いて、対応点情報の取得処理を実施する。あるいは、プロジェクタ１０１内で、図１１に示した処理手順あるいはその他の処理手順に従って構造化光パターンとその対応付けリストを生成するようにしてもよい。
　図１４には、対応点情報取得部２０４において、対応点情報を取得するための処理手順をフローチャートの形式で示している。但し、図１４は、カメラ１０３で撮影した投影画像を映像信号処理部１０５で信号処理した後、ポジ画像フレーム及びネガ画像フレームの投影画像の撮影画像の差分をとって構造化光パターンを抽出した以降の処理を示している。また、構造化光パターンの各ドットを図８に則ってそれぞれ「０」、「１」、「２」、「３」の４つの属性値で示すこととする。
　対応点情報取得部２０４は、現在のスキャンライン上で属性値「３」を示すドットを探索し、１ラインのスキャンが終了すると、垂直方向にスキャンラインを移動させて、次のスキャンライン上でも同様に属性値「３」を示すドットを探索する。そして、属性値「３」を示すドットを検出する度に、図１４に示す処理手順に従って、検出したドットを含む３×３個のドット群の対応点情報取得処理を実施する。
　対応点情報取得部２０４は、撮影画像から抽出した構造化光パターンをスキャンして、属性値「３」を示すドットを検出すると（ステップＳ１４０１のＹｅｓ）、そのドットの周辺で検出された各ドットとの距離を計算する（ステップＳ１４０２）。
　そして、対応点情報取得部２０４は、ドット間距離の検出結果に基づいて、属性値「３」を示すドットの近傍の８ドットを検出して、検出した近傍８ドットの属性値の和を計算する（ステップＳ１４０３）。
　次いで、対応点情報取得部２０４は、第１の制約条件の検証、すなわち属性値の和のｍｏｄｕｌｏが０であるかどうかをチェックする（ステップＳ１４０４）。
　属性値の和のｍｏｄｕｌｏが０である場合には（ステップＳ１４０４のＹｅｓ）、ステップＳ１４０１で検出したドットを含む３×３個のドット群は第１の制約条件を満たすことが分かる。対応点情報取得部２０４は、近傍８ドットの属性値の系列を対応付けリストで検索する（ステップＳ１４０５）。第２の制約条件に基づいて、対応付けリストからはただ１つの項目が見つかることが保証される。そして、対応点情報取得部２０４は、対応付けリスト中でヒットした項目から、この３×３の個ドット群の各ドットの画素位置すなわち対応点情報を取得する（ステップＳ１４０６）。
　一方、属性値の和のｍｏｄｕｌｏが０でない場合には（ステップＳ１４０４のＮｏ）、対応点情報取得部２０４は、投影画像をカメラ１０３で撮影した撮影画像から抽出した構造化光パターンに誤判定があると推定して、ステップＳ１４０１で検出したドットを含む３×３個のドット群については対応点情報がないものとする。なお、対応点情報がないとされたドット群については、カメラ１０３の撮影画像から抽出した構造化光パターン全体について対応点情報取得処理を終了した後に、誤判定と推定された３×３の９ドットの近傍４隅の３×３の９ドットの判定結果に基づいて対応点を補間するようにしてもよい。
　図１５には、画像投影システム１００が投影状況の確認動作時に実行する処理手順をフローチャートの形式で示している。
　まず、プロジェクタ１０１から構造化光パターンを埋め込んだ画像をスクリーン１０２に投影し、カメラ１０３でその投影画像を撮影する（ステップＳ１５０１）。プロジェクタ１０１は、元の画像に構造化光パターンを足したポジ画像フレームと、元の画像に構造化光パターンを引いたネガ画像を交互に連続投影する。そして、カメラ１０３は、ポジ画像フレーム及びネガ画像フレームの投影画像を撮影する。なお、オンラインではなくオフラインでセンシングを行う場合には、プロジェクタ１０１から構造化光パターンのみを投影するようにしてもよい。
　対応点情報取得部２０４は、ポジ画像フレームとネガ画像フレームの各々に対応する撮影画像の差分を求めることにより、構造化光パターンを構成する各ドットを検出する（ステップＳ１５０２）。ここでは、格子状に配列されたドットの検出結果として、各ドットの属性値が検出されたものとする。
　対応点情報取得部２０４は、検出したドットの配列をスキャンして、属性値「３」を示すドットを探索する。そして、属性値「３」を示すドットを検出すると、対応点情報取得部２０４は、図１４に示した処理を起動して、検出したドットを含む３×３個のドット群の対応点情報取得処理を実施する（ステップＳ１５０３）。
　対応点情報取得部２０４は、例えば検出したドットの配列を水平方向にスキャンし、１ラインのスキャンが終了すると、垂直方向にスキャンラインを移動させて、次のスキャンライン上でも属性値「３」を示すドットを探索する。
　最後のスキャンラインの終端に到達し、検出したドットの配列のすべての属性値「３」を示すドットについて対応点情報取得処理を完了すると（ステップＳ１５０４のＹｅｓ）、対応点情報取得部２０４は、対応点情報の取得結果を確認する。具体的には、対応点情報取得部２０４は、対応点情報を取得できなかったドットを探索し（ステップＳ１５０５）、対応点情報を取得できないドットの対応点情報を近傍４隅で取得した対応点情報に基づいて補間処理が可能かどうかをチェックする（ステップＳ１５０６）。
　例えば、対応点情報を取得できないドットの近傍の対応点情報も取得できなかった場合には、補間処理できない。対応点情報を取得できないドットの対応点情報がないドットの対応点情報の補間処理が可能でない場合には（ステップＳ１５０６のＮｏ）、ステップＳ１５０１に戻って、投影状況の確認動作を最初からやり直す。
　また、対応点情報を取得できないドットの対応点情報がないドットの対応点情報の補間処理が可能な場合には（ステップＳ１５０６のＹｅｓ）、対応点情報取得部２０４は補間処理を実施する。この結果、カメラ１０３の撮影画像から抽出した構造化光パターンのすべてのドットの対応点情報を取得することができる。なお、ステップＳ１５０３の対応点情報取得処理によりすべてのドットの対応点情報を取得できた場合は、このフローチャート上では補間処理が可能な場合と同様として処理する。
　そして、画像補正部４０３は、対応点情報取得部２０４から受け取った対応点情報に基づいて、フレームメモリ４０２から読み出した画像に対して、投影部２０１から被写体に投影した際に幾何歪みが解消するよう補正を行なう（ステップＳ１５０７）。
　誤判定したドットに基づく誤った対応点情報を用いると、誤った幾何補正を行うことになり、投影画像の歪みはむしろひどくなるおそれがある。これに対し、本開示によれば、構造化光パターンに課された第１の制約条件、すなわち近傍８ビットの属性値の和はｍｏｄｕｌｏ　３が０であることを利用してドットの誤判定を検出することができるので、誤った幾何補正を防止することができる。
　また、図１５に示した処理手順では、対応点情報の取得状況がよくない場合には再度の計測が必要となるが、その頻度を低減することができる。
　以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本開示は、さまざまなタイプの画像投影システムに適用することができる。また、本明細書では詳細な説明を省略したが、本開示はプロジェクタスタッキングにも適用することができる。また、本開示は、投影画像の補正の他に、映像内に視聴者が知覚できないように情報を埋め込む技術、及び映像に埋め込まれた情報を取得する技術にも適用することができる。
　要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本開示は、以下のような構成をとることも可能である。
（１）第１の画像から抽出された所定のパターンの領域毎に付与された誤り検出機能に基づいて領域内の誤りを検出する検出部と、
　前記第１の画像から抽出された所定のパターンの領域毎に付与された識別機能に基づいて元の所定のパターンにおける領域の対応点情報を取得する取得部と、
を具備する画像処理装置。
（２）前記所定のパターンは格子状に配置された複数のドットで構成され、且つ、各ドットは所定のビット数で表される属性値を有し、
　前記検出部は、Ｎ×Ｍ個のドットからなる領域内の複数のドットの属性値が第１の制約条件を満たすかどうかに基づいて領域内の誤りを検出する、
上記（１）に記載の画像処理装置。
（３）各ドットは０～３の２ビットで表される属性値を有し、
　前記元の所定のパターンは、３×３個のドットからなる前記領域毎に、中央のドットが属性値３を持ち、且つ、前記中央のドットの近傍の８ドットの属性値の和はｍｏｄｕｌｏ　３を０とする前記第１の制約条件を満たすように構成され、
　前記検出部は、前記抽出された所定のパターンから検出した属性値が３のドットの近傍８ドットの属性値の和はｍｏｄｕｌｏ　３が０となるかどうかに基づいて、該当する３×３個のドットからなる領域内の誤りを検出する、
上記（２）に記載の画像処理装置。
（４）前記取得部は、前記検出部で誤りが検出されなかった領域の対応点情報を取得する、
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記所定のパターンは格子状に配置された複数のドットで構成され、且つ、各ドットは所定のビット数で表される属性値を有し、
　前記取得部は、Ｎ×Ｍ個のドットからなる領域内の複数のドットの属性値の系列に設定された第２の制約条件に基づいて、元の所定のパターンにおける領域の対応点情報を取得する、
上記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）各ドットは０～３の２ビットで表される属性値を有し、
　前記元の所定のパターンは、３×３個のドットからなる前記領域毎に、中央のドットが属性値３を持ち、且つ、前記中央のドットの近傍の８ドットの属性値の系列は固有とする前記第２の制約条件を満たすように構成され、
　前記取得部は、前記抽出された所定のパターンから検出した属性値が３のドットの近傍８ドットの属性値の系列と元の所定のパターンにおける属性値の系列との比較結果に基づいて対応点情報を取得する、
上記（５）に記載の画像処理装置。
（７）前記第１の画像はプロジェクタの投影画像を前記カメラで撮影した撮影画像である、
上記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）前記プロジェクタは、前記所定のパターンが埋め込まれた画像を投影し、
　前記プロジェクタの投影画像を前記カメラで撮影した前記第１の画像から、前記投影画像に埋め込まれた前記所定のパターンを抽出する、
上記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）前記所定のパターンは、楕円形状で、輝度変化方向が正方向及び負方向の２種類で且つ楕円の長軸方向が２種類となるドットを格子状に配置に配置して構成される、
上記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）第１の画像から抽出された所定のパターンの領域毎に付与された誤り検出機能に基づいて領域内の誤りを検出する検出ステップと、
　前記第１の画像から抽出された所定のパターンの領域毎に付与された識別機能に基づいて元の所定のパターンにおける領域の対応点情報を取得する取得ステップと、
を具備する画像処理方法。
（１１）プロジェクタと、
　前記プロジェクタの投影画像を撮影するカメラと、
　前記プロジェクタが所定のパターンを埋め込んだ画像を投影した投影画像を前記カメラで撮影した撮影画像から前記所定のパターンを抽出し、
　所定のパターンの領域毎に付与された誤り検出機能に基づいて、前記抽出された所定のパターンの領域毎の誤りを検出する検出部と、
　所定のパターンの領域毎に付与された識別機能に基づいて、前記抽出された所定のパターンの領域毎に対応点情報を取得する取得部と、
　取得した対応点情報に基づいて、前記プロジェクタから投影する画像を補正処理する画像補正部と、
を具備する画像投影システム。
　１００…画像投影システム、１０１…プロジェクタ
　１０２…スクリーン、１０３…カメラ、１０４…映像信号処理部
　１０５…映像ソース
　２０１…投影部、２０２…画像処理部、２０３画像入力部
　２０４…対応点情報取得部
　３０１…投影光学部、３０２…液晶パネル
　３０３…液晶パネル駆動部、３０４…照明光学部
　４０１…画像書き込み読み出し部、４０２…フレームメモリ
　４０３…画像補正部、４０４…画質調整部
　４０５…出力画像切り替え部

Claims (11)

  1. 　第１の画像から抽出された所定のパターンの領域毎に付与された誤り検出機能に基づいて領域内の誤りを検出する検出部と、
    　前記第１の画像から抽出された所定のパターンの領域毎に付与された識別機能に基づいて元の所定のパターンにおける領域の対応点情報を取得する取得部と、
    を具備する画像処理装置。
  2. 　前記所定のパターンは格子状に配置された複数のドットで構成され、且つ、各ドットは所定のビット数で表される属性値を有し、
    　前記検出部は、Ｎ×Ｍ個のドットからなる領域内の複数のドットの属性値が第１の制約条件を満たすかどうかに基づいて領域内の誤りを検出する、
    請求項１に記載の画像処理装置。
  3. 　各ドットは０～３の２ビットで表される属性値を有し、
    　前記元の所定のパターンは、３×３個のドットからなる前記領域毎に、中央のドットが属性値３を持ち、且つ、前記中央のドットの近傍の８ドットの属性値の和はｍｏｄｕｌｏ　３を０とする前記第１の制約条件を満たすように構成され、
    　前記検出部は、前記抽出された所定のパターンから検出した属性値が３のドットの近傍８ドットの属性値の和はｍｏｄｕｌｏ　３が０となるかどうかに基づいて、該当する３×３個のドットからなる領域内の誤りを検出する、
    請求項２に記載の画像処理装置。
  4. 　前記取得部は、前記検出部で誤りが検出されなかった領域の対応点情報を取得する、
    請求項１に記載の画像処理装置。
  5. 　前記所定のパターンは格子状に配置された複数のドットで構成され、且つ、各ドットは所定のビット数で表される属性値を有し、
    　前記取得部は、Ｎ×Ｍ個のドットからなる領域内の複数のドットの属性値の系列に設定された第２の制約条件に基づいて、元の所定のパターンにおける領域の対応点情報を取得する、
    請求項１に記載の情報処理装置。
  6. 　各ドットは０～３の２ビットで表される属性値を有し、
    　前記元の所定のパターンは、３×３個のドットからなる前記領域毎に、中央のドットが属性値３を持ち、且つ、前記中央のドットの近傍の８ドットの属性値の系列は固有とする前記第２の制約条件を満たすように構成され、
    　前記取得部は、前記抽出された所定のパターンから検出した属性値が３のドットの近傍８ドットの属性値の系列と元の所定のパターンにおける属性値の系列との比較結果に基づいて対応点情報を取得する、
    請求項５に記載の画像処理装置。
  7. 　前記第１の画像はプロジェクタの投影画像を前記カメラで撮影した撮影画像である、
    請求項１に記載の画像処理装置。
  8. 　前記プロジェクタは、前記所定のパターンが埋め込まれた画像を投影し、
    　前記プロジェクタの投影画像を前記カメラで撮影した前記第１の画像から、前記投影画像に埋め込まれた前記所定のパターンを抽出する、
    請求項１に記載の画像処理装置。
  9. 　前記所定のパターンは、楕円形状で、輝度変化方向が正方向及び負方向の２種類で且つ楕円の長軸方向が２種類となるドットを格子状に配置に配置して構成される、
    請求項１に記載の画像処理装置。
  10. 　第１の画像から抽出された所定のパターンの領域毎に付与された誤り検出機能に基づいて領域内の誤りを検出する検出ステップと、
    　前記第１の画像から抽出された所定のパターンの領域毎に付与された識別機能に基づいて元の所定のパターンにおける領域の対応点情報を取得する取得ステップと、
    を具備する画像処理方法。
  11. 　プロジェクタと、
    　前記プロジェクタの投影画像を撮影するカメラと、
    　前記プロジェクタが所定のパターンを埋め込んだ画像を投影した投影画像を前記カメラで撮影した撮影画像から前記所定のパターンを抽出し、
    　所定のパターンの領域毎に付与された誤り検出機能に基づいて、前記抽出された所定のパターンの領域毎の誤りを検出する検出部と、
    　所定のパターンの領域毎に付与された識別機能に基づいて、前記抽出された所定のパターンの領域毎に対応点情報を取得する取得部と、
    　取得した対応点情報に基づいて、前記プロジェクタから投影する画像を補正処理する画像補正部と、
    を具備する画像投影システム。
PCT/JP2020/038405 2019-12-05 2020-10-09 画像処理装置及び画像処理方法、並びに画像投影システム WO2021111733A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/756,520 US20220417483A1 (en) 2019-12-05 2020-10-09 Image processing device, image processing method, and image projection system
JP2021562481A JPWO2021111733A1 (ja) 2019-12-05 2020-10-09
CN202080082221.1A CN114762318A (zh) 2019-12-05 2020-10-09 图像处理装置、图像处理方法和图像投影系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019220759 2019-12-05
JP2019-220759 2019-12-05

Publications (1)

Publication Number Publication Date
WO2021111733A1 true WO2021111733A1 (ja) 2021-06-10

Family

ID=76221159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038405 WO2021111733A1 (ja) 2019-12-05 2020-10-09 画像処理装置及び画像処理方法、並びに画像投影システム

Country Status (4)

Country Link
US (1) US20220417483A1 (ja)
JP (1) JPWO2021111733A1 (ja)
CN (1) CN114762318A (ja)
WO (1) WO2021111733A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220246071A1 (en) * 2021-01-29 2022-08-04 Seiko Epson Corporation Position detection method, display device, and position detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079294A (ja) * 2010-09-08 2012-04-19 Canon Inc 画像情報処理装置及びその制御方法
WO2017104447A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 画像処理装置および方法、データ、並びに記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079294A (ja) * 2010-09-08 2012-04-19 Canon Inc 画像情報処理装置及びその制御方法
WO2017104447A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 画像処理装置および方法、データ、並びに記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220246071A1 (en) * 2021-01-29 2022-08-04 Seiko Epson Corporation Position detection method, display device, and position detection system
US11862055B2 (en) * 2021-01-29 2024-01-02 Seiko Epson Corporation Position detection method, display device, and position detection system

Also Published As

Publication number Publication date
CN114762318A (zh) 2022-07-15
JPWO2021111733A1 (ja) 2021-06-10
US20220417483A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
JP6089461B2 (ja) プロジェクター、画像表示システム、プロジェクターの制御方法
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
US9560327B2 (en) Projection system and projection method
JP5266953B2 (ja) 投写型表示装置および表示方法
JP5266954B2 (ja) 投写型表示装置および表示方法
US9348212B2 (en) Image projection system and image projection method
US9946146B2 (en) Control apparatus configured to control projection of an image based on position information, projection information, and shape information, corresponding control method and corresponding storage medium
US11562717B2 (en) Image processing apparatus, image processing method, and storage medium
WO2006025191A1 (ja) マルチプロジェクションシステムにおける幾何補正方法
KR20160118868A (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
CN107728410B (zh) 激光投影仪的图像失真校正方法和激光投影仪
JP2015126340A (ja) 画像処理方法並びに画像投影装置
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
CN114339173A (zh) 投影图像校正方法、激光投影系统及可读性存储介质
WO2021111733A1 (ja) 画像処理装置及び画像処理方法、並びに画像投影システム
JP3741136B2 (ja) 障害物適応投射型表示装置
JP2015139087A (ja) 投影装置
JP2011244044A (ja) 画像投射装置
US10679589B2 (en) Image processing system, image processing apparatus, and program for generating anamorphic image data
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2009141508A (ja) テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
WO2021157196A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
JP2021005748A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895882

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562481

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20895882

Country of ref document: EP

Kind code of ref document: A1