WO2019171943A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2019171943A1
WO2019171943A1 PCT/JP2019/006201 JP2019006201W WO2019171943A1 WO 2019171943 A1 WO2019171943 A1 WO 2019171943A1 JP 2019006201 W JP2019006201 W JP 2019006201W WO 2019171943 A1 WO2019171943 A1 WO 2019171943A1
Authority
WO
WIPO (PCT)
Prior art keywords
projector
projection
light beam
irradiated
projectors
Prior art date
Application number
PCT/JP2019/006201
Other languages
English (en)
French (fr)
Inventor
洋祐 加治
高橋　巨成
哲男 池田
忠義 村上
佳恵 永野
英佑 藤縄
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/976,691 priority Critical patent/US11134232B2/en
Priority to JP2020504904A priority patent/JPWO2019171943A1/ja
Priority to CN201980016073.0A priority patent/CN111788826B/zh
Priority to EP19764645.8A priority patent/EP3764638A4/en
Publication of WO2019171943A1 publication Critical patent/WO2019171943A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program, and in particular, information processing that can reduce a decrease in resolution of an overlap region when multiple projection is performed on an object from a plurality of projectors.
  • the present invention relates to an apparatus, an information processing method, and a program.
  • PM Processing Mapping
  • overlap The state where light rays from multiple projectors overlap on the object is called overlap.
  • a region where the projection region of one projector and the projection region of the other projector overlap is an overlap region where overlap occurs.
  • the present technology has been made in view of such a situation, and is intended to reduce a decrease in resolution of an overlap region when multiple projections are performed on an object from a plurality of projectors.
  • An information processing apparatus provides information indicating that a predetermined position on the surface of an object to be projected is irradiated from a predetermined projector, which is irradiated with a light beam of projection light from a plurality of projectors as a superimposed light beam.
  • a generation unit that generates mask information used for adjusting the intensity of the light beam of each pixel of the projection image.
  • An information processing apparatus irradiates a predetermined position on the surface of an object to be projected from a predetermined projector, which is irradiated with a light beam of projection light from a plurality of projectors as a superimposed light beam.
  • a projection processing unit that adjusts the light intensity of each pixel of the projection image of each projector based on the mask information generated so as to include the projection image, and projects the projection image from each projector.
  • the projection includes information indicating that a predetermined position on the object surface to be projected is irradiated from the predetermined projector, which is irradiated with the light beams of the projection light of the plurality of projectors as a superimposed light beam.
  • Mask information used to adjust the light intensity of each pixel of the image is generated.
  • it includes information indicating that a predetermined position on the surface of an object to be projected is irradiated from the predetermined projector, which is irradiated with the light beams of the projection light of a plurality of projectors as a superimposed light beam. Based on the generated mask information, the light intensity of each pixel of the projection image of each projector is adjusted, and the projection image is projected from each projector.
  • FIG. 1 is a diagram illustrating a configuration example of a projection system according to an embodiment of the present technology.
  • Projector 1 is configured by connecting projectors # 0 and # 1 to the control apparatus 1 via wired or wireless communication. Projectors # 0 and # 1 are installed above the projection space so that the projection direction is directed toward the object 22. The installation positions of projectors # 0 and # 1 do not have to be positions above the projection space.
  • the control device 1 includes devices such as a personal computer, a smartphone, and a tablet terminal.
  • the control device 1 controls the projection of images by the projectors # 0 and # 1.
  • Projectors # 0 and # 1 emit projection light representing a predetermined image in accordance with control by the control device 1.
  • an image is projected onto the object 22 placed on the floor 21 using the projectors # 0 and # 1.
  • the image by the projection light emitted by the projector # 0 is mainly projected on the left side position of the object 22, and the image by the projection light emitted by the projector # 1 is mainly projected on the right side position of the object 22. .
  • a texture image for expressing the texture of the surface of the object 22 such as a metal texture or a wood texture is projected on the object 22. Not only the expression of the texture but also various information presentation and stereoscopic effect may be performed by projecting the image.
  • the number of projectors is not limited to two, and more projectors can be provided.
  • the projection system shown in FIG. 1 has a PM (Projection Mapping) that projects an image onto the entire surface of the object 22 by projecting an image onto an area where a certain projector cannot project an image. ) System.
  • FIG. 2 is a block diagram showing a configuration example of the projection system.
  • each of the projectors # 0 to #N is provided with an imaging unit including a camera in addition to a projection unit including a display device, a lens, a light source, and the like.
  • the imaging unit # 0-1 of the projector # 0 images the situation of the projection space including the object 22.
  • the image picked up by the image pickup unit # 0-1 is used in the control device 1 for correction of the projected image.
  • Projection unit # 0-2 projects the projection image assigned to projection unit # 0-2 under the control of control device 1.
  • the imaging units # 1-1 to # N-1 of the projectors # 1 to #N also capture the situation of the projection space, respectively.
  • Each of the projection units # 1-2 to # N-2 projects a projection image assigned to itself.
  • the number of projection units and the number of imaging units are the same, but the number of each may be different.
  • the imaging unit may be provided at a remote position instead of being built in the projector.
  • the configuration of the control device 1 may be provided in a projector.
  • the intensity of the projection light (light beam) of each projector is adjusted in order to prevent the projection deviation of the overlap region.
  • the control device 1 includes a captured image processing unit 31, a projection image processing unit 32, and a projection control unit 33.
  • the captured image processing unit 31 estimates a relative posture relationship between the projector and the object 22 based on an image captured by the imaging unit of each projector. Information representing the relationship of the posture estimated by the captured image processing unit 31 is supplied to the projection image processing unit 32.
  • the projection image processing unit 32 generates a projection image to be projected from each projector with the object 22 as a projection target.
  • the projection image processing unit 32 appropriately performs various types of image processing such as geometric correction and luminance correction on the projection image based on the posture relationship between the projector and the object 22 estimated by the captured image processing unit 31.
  • the projection image processing unit 32 outputs a projection image generated by performing various image processes to each projector and projects the projection image onto the object 22.
  • the projection image processing unit 32 adjusts the intensity of the projection light of each pixel constituting the projection image based on the projection mask generated by the projection control unit 33.
  • the projection mask is information including a mask value for each pixel of the projection image.
  • the mask value represents the intensity (gain) of the projection light.
  • a projection mask is prepared for each projector.
  • the projection control unit 33 generates a projection mask for each projector and outputs the projection mask to the projection image processing unit 32.
  • internal parameters (focal length, principal point, lens distortion) of each projector, external parameters of each projector, external parameters of the object to be projected, and 3D model data of the object to be projected are stored. Entered. Based on the external parameters of each projector and the external parameters of the projection target object, the relationship between the relative postures of the projectors and the projection target object is estimated.
  • the generation of the projection mask by the projection control unit 33 is performed by software in response to the input of these pieces of information by the user of the control device 1, for example. Processing such as light ray detection, which will be described later, performed for generating the projection mask is also processing performed by calculation by software.
  • FIG. 3 is a block diagram illustrating a configuration example of the projection control unit 33.
  • the projection control unit 33 includes a depth calculation unit 51, an overlap ray detection unit 52, a projection projector determination unit 53, and a projection mask generation unit 54.
  • the internal parameters of each projector, the external parameters of each projector and object, and the 3D model data of the object are supplied to the depth calculation unit 51.
  • the depth calculation unit 51 is information representing the calculated depth by calculating the depth (depth) to each position on the object surface to be projected with reference to each projector based on the information supplied from the outside. Generate depth information.
  • the depth calculation unit 51 stores the depth information in the depth information buffer 51A.
  • the depth information buffer 51A stores the depth information of each projector such as the depth information of the projector # 0, the depth information of the projector # 1, and so on.
  • the overlap beam detector 52 reads out and acquires the depth information of each projector from the depth information buffer 51A.
  • the overlap light beam detection unit 52 refers to the depth information and determines whether or not the light beam of the pixel of the projection image of a certain projector overlaps the light beam of another projector on the object surface.
  • the overlap light ray detection unit 52 performs overlap light ray detection, which is such a determination, paying attention to each pixel of each projector.
  • the projection projector determination unit 53 specifies the position on the object surface where the plurality of light beams overlap based on the determination result by the overlap light beam detection unit 52.
  • the projection projector determining unit 53 determines what percentage of the light is emitted from which projector with respect to the position on the object surface where the plurality of light beams overlap.
  • the projection projector determining unit 53 irradiates a light beam from a certain projector with 100% intensity and irradiates a light beam from another projector with 0% intensity. Determined as one of two values.
  • a mask value of 0% means that no light is emitted from a pixel for which the mask value is set, that is, black is projected.
  • the projection mask is information indicating which light beam from which projector is irradiated when light rays from a plurality of projectors overlap and irradiate a predetermined position on the object surface. It is. From a projector in which a value of 100% is set as a mask value corresponding to a position on the object surface irradiated with an overlapping light beam, the position is irradiated with a light beam having the maximum intensity, and a value of 0% is set. This means that the projector does not irradiate that position.
  • the mask value is adaptively controlled as a value other than the binary values of 100% and 0%, such as irradiating a light beam with an intensity of 30% from a certain projector and irradiating a light beam with an intensity of 70% from another projector. You may make it do.
  • the projection mask generation unit 54 generates a projection mask for each projector based on the determination result by the projection projector determination unit 53.
  • the projection mask generated by the projection mask generation unit 54 is supplied to the projection image processing unit 32 and used for light beam adjustment.
  • the overlap light beam detection by the overlap light beam detection unit 52 and the projector determination by the projection projector determination unit 53 will be described in detail later.
  • FIG. 4 is a block diagram illustrating a hardware configuration example of the control device 1.
  • the control device 1 is configured by a computer having a configuration as shown in FIG.
  • a CPU Central Processing Unit 101
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • the input / output interface 105 is connected to an input unit 106 such as a keyboard and a mouse, and an output unit 107 such as a display and a speaker.
  • the input / output interface 105 is connected to a storage unit 108 made up of a hard disk, a non-volatile memory, etc., a communication unit 109 made up of a network interface, etc., and a drive 110 that drives a removable medium 111.
  • control device 1 At least a part of the functional units of the control device 1 is realized by a predetermined program being executed by the CPU 101 of FIG.
  • step S1 the depth calculation unit 51 acquires the internal parameters and external parameters of each projector input from the outside.
  • step S2 the depth calculation unit 51 acquires 3D model data and external parameters of the object to be projected, which are input from the outside.
  • step S3 the depth calculation unit 51 estimates the relative posture relationship between each projector and the object based on the external parameters of each projector and the external parameters of the object to be projected. Further, the depth calculation unit 51 calculates the depth to each position on the projection target object surface based on each projector based on the estimated posture relationship and the like. The depth information representing the depth calculated by the depth calculation unit 51 is stored in the depth information buffer 51A.
  • step S4 the overlap beam detector 52 acquires the depth information of each projector by reading it from the depth information buffer 51A.
  • step S5 the overlap beam detector 52 pays attention to one projector.
  • step S6 the overlap light ray detection unit 52 pays attention to one pixel of the projection image of the target projector. For example, attention is paid in order from the upper left pixel.
  • step S7 the overlap light ray detection unit 52 performs overlap light ray detection processing.
  • the overlap light ray detection process is a process for determining whether or not the light ray of the pixel of interest overlaps the light ray of another projector on the object surface.
  • step S31 the overlapping light ray detection unit 52 performs ray tracing of the pixel of interest.
  • step S32 the overlapping light beam detection unit 52 determines whether or not the light beam of the pixel of interest collides with the surface of the object to be projected. This determination is made with reference to the depth information of the projector of interest.
  • step S33 the overlap ray detector 52 detects a collision that is a point on the object surface where the ray of the pixel of interest collides.
  • the point P 0 is converted into a point P ′ 0 in the coordinate system of another projector.
  • the collision point P 0 becomes the point of the coordinate system relative to the projector # 0
  • the point P '0 is a point of the coordinate system relative to the projector # 1.
  • step S34 the overlap light ray detection unit 52 performs reverse ray tracing of the point P ′ 0 and calculates a point P 1 that is a point corresponding to the collision point P 0 with respect to the projector # 1. Back ray tracing of the point P ′ 0 is performed with reference to the depth information of the projector # 1.
  • step S35 the overlapping light beam detection unit 52 determines whether the point P ′ 0 and the point P 1 are the same point in the three-dimensional space.
  • step S35 When it is determined in step S35 that the point P ′ 0 and the point P 1 are the same point, in step S36, the overlapping ray detection unit 52 irradiates the collision point P 0 and the ray of the pixel of interest overlaps. Judged to be a ray.
  • FIG. 7 is a diagram showing an example of overlapping light beam detection.
  • a substantially cubic object 152 on the floor surface 151 is shown as an object to be projected.
  • the shape of the object 152 is specified based on the 3D model data. Further, the relationship between the postures of projector # 0 and object 152 is estimated based on the external parameters of projector # 0 and object 152. Similarly, the posture relationship between projector # 1 and object 152 is estimated based on external parameters of projector # 1 and object 152.
  • the point P is irradiated by the light beam of the projector # 1. It is determined whether or not.
  • FIG. 8 is a diagram showing an example of depth information.
  • 8A represents the depth information of the projector # 0, and B of FIG. 8 represents the depth information of the projector # 1.
  • the fact that the cube representing the object 152 is colored indicates that the object 152 is closer to the floor 151 when the projector # 0 is used as a reference.
  • the black circle on the upper left corresponds to the point P in FIG.
  • the point P is represented as a collision point P 0 in the coordinate system based on the projector # 0.
  • the collision point P 0 is converted as a point P ′ 0 in the coordinate system with the projector # 1 as a reference.
  • the conversion of the coordinate system is performed using, for example, parameters calculated based on the relationship between the attitudes of the projectors # 0 and # 1 and the object 152.
  • a point P 1 that is a point corresponding to the collision point P 0 with respect to the projector # 1 is calculated.
  • the color of the cube representing the object 152 indicates that the object 152 is closer to the floor 151 when the projector # 1 is used as a reference.
  • the upper black circle corresponds to the point P 1 .
  • step S35 After it is determined in step S35 that the light beam of the pixel of interest is an overlapping light beam, the process returns to step S7 in FIG. 5, and the subsequent processing is performed.
  • step S32 the same applies when it is determined in step S32 that the light beam of the pixel of interest does not collide with the surface of the object to be projected, or when it is determined in step S35 that the points P ′ 0 and P 1 are not the same point.
  • step S35 the points P ′ 0 and P 1 are not the same point.
  • step S7 in FIG. 5 the subsequent processing is performed. In this case, it is determined that the light beam of the pixel of interest is not an overlapping light beam.
  • step S ⁇ b> 8 the projection projector determining unit 53 determines the projector that irradiates the position on the object surface irradiated with the light beam of the pixel of interest, based on the result of the overlap light beam detection process.
  • the projection projector determination unit 53 is the projector that is focused as a projector that irradiates the position on the object surface irradiated with the light beam of the pixel of interest. To decide.
  • the projection projector determining unit 53 projects projector # 0 and projector # 1 as projectors that irradiate a position on the object surface irradiated with the overlapping light beam. Determine one of the following:
  • the projection projector determining unit 53 calculates the incident angle of the light beam of the projector # 0 with respect to the object and the incident angle of the light beam of the projector # 1 with respect to the object, and determines a projector that emits a light beam with a small incident angle. . When the light beams of three or more projectors overlap, the projector that irradiates the light beam having the smallest incident angle is determined.
  • FIG. 9 is a diagram illustrating an example of determining a projector.
  • the incident angle ⁇ p0 of the light beam of the projector # 0 and the projector # The incident angle ⁇ p1 of the first light beam is obtained.
  • the incident angle ⁇ p0 is smaller than the incident angle ⁇ p1 .
  • projector # 0 is determined as the projector that irradiates point P.
  • the projector information determined in this way is supplied from the projection projector determination unit 53 to the projection mask generation unit 54.
  • step S9 of FIG. 5 the projection mask generation unit 54 updates the projection mask of each projector by reflecting the determination by the projection projector determination unit 53.
  • a value of 100% is set as the mask value of the pixel of interest in the projection mask of projector # 0.
  • a value of 0% is set as the mask value of the pixel corresponding to the point P (the pixel on which the light beam irradiates the point P) of the projection mask of the projector # 1.
  • step S10 of FIG. 5 the overlap light beam detection unit 52 determines whether or not all the pixels constituting the projected image of the focused projector have been focused. If it is determined in step S10 that all the pixels are not focused, the process returns to step S6, the target pixel is switched, and the above processing is repeated.
  • step S10 determines whether or not all the pixels constituting the projected image of the projector of interest are focused. If it is determined in step S10 that all the pixels constituting the projected image of the projector of interest are focused, in step S11, the overlapping light beam detection unit 52 determines whether or not all the projectors are focused.
  • step S12 the overlap light beam detection unit 52 switches the focused projector to another projector. Then, it returns to step S6 and the same process is repeated.
  • step S13 the projection mask generation unit 54 outputs the projection mask of each projector and ends the process.
  • the projection mask output from the projection mask generation unit 54 is used in the projection image processing unit 32 to adjust the light beam emitted from each projector.
  • the processing of FIG. 10 is performed after the projection mask is generated by performing the above processing.
  • Projection image data of each projector is input to the projection image processing unit 32.
  • step S51 the projection image processing unit 32 adjusts the light intensity of each pixel of the projection image of each projector using the projection mask of each projector.
  • the projector # 0 when the projector # 0 is determined as the projector that irradiates the point P with light as described with reference to FIG. 9, the light of the projector # 0 that irradiates the point P has an intensity of 100%. Thus, the adjustment is made based on the projection mask of projector # 0. Further, the light beam of the projector # 1 that irradiates the point P is adjusted based on the projection mask of the projector # 1 so that the intensity becomes 0%.
  • step S52 the projection image processing unit 32 controls each projector to project a projection image using the adjusted intensity light beam.
  • FIG. 11 is a diagram showing an example of projection using a projection mask.
  • the entire upper surface 152A of the object 152 is an overlap region where the projection range of the projector # 0 and the projection range of the projector # 1 overlap.
  • Each light beam that projector # 0 irradiates each position on upper surface 152A and each light beam that projector # 1 irradiates each position on upper surface 152A are overlapping light beams.
  • 100% is set as the mask value of the pixel that irradiates light on the left side of the upper surface 152A indicated by the broken line L11, and light is irradiated on the right side of the upper surface 152A.
  • a value of 0% is set as the mask value of the pixel to be processed.
  • the projector # 0 By adjusting the light intensity of each pixel of the projection image of the projector # 0 based on such a projection mask, the projector # 0 is positioned on the left side of the upper surface 152A, as indicated by a dashed line in the lower part of FIG. Only light rays are emitted. The texture on the left side of the upper surface 152A is expressed by the image projected by the projector # 0.
  • the horizontal axis represents the position on the upper surface 152A, and the vertical axis represents the mask value (light ray intensity).
  • 100% is set as the mask value of the pixel that irradiates light on the right side of the upper surface 152A indicated by the broken line L11, and light is irradiated on the left side of the upper surface 152A.
  • a value of 0% is set as the mask value of the pixel.
  • the brightness can be made uniform.
  • a trapezoidal area A0 is the projection area of projector # 0
  • area A1 is the projection area of projector # 1.
  • the overlapping area may be projected using two projectors.
  • the mask value of the overlapping area where the projection is performed by two projectors is set so as to change as a continuous value in the range of 0 to 100%, for example.
  • FIG. 13 is a diagram showing an example of the mask value of the overlap area.
  • the area from the position p21 to the position p22 across the position of the broken line L11 of FIG. 11 is set as the overlap area.
  • the mask value of projector # 0 corresponding to the overlap region is set so as to gradually decrease from 100% to 0% as it goes from position p21 to position p22. Further, the mask value of projector # 1 corresponding to the overlap region is set so as to gradually decrease from 100% to 0% as it goes from position p22 to position p21.
  • the overlap area is detected by software processing, the image projected from each projector in real space is captured by the camera, and the overlap area is detected based on the image obtained by imaging. May be.
  • control device 1 is prepared as a device having a housing separate from the projector, the above-described function of the control device 1 may be mounted on any of the plurality of projectors.
  • each of the plurality of projectors and the control device 1 are connected via a wired or wireless connection, they may be connected via the Internet.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed in a computer incorporated in dedicated hardware or a general-purpose personal computer.
  • the program to be installed is provided by being recorded on the removable medium 111 shown in FIG. 4, which is composed of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), semiconductor memory, or the like. Further, it may be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be installed in advance in the ROM 102 or the storage unit 108.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology may have the following configurations.
  • (1) The intensity of the light beam of each pixel of the projection image including information indicating that a predetermined position on the surface of the object to be projected is irradiated from the predetermined projector.
  • An information processing apparatus comprising a generation unit that generates mask information used for adjustment of the information.
  • the information processing apparatus according to (2) further including: a determination unit that determines the one projector that irradiates the predetermined position based on an angle of a light beam that each of the projectors irradiates the predetermined position.
  • the determining unit includes: one of the plurality of projectors that irradiates the predetermined position with a light beam having the smallest incident angle with respect to the predetermined position; The information processing apparatus according to (3) described above.
  • the generation unit generates the mask information including information indicating that the predetermined position is irradiated with the maximum intensity as the mask information for the projector that irradiates the predetermined position, and the predetermined position is generated.
  • the information processing apparatus according to (3) or (4), wherein the mask information including information indicating that the predetermined position is not irradiated is generated as the mask information for the projector that is not irradiated.
  • the information processing apparatus according to any one of (1) to (5), further including a detection unit configured to detect the superimposed light by performing ray tracing of projection light from the plurality of projectors.
  • a detection unit configured to detect the superimposed light by performing ray tracing of projection light from the plurality of projectors.
  • the detection unit detects the superimposed light beam based on internal parameters of the plurality of projectors, information on postures of the projector and the object, and model data of the object. apparatus.
  • Information processing device The intensity of the light beam of each pixel of the projection image including information indicating that a predetermined position on the surface of the object to be projected is irradiated from the predetermined projector. An information processing method for generating mask information used for adjustment.
  • the intensity of the light beam of each pixel of the projection image including information indicating that a predetermined position on the surface of the object to be projected is irradiated from the predetermined projector.
  • a program to execute the process of generating mask information used for adjustment of the image. (10) Based on mask information generated so as to include information indicating that a predetermined position on the surface of an object to be projected is irradiated from a predetermined projector, which is irradiated with light rays of projection light from a plurality of projectors as a superimposed light beam
  • An information processing apparatus comprising: a projection processing unit that adjusts the light intensity of each pixel of the projection image of each projector and projects the projection image from each projector.
  • Information processing device Based on mask information generated so as to include information indicating that a predetermined position on the surface of an object to be projected is irradiated from a predetermined projector, which is irradiated with light rays of projection light from a plurality of projectors as a superimposed light beam , Adjust the light intensity of each pixel of the projected image of each projector, An information processing method for projecting the projection image from each of the projectors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技術は、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の一側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定のプロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する。本技術は、複数のプロジェクタから画像を投影させるコンピュータに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　複数台のプロジェクタを連動させて物体に画像を投影するPM(Projection Mapping)の技術がある。
　複数のプロジェクタからの光線が物体上において重なる状態はオーバーラップと呼ばれる。例えば２台のプロジェクタを用いる場合、一方のプロジェクタの投影領域と他方のプロジェクタの投影領域が重なる領域が、オーバーラップが生じるオーバーラップ領域となる。
特開２０１１－２５７６０９号公報
　各プロジェクタの内部パラメータ（焦点距離、主点、レンズ歪み）と、各プロジェクタと物体との相対的な姿勢の関係を正確に推定することができれば、オーバーラップ領域においても、ずれのない状態で画像を投影することができることになる。
　実際の環境においてそのような投影を行うことは難しく、微妙な誤差による投影ずれが発生してしまう。その結果、オーバーラップ領域における解像度の低下が発生し、PMの品位も低下してしまう。
　本技術はこのような状況に鑑みてなされたものであり、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにするものである。
　本技術の一側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部とを備える。
　本技術の他の側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える。
　本技術の一側面においては、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報が生成される。
　本技術の他の側面においては、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度が調整され、それぞれの前記プロジェクタから前記投影画像を投影させる処理が行われる。
　本技術によれば、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る投影システムの構成例を示す図である。 投影システムの構成例を示すブロック図である。 投影制御部の構成例を示すブロック図である。 制御装置のハードウェア構成例を示すブロック図である。 投影制御部の投影マスク生成処理について説明するフローチャートである。 図５のステップＳ７において行われるオーバーラップ光線検出処理について説明するフローチャートである。 オーバーラップ光線検出の例を示す図である。 デプス情報の例を示す図である。 プロジェクタの決定の例を示す図である。 投影画像処理部の投影処理について説明するフローチャートである。 投影マスクを用いた投影の例を示す図である。 平面に画像を投影する場合の例を示す図である。 オーバーラップ領域のマスク値の例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．投影システムの構成
　２．制御装置の構成
　３．制御装置の動作
　４．変形例
＜投影システムの構成＞
　図１は、本技術の一実施形態に係る投影システムの構成例を示す図である。
　図１の投影システムは、制御装置１に対してプロジェクタ＃０，＃１が有線または無線の通信を介して接続されることによって構成される。プロジェクタ＃０，＃１は、投影方向を物体２２に向けるように、投影空間の上方に設置されている。プロジェクタ＃０，＃１の設置位置については、投影空間の上方の位置でなくてもよい。
　制御装置１は、パーソナルコンピュータ、スマートフォン、タブレット端末等の装置から構成される。制御装置１は、プロジェクタ＃０，＃１による画像の投影を制御する。
　プロジェクタ＃０，＃１は、制御装置１による制御に従って、所定の画像を表す投影光を照射する。
　図１の投影システムにおいては、プロジェクタ＃０，＃１を用いて、床面２１に置かれた物体２２に画像が投影される。プロジェクタ＃０が照射する投影光による画像は、主に、物体２２の左側の位置に投影され、プロジェクタ＃１が照射する投影光による画像は、主に、物体２２の右側の位置に投影される。
　物体２２に対しては、例えば、金属の質感や木材の質感などの、物体２２の表面の質感を表現するためのテクスチャ画像が投影される。質感の表現に限らず、各種の情報の提示や立体感の演出が画像の投影によって行われるようにしてもよい。
　２台のプロジェクタを用いて画像を投影する例について主に説明するが、２台に限らず、さらに多くのプロジェクタを設けることも可能である。
　このように、図１の投影システムは、あるプロジェクタが画像を投影することができない領域には他のプロジェクタが画像を投影するようにして、物体２２の表面全体に画像を投影するPM(Projection Mapping)のシステムである。
　図２は、投影システムの構成例を示すブロック図である。
　図２の例においては、プロジェクタ＃０，＃１以外のプロジェクタも示されている。プロジェクタ＃０乃至＃Ｎのそれぞれには、表示デバイス、レンズ、光源などよりなる投影部の他に、カメラにより構成される撮像部が設けられる。
　例えば、プロジェクタ＃０の撮像部＃０－１は、物体２２を含む投影空間の状況を撮像する。撮像部＃０－１により撮像された画像は、制御装置１において、投影画像の補正などに用いられる。
　投影部＃０－２は、制御装置１による制御に従って、投影部＃０－２に割り当てられた投影画像を投影する。
　プロジェクタ＃１乃至＃Ｎの撮像部＃１－１乃至＃Ｎ－１も、それぞれ、投影空間の状況を撮像する。投影部＃１－２乃至＃Ｎ－２も、それぞれ、自身に割り当てられた投影画像を投影する。
　図２の例においては、投影部の数と撮像部の数が同じ数とされているが、それぞれの数が異なっていてもよい。また、撮像部が、プロジェクタに内蔵されているのではなく、離れた位置に設けられるようにしてもよい。制御装置１の構成が、プロジェクタに設けられるようにしてもよい。
　図１の投影システムにおいては、オーバーラップ領域の投影ずれを防ぐため、各プロジェクタの投影光（光線）の強度が調整される。
＜制御装置の構成＞
　図２に示すように、制御装置１は、撮像画像処理部３１、投影画像処理部３２、および投影制御部３３から構成される。
　撮像画像処理部３１は、各プロジェクタの撮像部により撮像された画像に基づいて、プロジェクタと物体２２との相対的な姿勢の関係などを推定する。撮像画像処理部３１により推定された姿勢の関係を表す情報は投影画像処理部３２に供給される。
　投影画像処理部３２は、物体２２を投影対象として各プロジェクタから投影させる投影画像を生成する。投影画像処理部３２は、適宜、撮像画像処理部３１により推定されたプロジェクタと物体２２との姿勢の関係に基づいて、幾何補正や輝度補正などの各種の画像処理を投影画像に対して施す。投影画像処理部３２は、各種の画像処理を施すことによって生成した投影画像をそれぞれのプロジェクタに出力し、物体２２に対して投影させる。
　また、投影画像処理部３２は、投影制御部３３により生成された投影マスクに基づいて、投影画像を構成する各画素の投影光の強度を調整する。投影マスクは、投影画像の各画素のマスク値を含む情報である。マスク値は、投影光の強度（ゲイン）を表す。投影マスクはプロジェクタ毎に用意される。
　投影制御部３３は、各プロジェクタ用の投影マスクを生成し、投影画像処理部３２に出力する。
　投影制御部３３に対しては、各プロジェクタの内部パラメータ（焦点距離、主点、レンズ歪み）、各プロジェクタの外部パラメータ、投影対象の物体の外部パラメータ、および、投影対象の物体の3Dモデルデータが入力される。各プロジェクタの外部パラメータと、投影対象の物体の外部パラメータに基づいて、各プロジェクタと投影対象の物体との相対的な姿勢の関係が推定される。
　投影制御部３３による投影マスクの生成は、これらの情報が例えば制御装置１のユーザにより入力されることに応じてソフトウェア的に行われる。投影マスクの生成のために行われる、後述する光線検出などの処理も、ソフトウェアによる計算によって行われる処理である。
　図３は、投影制御部３３の構成例を示すブロック図である。
　図３に示すように、投影制御部３３は、デプス算出部５１、オーバーラップ光線検出部５２、投影プロジェクタ決定部５３、および投影マスク生成部５４から構成される。各プロジェクタの内部パラメータ、各プロジェクタと物体の外部パラメータ、および、物体の3Dモデルデータはデプス算出部５１に供給される。
　デプス算出部５１は、外部から供給された情報に基づいて、各プロジェクタを基準とした、投影対象の物体表面上の各位置までのデプス（奥行き）を算出し、算出したデプスを表す情報であるデプス情報を生成する。
　デプス算出部５１は、デプス情報をデプス情報バッファ５１Ａに記憶させる。デプス情報バッファ５１Ａには、プロジェクタ＃０のデプス情報、プロジェクタ＃１のデプス情報、・・・といったように、各プロジェクタのデプス情報が記憶される。
　オーバーラップ光線検出部５２は、各プロジェクタのデプス情報をデプス情報バッファ５１Ａから読み出して取得する。
　オーバーラップ光線検出部５２は、デプス情報を参照し、あるプロジェクタの投影画像の画素の光線が、物体表面上において、他のプロジェクタの光線とオーバーラップしているか否かの判定を行う。オーバーラップ光線検出部５２は、このような判定であるオーバーラップ光線検出を、各プロジェクタの、各画素に注目して行う。
　投影プロジェクタ決定部５３は、オーバーラップ光線検出部５２による判定結果に基づいて、複数の光線がオーバーラップしている物体表面上の位置を特定する。投影プロジェクタ決定部５３は、複数の光線がオーバーラップしている物体表面上の位置について、どのプロジェクタからの光線により、何％の強度で照射するのかを決定する。
　例えば、投影プロジェクタ決定部５３は、あるプロジェクタからの光線を１００％の強度で照射し、他のプロジェクタからの光線を０％の強度で照射するといったように、オーバーラップする光線のマスク値を、二値のうちのいずれかの値として決定する。マスク値が０％であることは、そのマスク値が設定された画素から光線を照射しない、すなわち、黒色を投影することを表す。
　このように、投影マスクは、複数のプロジェクタからの光線がオーバーラップして物体表面上の所定の位置を照射している場合に、その位置を、どのプロジェクタからの光線によって照射するのかを表す情報である。オーバーラップする光線が照射する物体表面上の位置に対応するマスク値として１００％の値が設定されているプロジェクタからは、最大の強度の光線でその位置を照射し、０％の値が設定されているプロジェクタからは、その位置を照射しないことを表す。
　あるプロジェクタから３０％の強度で光線を照射し、他のプロジェクタから７０％の強度で光線を照射するといったように、１００％と０％の二値以外の値としてマスク値が適応的に制御されるようにしてもよい。
　投影マスク生成部５４は、投影プロジェクタ決定部５３による決定結果に基づいて各プロジェクタの投影マスクを生成する。投影マスク生成部５４により生成された投影マスクは投影画像処理部３２に供給され、光線の調整に用いられる。
　オーバーラップ光線検出部５２によるオーバーラップ光線検出と、投影プロジェクタ決定部５３によるプロジェクタの決定については後に詳述する。
　図４は、制御装置１のハードウェア構成例を示すブロック図である。
　制御装置１は、図４に示すような構成を有するコンピュータにより構成される。
　CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
　図２、図３に示す制御装置１の機能部のうちの少なくとも一部が、図４のCPU１０１により所定のプログラムが実行されることによって実現されることになる。
＜制御装置の動作＞
　ここで、以上のような構成を有する制御装置１の動作について説明する。
　はじめに、図５のフローチャートを参照して、投影制御部３３の投影マスク生成処理について説明する。
　以下においては、説明の便宜上、プロジェクタ＃０とプロジェクタ＃１の２台のプロジェクタを用いる場合について説明するが、プロジェクタの台数が増えた場合も同様の処理が行われる。
　ステップＳ１において、デプス算出部５１は、外部から入力された、各プロジェクタの内部パラメータと外部パラメータを取得する。
　ステップＳ２において、デプス算出部５１は、外部から入力された、投影対象の物体の3Dモデルデータと外部パラメータを取得する。
　ステップＳ３において、デプス算出部５１は、各プロジェクタの外部パラメータと、投影対象の物体の外部パラメータに基づいて、各プロジェクタと物体との相対的な姿勢の関係を推定する。また、デプス算出部５１は、推定した姿勢の関係などに基づいて、各プロジェクタを基準とした、投影対象の物体表面上の各位置までのデプスを算出する。デプス算出部５１により算出されたデプスを表すデプス情報はデプス情報バッファ５１Ａに記憶される。
　ステップＳ４において、オーバーラップ光線検出部５２は、各プロジェクタのデプス情報をデプス情報バッファ５１Ａから読み出すことによって取得する。
　ステップＳ５において、オーバーラップ光線検出部５２は、１つのプロジェクタに注目する。
　ステップＳ６において、オーバーラップ光線検出部５２は、注目するプロジェクタの投影画像の１つの画素に注目する。例えば左上端の画素から順に注目される。
　ステップＳ７において、オーバーラップ光線検出部５２はオーバーラップ光線検出処理を行う。オーバーラップ光線検出処理は、注目する画素の光線が、物体表面上において、他のプロジェクタの光線とオーバーラップしているか否かを判定する処理となる。
　ここで、図６のフローチャートを参照して、図５のステップＳ７において行われるオーバーラップ光線検出処理について説明する。
　ステップＳ３１において、オーバーラップ光線検出部５２は、注目する画素の光線追跡を行う。
　ステップＳ３２において、オーバーラップ光線検出部５２は、注目する画素の光線が、投影対象の物体の表面に衝突するか否かを判定する。この判定は、注目するプロジェクタのデプス情報を参照して行われる。
　注目する画素の光線が投影対象の物体の表面に衝突するとステップＳ３２において判定した場合、ステップＳ３３において、オーバーラップ光線検出部５２は、注目する画素の光線が衝突する物体表面上の点である衝突点Ｐ0を、他のプロジェクタの座標系の点Ｐ’0に変換する。
　プロジェクタ＃０が注目されている場合、衝突点Ｐ0は、プロジェクタ＃０を基準とした座標系の点となり、点Ｐ’0は、プロジェクタ＃１を基準とした座標系の点となる。
　ステップＳ３４において、オーバーラップ光線検出部５２は、点Ｐ’0の逆光線追跡を行い、プロジェクタ＃１を基準とした、衝突点Ｐ0に対応する点である点Ｐ1を算出する。点Ｐ’0の逆光線追跡は、プロジェクタ＃１のデプス情報を参照して行われる。
　ステップＳ３５において、オーバーラップ光線検出部５２は、点Ｐ’0と点Ｐ1が３次元空間上の同一の点であるか否かを判定する。
　点Ｐ’0と点Ｐ1が同一の点であるとステップＳ３５において判定した場合、ステップＳ３６において、オーバーラップ光線検出部５２は、衝突点Ｐ0を照射する、注目する画素の光線がオーバーラップ光線であると判定する。
　図７は、オーバーラップ光線検出の例を示す図である。
　図７の例においては、床面１５１上の略立方体の物体１５２が、投影対象の物体として示されている。
　物体１５２の形状が、3Dモデルデータに基づいて特定される。また、プロジェクタ＃０と物体１５２の姿勢の関係が、プロジェクタ＃０と物体１５２の外部パラメータに基づいて推定される。同様に、プロジェクタ＃１と物体１５２の姿勢の関係が、プロジェクタ＃１と物体１５２の外部パラメータに基づいて推定される。
　例えば、プロジェクタ＃０が注目されており、プロジェクタ＃０の投影画像の所定の画素の光線が、物体１５２の上面隅の点Ｐに衝突する場合、点Ｐが、プロジェクタ＃１の光線によって照射されるか否かが判定される。
　図８は、デプス情報の例を示す図である。
　図８のＡは、プロジェクタ＃０のデプス情報を表し、図８のＢは、プロジェクタ＃１のデプス情報を表す。
　図８のＡにおいて、物体１５２を表す立方体に色が付されていることは、プロジェクタ＃０を基準としたときに、物体１５２が床面１５１より近い位置にあることを表す。左上の黒丸が図７の点Ｐに対応する。
　点Ｐは、プロジェクタ＃０を基準とした座標系では衝突点Ｐ0として表される。衝突点Ｐ0は、プロジェクタ＃１を基準とした座標系の点Ｐ’0として変換される。座標系の変換は、例えば、プロジェクタ＃０，＃１のそれぞれと物体１５２との姿勢の関係に基づいて算出されるパラメータを用いて行われる。
　点Ｐ’0の逆光線追跡を行うことにより、プロジェクタ＃１を基準とした、衝突点Ｐ0に対応する点である点Ｐ1が算出される。図８のＢにおいて、物体１５２を表す立方体に色が付されていることは、プロジェクタ＃１を基準としたときに、物体１５２が床面１５１より近い位置にあることを表す。上方の黒丸が点Ｐ1に対応する。
　点Ｐ’0と点Ｐ1が３次元空間上で同一の点である場合、注目している画素の光線である、図７の点Ｐを照射するプロジェクタ＃０の光線が、オーバーラップ光線であると判定される。
　このように、注目する画素の光線がオーバーラップ光線であるとステップＳ３５において判定された後、図５のステップＳ７に戻り、それ以降の処理が行われる。
　注目する画素の光線が投影対象の物体の表面に衝突しないとステップＳ３２において判定された場合、または、点Ｐ’0と点Ｐ1が同一の点ではないとステップＳ３５において判定された場合も同様に、図５のステップＳ７に戻り、それ以降の処理が行われる。この場合、注目する画素の光線がオーバーラップ光線ではないと判定されたことになる。
　図５の説明に戻り、ステップＳ８において、投影プロジェクタ決定部５３は、オーバーラップ光線検出処理の結果に基づいて、注目する画素の光線が照射する物体表面上の位置を照射するプロジェクタを決定する。
　投影プロジェクタ決定部５３は、例えば、注目する画素の光線がオーバーラップ光線ではないと判定された場合、注目する画素の光線が照射する物体表面上の位置を照射するプロジェクタとして、注目しているプロジェクタを決定する。
　一方、投影プロジェクタ決定部５３は、注目する画素の光線がオーバーラップ光線であると判定された場合、オーバーラップ光線が照射する物体表面上の位置を照射するプロジェクタとして、プロジェクタ＃０とプロジェクタ＃１のうちのいずれかを決定する。
　具体的には、投影プロジェクタ決定部５３は、プロジェクタ＃０の光線の物体に対する入射角と、プロジェクタ＃１の光線の物体に対する入射角を計算し、入射角が小さい光線を照射するプロジェクタを決定する。３台以上のプロジェクタの光線がオーバーラップしている場合、入射角が最も小さい光線を照射するプロジェクタが決定される。
　図９は、プロジェクタの決定の例を示す図である。
　例えば、点Ｐを照射する直線矢印Ｌ０で示すプロジェクタ＃０の光線と、直線矢印Ｌ１で示すプロジェクタ＃１の光線とがオーバーラップする場合、プロジェクタ＃０の光線の入射角θp0と、プロジェクタ＃１の光線の入射角θp1が求められる。図９の例においては、入射角θp0の方が入射角θp1より小さい。この場合、点Ｐを照射するプロジェクタとしてプロジェクタ＃０が決定される。
　このようにして決定されたプロジェクタの情報が、投影プロジェクタ決定部５３から投影マスク生成部５４に供給される。
　図５のステップＳ９において、投影マスク生成部５４は、投影プロジェクタ決定部５３による決定を反映させることによって、各プロジェクタの投影マスクを更新する。
　例えば、図９に示すようにしてプロジェクタの決定が行われた場合、プロジェクタ＃０の投影マスクの、注目する画素のマスク値には１００％の値が設定される。また、プロジェクタ＃１の投影マスクの、点Ｐに対応する画素（光線が点Ｐを照射する画素）のマスク値には０％の値が設定される。
　図５のステップＳ１０において、オーバーラップ光線検出部５２は、注目するプロジェクタの投影画像を構成する全ての画素に注目したか否かを判定する。全ての画素に注目していないとステップＳ１０において判定された場合、ステップＳ６に戻り、注目する画素を切り替えて以上の処理が繰り返される。
　一方、注目するプロジェクタの投影画像を構成する全ての画素に注目したとステップＳ１０において判定した場合、ステップＳ１１において、オーバーラップ光線検出部５２は、全てのプロジェクタに注目したか否かを判定する。
　全てのプロジェクタに注目していないとステップＳ１１において判定した場合、ステップＳ１２において、オーバーラップ光線検出部５２は、注目するプロジェクタを他のプロジェクタに切り替える。その後、ステップＳ６に戻り、同様の処理が繰り返される。
　全てのプロジェクタに注目したとステップＳ１１において判定された場合、ステップＳ１３において、投影マスク生成部５４は、各プロジェクタの投影マスクを出力し、処理を終了させる。投影マスク生成部５４から出力された投影マスクは、投影画像処理部３２において各プロジェクタから照射させる光線の調整に用いられる。
　次に、図１０のフローチャートを参照して、投影画像処理部３２の投影処理について説明する。
　図１０の処理は、以上の処理が行われることによって投影マスクが生成された後に行われる。投影画像処理部３２に対しては各プロジェクタの投影画像のデータが入力される。
　ステップＳ５１において、投影画像処理部３２は、各プロジェクタの投影画像の各画素の光線の強度を、各プロジェクタの投影マスクを用いて調整する。
　例えば、図９を参照して説明したようにして、点Ｐに光線を照射するプロジェクタとしてプロジェクタ＃０が決定された場合、点Ｐを照射するプロジェクタ＃０の光線は、強度が１００％になるように、プロジェクタ＃０の投影マスクに基づいて調整される。また、点Ｐを照射するプロジェクタ＃１の光線は、強度が０％になるように、プロジェクタ＃１の投影マスクに基づいて調整される。
　ステップＳ５２において、投影画像処理部３２は、各プロジェクタを制御し、調整後の強度の光線を用いて投影画像を投影させる。
　以上の処理が、投影画像の投影が行われている間、繰り返される。投影画像の投影が終了した場合、図１０の処理は終了となる。
　図１１は、投影マスクを用いた投影の例を示す図である。
　例えば、物体１５２の上面１５２Ａの全体が、プロジェクタ＃０の投影範囲とプロジェクタ＃１の投影範囲が重畳するオーバーラップ領域であるものとする。プロジェクタ＃０が上面１５２Ａの各位置を照射するそれぞれの光線と、プロジェクタ＃１が上面１５２Ａの各位置を照射するそれぞれの光線はオーバーラップ光線となる。
　この場合、プロジェクタ＃０の投影マスクのマスク値のうち、破線Ｌ１１で示す上面１５２Ａの左側に光線を照射する画素のマスク値には１００％の値が設定され、上面１５２Ａの右側に光線を照射する画素のマスク値には０％の値が設定される。
　このような投影マスクに基づいてプロジェクタ＃０の投影画像の各画素の光線の強度が調整されることにより、図１１の下段に一点鎖線で示すように、上面１５２Ａの左側にはプロジェクタ＃０の光線だけが照射される。プロジェクタ＃０が投影する画像によって、上面１５２Ａの左側のテクスチャが表現される。
　図１１の下段のグラフにおいて、横軸が上面１５２Ａ上の位置を表し、縦軸がマスク値（光線の強度）を表す。
　一方、プロジェクタ＃１の投影マスクのマスク値のうち、破線Ｌ１１で示す上面１５２Ａの右側に光線を照射する画素のマスク値には１００％の値が設定され、上面１５２Ａの左側に光線を照射する画素のマスク値には０％の値が設定される。
　このような投影マスクに基づいてプロジェクタ＃１の投影画像の各画素の光線の強度が調整されることにより、図１１の下段に実線で示すように、上面１５２Ａの右側には、プロジェクタ＃１の光線だけが照射される。プロジェクタ＃１が投影する画像によって、上面１５２Ａの右側のテクスチャが表現される。
　以上のように、オーバーラップ領域を検出し、オーバーラップ領域の画像については例えば１台のプロジェクタから投影が行われるようにすることにより、物体表面上におけるテクスチャ画像の解像度の低下を軽減することが可能になる。また、明るさの均一化を図ることが可能になる。
　仮に、図１２に示すように平面に画像を投影する場合、プロジェクタ＃０の投影領域とプロジェクタ＃１の投影領域とを特定できれば、破線Ｌ２１で表される中間位置に境界を設定し、上述したような二値からなるマスク値を容易に設定することが可能となる。画像の投影対象が立体的な物体であることから、光線追跡を行い、各画素の光線が物体表面に衝突するか否かなどを判定する必要があることになる。
　図１２において、台形状で表される領域Ａ０がプロジェクタ＃０の投影領域であり、領域Ａ１がプロジェクタ＃１の投影領域である。
＜変形例＞
　画像を投影しているプロジェクタの切り替わりを目立ちにくくするため、オーバーラップ領域の投影が、２台のプロジェクタを用いて行われるようにしてもよい。
　この場合、２台のプロジェクタによって重畳して投影を行うオーバーラップ領域のマスク値は、例えば０～１００％の範囲の連続値として変化するように設定される。
　図１３は、オーバーラップ領域のマスク値の例を示す図である。
　図１３の例においては、図１１の破線Ｌ１１の位置を挟む、位置ｐ２１から位置ｐ２２までの領域がオーバーラップ領域として設定されている。
　オーバーラップ領域に対応するプロジェクタ＃０のマスク値は、位置ｐ２１から位置ｐ２２に向かうにつれて１００％から０％に徐々に下がるように設定される。また、オーバーラップ領域に対応するプロジェクタ＃１のマスク値は、位置ｐ２２から位置ｐ２１に向かうにつれて１００％から０％に徐々に下がるように設定される。
　ソフトウェアの処理によってオーバーラップ領域が検出されるものとしたが、実空間において各プロジェクタから投影した画像をカメラによって撮像し、撮像して得られた画像に基づいてオーバーラップ領域が検出されるようにしてもよい。
　プロジェクタとは別の筐体の装置として制御装置１が用意されるものとしたが、複数のプロジェクタのうちのいずれかに、制御装置１の上述した機能が搭載されるようにしてもよい。
　複数のプロジェクタのそれぞれと制御装置１が有線または無線を介して接続されるものとしたが、インターネットを介して接続されるようにしてもよい。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図４に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部を備える
　情報処理装置。
（２）
　前記生成部は、前記所定の位置を１つの前記プロジェクタから照射することを表す情報を含む前記マスク情報を生成する
　前記（１）に記載の情報処理装置。
（３）
　前記所定の位置を照射する１つの前記プロジェクタを、それぞれの前記プロジェクタが前記所定の位置を照射する光線の角度に基づいて決定する決定部をさらに備える
　前記（２）に記載の情報処理装置。
（４）
　前記決定部は、前記所定の位置に光線を照射する複数の前記プロジェクタのうち、前記所定の位置に対する入射角が最も小さい光線を照射する前記プロジェクタを、前記所定の位置を照射する１つの前記プロジェクタとして決定する
　前記（３）に記載の情報処理装置。
（５）
　前記生成部は、前記所定の位置を照射する前記プロジェクタ用の前記マスク情報として、前記所定の位置を最大の強度で照射することを表す情報を含む前記マスク情報を生成し、前記所定の位置を照射しない前記プロジェクタ用の前記マスク情報として、前記所定の位置を照射しないことを表す情報を含む前記マスク情報を生成する
　前記（３）または（４）に記載の情報処理装置。
（６）
　複数の前記プロジェクタの投影光の光線追跡を行うことによって前記重畳光線を検出する検出部をさらに備える
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記検出部は、複数の前記プロジェクタの内部パラメータ、前記プロジェクタと前記物体との姿勢に関する情報、および、前記物体のモデルデータに基づいて、前記重畳光線を検出する
　前記（６）に記載の情報処理装置。
（８）
　情報処理装置が、
　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
　情報処理方法。
（９）
　コンピュータに、
　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
　処理を実行させるためのプログラム。
（１０）
　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える
　情報処理装置。
（１１）
　情報処理装置が、
　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
　それぞれの前記プロジェクタから前記投影画像を投影させる
　情報処理方法。
（１２）
　コンピュータに、
　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
　それぞれの前記プロジェクタから前記投影画像を投影させる
　処理を実行させるためのプログラム。
　１　制御装置，　３１　撮像画像処理部，　３２　投影画像処理部，　３３　投影制御部，　５１　デプス算出部，　５２　オーバーラップ光線検出部，　５３　投影プロジェクタ決定部，　５４　投影マスク生成部

Claims (12)

  1. 　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部を備える
    　情報処理装置。
  2. 　前記生成部は、前記所定の位置を１つの前記プロジェクタから照射することを表す情報を含む前記マスク情報を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記所定の位置を照射する１つの前記プロジェクタを、それぞれの前記プロジェクタが前記所定の位置を照射する光線の角度に基づいて決定する決定部をさらに備える
    　請求項２に記載の情報処理装置。
  4. 　前記決定部は、前記所定の位置に光線を照射する複数の前記プロジェクタのうち、前記所定の位置に対する入射角が最も小さい光線を照射する前記プロジェクタを、前記所定の位置を照射する１つの前記プロジェクタとして決定する
    　請求項３に記載の情報処理装置。
  5. 　前記生成部は、前記所定の位置を照射する前記プロジェクタ用の前記マスク情報として、前記所定の位置を最大の強度で照射することを表す情報を含む前記マスク情報を生成し、前記所定の位置を照射しない前記プロジェクタ用の前記マスク情報として、前記所定の位置を照射しないことを表す情報を含む前記マスク情報を生成する
    　請求項３に記載の情報処理装置。
  6. 　複数の前記プロジェクタの投影光の光線追跡を行うことによって前記重畳光線を検出する検出部をさらに備える
    　請求項１に記載の情報処理装置。
  7. 　前記検出部は、複数の前記プロジェクタの内部パラメータ、前記プロジェクタと前記物体との姿勢に関する情報、および、前記物体のモデルデータに基づいて、前記重畳光線を検出する
    　請求項６に記載の情報処理装置。
  8. 　情報処理装置が、
    　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
    　情報処理方法。
  9. 　コンピュータに、
    　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
    　処理を実行させるためのプログラム。
  10. 　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える
    　情報処理装置。
  11. 　情報処理装置が、
    　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
    　それぞれの前記プロジェクタから前記投影画像を投影させる
    　情報処理方法。
  12. 　コンピュータに、
    　複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
    　それぞれの前記プロジェクタから前記投影画像を投影させる
    　処理を実行させるためのプログラム。
PCT/JP2019/006201 2018-03-06 2019-02-20 情報処理装置、情報処理方法、およびプログラム WO2019171943A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/976,691 US11134232B2 (en) 2018-03-06 2019-02-20 Information processing apparatus, information processing method, and program
JP2020504904A JPWO2019171943A1 (ja) 2018-03-06 2019-02-20 情報処理装置、情報処理方法、およびプログラム
CN201980016073.0A CN111788826B (zh) 2018-03-06 2019-02-20 信息处理装置、信息处理方法和存储介质
EP19764645.8A EP3764638A4 (en) 2018-03-06 2019-02-20 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018039312 2018-03-06
JP2018-039312 2018-03-06

Publications (1)

Publication Number Publication Date
WO2019171943A1 true WO2019171943A1 (ja) 2019-09-12

Family

ID=67846752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006201 WO2019171943A1 (ja) 2018-03-06 2019-02-20 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11134232B2 (ja)
EP (1) EP3764638A4 (ja)
JP (1) JPWO2019171943A1 (ja)
CN (1) CN111788826B (ja)
WO (1) WO2019171943A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257609A (ja) 2010-06-09 2011-12-22 Nippon Telegr & Teleph Corp <Ntt> 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2017050689A (ja) * 2015-09-01 2017-03-09 富士通株式会社 画像投影装置および画像投影方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1327179A4 (en) * 2000-06-13 2007-11-28 Panoram Technologies Inc METHOD AND DEVICE FOR INTEGRATING MULTIPLE PROJECTORS
JP2002298395A (ja) * 2001-03-30 2002-10-11 Nihon University トラッキングエラー検出方法及び装置
JP4570839B2 (ja) * 2002-09-17 2010-10-27 株式会社リコー 光学式座標入力装置及び光学式座標入力方法
CN101116049A (zh) * 2005-02-10 2008-01-30 有限会社策划设计工程 指示器光跟踪方法、程序及其记录媒体
JP2008004250A (ja) * 2006-05-24 2008-01-10 Sony Corp 光ディスク装置及び光ピックアップ
US7936361B2 (en) * 2007-04-30 2011-05-03 Hewlett-Packard Development Company, L.P. System and method for masking and overlaying images in multiple projector system
JP5278890B2 (ja) * 2007-11-15 2013-09-04 独立行政法人情報通信研究機構 光捕捉追尾装置
CN101718529B (zh) * 2009-11-30 2011-06-08 重庆大学 多光束形变检测装置及其使用方法
FR2969319A1 (fr) * 2010-12-20 2012-06-22 Optinnova Dispositif de video-projection interactif autocalibre
JP2015125705A (ja) * 2013-12-27 2015-07-06 船井電機株式会社 画像表示装置
CN106200217B (zh) * 2015-05-04 2019-02-05 深圳光峰科技股份有限公司 拼接投影显示系统一致性校正方法及装置
US9693049B2 (en) 2015-08-28 2017-06-27 Christie Digital Systems Usa, Inc. Projection mapping video pipeline

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257609A (ja) 2010-06-09 2011-12-22 Nippon Telegr & Teleph Corp <Ntt> 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2017050689A (ja) * 2015-09-01 2017-03-09 富士通株式会社 画像投影装置および画像投影方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3764638A4

Also Published As

Publication number Publication date
US11134232B2 (en) 2021-09-28
CN111788826B (zh) 2023-07-04
JPWO2019171943A1 (ja) 2021-03-04
CN111788826A (zh) 2020-10-16
US20210051303A1 (en) 2021-02-18
EP3764638A1 (en) 2021-01-13
EP3764638A4 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
JP6798491B2 (ja) 情報処理装置および方法、並びにプログラム
US10529060B2 (en) Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein
KR101766603B1 (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램
JP6030396B2 (ja) 映像処理装置
US9323138B2 (en) Image output device, image output method, and program
US20180164670A1 (en) Information processing apparatus and method, and projection imaging apparatus and information processing method
JP2016075658A (ja) 情報処理システムおよび情報処理方法
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
JP2016180708A (ja) 距離計測装置、距離計測方法、およびプログラム
CN106651903B (zh) 一种运动物体检测方法
US9654748B2 (en) Projection device, and projection method
WO2019203002A1 (ja) 情報処理装置および方法
JP2017032280A (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
WO2019171943A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016072691A (ja) 画像処理装置及びその制御方法、プログラム
US11143499B2 (en) Three-dimensional information generating device and method capable of self-calibration
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
JP2008085748A (ja) 画像投影表示装置
US10091404B2 (en) Illumination apparatus, imaging system, and illumination method
JP5413502B2 (ja) ハレーションシミュレーション方法、装置、及びプログラム
WO2019244667A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020218028A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像処理システム
WO2020184173A1 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2019009100A1 (ja) 制御装置、制御方法、およびプログラム
US20230388637A1 (en) Image capturing apparatus, information processing apparatus, control method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764645

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020504904

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019764645

Country of ref document: EP

Effective date: 20201006