WO2019012774A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019012774A1
WO2019012774A1 PCT/JP2018/015872 JP2018015872W WO2019012774A1 WO 2019012774 A1 WO2019012774 A1 WO 2019012774A1 JP 2018015872 W JP2018015872 W JP 2018015872W WO 2019012774 A1 WO2019012774 A1 WO 2019012774A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
projector
arrangement
projection
evaluation value
Prior art date
Application number
PCT/JP2018/015872
Other languages
English (en)
French (fr)
Inventor
小林 直樹
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18832009.7A priority Critical patent/EP3654638A4/en
Priority to JP2019529453A priority patent/JPWO2019012774A1/ja
Priority to CN201880045538.0A priority patent/CN110892713B/zh
Priority to KR1020197036002A priority patent/KR20200028331A/ko
Priority to US16/621,947 priority patent/US11082670B2/en
Publication of WO2019012774A1 publication Critical patent/WO2019012774A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/145Housing details, e.g. position adjustments thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00Testing correct operation of photographic apparatus or parts thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • the present disclosure proposes a new and improved information processing apparatus, an information processing method, and a program that can reduce the burden on the layout design of the projector.
  • an information processing apparatus including a placement control unit that outputs projector placement information regarding the placement of the projector based on a projection condition regarding projection by a projector.
  • an information processing method including: a processor outputting projector arrangement information on arrangement of the projector based on a projection condition on projection by a projector.
  • a program for causing a computer to realize a function in which a processor outputs projector arrangement information related to the arrangement of the projector based on a projection condition regarding projection by a projector.
  • It is explanatory drawing which shows an example of the visualization screen which the display control part 15 which concerns on the embodiment displays on the display part 40, and which contains a projection state.
  • It is a flowchart figure which shows the whole operation
  • FIG. 14 is a flowchart showing the overall operation of the information processing apparatus 1-2 according to the embodiment; It is a flowchart figure which shows the flow of the automatic design process of camera arrangement
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different alphabets to the same reference numerals.
  • the same reference numerals when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals will be given.
  • FIG. 1 is an explanatory diagram for describing a schematic configuration of a projection system 1000 according to the first embodiment of the present disclosure.
  • a projection system 1000 according to the present embodiment includes an information processing apparatus 1, a projection control apparatus 3, a communication network 5, projectors 7A to 7D, and a screen 9.
  • the viewer H shown in FIG. 1 views the projected images P11 to P14 projected on the screen 9 by the projectors 7A to 7D.
  • an image is used as a representation including not only a still image but also a moving image.
  • the projection image means an image in a state of being projected on the screen 9.
  • the information processing apparatus 1 outputs (transmits) projector arrangement information on the arrangement of the projectors 7A to 7D to the projection control apparatus 3.
  • the detailed configuration of the information processing apparatus 1 will be described later with reference to FIG.
  • the projection control device 3 is an information processing device that transmits an input image to the projectors 7A to 7D.
  • the projection control device 3 may perform correction processing and the like based on the projector layout information received from the information processing device 1, and generate an input image to be transmitted to the projectors 7A to 7D.
  • the projection control device 3 generates an input image in which the projected images P11 to P14 projected by the projectors 7A to 7D are naturally connected on the screen 9 and viewed by the viewer H as one image. It may be sent to 7A to 7D.
  • the communication network 5 is a wired or wireless transmission path of information transmitted from a device or system connected to the communication network 5.
  • the communication network 5 may include the Internet, a public network such as a telephone network, a satellite communication network, or various LANs (Local Area Networks) including Ethernet (registered trademark), WAN (Wide Area Network), etc. .
  • the communication network 5 may also include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the projectors 7A to 7D project the projected images P11 to P14 on the screen 9 (projected destination) based on the input images received from the projection control device 3.
  • the projectors 7A to 7D may be arranged according to the projector arrangement information.
  • FIG. 1 shows an example in which the projection system 1000 includes four projectors 7A to 7D, the number of projectors included in the projection system 1000 is not limited to such an example. Hereinafter, when the number of projectors is not limited, the projector 7 may be called.
  • the screen 9 is a projection destination (projection plane) of the projection by the projector 7.
  • FIG. 1 shows an example in which the screen 9 is a curved screen, the shape of the screen 9 is not limited to this example, and the screen 9 may be a flat screen or a dome-shaped screen. Good.
  • the positions of the projected images P11 to P14 projected on the screen 9 may be positions that the viewer H can not easily see. Further, depending on the arrangement of the projectors 7, the projection control device 3 can not generate an appropriate input image, and the projection images P11 to P14 may not be naturally connected on the screen 9.
  • a user In order to properly arrange a projector, a user (designer) has conventionally designed the arrangement of the projector manually based on past experience. However, it has been difficult for a user with little experience in designing a projector layout to design an appropriate projector layout. In addition, even if the user has experience in designing the layout of a projector, the burden of design work is large, and in particular when there are a large number of projectors or when the projection conditions for projection are complicated, design of the appropriate layout of the projector is required. There was a risk that it would be difficult to do.
  • the information processing apparatus 1 can reduce the burden on the user by automatically designing the arrangement of the projectors and outputting the projector arrangement information based on the projection conditions regarding the projection by the projector 7. is there.
  • the configuration of the information processing apparatus 1 for achieving such an effect will be described in detail.
  • FIG. 2 is a block diagram showing an exemplary configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 according to the present embodiment includes a control unit 10, a communication unit 20, an input unit 30, a display unit 40, and a storage unit 50, as shown in FIG.
  • the control unit 10 controls each component of the information processing apparatus 1. Further, as shown in FIG. 2, the control unit 10 also functions as the receiving unit 11, the placement control unit 13, and the display control unit 15.
  • the receiving unit 11 receives an input of the user via the input unit 30 described later.
  • the receiving unit 11 according to the present embodiment receives the projection conditions related to the projection by the projector 7 and outputs the projection conditions to the arrangement control unit 13.
  • the projection conditions received by the reception unit 11 may include a plurality of projection condition parameters.
  • the projection conditions include, for example, projection condition parameters such as screen shape information, desired projection range information, projector specification information, usable projector number information, projector allocable range information, desired projection resolution information, desired projection luminance information and viewing position information. May be included.
  • the screen shape information is information indicating the shape of a screen to be a projection target (projection plane) such as the screen 9 shown in FIG. 1, for example.
  • the desired projection range information is information indicating a projection range (desired projection range) desired by the user. For example, part or all of the screen 9 may be selected as the desired projection range.
  • the desired projection range is a projection range that the user desires to be at least covered (projected) by the projector 7. Therefore, even if the projector 7 also projects outside the desired projection range while covering the desired projection range, it is considered that the user's wishes are satisfied.
  • the projector specification information is information on the specification of the projector 7.
  • the projector specification information may include, for example, information such as the size of the projector 7, brightness, the number of projected pixels, the zoom movable range, and the shift movable range.
  • the usable projector number information is information on the number of usable projectors.
  • the usable projector number information may be, for example, information on the number of projectors 7 included in the projection system 1000. Further, the usable projector number information may be information of an upper limit value, a lower limit value, or a combination thereof of the number of usable projectors.
  • the projector arrangeable range information is information indicating a range in which the projector 7 can be arranged.
  • the desired projection resolution information is information indicating a lower limit value desired by the user regarding the resolution (pixel density) in the above-described desired projection range among the projection images projected on the screen 9. That is, if the minimum value of the resolution within the desired projection range among the projection images on the screen 9 is equal to or more than the lower limit value, it is considered that the user's request is satisfied.
  • the desired projection resolution information may be designated, for example, in the form of the number of pixels of the projected image per unit area on the screen 9, or the projected image per unit angle when the screen 9 is viewed from the viewing position. It may be specified in the form of the number of pixels.
  • the desired projection brightness information is information indicating a lower limit value desired by the user regarding the brightness in the above-described desired projection range among the projection images projected on the screen 9. That is, if the lowest value of the luminance within the desired projection range of the projection image on the screen 9 is equal to or more than the lower limit value, it is considered that the user's request is satisfied.
  • the viewing position information is information indicating the assumed position of the viewer.
  • the viewing position information may be information indicating the position of one point, or information indicating a range in which the viewer may exist.
  • the receiving unit 11 receives the projection condition parameters described above based on the input of the user via the input unit 30.
  • the projection condition parameters described above may be received by a direct input of the user, or the projection condition parameters may be received by the user selecting from options prepared in advance regarding the projection condition parameters.
  • options regarding the projection condition parameters may be stored in, for example, the storage unit 50, or may be acquired from another device (not shown) via the communication unit 20.
  • the receiving unit 11 may receive the projection conditions including at least a part of the projection condition parameters among the above-described projection condition parameters. That is, all of the projection condition parameters described above may not be designated.
  • the receiving unit 11 receives the change relating to the projection condition parameter described above and the additional projection condition parameter based on the input of the user via the input unit 30. For example, as described later, when the projection state obtained by the simulation based on the projector layout information is displayed on the display unit 40 as described later, even if the change regarding the projection condition parameter or the additional projection condition parameter is received. Good.
  • the layout control unit 13 automatically designs the layout of the projectors 7 based on the projection conditions received by the reception unit 11 and outputs projector layout information on the designed layout of the projectors 7.
  • “output the projector arrangement information” means outputting the projector arrangement information to the display control unit 15, outputting the projector arrangement information to the storage unit 50, and the other through the communication unit 20. Outputting the projector arrangement information to the device.
  • the arrangement control unit 13 functions as an initial arrangement information generation unit 131, an evaluation unit 133, an arrangement information update unit 135, and an arrangement information output control unit 137, as shown in FIG.
  • the initial arrangement information generation unit 131 generates projector arrangement information based on the projection conditions.
  • the projector layout information generated by the initial layout information generation unit 131 may include, for example, information on the number of projectors 7, the position of each projector 7, the orientation, the zoom ratio, and the shift amount.
  • the number of projectors 7, the positions and orientations of the respective projectors 7, the zoom factor, and the shift amount may be collectively referred to as projector arrangement parameters.
  • the projector layout information generated by the initial layout information generation unit 131 is so-called temporary projector layout information, and may not satisfy all the projection conditions described above.
  • the initial arrangement information generation unit 131 is configured to satisfy the conditions related to a part of projection condition parameters (for example, screen shape information, usable projector number information, projector specification information, and projector arrangement possible range information) among the projection conditions.
  • a projector may be arranged.
  • the initial arrangement information generation unit 131 may generate projector arrangement information in which the projectors 7 are randomly arranged within the projector arrangement possible range.
  • the initial arrangement information generation unit 131 may generate projector arrangement information in which the projector 7 is arranged at a position according to a predetermined rule (for example, a position facing the screen 9).
  • the projector arrangement information generated by the initial arrangement information generation unit 131 is provided to the evaluation unit 133.
  • the evaluation unit 133 evaluates the projector arrangement information based on the projection condition and specifies an evaluation value related to the projector arrangement information.
  • the evaluation unit 133 evaluates the evaluation value of the projector arrangement information so that the evaluation value of the projector arrangement information becomes a predetermined value when all the projection conditions are satisfied when the projector 7 is arranged according to the projector arrangement information. It may be specified.
  • the evaluation unit 133 may specify an evaluation value related to the projector arrangement information such that the evaluation value related to the projector arrangement information increases as the projection condition is closer to the state of satisfaction,
  • the predetermined value is the maximum value that the evaluation value can take.
  • the evaluation unit 133 may specify an evaluation value related to the projector arrangement information further based on projection state information obtained by simulation using a part of projection condition parameters of the projection conditions and the projector arrangement information. For example, among the projection conditions, screen shape information, projector specification information, and viewing position information may be used for such simulation. Moreover, such simulation may be performed by the evaluation unit 133 or may be performed by another functional block.
  • the projection state information is information indicating a simulation result obtained by performing a simulation on a state where the projector 7 projects onto the screen 9 when the projector 7 is arranged according to the projector arrangement information.
  • the projection state information may include, for example, information indicating a simulation result on the resolution of the projection image projected onto the screen 9 by the projector 7, and the evaluation unit 133 evaluates the evaluation value E related to the resolution of the projection image based on the simulation result.
  • You may specify Pr .
  • the evaluation unit 133 may specify the evaluation value E Pr by evaluating the simulation result based on the desired projection range information and the desired projection resolution information included in the projection conditions.
  • the evaluation unit 133 specifies the lowest resolution in the desired projection range in the projection image based on the simulation result, and specifies the evaluation value E Pr such that the evaluation value E Pr becomes larger as the lowest resolution is higher. May be When there is an area which is not covered (projected) by the projector 7 in the desired projection range, the lowest resolution is zero.
  • the projection state information may include, for example, information indicating a simulation result on the luminance of the projection image projected onto the screen 9 by the projector 7, and the evaluation unit 133 evaluates the evaluation value E related to the luminance of the projection image based on the simulation result.
  • You may specify Pb .
  • the evaluation unit 133 may specify the evaluation value E Pb by evaluating the simulation result based on the desired projection range information and the desired projection luminance information included in the projection conditions.
  • the evaluation unit 133 specifies the lowest luminance in the desired projection range of the projection image based on the simulation result, and specifies the evaluation value E Pb such that the evaluation value E Pb becomes larger as the lowest luminance is higher. May be When there is an area which is not covered (projected) by the projector 7 in the desired projection range, the minimum luminance is zero.
  • the evaluation unit 133, the evaluation value E Pb when the lowest luminance identified is equal to or greater than the desired projection brightness may specify the evaluation value E Pb to be the maximum value E Pb '.
  • the projection state information may include, for example, information indicating a simulation result on intersection of a light beam projected from the projector 7 and an object other than the screen 9 (projection plane), and the evaluation unit 133 determines based on the simulation result.
  • the evaluation value E Pc related to the intersection may be specified.
  • An object other than the screen 9 that may intersect the light beam projected from the projector 7 may include, for example, the projector 7 other than the projector 7 that projects the light beam, and a viewer present at the viewing position.
  • the simulation about the intersection of the light ray projected from the projector 7 and these objects may be performed based on the projector specification information included in the projection condition and the viewing position information.
  • the evaluation unit 133 evaluates the evaluation value E Pc to be smaller as the intersection area between the light beam projected from the projector 7 and an object other than the screen 9 (projection plane) is larger. You may specify E Pc .
  • the evaluation unit 133, evaluation value E Pc when the intersection region is not present may specify the evaluation value E Pc to a maximum value E Pc '.
  • Evaluation unit 133 evaluation value E Pr described above, the evaluation value E Pb, and evaluation value E Pc, in combination, may specify the evaluation value E P of the projector arrangement information.
  • the evaluation unit 133 may identify the evaluation value E P by the following equation (1).
  • E P w Pr E Pr + w Pb E Pb + w Pc E Pc (1)
  • Equation (1) w Pr , w Pb and w Pc are predetermined weighting coefficients for the evaluation value E Pr , the evaluation value E Pb and the evaluation value E Pc , respectively, and the influence of each evaluation value Used to balance the
  • the evaluation value E P according to the projector arrangement information is consistent with the following equation (2) a predetermined maximum value represented by E P '.
  • E P ' w Pr E Pr ' + w Pb E Pb '+ w Pc E Pc ' (2)
  • the layout information updating unit 135 updates the projector layout information so that the conditions related to the screen shape information, the available projector number information, the projector specification information, and the layout possible range information are satisfied among the projection conditions. It is also good.
  • the layout information updating unit 135 changes any one of the projector layout parameters (the number of projectors 7, the position and orientation of each projector 7, the zoom ratio, and the shift amount) included in the projector layout information.
  • New projector layout information may be generated.
  • Allocation information updating unit 135, by performing nonlinear optimization on the evaluation value E P, so that the difference between the evaluation value E P and a predetermined maximum value E P 'is smaller, by performing an update of the projector arrangement information It is also good. For example, as the difference between the evaluation value E P and a predetermined maximum value E P 'by repeating the comparison of the generated evaluation value of the projector arrangement parameter becomes smaller, it is possible to update the projector arrangement information. An example will be described below.
  • the arrangement information updating unit 135 selects any one of the projector arrangement parameters included in the first projector arrangement information, and finely selects the selected parameter in a certain direction (for example, an increase direction or a decrease direction). To generate second projector layout information.
  • the allocation information updating unit 135 compares the second evaluation value E P of the first evaluation value E P and the second projector arrangement information according to the first projector arrangement information specified by the evaluation unit 133 .
  • allocation information updating unit 135, among the projector arrangement parameters included in the second projector arrangement information preceding the parameters previously selected The third projector layout information is generated by minutely changing in the changed direction.
  • the arrangement information updating unit 135 minutely changes the previously selected parameter in a direction different from the previously changed direction, Projector layout information may be generated.
  • the allocation information updating unit 135 compares the third evaluation value E P of the second evaluation value E P and the third projector arrangement information according to the second projector arrangement information specified by the evaluation unit 133 . Then, in accordance with the comparison result, the projector arrangement parameter included in the third projector arrangement information is changed to generate new projector arrangement information. As described above, by repeating the comparison of the evaluation value and generation of a new projector placement parameters, allocation information updating unit 135, as the difference between the evaluation value E P and the maximum value E P 'becomes smaller, the projector Deployment information can be updated.
  • the arrangement information update unit 135 sequentially updates the projector arrangement information.
  • the arrangement information update unit 135 prepares a plurality of projector arrangement information at the same time, and performs optimization by a genetic algorithm. You can also do In genetic algorithms, genetic manipulations such as selection, crossover and mutation are performed.
  • Selection is a genetic manipulation that models the natural selection of organisms.
  • the selection in the present embodiment may be an operation of increasing or deleting the projector layout information based on the evaluation value.
  • crossover is a genetic manipulation that models partial exchange of chromosomes in mating of organisms.
  • the crossover in the present embodiment may be an operation in which the projector arrangement parameter is regarded as a gene, and part of the projector arrangement parameters included in the plurality of projector arrangement information may be replaced.
  • mutations are genetic manipulations that model mutations in genes found in organisms.
  • the mutation in the present embodiment may be an operation that regards the projector arrangement parameter as a gene and changes a part of the projector arrangement parameter included in the projector arrangement information.
  • the layout information updating unit 135 may update the projector layout information by the above-described genetic operation. With such a configuration, allocation information updating unit 135, without falling into local optima, it is possible to evaluate value E P is obtained a projector arrangement information so as to match the predetermined maximum value E P '.
  • the layout information output control unit 137 controls the output of the projector layout information.
  • the arrangement information output control section 137 when the evaluation value E P is determined by the placement information updating unit 135 and matches the predetermined maximum value E P ', outputs the projector arrangement information related to the evaluation value E P You may With such a configuration, projector arrangement information that satisfies all the projection conditions is output.
  • the arrangement information output control unit 137 may output the projector arrangement information to the display control unit 15. Further, the arrangement information output control unit 137 may output the projector arrangement information to another device (for example, the projection control device 3 shown in FIG. 1) via the communication unit 20. Further, the arrangement information output control unit 137 may output the projector arrangement information to the storage unit 50 (in other words, the projector arrangement information may be stored in the storage unit 50).
  • the arrangement information output controlling section 137 when the evaluation value E P is equal to a predetermined maximum value E P ', and the user is satisfied with the projector arrangement information related to the evaluation value E P, via the communication unit 20
  • the projector arrangement information may be output to another device.
  • the projector arrangement information may be output to 50.
  • the information the user is whether satisfied with the projector arrangement information related to the evaluation value E P, the user who confirmed the display of the display unit 40 based on the projector arrangement information (described below) is input via the input unit 30 It may be determined based on
  • projector layout information that satisfies all the projection conditions and is satisfied by the user is output to the other device or the storage unit 50 as the finally obtained (designed) projector layout information.
  • the display control unit 15 controls the display unit 40 to display various screens on the display unit 40.
  • the display control unit 15 may display the projection state obtained by simulation based on the projector arrangement information output from the arrangement control unit 13.
  • the display control unit 15 may display a visualization screen in which the projection state is visualized. Note that such simulation and visualization may be performed by the display control unit 15, or may be performed by another functional block.
  • FIG. 3 is an explanatory view showing an example of a visualization screen including a projection state, which the display control unit 15 causes the display unit 40 to display.
  • the projected image V21 on the screen V20 (corresponding to the screen 9 shown in FIG. 1) by the projectors V11 to V14 (each corresponding to the projectors 7A to 7D shown in FIG. 1) to V24 (the projected images P11 to P14 respectively shown in FIG. 1) are included.
  • the visualization screen G1 also includes a desired projection range V26. Such a configuration allows the user to confirm that the desired projection range is sufficiently covered (projected).
  • the brightness of the projected images V21 to V24 on the screen V20 may correspond to the brightness simulated based on the projection conditions and the projector arrangement information. Such a configuration allows the user to confirm the brightness of the projected image.
  • the visualization screen G1 displayed by the display control unit 15 includes the viewer V30 (corresponding to the viewer H shown in FIG. 1). With such a configuration, the user can grasp the movable range of the viewer.
  • the screen displayed by the display control unit 15 is not limited to the example illustrated in FIG. 3, and the display control unit 15 may not display the information related to the projection state (for example, the above-described information such as the minimum resolution, the minimum It may be displayed by text.
  • the display control unit 15 may not display the information related to the projection state (for example, the above-described information such as the minimum resolution, the minimum It may be displayed by text.
  • the communication unit 20 is a communication interface which is controlled by the control unit 10 and mediates communication with another device.
  • the communication unit 20 supports any wireless communication protocol or wired communication protocol, and establishes a communication connection with another device via the communication network 5 shown in FIG. 1, for example.
  • the communication unit 20 is controlled by the arrangement information output control unit 137 to transmit (output) the projector arrangement information to the projection control device 3 shown in FIG.
  • the input unit 30 provides the control unit 10 with user input.
  • the user may operate the input unit 30 to perform an input regarding projection conditions and an input for selecting whether or not the projector arrangement information is satisfied.
  • the display unit 40 is a display which displays various screens under the control of the display control unit 15 described above.
  • the display unit 40 may display the visualization screen described above.
  • the storage unit 50 stores programs and parameters for each component of the information processing apparatus 1 to function.
  • the storage unit 50 may store the projector layout information output by the layout control unit 13.
  • each function of the control unit 10 according to the present embodiment may be included in another information processing apparatus connected via the communication unit 20.
  • the receiving unit 11 when the receiving unit 11 is included in another information processing apparatus, the projection conditions received by the other information processing apparatus may be provided to the information processing apparatus 1 via the communication unit 20.
  • FIG. 4 is a flowchart showing the overall operation of the information processing apparatus 1 according to the present embodiment. As shown in FIG. 4, first, the receiving unit 11 receives the projection condition based on the user's input through the input unit 30 (S10).
  • step S11 the placement control unit 13 automatically designs the projector placement (S11). Note that the process of step S11 (automatic design process of the projector arrangement) will be described later in detail with reference to FIG.
  • the display control unit 15 causes the display unit 40 to display a screen including a projection state obtained by simulation based on the projector arrangement information output from the arrangement control unit 13. Display (S12).
  • the user who has confirmed the screen including the projection state displayed on the display unit 40 in step S12 operates the input unit 30 and selects whether the user is satisfied (S13).
  • the receiving unit 11 receives a change regarding the projection condition parameter and an additional projection condition parameter (S14).
  • step S14 it is expected that changes or additions regarding the projection condition parameters corresponding to the portion that the user judges to be unsatisfactory will be performed. For example, when it is desired to increase the resolution on the screen, the desired projection resolution information is changed so as to increase the desired projection resolution.
  • the projector arrangement is improved by increasing the number of projectors and narrowing the angle of view of the projector (changing the zoom ratio) or bringing the projectors closer. There is expected.
  • the desired projection brightness information is changed so as to increase the desired projection brightness.
  • the number of projectors is increased to overlap the projections of the plurality of projectors, or the angle of view of the projectors is narrowed (change of the zoom ratio) It is expected that improvement of the projector arrangement such as The process returns to step S11 after step S14, and the automatic design of the projector arrangement is performed again based on the changed or added projection condition parameter.
  • the arrangement information output control unit 137 controls the communication unit 20 to output the projector arrangement information to another device (external) (S15).
  • the projector arrangement information output to the outside may be used, for example, when actually arranging (establishing) the projector 7 shown in FIG. Further, the projector layout information output to the outside may be used as an initial posture estimation value when the projection control device 3 shown in FIG. 1 performs the correction process.
  • FIG. 5 is a flowchart showing the flow of an automatic design process of the projector arrangement by the arrangement control unit 13. As shown in FIG.
  • the initial arrangement information generation unit 131 of the arrangement control unit 13 generates projector arrangement information (S111).
  • the evaluation unit 133 of the arrangement control unit 13 specifies the evaluation value E P of the projector arrangement information (S113).
  • allocation information updating unit 135 of the allocation control unit 13 determines whether to match the predetermined maximum value E P '(S115). If the evaluation value E P does not coincide with the predetermined maximum value E P '(NO in S115), allocation information updating unit 135 updates the projector arrangement information (S117), the process returns to step S113, the updated evaluation value E P of the projector arrangement information is specified. That is, allocation information updating unit 135 until the evaluation value E P is equal to a predetermined maximum value E P ', repeats the updating of the projector arrangement information.
  • the arrangement information output control section 137 of the arrangement control unit 13 outputs the projector arrangement information to the display control unit 15 (S119 ).
  • the first embodiment of the present disclosure has been described above. According to this embodiment, the arrangement of the projectors can be designed automatically based on the projection conditions, and the burden on the user can be reduced.
  • FIG. 6 is an explanatory diagram for describing a schematic configuration of a projection system 2000 according to a second embodiment of the present disclosure.
  • a projection system 2000 according to the present embodiment includes an information processing apparatus 1-2, a projection control apparatus 3-2, a communication network 5, projectors 7A to 7D, cameras 8A and 8B, and a screen 9.
  • the configuration of a projection system 2000 according to the present embodiment is different in that the functions of the information processing apparatus 1-2 and the projection control apparatus 3-2 are partially different from the functions of the information processing apparatus 1 and the projection control apparatus 3, and a camera 8A,
  • the configuration is the same as the configuration of the projection system 1000 according to the first embodiment described with reference to FIG. 1 except that the configuration further includes 8B. Therefore, in the following, descriptions of parts similar to those in the first embodiment will be omitted as appropriate, and points different from the first embodiment will be mainly described.
  • the information processing apparatus 1-2 adds, to the projection control apparatus 3-2, camera arrangement information (an example of sensor arrangement information) regarding the arrangement of the cameras 8A and 8B in addition to the projector arrangement information regarding the arrangement of the projectors 7. Output (send).
  • camera arrangement information an example of sensor arrangement information
  • Output (send) The detailed configuration of the information processing apparatus 1-2 will be described later with reference to FIG.
  • the projection control device 3-2 performs an input image generated by performing correction processing or the like based on the projector layout information received from the information processing device 1-2. It is an information processing apparatus that transmits to the projectors 7A to 7D.
  • the projection control device 3-2 according to the present embodiment may perform the correction process based on the captured image obtained by capturing (sensing) the projected images P11 to P14 on the screen 9 by the cameras 8A and 8B. .
  • the projection control device 3-2 may perform correction based on corresponding point information by Structured light to generate an input image.
  • the cameras 8A and 8B are sensors for capturing (sensing) at least a part of the projected images P11 to P14 projected on the screen 9 by the projectors 7A to 7D to acquire a captured image.
  • Cameras 8A and 8B may be arranged according to camera arrangement information.
  • FIG. 6 shows an example in which the projection system 2000 includes two cameras 8A and 8B, the number of cameras included in the projection system 2000 is not limited to such an example. Hereinafter, when the number of cameras is not limited or distinguished, it may be called a camera 8.
  • the information processing apparatus 1-2 automatically designs not only the arrangement of the projectors but also the arrangement of the cameras, and reduces the burden on the user by outputting the projector arrangement information and the camera arrangement information. Is possible.
  • the configuration of the information processing apparatus 1-2 for achieving such an effect will be described in detail.
  • FIG. 7 is a block diagram showing a configuration example of the information processing apparatus 1-2 according to the present embodiment.
  • the information processing apparatus 1-2 according to the present embodiment includes a control unit 10-2, a communication unit 20, an input unit 30, a display unit 40, and a storage unit 50.
  • the configuration of the information processing apparatus 1-2 according to the present embodiment is the first embodiment described with reference to FIG. 2 except that the function of the control unit 10-2 is partially different from the function of the control unit 10.
  • the configuration is the same as that of the information processing apparatus 1 according to the embodiment. Therefore, in the following, description of portions similar to those of the first embodiment is appropriately omitted, and portions different from the function of the control unit 10 that the control unit 10-2 has are mainly described.
  • the control unit 10-2 controls each component of the information processing apparatus 1-2. Further, as shown in FIG. 7, the control unit 10-2 also functions as the reception unit 12, the arrangement control unit 14, and the display control unit 16.
  • the receiving unit 12 receives an input of the user via the input unit 30 as in the case of the receiving unit 11 according to the first embodiment.
  • the receiving unit 12 receives the projection conditions related to the projection by the projector 7 and outputs the projection conditions to the arrangement control unit 14 as the receiving unit 11 according to the first embodiment.
  • the reception unit 12 receives an imaging condition (sensing condition) related to imaging (an example of sensing) by the camera 8 (an example of a sensor) and outputs the imaging condition (sensing condition) to the placement control unit 14.
  • an imaging condition sensing condition
  • the camera 8 an example of a sensor
  • the imaging conditions received by the receiving unit 12 may include a plurality of imaging condition parameters.
  • the imaging conditions may include, for example, imaging condition parameters such as camera specification information, usable camera number information, camera allocable range information, and desired imaging resolution information.
  • the camera specification information is information on the specification of the camera 8.
  • the camera specification information may include, for example, information such as the size of the camera 8, the number of imaging pixels, and the zoom movable range.
  • the usable camera number information is information on the number of usable cameras.
  • the usable camera number information may be, for example, information on the number of cameras 8 included in the projection system 2000. Also, the usable camera number information may be information of the upper limit value, the lower limit value, or a combination thereof of the number of usable cameras.
  • the camera arrangeable range information is information indicating a range in which the camera 8 can be arranged.
  • the desired imaging resolution information is information indicating the lower limit value desired by the user regarding the resolution (pixel density) in the range corresponding to the desired projection range in the imaged image obtained by imaging (sensing) by the camera 8. That is, if the lowest value of the resolution within the range corresponding to the desired projection range in the captured image is equal to or more than the lower limit value, it is considered that the user's desire is satisfied.
  • the desired imaging resolution information may be specified, for example, in the form of the number of pixels in the imaged image per unit area on the screen 9, or in the imaged image per unit angle when the screen 9 is viewed from the viewing position. It may be specified in the form of the number of pixels.
  • the receiving unit 12 receives the imaging condition parameter described above based on the user's input via the input unit 30.
  • the imaging condition parameters described above may be accepted by a direct input of the user, or the imaging condition parameters may be accepted by the user selecting from options prepared in advance regarding the imaging condition parameters.
  • options regarding the imaging condition parameter may be stored in, for example, the storage unit 50, or may be acquired from another device (not shown) via the communication unit 20.
  • the receiving unit 12 may receive an imaging condition including at least a part of imaging condition parameters among the above-described imaging condition parameters. That is, all of the imaging condition parameters described above may not be designated.
  • the receiving unit 12 receives the change regarding the imaging condition parameter described above and the additional imaging condition parameter based on the input of the user via the input unit 30. For example, as described later, when the imaging state obtained by the simulation based on the camera arrangement information is displayed on the display unit 40, as described later, the accepting unit 12 may receive a change regarding an imaging condition parameter or an additional imaging condition parameter. Good.
  • the placement control unit 14 automatically designs the placement of the projectors 7 based on the projection conditions received by the receiving unit 12, and places the designed projectors 7. Output projector layout information on.
  • the arrangement control unit 14 further outputs camera arrangement information (sensor arrangement information) related to the arrangement of the cameras 8 based on the imaging condition, the projection condition, and the projector arrangement information received by the reception unit 12.
  • “output the camera arrangement information” means to output the camera arrangement information to the display control unit 16, to output the camera arrangement information to the storage unit 50, and other units via the communication unit 20. Outputting the camera arrangement information to the device.
  • the arrangement control unit 14 functions as an initial arrangement information generation unit 141, an evaluation unit 143, an arrangement information update unit 145, and an arrangement information output control unit 147, as shown in FIG.
  • the initial arrangement information generation unit 141, the evaluation unit 143, the arrangement information update unit 145, and the arrangement information output control unit 147 are each an initial arrangement information generation unit 131 according to the first embodiment described with reference to FIG. It has the same function as that of the unit 133, the arrangement information updating unit 135, and the arrangement information output control unit 137, and further has the function described below.
  • the initial arrangement information generation unit 141 generates camera arrangement information based on the imaging conditions.
  • the camera arrangement information generated by the initial arrangement information generation unit 141 may include, for example, information on the number of cameras 8, the position of each camera 8, the direction, and the zoom ratio. In the following, the number of cameras 8, the position and orientation of each camera 8, and the zoom ratio may be collectively referred to as a camera arrangement parameter.
  • the camera layout information generated by the initial layout information generation unit 141 is so-called temporary camera layout information, and may not satisfy all the imaging conditions described above.
  • the initial layout information generation unit 141 sets the projector layout information so that the conditions related to a part of imaging condition parameters (for example, available camera number information, camera specification information, and camera arrangeable range information) among the imaging conditions are satisfied. It may be generated.
  • the initial arrangement information generation unit 141 may generate camera arrangement information in which the cameras 8 are randomly arranged within the camera arrangement possible range.
  • the initial arrangement information generation unit 141 may generate camera arrangement information in which the camera 8 is arranged at a position according to a predetermined rule (for example, a position facing the screen 9).
  • the camera arrangement information generated by the initial arrangement information generation unit 141 is provided to the evaluation unit 143.
  • the initial arrangement information generation unit 141 completes the update of the projector arrangement information, for example, the arrangement information update unit 145 After that, camera layout information may be generated.
  • the evaluation unit 143 evaluates camera arrangement information based on the imaging condition, the projection condition, and the projector arrangement information, and specifies an evaluation value related to the camera arrangement information. When all the imaging conditions are satisfied when the camera 8 is arranged according to the camera arrangement information, the evaluation unit 143 evaluates the evaluation value according to the camera arrangement information so that the evaluation value according to the camera arrangement information becomes a predetermined value. It may be specified. For example, the evaluation unit 143 may specify the camera layout information evaluation value such that the evaluation value relating to the camera layout information becomes larger as the imaging condition is closer to the state of satisfaction, Is the maximum possible evaluation value
  • the evaluation unit 143 further evaluates the camera arrangement information based on the projection condition, the projector arrangement information, the imaging condition parameter of a part of the imaging conditions, and the photographing state information obtained by simulation using the camera arrangement information. May be identified. In the simulation, for example, camera specification information may be used among the imaging conditions. Moreover, such simulation may be performed by the evaluation unit 143 or may be performed by another functional block.
  • the imaging state information is information indicating a simulation result obtained by performing a simulation on a state in which the camera 8 captures (senses) a projection image when the camera 8 is arranged according to the camera arrangement information.
  • the imaging state information may include, for example, information indicating a simulation result related to the resolution of the captured image obtained by imaging of the camera 8, and the evaluation unit 143 evaluates the evaluation value E Cr related to the resolution of the captured image based on the simulation result. May be identified.
  • the evaluation unit 143 may specify the evaluation value E Cr by evaluating the simulation result based on the desired projection range information included in the projection condition and the desired imaging resolution information included in the imaging condition.
  • the evaluation unit 143 based on the simulation results, to identify the lowest resolution in the desired projection range of the captured image, the higher the lowest resolution, and identifies the evaluation value E Cr as the evaluation value E Cr increases May be When there is an area which is not imaged (sensed) by the camera 8 in the desired projection range, the lowest resolution is 0.
  • the evaluation unit 143 may specify the evaluation value ECr such that the evaluation value ECr becomes the maximum value ECr 'when the specified lowest resolution is equal to or higher than the desired imaging resolution.
  • the evaluation value ECr when the evaluation value ECr is the maximum value ECr ', the condition related to the desired projection resolution information among the imaging conditions is satisfied. .
  • the imaging state information may include, for example, information indicating a simulation result on intersection of a light beam entering the camera 8 and an object other than the screen 9 (projection plane), and the evaluation unit 143 determines based on the simulation result.
  • the evaluation value E Cc related to the intersection may be specified.
  • An object other than the screen 9 that may intersect the light beam entering the camera 8 may include, for example, the camera 8 other than the camera 8 that receives the light beam, and the projector 7.
  • the viewer present at the viewing position on an object other than the screen 9 that may intersect the light beam entering the camera 8. May be included.
  • the simulation regarding the intersection of the light ray entering the camera 8 and these objects may be performed based on projector specification information included in the projection condition, camera specification information included in the imaging condition, and viewing position information.
  • the evaluation unit 143 evaluates the evaluation value ECc so that the larger the intersection area between the light beam entering the camera 8 and the object other than the screen 9 (projection plane), the smaller the evaluation value ECc. You may specify E Cc .
  • the evaluation unit 143, evaluation value E Cc when the intersection region is not present may specify the evaluation value E Cc so that the maximum value E Cc '.
  • Evaluation unit 143 may specify the evaluation value E C according to the camera placement information.
  • the evaluation unit 143 may identify the evaluation value E C by the following equation (3).
  • E C w Cr E Cr + w Cc E Cc (3)
  • Equation (3) w Cr and w Cc are predetermined weighting coefficients for the evaluation value E Cr and the evaluation value E cc , respectively, and are used to balance the effects of the evaluation values. .
  • Allocation information updating unit 145 based on the evaluation value E C according to the camera placement information, and updates the camera placement information. For example, allocation information updating unit 145, evaluation value E C the evaluation unit 143 has identified 'determines whether it matches, the evaluation value E C is a predetermined maximum value E C' predetermined maximum value E C and Update camera layout information until it matches.
  • the layout information updating unit 145 may update the projector layout information such that the conditions relating to the available camera number information, the camera specification information, and the camera layout possible range information among the imaging conditions are satisfied.
  • the update of the camera arrangement information can be performed substantially the same as the update of the projector arrangement information described in the first embodiment, the detailed description here is omitted.
  • the projector arrangement information, the projector arrangement parameter, the evaluation value E P , and the maximum value E P ′ in the update of the projector arrangement information are respectively set as the camera arrangement information, the camera arrangement parameter, the evaluation value E C and the maximum value E C ′. It is possible to update camera arrangement information by replacing.
  • the layout information output control unit 147 controls the output of camera layout information.
  • the arrangement information output control section 147 when the evaluation value E C is determined by the placement information updating unit 145 and matches the predetermined maximum value E C ', outputs the camera placement information relating to the evaluation value E C You may With such a configuration, camera arrangement information that satisfies all the imaging conditions is output.
  • the arrangement information output control unit 147 may output the camera arrangement information to the display control unit 15. Further, the arrangement information output control unit 147 may output camera arrangement information to another apparatus (for example, the projection control apparatus 3-2 shown in FIG. 6) via the communication unit 20. Further, the arrangement information output control unit 147 may output the projector arrangement information to the storage unit 50 (in other words, the projector arrangement information may be stored in the storage unit 50).
  • the arrangement information output controlling section 147 when the evaluation value E C coincides with the predetermined maximum value E C ', and the user is satisfied with the camera placement information relating to the evaluation value E C, via the communication unit 20
  • the camera arrangement information may be output to another device.
  • the storage unit The camera placement information may be output to 50.
  • the information the user is whether satisfied with the camera placement information relating to the evaluation value E C, the user who confirmed the display of the display unit 40 based on the camera placement information (described later) is input via the input unit 30 It may be determined based on
  • camera arrangement information that satisfies all the imaging conditions and is satisfied by the user is output to another device or the storage unit 50 as finally obtained (designed) camera arrangement information.
  • the display control unit 16 controls the display unit 40 to display various screens on the display unit 40.
  • the display control unit 16 may display a projection state obtained by simulation based on the projector layout information.
  • the display control unit 16 may display an imaging state obtained by simulation based on the camera arrangement information.
  • the display control unit 16 may display a visualization screen in which the imaging state is visualized. Note that such simulation and visualization may be performed by the display control unit 16 or may be performed by another functional block.
  • FIG. 8 is an explanatory view showing an example of a visualization screen including an imaging state, which the display control unit 16 causes the display unit 40 to display.
  • a screen V20 (corresponding to the screen 9 shown in FIG. 6) by the projectors V11 to V14 (each corresponding to the projectors 7A to 7D shown in FIG. 6), and a camera V41, V42 (each corresponding to the camera 8A, 8B shown in FIG. 6) is included.
  • the visualization screen G2 includes a desired projection range V26.
  • the visualized screen G2 also includes an imaging range V27 of the camera V41 and an imaging range V28 of the camera V42. With such a configuration, the user can confirm whether the desired projection range is sufficiently sensed (captured).
  • the screen which the display control part 16 displays is not limited to the example shown in FIG.
  • the display control unit 16 may display information related to the imaging state (for example, the above-described information such as the minimum resolution and the presence or absence of the intersection area) by text.
  • the display control unit 16 displays the projection images V21 to V24 described with reference to FIG. 3 in the visualization screen G2 so that the projection state and the imaging state can be simultaneously displayed.
  • the display control unit 16 may display a screen on which the appearance of the sensing pattern from the camera 8 can be confirmed in advance when sensing with Structured light.
  • FIG. 9 is a flowchart showing the overall operation of the information processing apparatus 1-2 according to the present embodiment.
  • the receiving unit 12 receives the projection condition and the imaging condition based on the user's input through the input unit 30 (S20).
  • steps S21 to S24 are substantially the same as the processes of steps S11 to S14 described with reference to FIGS. 4 and 5, and thus detailed description thereof will be omitted.
  • step S23 If the user is satisfied in step S23 (YES in S23), the process proceeds to step S25.
  • step S25 the arrangement control unit 14 automatically designs the camera arrangement based on the imaging conditions received in step S20 (S25). The process of step S25 (automatic design process of camera arrangement) will be described later in detail with reference to FIG.
  • the display control unit 16 causes the display unit 40 to display a screen including an imaging state obtained by simulation based on the camera arrangement information output from the arrangement control unit 14. It is displayed (S26).
  • the user who has confirmed the screen including the imaging state displayed on the display unit 40 in step S26 operates the input unit 30 and selects whether the user is satisfied (S27).
  • the receiving unit 12 receives a change regarding the imaging condition parameter and an additional imaging condition parameter (S28).
  • step S27 it is expected that a change or addition regarding the imaging condition parameter corresponding to the portion that the user determines to be unsatisfactory is performed.
  • the process returns to step S25 after step S28, and the automatic design of the camera arrangement is performed again based on the changed or added imaging condition parameter.
  • the arrangement information output control unit 147 controls the communication unit 20 to output the projector arrangement information and the camera arrangement information to another device (external) (S29).
  • the projector arrangement information and the camera arrangement information output to the outside may be used, for example, when actually arranging (establishing) the projector 7 and the camera 8 shown in FIG. Further, the projector layout information and the camera layout information output to the outside may be used when the projection control device 3 shown in FIG. 1 performs the correction process.
  • FIG. 10 is a flowchart showing the flow of an automatic design process of camera placement by the placement control unit 14.
  • the initial arrangement information generation unit 141 of the arrangement control unit 14 generates camera arrangement information (S251).
  • the evaluation unit 143 of the arrangement control unit 14 specifies the evaluation value E C according to the camera placement information (S253).
  • allocation information updating unit 145 of the allocation control unit 14 determines whether to match the predetermined maximum value E C '(S255). If the evaluation value E C does not coincide with the predetermined maximum value E C '(NO in S255), allocation information updating unit 145 updates the camera placement information (S257), the process returns to step S253, the updated evaluation value E C according to the camera placement information is identified. That is, allocation information updating unit 145 until the evaluation value E C is equal to a predetermined maximum value E C ', repeats the updating of the camera placement information.
  • the arrangement information output control section 147 of the arrangement control unit 14 outputs the camera placement information to the display control unit 16 (S259 ).
  • FIG. 11 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • the information processing apparatus 900 shown in FIG. 11 can realize, for example, the information processing apparatus 1 and the information processing apparatus 1-2 shown in FIGS. 2 and 7, respectively.
  • Information processing by the information processing apparatus 1 and the information processing apparatus 1-2 is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903 and a host bus 904a.
  • the information processing apparatus 900 further includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may have a processing circuit such as a DSP or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the control unit 10 and the control unit 10-2.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 900. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 900 can input various data to the information processing apparatus 900 or instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing apparatus 900.
  • the display device visually displays the results obtained by the various processes performed by the information processing apparatus 900 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the output device 907 may form, for example, the display unit 40.
  • the storage device 908 is a device for data storage formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 may form, for example, the storage unit 50.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 may form, for example, the communication unit 20.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900, such as the attitude and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • sensor 915 may include a GPS sensor that receives GPS signals and measures latitude, longitude and altitude of the device.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each component described above may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the level of technology to which the embodiment of the present disclosure is implemented.
  • a computer program for realizing each function of the information processing apparatus 900 according to the embodiment of the present disclosure as described above can be created and implemented on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the evaluation value increases as the projection condition or the imaging condition is satisfied, and the evaluation value is specified such that the evaluation value becomes the maximum value (predetermined value) when all the conditions are satisfied.
  • the present technology is not limited to such an example.
  • the evaluation value is smaller, and the evaluation value may be specified such that the evaluation value becomes the minimum value (predetermined value) when all the conditions are satisfied.
  • changes such as reversing the magnitude comparison may be made as appropriate.
  • the present technology is not limited to the example .
  • an input for directly changing the projector arrangement parameter or the camera arrangement parameter included in the projector arrangement information or the camera arrangement information may be received. According to such a configuration, it is possible to reduce the number of confirmations by the user, and the burden can be further reduced particularly for the user who has abundant design experience.
  • An information processing apparatus comprising: a placement control unit that outputs projector placement information regarding placement of the projector based on a projection condition regarding projection by a projector.
  • the arrangement control unit evaluates the projector arrangement information based on the projection condition to specify an evaluation value according to the projector arrangement information, and updates the projector arrangement information based on the evaluation value.
  • the information processing apparatus according to the above.
  • the arrangement control unit specifies the evaluation value such that the evaluation value related to the projector arrangement information becomes a predetermined value when the projection condition is satisfied, and a difference between the evaluation value and the predetermined value is small.
  • the information processing apparatus according to (2) wherein the projector arrangement information is updated so as to become.
  • the information processing apparatus includes information indicating a simulation result on luminance of a projection image projected by the projector.
  • the projection state information includes information indicating a simulation result on an intersection between a light beam projected from the projector and an object other than the projection surface. apparatus.
  • the placement control unit further outputs sensor placement information on placement of the sensor based on a sensing condition regarding sensing by a sensor that senses at least a part of a projected image by the projector, the projection condition, and the projector placement information.
  • the information processing apparatus according to any one of (1) to (9).
  • the arrangement control unit evaluates the sensor arrangement information based on the projection condition, the projector arrangement information, and the sensing condition, specifies an evaluation value, and updates the sensor arrangement information. Information processor as described. (12) The information processing apparatus according to (11), wherein the arrangement control unit specifies the evaluation value based on the projector arrangement information and sensing state information obtained by simulation based on sensor arrangement information. (13) The information processing apparatus according to any one of (1) to (12), further comprising: a display control unit configured to display a projection state obtained by a simulation using the projector arrangement information.
  • An information processing method including: a processor outputting projector arrangement information on arrangement of the projector based on a projection condition on projection by a projector; (15) On the computer A program for realizing a function in which a processor outputs projector arrangement information on arrangement of the projector based on a projection condition on projection by a projector.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】プロジェクタの配置設計に関する負担を軽減することが可能な情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報を出力する、配置制御部を備える情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 複数のプロジェクタを用いて画像を投影する投影システムが存在する(例えば下記特許文献1を参照)。このように複数のプロジェクタを有する投影システムでは、例えば各プロジェクタにより投影される画像を適切に繋げることにより、1つの画像を投影することが可能である。
 このような複数のプロジェクタを有する投影システムでは、各プロジェクタを適切に配置しないと、ユーザが望む投影を行うことができず、例えば各プロジェクタにより投影される画像を繋げることができない恐れがある。しかし、投影結果を確認しながら実物のプロジェクタの配置を調整するのはユーザにとって負担であり、特に多数のプロジェクタを有する投影システムでは困難な場合がある。
 そのため、各プロジェクタ、及び投影先であるスクリーンの配置を事前にユーザが設計することが望ましい。このような配置の設計を支援するため、各プロジェクタやスクリーンの配置に関する情報に基づいてシミュレーションを行い、プロジェクタの仮想的な投影状態を可視化するシミュレーションツールも存在する。
特開2016-14720号公報
 しかし、上記のようなシミュレーションツールを用いたとしても、プロジェクタの配置を設計する作業はユーザにとって負担が大きく、例えば設計経験の少ないユーザにとっては適切な配置を設計することが困難な場合があった。
 そこで、本開示では、プロジェクタの配置設計に関する負担を軽減することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
 本開示によれば、プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報を出力する、配置制御部を備える情報処理装置が提供される。
 また、本開示によれば、プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報をプロセッサが出力すること、を含む情報処理方法が提供される。
 また、本開示によれば、コンピュータに、プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報をプロセッサが出力する機能を実現させるための、プログラムが提供される。
 以上説明したように本開示によれば、プロジェクタの配置設計に関する負担を軽減することが可能である。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る投影システム1000の概略構成を説明するための説明図である。 同実施形態に係る情報処理装置1の構成例を示すブロック図である。 同実施形態に係る表示制御部15が表示部40に表示させる、投影状態を含む可視化画面の一例を示す説明図である。 同実施形態に係る情報処理装置1の全体的な動作を示すフローチャート図である。 同実施形態に係る配置制御部13によるプロジェクタ配置の自動的な設計処理の流れを示すフローチャート図である。 本開示の第2の実施形態に係る投影システム2000の概略構成を説明するための説明図である。 同実施形態に係る情報処理装置1-2の構成例を示すブロック図である。 同実施形態に係る表示制御部16が表示部40に表示させる、撮像状態を含む可視化画面の一例を示す説明図である。 同実施形態に係る情報処理装置1-2の全体的な動作を示すフローチャート図である。 同実施形態に係る配置制御部14によるカメラ配置の自動的な設計処理の流れを示すフローチャート図である。 ハードウェア構成の一例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
 <<1.第1の実施形態>>
  <1-1.概要>
  <1-2.構成>
  <1-3.動作>
  <1-4.効果>
 <<2.第2の実施形態>>
  <2-1.概要>
  <2-2.構成>
  <2-3.動作>
  <2-4.効果>
 <<3.ハードウェア構成例>>
 <<4.むすび>>
 <<1.第1の実施形態>>
  <1-1.概要>
 まず、図1を参照して本開示の第1の実施形態に係る投影システムの概要を説明する。図1は、本開示の第1の実施形態に係る投影システム1000の概略構成を説明するための説明図である。図1に示すように、本実施形態に係る投影システム1000は、情報処理装置1、投影制御装置3、通信網5、プロジェクタ7A~7D、及びスクリーン9を含む。また、図1に示す視聴者Hは、プロジェクタ7A~7Dによりスクリーン9上に投影された投影画像P11~P14を視聴する。なお、本明細書において、画像とは、静止画像だけでなく動画像をも含む表現として用いられる。また、投影画像とは、スクリーン9上に投影された状態の画像を意味する。
 情報処理装置1は、プロジェクタ7A~7Dの配置に関するプロジェクタ配置情報を、投影制御装置3へ出力(送信)する。情報処理装置1の詳細な構成については、図2を参照して後述する。
 投影制御装置3は、プロジェクタ7A~7Dへ入力画像を送信する情報処理装置である。投影制御装置3は、情報処理装置1から受信したプロジェクタ配置情報に基づいて、補正処理等を行い、プロジェクタ7A~7Dへ送信する入力画像を生成してもよい。例えば、投影制御装置3は、プロジェクタ7A~7Dにより投影される投影画像P11~P14がスクリーン9上で自然に繋がり、1つの画像として視聴者Hに視認されるような入力画像を生成し、プロジェクタ7A~7Dへ送信してもよい。
 通信網5は、通信網5に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網5は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)等を含んでもよい。また、通信網5は、IP-VPN(Internet Protocol-Virtual Private Network)等の専用回線網を含んでもよい。
 プロジェクタ7A~7Dは、投影制御装置3から受信した入力画像に基づき、それぞれ投影画像P11~P14をスクリーン9(投影先)へ投影する。プロジェクタ7A~7Dは、プロジェクタ配置情報に従って配置されてもよい。なお、図1では、投影システム1000が4つのプロジェクタ7A~7Dを含む例を示しているが、投影システム1000が含むプロジェクタの台数は係る例に限定されない。以降では、プロジェクタの台数を限定しない場合、プロジェクタ7と呼称する場合がある。
 スクリーン9は、プロジェクタ7による投影の投影先(投影面)である。図1では、スクリーン9が曲面スクリーンである例を示しているが、スクリーン9の形状は係る例に限定されず、スクリーン9は平面スクリーンであってもよいし、ドーム状のスクリーンであってもよい。
 このような投影システム1000において、プロジェクタ7を適切に配置することは重要である。例えば、プロジェクタ7が適切に配置されない場合、スクリーン9上に投影される投影画像P11~P14の位置が、視聴者Hにとって見難い位置となってしまう恐れがある。また、プロジェクタ7の配置によっては、投影制御装置3が適切な入力画像を生成することができず、投影画像P11~P14がスクリーン9上で自然に繋がらない恐れがある。
 適切にプロジェクタを配置するため、従来、ユーザ(設計者)が過去の経験に基づいて手動でプロジェクタの配置の設計を行うことがあった。しかし、プロジェクタ配置の設計経験が少ないユーザにとって、適切なプロジェクタ配置の設計を行うことは困難であった。また、プロジェクタ配置の設計経験を有するユーザであっても、設計作業に係る負担は大きく、特にプロジェクタの台数が多い場合や、投影に関する投影条件が複雑な場合には、適切なプロジェクタ配置の設計を行うことが困難となる恐れがあった。
 そこで、上記事情を一着眼点として本開示の第1の実施形態を創作するに至った。本実施形態による情報処理装置1は、プロジェクタ7による投影に関する投影条件に基づいて、自動的にプロジェクタの配置を設計し、プロジェクタ配置情報を出力することで、ユーザの負担を軽減することが可能である。以下、このような効果を奏するための情報処理装置1の構成について、詳細に説明する。
  <1-2.構成>
 図2は、本実施形態に係る情報処理装置1の構成例を示すブロック図である。本実施形態に係る情報処理装置1は、図2に示すように、制御部10、通信部20、入力部30、表示部40、及び記憶部50を備える。
 制御部10は、情報処理装置1の各構成を制御する。また、制御部10は、図2に示すように、受付部11、配置制御部13、及び表示制御部15としても機能する。
 受付部11は、後述する入力部30を介してユーザの入力を受け付ける。本実施形態に係る受付部11は、プロジェクタ7による投影に関する投影条件を受け付け、配置制御部13へ出力する。
 受付部11が受け付ける投影条件は、複数の投影条件パラメータを含んでもよい。投影条件は、例えば、スクリーン形状情報、所望投影範囲情報、プロジェクタ仕様情報、使用可能プロジェクタ台数情報、プロジェクタ配置可能範囲情報、所望投影解像度情報、所望投影輝度情報、視聴位置情報などの投影条件パラメータを含んでもよい。
 スクリーン形状情報は、例えば図1に示したスクリーン9のような投影先(投影面)となるスクリーンの形状を示す情報である。
 所望投影範囲情報は、ユーザが望む投影範囲(所望投影範囲)を示す情報である。例えば、スクリーン9の一部または全てが所望投影範囲として選択され得る。なお、本実施形態において所望投影範囲は、プロジェクタ7により最低限カバー(投影)されて欲しいとユーザが望む投影範囲である。そのため、プロジェクタ7が所望投影範囲をカバーしつつ、所望投影範囲の外側へも投影する場合であっても、ユーザの希望は満たされるとみなされる。
 プロジェクタ仕様情報は、プロジェクタ7の仕様に関する情報である。プロジェクタ仕様情報は、例えばプロジェクタ7のサイズ、明るさ、投影画素数、ズーム可動範囲、シフト可動範囲等の情報を含んでもよい。
 使用可能プロジェクタ台数情報は、使用可能なプロジェクタの台数に関する情報である。使用可能プロジェクタ台数情報は、例えば投影システム1000が有するプロジェクタ7の台数の情報であってもよい。また、使用可能プロジェクタ台数情報は、使用可能なプロジェクタの台数の、上限値、下限値またはそれらの組み合わせの情報であってもよい。
 プロジェクタ配置可能範囲情報は、プロジェクタ7を配置可能な範囲を示す情報である。
 所望投影解像度情報は、スクリーン9に投影された投影画像のうち、上述した所望投影範囲における解像度(画素密度)に関して、ユーザが望む下限値を示す情報である。つまり、スクリーン9上の投影画像のうち所望投影範囲内の解像度の最低値が当該下限値以上であればユーザの希望は満たされるとみなされる。なお、所望投影解像度情報は、例えばスクリーン9上での単位面積当たりの投影画像の画素数の形式で指定されてもよいし、視聴位置からスクリーン9を見た際の単位角度当たりの投影画像の画素数の形式で指定されてもよい。
 所望投影輝度情報は、スクリーン9に投影された投影画像のうち、上述した所望投影範囲における輝度に関して、ユーザが望む下限値を示す情報である。つまり、スクリーン9上の投影画像のうち所望投影範囲内の輝度の最低値が当該下限値以上であればユーザの希望は満たされるとみなされる。
 視聴位置情報は、想定される視聴者の位置を示す情報である。視聴位置情報は、1点の位置を示す情報であってもよいし、視聴者が存在し得る範囲を示す情報であってもよい。
 受付部11は、上述した投影条件パラメータを、入力部30を介したユーザの入力に基づいて受け付ける。例えば、上述した投影条件パラメータは、ユーザの直接的な入力により受け付けられてもよいし、投影条件パラメータに関する予め用意された選択肢からユーザが選択することで投影条件パラメータが受け付けられてもよい。なお、投影条件パラメータに関する選択肢は、例えば記憶部50に記憶されていてもよいし、通信部20を介して不図示の他の装置から取得されてもよい。
 また、受付部11は、上述した投影条件パラメータのうち、少なくとも一部の投影条件パラメータを含む投影条件を受け付ければよい。つまり、上述した投影条件パラメータの全てが指定されなくてもよい。
 また、受付部11は、上述した投影条件パラメータに関する変更や、追加の投影条件パラメータを、入力部30を介したユーザの入力に基づいて受け付ける。例えば、受付部11は、後述するように、プロジェクタ配置情報に基づくシミュレーションにより得られる投影状態が表示部40に表示された際に、投影条件パラメータに関する変更や、追加の投影条件パラメータを受け付けてもよい。
 配置制御部13は、受付部11が受け付けた投影条件に基づいて、プロジェクタ7の配置を自動的に設計し、設計したプロジェクタ7の配置に関するプロジェクタ配置情報を出力する。なお、本明細書において「プロジェクタ配置情報を出力する」とは、表示制御部15へプロジェクタ配置情報を出力すること、記憶部50へプロジェクタ配置情報を出力すること、通信部20を介して他の装置へプロジェクタ配置情報を出力すること、を含み得る。
 本実施形態に係る配置制御部13は、図2に示すように、初期配置情報生成部131、評価部133、配置情報更新部135、及び配置情報出力制御部137として機能する。
 初期配置情報生成部131は、投影条件に基づき、プロジェクタ配置情報を生成する。初期配置情報生成部131が生成するプロジェクタ配置情報は、例えばプロジェクタ7の台数、各プロジェクタ7の位置、向き、ズーム率、及びシフト量の情報を含んでもよい。なお、以下では、プロジェクタ7の台数、各プロジェクタ7の位置、向き、ズーム率、及びシフト量をまとめてプロジェクタ配置パラメータと呼称する場合がある。
 なお、初期配置情報生成部131が生成するプロジェクタ配置情報は、言わば仮のプロジェクタ配置情報であり、上述した投影条件を全て満たすものでなくてもよい。初期配置情報生成部131は、投影条件のうち一部の投影条件パラメータ(例えばスクリーン形状情報、使用可能プロジェクタ台数情報、プロジェクタ仕様情報、及びプロジェクタ配置可能範囲情報)に係る条件が満たされるように、プロジェクタを配置してもよい。
 例えば、初期配置情報生成部131は、プロジェクタ7をプロジェクタ配置可能範囲内でランダムに配置したプロジェクタ配置情報を生成してもよい。または、初期配置情報生成部131は、プロジェクタ7を所定のルールに従った位置(例えばスクリーン9に正対する位置)に配置したプロジェクタ配置情報を生成してもよい。初期配置情報生成部131によって生成されたプロジェクタ配置情報は、評価部133へ提供される。
 評価部133は、投影条件に基づいて、プロジェクタ配置情報を評価して当該プロジェクタ配置情報に係る評価値を特定する。評価部133は、プロジェクタ配置情報に従ってプロジェクタ7が配置されると全ての投影条件が満たされる場合に、当該プロジェクタ配置情報に係る評価値が所定値となるように当該プロジェクタ配置情報に係る評価値を特定してもよい。例えば、評価部133は、投影条件が満たされた状態に近づく程、プロジェクタ配置情報に係る評価値が大きくなるように当該プロジェクタ配置情報に係る評価値を特定してもよく、係る場合、上述した所定値が評価値の取り得る最大値となる。
 評価部133は、投影条件のうち一部の投影条件パラメータとプロジェクタ配置情報を用いたシミュレーションにより得られる投影状態情報にさらに基づいて、当該プロジェクタ配置情報に係る評価値を特定してもよい。係るシミュレーションには、例えば投影条件のうち、スクリーン形状情報、プロジェクタ仕様情報、及び視聴位置情報が用いられてもよい。また、係るシミュレーションは、評価部133により行われてもよいし、他の機能ブロックにより行われてもよい。投影状態情報は、当該プロジェクタ配置情報に従ってプロジェクタ7を配置した場合にプロジェクタ7がスクリーン9へ投影した状態に関するシミュレーションを行って得られたシミュレーション結果を示す情報である。
 投影状態情報は、例えばプロジェクタ7がスクリーン9へ投影した投影画像の解像度に関するシミュレーション結果を示す情報を含んでもよく、評価部133は、当該シミュレーション結果に基づいて、投影画像の解像度に係る評価値EPrを特定してもよい。評価部133は、当該シミュレーション結果を、投影条件に含まれる所望投影範囲情報、及び所望投影解像度情報に基づいて評価して、評価値EPrを特定してもよい。
 例えば、評価部133は、当該シミュレーション結果に基づき、投影画像のうち所望投影範囲における最低解像度を特定し、当該最低解像度が高い程、評価値EPrが大きくなるように評価値EPrを特定してもよい。なお、所望投影範囲においてプロジェクタ7によりカバー(投影)されていない領域が存在する場合、最低解像度は0となる。また、評価部133は、特定された最低解像度が所望投影解像度以上である場合に評価値EPrが最大値EPr′となるように評価値EPrを特定してもよい。
 上記のように評価値EPrを特定することで、評価値EPrが最大値EPr′である場合には、投影条件のうち、所望投影範囲情報、所望投影解像度情報に係る条件が満たされていることになる。
 投影状態情報は、例えばプロジェクタ7がスクリーン9へ投影した投影画像の輝度に関するシミュレーション結果を示す情報を含んでもよく、評価部133は、当該シミュレーション結果に基づいて、投影画像の輝度に係る評価値EPbを特定してもよい。評価部133は、当該シミュレーション結果を、投影条件に含まれる所望投影範囲情報、及び所望投影輝度情報に基づいて評価して、評価値EPbを特定してもよい。
 例えば、評価部133は、当該シミュレーション結果に基づき、投影画像のうち所望投影範囲における最低輝度を特定し、当該最低輝度が高い程、評価値EPbが大きくなるように評価値EPbを特定してもよい。なお、所望投影範囲においてプロジェクタ7によりカバー(投影)されていない領域が存在する場合、最低輝度は0となる。また、評価部133は、特定された最低輝度が所望投影輝度以上である場合に評価値EPbが最大値EPb′となるように評価値EPbを特定してもよい。
 上記のように評価値EPbを特定することで、評価値EPbが最大値EPb′である場合には、投影条件のうち、所望投影範囲情報、所望投影輝度情報に係る条件が満たされていることになる。
 投影状態情報は、例えばプロジェクタ7から投射される光線と、スクリーン9(投影面)以外の物体との交差に関するシミュレーション結果を示す情報を含んでもよく、評価部133は、当該シミュレーション結果に基づいて、交差に係る評価値EPcを特定してもよい。なお、プロジェクタ7から投射される光線と交差し得るスクリーン9以外の物体は、例えば当該光線を投射するプロジェクタ7以外のプロジェクタ7、視聴位置に存在する視聴者を含み得る。プロジェクタ7から投射される光線とこれらの物体との交差に関するシミュレーションは、投影条件に含まれるプロジェクタ仕様情報、及び視聴位置情報に基づいて行われ得る。
 例えば、評価部133は、当該シミュレーション結果に基づき、プロジェクタ7から投射される光線とスクリーン9(投影面)以外の物体との交差領域が大きい程、評価値EPcが小さくなるように、評価値EPcを特定してもよい。また、評価部133は、当該交差領域が存在しない場合に評価値EPcが最大値EPc′となるように評価値EPcを特定してもよい。
 上記のように評価値EPcを特定することで、評価値EPcが最大値EPc′である場合には、投影条件のうち、視聴位置情報に係る条件が満たされていることになる。
 評価部133は、上述した評価値EPr、評価値EPb、及び評価値EPc、を組み合わせて、プロジェクタ配置情報に係る評価値Eを特定してもよい。例えば、評価部133は、次の数式(1)により評価値Eを特定してもよい。
  E=wPrPr+wPbPb+wPcPc  (1)
 なお、数式(1)において、wPr、wPb、及びwPcは、それぞれ評価値EPr、評価値EPb、及び評価値EPcについての所定の重みづけ係数であり、各評価値の影響のバランスをとるために用いられる。
 また、プロジェクタ配置情報が投影条件を全て満たす場合、当該プロジェクタ配置情報に係る評価値Eは、次の数式(2)で表される所定の最大値E′と一致する。
  E′=wPrPr′+wPbPb′+wPcPc′  (2)
 配置情報更新部135は、プロジェクタ配置情報に係る評価値Eに基づいて、プロジェクタ配置情報の更新を行う。例えば、配置情報更新部135は、評価部133が特定した評価値Eが所定の最大値E′と一致するか否かを判定し、評価値Eが所定の最大値E′と一致するまでプロジェクタ配置情報の更新を行う。なお、配置情報更新部135は、投影条件のうち、スクリーン形状情報、使用可能プロジェクタ台数情報、プロジェクタ仕様情報、及び配置可能範囲情報に係る条件が満たされるように、プロジェクタ配置情報の更新を行ってもよい。
 例えば、配置情報更新部135は、プロジェクタ配置情報に含まれるプロジェクタ配置パラメータ(プロジェクタ7の台数、各プロジェクタ7の位置、向き、ズーム率、及びシフト量)のうち、いずれか一つを変更して新たなプロジェクタ配置情報を生成してもよい。
 また、配置情報更新部135は、評価値Eと所定の最大値E′との差分がより小さくなるように、プロジェクタ配置情報の更新を行ってもよい。係る構成により、配置情報更新部135は、効率的にプロジェクタ配置情報の更新を行うことが可能である。
 配置情報更新部135は、評価値Eに関する非線形最適化を行うことで、評価値Eと所定の最大値E′との差分がより小さくなるように、プロジェクタ配置情報の更新を行ってもよい。例えば、プロジェクタ配置パラメータの生成と評価値の比較を繰り返すことで評価値Eと所定の最大値E′との差分がより小さくなるように、プロジェクタ配置情報を更新することができる。以下にその一例を説明する。
 まず、配置情報更新部135は、第1のプロジェクタ配置情報に含まれるプロジェクタ配置パラメータのうち、いずれか一つを選択し、選択されたパラメータをある方向(例えば増加方向、または減少方向)へ微小に変化させて、第2のプロジェクタ配置情報を生成する。そして、配置情報更新部135は、評価部133により特定された第1のプロジェクタ配置情報に係る第1の評価値Eと第2のプロジェクタ配置情報に係る第2の評価値Eを比較する。
 第1の評価値Eより第2の評価値Eの方が大きい場合、配置情報更新部135は、第2のプロジェクタ配置情報に含まれるプロジェクタ配置パラメータのうち、前回選択されたパラメータを前回変化させた方向へ微小に変化させて、第3のプロジェクタ配置情報を生成する。
 一方、第1の評価値Eより第2の評価値Eの方が小さい場合、配置情報更新部135は、第2のプロジェクタ配置情報に含まれるプロジェクタ配置パラメータのうち、前回選択されたパラメータとは異なるパラメータを選択して、選択されたパラメータをある方向へ微小に変化させて、第3のプロジェクタ配置情報を生成する。なお、係る場合、配置情報更新部135は第2のプロジェクタ配置情報に含まれるプロジェクタ配置パラメータのうち、前回選択されたパラメータを前回変化させた方向とは異なる方向へ微小に変化させて、第3のプロジェクタ配置情報を生成してもよい。
 そして、配置情報更新部135は、評価部133により特定された第2のプロジェクタ配置情報に係る第2の評価値Eと第3のプロジェクタ配置情報に係る第3の評価値Eを比較する。そして、その比較結果に応じて、第3のプロジェクタ配置情報に含まれるプロジェクタ配置パラメータを変化させて新たなプロジェクタ配置情報を生成する。上記のように、新たなプロジェクタ配置パラメータの生成と評価値の比較を繰り返すことで、配置情報更新部135は、評価値Eと最大値E′との差分がより小さくなるように、プロジェクタ配置情報の更新を行うことができる。
 上記の例では、配置情報更新部135は、プロジェクタ配置情報を逐次的に更新する例を説明したが、配置情報更新部135は、同時に複数のプロジェクタ配置情報を用意し、遺伝的アルゴリズムによる最適化を行うこともできる。遺伝的アルゴリズムでは、例えば選択、交叉、突然変異という遺伝的操作が行われる。
 選択は、生物の自然淘汰をモデル化した遺伝的操作である。本実施形態における選択は、評価値に基づいてプロジェクタ配置情報を増やしたり削除したりする操作であってよい。また、交叉は、生物の交配における染色体の部分的交換をモデル化した遺伝的操作である。本実施形態における交叉は、プロジェクタ配置パラメータを遺伝子と見立て、複数のプロジェクタ配置情報に含まれるプロジェクタ配置パラメータの一部を入れ替える操作であってよい。また、突然変異は生物に見られる遺伝子の突然変異をモデル化した遺伝的操作である。本実施形態における突然変異は、プロジェクタ配置パラメータを遺伝子と見立て、プロジェクタ配置情報に含まれるプロジェクタ配置パラメータの一部を変化させる操作であってよい。
 配置情報更新部135は、上述した遺伝的操作により、プロジェクタ配置情報の更新を行ってもよい。係る構成によれば、配置情報更新部135は、局所的最適解に陥ることなく、評価値Eが所定の最大値E′と一致するようなプロジェクタ配置情報を得ることが可能となる。
 配置情報出力制御部137は、プロジェクタ配置情報の出力を制御する。例えば、配置情報出力制御部137は、評価値Eが所定の最大値E′と一致したと配置情報更新部135により判定された場合に、当該評価値Eに係るプロジェクタ配置情報を出力してもよい。係る構成により、投影条件を全て満たすようなプロジェクタ配置情報が出力される。
 上述したように、配置情報出力制御部137は、表示制御部15へプロジェクタ配置情報を出力してもよい。また、配置情報出力制御部137は、通信部20を介して、他の装置(例えば図1に示した投影制御装置3)へプロジェクタ配置情報を出力してもよい。また、配置情報出力制御部137は、記憶部50へプロジェクタ配置情報を出力してもよい(つまり、記憶部50にプロジェクタ配置情報を記憶させてもよい)。
 なお、配置情報出力制御部137は、評価値Eが所定の最大値E′と一致し、かつユーザが当該評価値Eに係るプロジェクタ配置情報に満足した場合に、通信部20を介して、他の装置へプロジェクタ配置情報を出力してもよい。また、同様に、配置情報出力制御部137は、評価値Eが所定の最大値E′と一致し、かつユーザが当該評価値Eに係るプロジェクタ配置情報に満足した場合に、記憶部50へプロジェクタ配置情報を出力してもよい。なお、ユーザが当該評価値Eに係るプロジェクタ配置情報に満足したか否かは、当該プロジェクタ配置情報に基づく表示部40の表示(後述)を確認したユーザが入力部30を介して入力した情報に基づいて判定されてもよい。
 係る構成により、投影条件を全て満たし、かつユーザが満足したプロジェクタ配置情報が、最終的に得られた(設計された)プロジェクタ配置情報として、他の装置、または記憶部50へ出力される。
 表示制御部15は、表示部40を制御し、表示部40に多様な画面を表示させる。例えば、表示制御部15は、配置制御部13から出力されたプロジェクタ配置情報に基づくシミュレーションにより得られる投影状態を表示させてもよい。例えば、表示制御部15は、投影状態を可視化した可視化画面を表示させてもよい。なお、係るシミュレーション、及び可視化は、表示制御部15により行われてもよいし、他の機能ブロックにより行われてもよい。
 図3は、表示制御部15が表示部40に表示させる、投影状態を含む可視化画面の一例を示す説明図である。図3に示すように、可視化画面G1にはプロジェクタV11~V14(各々が図1に示したプロジェクタ7A~7Dに対応)によるスクリーンV20(図1に示したスクリーン9に対応)への投影画像V21~V24(各々が図1に示した投影画像P11~P14)が含まれる。また、可視化画面G1には、所望投影範囲V26も含まれる。係る構成により、ユーザは所望投影範囲が十分にカバー(投影)されているかを確認することが可能である。
 なお、表示制御部15が表示させる可視化画面G1において、スクリーンV20上の投影画像V21~V24の輝度は、投影条件やプロジェクタ配置情報に基づいてシミュレーションされる輝度に応じたものであってもよい。係る構成により、ユーザは投影画像の輝度を確認することが可能である。
 また、図3に示すように、表示制御部15が表示させる可視化画面G1には、視聴者V30(図1に示した視聴者Hに対応)が含まれる。係る構成により、ユーザは視聴者の可動範囲を把握することが可能である。
 なお、表示制御部15が表示させる画面は図3に示す例に限定されず、表示制御部15は、投影状態に関する情報(例えば上述した最低解像度、最低輝度、交差領域の有無等の情報)をテキストにより表示させてもよい。
 図2に戻って説明を続ける。通信部20は、制御部10により制御されて、他の装置との間の通信を仲介する通信インタフェースである。通信部20は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図1に示す通信網5を介して他の装置との間の通信接続を確立する。例えば、通信部20は、配置情報出力制御部137に制御されて、プロジェクタ配置情報を、図1に示した投影制御装置3へ送信(出力)する。
 入力部30は、ユーザの入力を制御部10に提供する。例えば、ユーザは、入力部30を操作して、投影条件に関する入力や、プロジェクタ配置情報に満足したか否かを選択する入力を行ってもよい。
 表示部40は、上述した表示制御部15に制御されて、各種画面を表示するディスプレイである。例えば、表示部40は、上述した可視化画面を表示してもよい。
 記憶部50は、情報処理装置1の各構成が機能するためのプログラムやパラメータを記憶する。また、記憶部50は、配置制御部13が出力したプロジェクタ配置情報を記憶してもよい。
 以上、本実施形態に係る情報処理装置1の構成例について説明した。なお、図2に示した情報処理装置1の構成は一例であって、本実施形態はこれに限定されない。例えば、本実施形態による制御部10の各機能は、通信部20を介して接続される他の情報処理装置に備えられてもよい。例えば、受付部11が他の情報処理装置に備えられる場合、当該他の情報処理装置により受け付けられた投影条件が通信部20を介して情報処理装置1へ提供されてもよい。
  <1-3.動作>
 続いて、本実施形態に係る情報処理装置1の動作例について説明する。まず、情報処理装置1の全体的な動作の流れについて図4を参照して説明した後に、配置制御部13によるプロジェクタ配置の自動的な設計処理の流れについて図5を参照して詳細に説明する。
 (全体動作)
 図4は、本実施形態に係る情報処理装置1の全体的な動作を示すフローチャート図である。図4に示すように、まず、受付部11が、入力部30を介したユーザの入力に基づき、投影条件を受け付ける(S10)。
 続いて、ステップS10で受け付けられた投影条件に基づいて、配置制御部13がプロジェクタ配置の自動的な設計を行う(S11)。なお、ステップS11の処理(プロジェクタ配置の自動的な設計処理)については、図5を参照して詳細に後述する。
 続いて、ステップS11で行われた自動的な設計の結果、配置制御部13から出力されたプロジェクタ配置情報に基づくシミュレーションにより得られた投影状態を含む画面を、表示制御部15が表示部40に表示させる(S12)。ステップS12において表示部40に表示された投影状態を含む画面を確認したユーザは、入力部30を操作して満足したか否かを選択する(S13)。
 ユーザが満足していない場合(S13においてNO)、受付部11は、投影条件パラメータに関する変更や、追加の投影条件パラメータを受け付ける(S14)。ステップS14において、ユーザが不満足と判断する部分に対応する投影条件パラメータに関する変更や追加が行われることが期待される。例えば、スクリーン上の解像度を高くしたい場合には、所望投影解像度が高くなるように所望投影解像度情報を変更する。これにより、再度プロジェクタ配置の自動設計が行われた場合には、プロジェクタの台数を増やしてプロジェクタの画角を狭くする(ズーム率の変更)、あるいはプロジェクタを近づけるといったプロジェクタ配置の改善がなされることが期待される。また、スクリーン上の輝度をより高くしたい場合には、所望投影輝度が高くなるように所望投影輝度情報を変更する。これにより、再度プロジェクタ配置の自動設計が行われた場合には、プロジェクタの台数を増やして複数プロジェクタの投影を重ね合わせる、あるいはプロジェクタの画角を狭くする(ズーム率の変更)、あるいはプロジェクタを近づけるといったプロジェクタ配置の改善がなされることが期待される。なお、処理はステップS14の後、ステップS11へ戻り、変更または追加された投影条件パラメータに基づいて再度プロジェクタ配置の自動設計が行われる。
 一方、ユーザが満足した場合(S13においてYES)、配置情報出力制御部137は、通信部20を制御して、プロジェクタ配置情報を他の装置(外部)へ出力する(S15)。外部へ出力されたプロジェクタ配置情報は、例えば図1に示したプロジェクタ7を実際に配置(設営)する際に利用されてもよい。また、外部へ出力されたプロジェクタ配置情報は、図1に示した投影制御装置3が補正処理を行う際の姿勢推定初期値として利用されてもよい。
 (プロジェクタ配置の自動的な設計処理)
 以上、本実施形態に係る情報処理装置1の全体的な動作の流れについて説明した。続いて、図4に示したステップS11の処理(プロジェクタ配置の自動的な設計処理)について、図5を参照してより詳細に説明する。図5は、配置制御部13によるプロジェクタ配置の自動的な設計処理の流れを示すフローチャート図である。
 図5に示すように、まず、配置制御部13の初期配置情報生成部131が、プロジェクタ配置情報を生成する(S111)。続いて、配置制御部13の評価部133が、プロジェクタ配置情報に係る評価値Eを特定する(S113)。
 続いて、配置制御部13の配置情報更新部135は、ステップS113で特定された評価値Eが所定の最大値E′と一致するか否かを判定する(S115)。評価値Eが所定の最大値E′と一致しない場合(S115においてNO)、配置情報更新部135はプロジェクタ配置情報の更新を行い(S117)、処理はステップS113に戻って、更新されたプロジェクタ配置情報に係る評価値Eが特定される。つまり、配置情報更新部135は、評価値Eが所定の最大値E′と一致するまで、プロジェクタ配置情報の更新を繰り返し行う。
 一方、評価値Eが所定の最大値E′と一致する場合(S115においてYES)、配置制御部13の配置情報出力制御部137が、プロジェクタ配置情報を表示制御部15へ出力する(S119)。
  <1-4.効果>
 以上、本開示の第1の実施形態について説明した。本実施形態によれば、投影条件に基づいて自動的にプロジェクタの配置を設計することが可能であり、ユーザの負担が軽減される。
 <<2.第2の実施形態>>
  <2-1.概要>
 続いて、本開示の第2の実施形態について説明する。図6は、本開示の第2の実施形態に係る投影システム2000の概略構成を説明するための説明図である。図2に示すように、本実施形態に係る投影システム2000は、情報処理装置1-2、投影制御装置3-2、通信網5、プロジェクタ7A~7D、カメラ8A、8B及びスクリーン9を含む。本実施形態に係る投影システム2000の構成は、情報処理装置1-2、投影制御装置3-2の機能がそれぞれ情報処理装置1、投影制御装置3の機能と一部異なる点、及びカメラ8A、8Bをさらに含む点、を除いて図1を参照して説明した第1の実施形態に係る投影システム1000の構成と同様である。したがって、以下では、第1の実施形態と同様の部分については説明を適宜省略し、第1の実施形態と異なる点について主に説明する。
 本実施形態に係る情報処理装置1-2は、プロジェクタ7の配置に関するプロジェクタ配置情報に加え、カメラ8A、8Bの配置に関するカメラ配置情報(センサ配置情報の一例)を、投影制御装置3-2へ出力(送信)する。情報処理装置1-2の詳細な構成については、図7を参照して後述する。
 投影制御装置3-2は、第1の実施形態に係る投影制御装置3と同様に、情報処理装置1-2から受信したプロジェクタ配置情報に基づいて、補正処理等を行って生成した入力画像をプロジェクタ7A~7Dへ送信する情報処理装置である。本実施形態に係る投影制御装置3-2は、カメラ8A、8Bがスクリーン9上の投影画像P11~P14を撮像(センシング)して得た撮像画像にさらに基づいて、補正処理を行ってもよい。例えば、投影制御装置3-2は、Structured lightによる対応点情報に基づいて補正を行って入力画像を生成してもよい。
 カメラ8A、8Bは、プロジェクタ7A~7Dによりスクリーン9上に投影された投影画像P11~P14の少なくとも一部を撮像(センシング)して撮像画像を取得するセンサである。カメラ8A、8Bはカメラ配置情報に従って配置されてもよい。なお、図6では、投影システム2000が2つのカメラ8A、8Bを含む例を示しているが、投影システム2000が含むカメラの台数は係る例に限定されない。以降では、カメラの台数を限定または区別しない場合、カメラ8と呼称する場合がある。
 このような投影システム2000では、プロジェクタ7の適切な配置だけでなく、カメラ8を適切に配置することも重要である。カメラ8が適切に配置されない場合、スクリーン9上に投影された投影画像P11~P14を十分にセンシングすることができず、投影制御装置3が補正処理に失敗する恐れがある。
 また、プロジェクタ配置の設計と同様に、カメラ配置の設計を行うことはユーザにとって負担であった。そこで、上記事情を一着眼点として本開示の第2の実施形態を創作するに至った。本実施形態による情報処理装置1-2は、プロジェクタの配置のみならず、カメラの配置をも自動的に設計し、プロジェクタ配置情報とカメラ配置情報を出力することで、ユーザの負担を軽減することが可能である。以下、このような効果を奏するための情報処理装置1-2の構成について、詳細に説明する。
  <2-2.構成>
 図7は、本実施形態に係る情報処理装置1-2の構成例を示すブロック図である。本実施形態に係る情報処理装置1-2は、図7に示すように、制御部10-2、通信部20、入力部30、表示部40、及び記憶部50を備える。本実施形態に係る情報処理装置1-2の構成は、制御部10-2の機能が、制御部10の機能と一部異なる点を除いて、図2を参照して説明した第1の実施形態に係る情報処理装置1の構成と同様である。したがって、以下では、第1の実施形態と同様の部分については説明を適宜省略し、制御部10-2が有する制御部10の機能とは異なる部分について主に説明する。
 制御部10-2は、情報処理装置1-2の各構成を制御する。また、制御部10-2は、図7に示すように、受付部12、配置制御部14、及び表示制御部16としても機能する。
 受付部12は、第1の実施形態に係る受付部11と同様に、入力部30を介してユーザの入力を受け付ける。例えば、受付部12は、第1の実施形態に係る受付部11と同様に、プロジェクタ7による投影に関する投影条件を受け付け、配置制御部14へ出力する。
 さらに、本実施形態に係る受付部12は、カメラ8(センサの一例)による撮像(センシングの一例)に関する撮像条件(センシング条件)を受け付け、配置制御部14へ出力する。
 受付部12が受け付ける撮像条件は、複数の撮像条件パラメータを含んでもよい。撮像条件は、例えば、カメラ仕様情報、使用可能カメラ台数情報、カメラ配置可能範囲情報、所望撮像解像度情報などの撮像条件パラメータを含んでもよい。
 カメラ仕様情報は、カメラ8の仕様に関する情報である。カメラ仕様情報は、例えばカメラ8のサイズ、撮像画素数、ズーム可動範囲等の情報を含んでもよい。
 使用可能カメラ台数情報は、使用可能なカメラの台数に関する情報である。使用可能カメラ台数情報は、例えば投影システム2000が有するカメラ8の台数の情報であってもよい。また、使用可能カメラ台数情報は、使用可能なカメラの台数の、上限値、下限値またはそれらの組み合わせの情報であってもよい。
 カメラ配置可能範囲情報は、カメラ8を配置可能な範囲を示す情報である。
 所望撮像解像度情報は、カメラ8が撮像(センシング)して得た撮像画像のうち所望投影範囲に対応する範囲における解像度(画素密度)に関して、ユーザが望む下限値を示す情報である。つまり、撮像画像のうち所望投影範囲に対応する範囲内の解像度の最低値が当該下限値以上であればユーザの希望は満たされるとみなされる。なお、所望撮像解像度情報は、例えばスクリーン9上での単位面積当たりの撮像画像における画素数の形式で指定されてもよいし、視聴位置からスクリーン9を見た際の単位角度当たりの撮像画像における画素数の形式で指定されてもよい。
 受付部12は、上述した撮像条件パラメータを、入力部30を介したユーザの入力に基づいて受け付ける。例えば、上述した撮像条件パラメータは、ユーザの直接的な入力により受け付けられてもよいし、撮像条件パラメータに関する予め用意された選択肢からユーザが選択することで撮像条件パラメータが受け付けられてもよい。なお、撮像条件パラメータに関する選択肢は、例えば記憶部50に記憶されていてもよいし、通信部20を介して不図示の他の装置から取得されてもよい。
 また、受付部12は、上述した撮像条件パラメータのうち、少なくとも一部の撮像条件パラメータを含む撮像条件を受け付ければよい。つまり、上述した撮像条件パラメータの全てが指定されなくてもよい。
 また、受付部12は、上述した撮像条件パラメータに関する変更や、追加の撮像条件パラメータを、入力部30を介したユーザの入力に基づいて受け付ける。例えば、受付部12は、後述するように、カメラ配置情報に基づくシミュレーションにより得られる撮像状態が表示部40に表示された際に、撮像条件パラメータに関する変更や、追加の撮像条件パラメータを受け付けてもよい。
 配置制御部14は、第1の実施形態に係る配置制御部13と同様に、受付部12が受け付けた投影条件に基づいて、プロジェクタ7の配置を自動的に設計し、設計したプロジェクタ7の配置に関するプロジェクタ配置情報を出力する。
 さらに、本実施形態に係る配置制御部14は、受付部12が受け付けた撮像条件、投影条件、及びプロジェクタ配置情報に基づいて、カメラ8の配置に関するカメラ配置情報(センサ配置情報)をさらに出力する。なお、本明細書において「カメラ配置情報を出力する」とは、表示制御部16へカメラ配置情報を出力すること、記憶部50へカメラ配置情報を出力すること、通信部20を介して他の装置へカメラ配置情報を出力すること、を含み得る。
 本実施形態に係る配置制御部14は、図2に示すように、初期配置情報生成部141、評価部143、配置情報更新部145、及び配置情報出力制御部147として機能する。初期配置情報生成部141、評価部143、配置情報更新部145、及び配置情報出力制御部147は、それぞれ図2を参照して説明した第1の実施形態に係る初期配置情報生成部131、評価部133、配置情報更新部135、及び配置情報出力制御部137と同様の機能を有し、さらに以下に説明する機能を有する。
 初期配置情報生成部141は、撮像条件に基づき、カメラ配置情報を生成する。初期配置情報生成部141が生成するカメラ配置情報は、例えばカメラ8の台数、各カメラ8の位置、向き、及びズーム率の情報を含んでもよい。なお、以下では、カメラ8の台数、各カメラ8の位置、向き、及びズーム率をまとめてカメラ配置パラメータと呼称する場合がある。
 なお、初期配置情報生成部141が生成するカメラ配置情報は、言わば仮のカメラ配置情報であり、上述した撮像条件を全て満たすものでなくてもよい。初期配置情報生成部141は、撮像条件のうち一部の撮像条件パラメータ(例えば使用可能カメラ台数情報、カメラ仕様情報、及びカメラ配置可能範囲情報)に係る条件が満たされるように、プロジェクタ配置情報を生成してもよい。
 例えば、初期配置情報生成部141は、カメラ8をカメラ配置可能範囲内でランダムに配置したカメラ配置情報を生成してもよい。または、初期配置情報生成部141は、カメラ8を所定のルールに従った位置(例えばスクリーン9に正対する位置)に配置したカメラ配置情報を生成してもよい。初期配置情報生成部141によって生成されたカメラ配置情報は、評価部143へ提供される。なお、後述する評価部143によるカメラ配置情報の評価のためにはプロジェクタ配置情報が必要であるため、初期配置情報生成部141は、例えば、配置情報更新部145が、プロジェクタ配置情報の更新を完了した後に、カメラ配置情報を生成してもよい。
 評価部143は、撮像条件、投影条件、及びプロジェクタ配置情報に基づいて、カメラ配置情報を評価して当該カメラ配置情報に係る評価値を特定する。
評価部143は、カメラ配置情報に従ってカメラ8が配置されると全ての撮像条件が満たされる場合に、当該カメラ配置情報に係る評価値が所定値となるように当該カメラ配置情報に係る評価値を特定してもよい。例えば、評価部143は、撮像条件が満たされた状態に近づく程、カメラ配置情報に係る評価値が大きくなるように当該カメラ配置情報評価値を特定してもよく、係る場合、上述した所定値が評価値の取り得る最大値となる
 評価部143は、投影条件、プロジェクタ配置情報、撮像条件のうち一部の撮像条件パラメータ、及びカメラ配置情報を用いたシミュレーションにより得られる撮影状態情報にさらに基づいて、当該カメラ配置情報に係る評価値を特定してもよい。係るシミュレーションには、例えば撮像条件のうち、カメラ仕様情報が用いられてもよい。また、係るシミュレーションは、評価部143により行われてもよいし、他の機能ブロックにより行われてもよい。撮像状態情報は、当該カメラ配置情報に従ってカメラ8を配置した場合にカメラ8が投影画像を撮像(センシング)した状態に関するシミュレーションを行って得られたシミュレーション結果を示す情報である。
 撮像状態情報は、例えばカメラ8の撮像により得られる撮像画像の解像度に関するシミュレーション結果を示す情報を含んでもよく、評価部143は、当該シミュレーション結果に基づいて、撮像画像の解像度に係る評価値ECrを特定してもよい。評価部143は、当該シミュレーション結果を、投影条件に含まれる所望投影範囲情報、及び撮像条件に含まれる所望撮像解像度情報に基づいて評価して、評価値ECrを特定してもよい。
 例えば、評価部143は、当該シミュレーション結果に基づき、撮像画像のうち所望投影範囲における最低解像度を特定し、当該最低解像度が高い程、評価値ECrが大きくなるように評価値ECrを特定してもよい。なお、所望投影範囲においてカメラ8により撮像(センシング)されていない領域が存在する場合、最低解像度は0となる。また、評価部143は、特定された最低解像度が所望撮像解像度以上である場合に評価値ECrが最大値ECr′となるように評価値ECrを特定してもよい。
 上記のように評価値ECrを特定することで、評価値ECrが最大値ECr′である場合には、撮像条件のうち、所望投影解像度情報に係る条件が満たされていることになる。
 撮像状態情報は、例えばカメラ8へ入光する光線と、スクリーン9(投影面)以外の物体との交差に関するシミュレーション結果を示す情報を含んでもよく、評価部143は、当該シミュレーション結果に基づいて、交差に係る評価値ECcを特定してもよい。なお、カメラ8へ入光する光線と交差し得るスクリーン9以外の物体は、例えば当該光線を受光するカメラ8以外のカメラ8、プロジェクタ7を含み得る。また、カメラ8によるセンシングを行う際に視聴者が存在することが想定される場合には、カメラ8へ入光する光線と交差し得るスクリーン9以外の物体に、視聴位置に存在する視聴者が含まれ得る。カメラ8へ入光する光線とこれらの物体との交差に関するシミュレーションは、投影条件に含まれるプロジェクタ仕様情報、撮像条件に含まれるカメラ仕様情報、及び視聴位置情報に基づいて行われ得る。
 例えば、評価部143は、当該シミュレーション結果に基づき、カメラ8へ入光する光線とスクリーン9(投影面)以外の物体との交差領域が大きい程、評価値ECcが小さくなるように、評価値ECcを特定してもよい。また、評価部143は、当該交差領域が存在しない場合に評価値ECcが最大値ECc′となるように評価値ECcを特定してもよい。
 評価部143は、上述した評価値ECr、及び評価値ECc、を組み合わせて、カメラ配置情報に係る評価値Eを特定してもよい。例えば、評価部143は、次の数式(3)により評価値Eを特定してもよい。
  E=wCrCr+wCcCc  (3)
 なお、数式(3)において、wCr、及びwCcは、それぞれ評価値ECr、及び評価値ECcについての所定の重みづけ係数であり、各評価値の影響のバランスをとるために用いられる。
 また、カメラ配置情報が撮像条件を全て満たす場合、当該プロジェクタ配置情報に係る評価値Eは、次の数式(4)で表される所定の最大値E′と一致する。
  E′=wCrCr′+wCcCc′  (4)
 配置情報更新部145は、カメラ配置情報に係る評価値Eに基づいて、カメラ配置情報の更新を行う。例えば、配置情報更新部145は、評価部143が特定した評価値Eが所定の最大値E′と一致するか否かを判定し、評価値Eが所定の最大値E′と一致するまでカメラ配置情報の更新を行う。なお、配置情報更新部145は、撮像条件のうち、使用可能カメラ台数情報、カメラ仕様情報、及びカメラ配置可能範囲情報に係る条件が満たされるように、プロジェクタ配置情報の更新を行ってもよい。
 なお、カメラ配置情報の更新は、第1の実施形態において説明した、プロジェクタ配置情報の更新と実質的に同様に行うことができるため、ここでの詳細な説明は省略する。例えば、プロジェクタ配置情報の更新におけるプロジェクタ配置情報、プロジェクタ配置パラメータ、評価値E、及び最大値E′を、それぞれカメラ配置情報、カメラ配置パラメータ、評価値E、及び最大値E′に置き換えることでカメラ配置情報の更新を行うことが可能である。
 配置情報出力制御部147は、カメラ配置情報の出力を制御する。例えば、配置情報出力制御部147は、評価値Eが所定の最大値E′と一致したと配置情報更新部145により判定された場合に、当該評価値Eに係るカメラ配置情報を出力してもよい。係る構成により、撮像条件を全て満たすようなカメラ配置情報が出力される。
 上述したように、配置情報出力制御部147は、表示制御部15へカメラ配置情報を出力してもよい。また、配置情報出力制御部147は、通信部20を介して、他の装置(例えば図6に示した投影制御装置3-2)へカメラ配置情報を出力してもよい。また、配置情報出力制御部147は、記憶部50へプロジェクタ配置情報を出力してもよい(つまり、記憶部50にプロジェクタ配置情報を記憶させてもよい)。
 なお、配置情報出力制御部147は、評価値Eが所定の最大値E′と一致し、かつユーザが当該評価値Eに係るカメラ配置情報に満足した場合に、通信部20を介して、他の装置へカメラ配置情報を出力してもよい。また、同様に、配置情報出力制御部147は、評価値Eが所定の最大値E′と一致し、かつユーザが当該評価値Eに係るカメラ配置情報に満足した場合に、記憶部50へカメラ配置情報を出力してもよい。なお、ユーザが当該評価値Eに係るカメラ配置情報に満足したか否かは、当該カメラ配置情報に基づく表示部40の表示(後述)を確認したユーザが入力部30を介して入力した情報に基づいて判定されてもよい。
 係る構成により、撮像条件を全て満たし、かつユーザが満足したカメラ配置情報が、最終的に得られた(設計された)カメラ配置情報として、他の装置、または記憶部50へ出力される。
 表示制御部16は、図2を参照して説明した第1の実施形態に係る表示制御部15と同様に、表示部40を制御し、表示部40に多様な画面を表示させる。例えば、表示制御部16は、第1の実施形態に係る表示制御部15と同様に、プロジェクタ配置情報に基づくシミュレーションにより得られる投影状態を表示させてもよい。
 さらに、本実施形態に係る表示制御部16は、カメラ配置情報に基づくシミュレーションにより得られる撮像状態を表示させてもよい。例えば、表示制御部16は、撮像状態を可視化した可視化画面を表示させてもよい。なお、係るシミュレーション、及び可視化は、表示制御部16により行われてもよいし、他の機能ブロックにより行われてもよい。
 図8は、表示制御部16が表示部40に表示させる、撮像状態を含む可視化画面の一例を示す説明図である。図8に示すように、可視化画面G2にはプロジェクタV11~V14(各々が図6に示したプロジェクタ7A~7Dに対応)によるスクリーンV20(図6に示したスクリーン9に対応)、及びカメラV41、V42(各々が図6に示したカメラ8A、8Bに対応)が含まれる。また、可視化画面G2には、所望投影範囲V26が含まれる。さらに、可視化画面G2には、カメラV41の撮像範囲V27、カメラV42の撮像範囲V28も含まれる。係る構成により、ユーザは所望投影範囲が十分にセンシング(撮像)されているかを確認することが可能である。
 なお、表示制御部16が表示させる画面は図8に示す例に限定されない。例えば、表示制御部16は、撮像状態に関する情報(例えば上述した最低解像度、交差領域の有無等の情報)をテキストにより表示させてもよい。また、表示制御部16は、図3を参照して説明した投影画像V21~V24を可視化画面G2に含ませて表示させることで、投影状態と撮像状態を同時に確認可能な画面を表示させてもよい。さらに、表示制御部16は、Structured lightでのセンシングを行う場合のカメラ8からのセンシングパターンの見えを事前に確認可能な画面を表示させてもよい。
  <2-3.動作>
 以上、本実施形態に係る情報処理装置1-2の構成例について説明した。続いて、本実施形態に係る情報処理装置1-2の動作例について説明する。情報処理装置1-2の全体的な動作の流れについて図9を参照して説明した後に、配置制御部14によるカメラ配置の自動的な設計処理の流れについて図10を参照して詳細に説明する。
 (全体動作)
 図9は、本実施形態に係る情報処理装置1-2の全体的な動作を示すフローチャート図である。
 図9に示すように、まず、受付部12が、入力部30を介したユーザの入力に基づき、投影条件と撮像条件を受け付ける(S20)。
 続くステップS21~S24の処理は、図4、図5を参照して説明したステップS11~S14の処理と実質的に同一であるため、ここでの詳細な説明は省略する。
 ステップS23においてユーザが満足した場合(S23においてYES)、処理はステップS25に進む。ステップS25では、ステップS20で受け付けられた撮像条件に基づいて、配置制御部14がカメラ配置の自動的な設計を行う(S25)。なお、ステップS25の処理(カメラ配置の自動的な設計処理)については、図10を参照して詳細に後述する。
 続いて、ステップS25で行われた自動的な設計の結果、配置制御部14から出力されたカメラ配置情報に基づくシミュレーションにより得られた撮像状態を含む画面を、表示制御部16が表示部40に表示させる(S26)。ステップS26において表示部40に表示された撮像状態を含む画面を確認したユーザは、入力部30を操作して満足したか否かを選択する(S27)。
 ユーザが満足していない場合(S27においてNO)、受付部12は、撮像条件パラメータに関する変更や、追加の撮像条件パラメータを受け付ける(S28)。ステップS27において、ユーザが不満足と判断する部分に対応する撮像条件パラメータに関する変更や追加が行われることが期待される。なお、処理はステップS28の後、ステップS25へ戻り、変更または追加された撮像条件パラメータに基づいて再度カメラ配置の自動設計が行われる。
 一方、ユーザが満足した場合(S27においてYES)、配置情報出力制御部147は、通信部20を制御して、プロジェクタ配置情報とカメラ配置情報を他の装置(外部)へ出力する(S29)。外部へ出力されたプロジェクタ配置情報、及びカメラ配置情報は、例えば図6に示したプロジェクタ7、及びカメラ8を実際に配置(設営)する際に利用されてもよい。また、外部へ出力されたプロジェクタ配置情報、及びカメラ配置情報は、図1に示した投影制御装置3が補正処理を行う際に利用されてもよい。
 (カメラ配置の自動的な設計処理)
 以上、本実施形態に係る情報処理装置1-2の全体的な動作の流れについて説明した。続いて、図9に示したステップS25の処理(カメラ配置の自動的な設計処理)について、図10を参照してより詳細に説明する。図10は、配置制御部14によるカメラ配置の自動的な設計処理の流れを示すフローチャート図である。
 図10に示すように、まず、配置制御部14の初期配置情報生成部141が、カメラ配置情報を生成する(S251)。続いて、配置制御部14の評価部143が、カメラ配置情報に係る評価値Eを特定する(S253)。
 続いて、配置制御部14の配置情報更新部145は、ステップS253で特定された評価値Eが所定の最大値E′と一致するか否かを判定する(S255)。評価値Eが所定の最大値E′と一致しない場合(S255においてNO)、配置情報更新部145はカメラ配置情報の更新を行い(S257)、処理はステップS253に戻って、更新されたカメラ配置情報に係る評価値Eが特定される。つまり、配置情報更新部145は、評価値Eが所定の最大値E′と一致するまで、カメラ配置情報の更新を繰り返し行う。
 一方、評価値Eが所定の最大値E′と一致する場合(S255においてYES)、配置制御部14の配置情報出力制御部147が、カメラ配置情報を表示制御部16へ出力する(S259)。
  <2-4.効果>
 以上、本開示の第2の実施形態について説明した。本実施形態によれば、プロジェクタの配置に加え、補正処理に用いられるセンシングのためのカメラの配置をも自動的に設計することが可能であり、ユーザの負担がより軽減される。
 <<3.ハードウェア構成>>
 以上、本開示の実施形態を説明した。最後に、図11を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図11は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図11に示す情報処理装置900は、例えば、図2、図7にそれぞれ示した情報処理装置1、情報処理装置1-2を実現し得る。情報処理装置1、情報処理装置1-2による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図11に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913、及びセンサ915を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSPもしくはASIC等の処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、制御部10、及び制御部10-2を形成し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置907は、例えば表示部40を形成し得る。
 ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置908は、例えば、記憶部50を形成し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線もしくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、通信部20を形成し得る。
 センサ915は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ915は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得する。また、センサ915は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、本開示の実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上述のような本開示の実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <<4.むすび>>
 以上説明したように、本開示の実施形態によれば、プロジェクタ配置の設計に関する負担を軽減することが可能である。そのため、多数のプロジェクタを利用する場合や、複雑な投影条件の場合であっても容易にプロジェクタ配置を設計することが可能である。また、プロジェクタ配置の設計経験が乏しいユーザであっても容易にプロジェクタ配置を設計することが可能である。さらに、本開示の実施形態によれば、所望の投影を実現するために要するプロジェクタ台数やカメラ台数を、実機を準備する前に容易に把握することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、投影条件または撮像条件が満たされるほど、評価値が大きくなり、全ての条件が満たされた場合に評価値が最大値(所定値)となるように評価値が特定される例を説明したが、本技術は係る例に限定されない。投影条件または撮像条件が満たされるほど、評価値が小さくなり、全ての条件が満たされた場合に評価値が最小値(所定値)となるように評価値が特定されてもよい。なお、係る場合には、プロジェクタ配置情報、またはカメラ配置情報の更新において、大小比較を反転させる等の変更を適宜行えばよい。
 また、上記実施形態では、ユーザがプロジェクタ配置情報またはカメラ配置情報に満足しない場合に、投影条件または撮像条件を変更・追加する入力が受け付けられる例を説明したが、本技術は係る例に限定されない。例えば、ユーザがプロジェクタ配置情報またはカメラ配置情報に満足しない場合に、プロジェクタ配置情報またはカメラ配置情報に含まれるプロジェクタ配置パラメータまたはカメラ配置パラメータを直接的に変更する入力が受け付けられてもよい。係る構成によれば、ユーザによる確認回数を削減することが可能であり、特に豊富な設計経験を有するユーザにとって負担がより軽減され得る。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報を出力する、配置制御部を備える情報処理装置。
(2)
 前記配置制御部は、前記投影条件に基づいて前記プロジェクタ配置情報を評価して前記プロジェクタ配置情報に係る評価値を特定し、前記評価値に基づいて前記プロジェクタ配置情報の更新を行う、前記(1)に記載の情報処理装置。
(3)
 前記配置制御部は、前記投影条件が満たされる場合に、前記プロジェクタ配置情報に係る前記評価値が所定値となるように前記評価値を特定し、前記評価値と前記所定値との差分が小さくなるように、前記プロジェクタ配置情報の更新を行う、前記(2)に記載の情報処理装置。
(4)
 前記配置制御部は、遺伝的操作により、前記プロジェクタ配置情報の更新を行う、前記(2)または(3)に記載の情報処理装置。
(5)
 前記配置制御部は、前記評価値が前記所定値と一致するまで前記プロジェクタ配置情報の更新を行い、前記評価値が前記所定値と一致した場合に、前記プロジェクタ配置情報を出力する、前記(3)または(4)に記載の情報処理装置。
(6)
 前記配置制御部は、前記プロジェクタ配置情報を用いたシミュレーションにより得られる投影状態情報にさらに基づいて、前記評価値を特定する、前記(2)~(5)のいずれか一項に記載の情報処理装置。
(7)
 前記投影状態情報は、前記プロジェクタが投影する投影画像の解像度に関するシミュレーション結果を示す情報を含む、前記(6)に記載の情報処理装置。
(8)
 前記投影状態情報は、前記プロジェクタが投影する投影画像の輝度に関するシミュレーション結果を示す情報を含む、前記(6)または(7)に記載の情報処理装置。
(9)
 前記投影状態情報は、前記プロジェクタから投射される光線と、投影面以外の物体との交差に関するシミュレーション結果を示す情報を含む、前記(6)~(8)のいずれか一項に記載の情報処理装置。
(10)
 前記配置制御部は、前記プロジェクタによる投影画像の少なくとも一部をセンシングするセンサによるセンシングに関するセンシング条件、前記投影条件、及び前記プロジェクタ配置情報に基づいて、前記センサの配置に関するセンサ配置情報をさらに出力する、前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
 前記配置制御部は、前記投影条件、前記プロジェクタ配置情報、及び前記センシング条件に基づいて前記センサ配置情報を評価して評価値を特定し、前記センサ配置情報の更新を行う、前記(10)に記載の情報処理装置。
(12)
 前記配置制御部は、前記プロジェクタ配置情報、及びセンサ配置情報に基づくシミュレーションにより得られるセンシング状態情報に基づいて、前記評価値を特定する、前記(11)に記載の情報処理装置。
(13)
 前記プロジェクタ配置情報を用いたシミュレーションにより得られる投影状態を表示させる表示制御部をさらに備える、前記(1)~(12)のいずれか一項に記載の情報処理装置。
(14)
 プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報をプロセッサが出力すること、を含む情報処理方法。
(15)
 コンピュータに、
 プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報をプロセッサが出力する機能を実現させるための、プログラム。
 1、1-2 情報処理装置
 3、3-2 投影制御装置
 5 通信網
 7 プロジェクタ
 8 カメラ
 9 スクリーン
 10、10-2 制御部
 11、12 受付部
 13、14 配置制御部
 15、16 表示制御部
 20 通信部
 30 入力部
 40 表示部
 50 記憶部
 131、141 初期配置情報生成部
 133、143 評価部
 135、145 配置情報更新部
 137、147 配置情報出力制御部
 1000、2000 投影システム

Claims (15)

  1.  プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報を出力する、配置制御部を備える情報処理装置。
  2.  前記配置制御部は、前記投影条件に基づいて前記プロジェクタ配置情報を評価して前記プロジェクタ配置情報に係る評価値を特定し、前記評価値に基づいて前記プロジェクタ配置情報の更新を行う、請求項1に記載の情報処理装置。
  3.  前記配置制御部は、前記投影条件が満たされる場合に、前記プロジェクタ配置情報に係る前記評価値が所定値となるように前記評価値を特定し、前記評価値と前記所定値との差分が小さくなるように、前記プロジェクタ配置情報の更新を行う、請求項2に記載の情報処理装置。
  4.  前記配置制御部は、遺伝的操作により、前記プロジェクタ配置情報の更新を行う、請求項2に記載の情報処理装置。
  5.  前記配置制御部は、前記評価値が前記所定値と一致するまで前記プロジェクタ配置情報の更新を行い、前記評価値が前記所定値と一致した場合に、前記プロジェクタ配置情報を出力する、請求項3に記載の情報処理装置。
  6.  前記配置制御部は、前記プロジェクタ配置情報を用いたシミュレーションにより得られる投影状態情報にさらに基づいて、前記評価値を特定する、請求項2に記載の情報処理装置。
  7.  前記投影状態情報は、前記プロジェクタが投影する投影画像の解像度に関するシミュレーション結果を示す情報を含む、請求項6に記載の情報処理装置。
  8.  前記投影状態情報は、前記プロジェクタが投影する投影画像の輝度に関するシミュレーション結果を示す情報を含む、請求項6に記載の情報処理装置。
  9.  前記投影状態情報は、前記プロジェクタから投射される光線と、投影面以外の物体との交差に関するシミュレーション結果を示す情報を含む、請求項6に記載の情報処理装置。
  10.  前記配置制御部は、前記プロジェクタによる投影画像の少なくとも一部をセンシングするセンサによるセンシングに関するセンシング条件、前記投影条件、及び前記プロジェクタ配置情報に基づいて、前記センサの配置に関するセンサ配置情報をさらに出力する、請求項1に記載の情報処理装置。
  11.  前記配置制御部は、前記投影条件、前記プロジェクタ配置情報、及び前記センシング条件に基づいて前記センサ配置情報を評価して評価値を特定し、前記センサ配置情報の更新を行う、請求項10に記載の情報処理装置。
  12.  前記配置制御部は、前記プロジェクタ配置情報、及びセンサ配置情報に基づくシミュレーションにより得られるセンシング状態情報に基づいて、前記評価値を特定する、請求項11に記載の情報処理装置。
  13.  前記プロジェクタ配置情報を用いたシミュレーションにより得られる投影状態を表示させる表示制御部をさらに備える、請求項1に記載の情報処理装置。
  14.  プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報をプロセッサが出力すること、を含む情報処理方法。
  15.  コンピュータに、
     プロジェクタによる投影に関する投影条件に基づいて、前記プロジェクタの配置に関するプロジェクタ配置情報をプロセッサが出力する機能を実現させるための、プログラム。
PCT/JP2018/015872 2017-07-14 2018-04-17 情報処理装置、情報処理方法、及びプログラム WO2019012774A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP18832009.7A EP3654638A4 (en) 2017-07-14 2018-04-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2019529453A JPWO2019012774A1 (ja) 2017-07-14 2018-04-17 情報処理装置、情報処理方法、及びプログラム
CN201880045538.0A CN110892713B (zh) 2017-07-14 2018-04-17 信息处理装置、信息处理方法和程序
KR1020197036002A KR20200028331A (ko) 2017-07-14 2018-04-17 정보 처리 장치, 정보 처리 방법, 및 프로그램
US16/621,947 US11082670B2 (en) 2017-07-14 2018-04-17 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017137886 2017-07-14
JP2017-137886 2017-07-14

Publications (1)

Publication Number Publication Date
WO2019012774A1 true WO2019012774A1 (ja) 2019-01-17

Family

ID=65002191

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015872 WO2019012774A1 (ja) 2017-07-14 2018-04-17 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US11082670B2 (ja)
EP (1) EP3654638A4 (ja)
JP (1) JPWO2019012774A1 (ja)
KR (1) KR20200028331A (ja)
CN (1) CN110892713B (ja)
WO (1) WO2019012774A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827559A (zh) * 2021-01-27 2022-07-29 精工爱普生株式会社 显示方法以及显示系统
JP2022114688A (ja) * 2021-01-27 2022-08-08 セイコーエプソン株式会社 表示方法および表示システム
WO2024034437A1 (ja) * 2022-08-08 2024-02-15 パナソニックIpマネジメント株式会社 シミュレーション装置、シミュレーション方法及びコンピュータプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7182920B2 (ja) * 2018-07-02 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
TWI779305B (zh) * 2020-06-24 2022-10-01 奧圖碼股份有限公司 使用擴增實境之投影機的設置模擬方法及其終端裝置
CN115802014A (zh) * 2021-09-09 2023-03-14 卡西欧计算机株式会社 记录介质、设置模拟方法和设置模拟装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024668A (ja) * 2003-06-30 2005-01-27 Sharp Corp 投映型表示装置及び該投映型表示装置の設置調整方法
JP2014052393A (ja) * 2012-09-04 2014-03-20 Ricoh Co Ltd 画像投影システム、画像投影システムの運用方法、画像投影装置、画像投影システムの遠隔操作装置、及び画像投影システムを用いるテレビ会議システム
JP2015047894A (ja) * 2013-08-30 2015-03-16 富士通テン株式会社 表示システム
JP2016014720A (ja) 2014-07-01 2016-01-28 ソニー株式会社 情報処理装置および方法
JP2016536909A (ja) * 2013-09-03 2016-11-24 シゼイ シジブイ カンパニー リミテッド 多面上映システムのシミュレーション映像を提供するためのシミュレーション映像管理システム及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233308A1 (en) * 2003-05-20 2004-11-25 Elliott Candice Hellen Brown Image capture device and camera
JP4082414B2 (ja) * 2005-02-23 2008-04-30 セイコーエプソン株式会社 プロジェクションシステム、プロジェクタ、プロジェクタの制御方法、およびプログラム
US7252387B2 (en) * 2005-03-21 2007-08-07 Mitsubishi Electric Research Laboratories, Inc. System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment
WO2012051715A1 (en) * 2010-10-18 2012-04-26 Will Bauer System and method for controlling media projectors
US20130070094A1 (en) * 2011-09-20 2013-03-21 The Regents Of The University Of California, A California Corporation Automatic registration of multi-projector dome images
JP6201359B2 (ja) * 2013-03-22 2017-09-27 カシオ計算機株式会社 投影システム、投影方法及び投影プログラム
JP2014239336A (ja) * 2013-06-07 2014-12-18 株式会社リコー プロジェクタおよびその制御方法
KR101489261B1 (ko) * 2013-08-26 2015-02-04 씨제이씨지브이 주식회사 상영관 파라미터 관리 장치 및 방법
KR101611174B1 (ko) * 2013-09-03 2016-04-11 씨제이씨지브이 주식회사 다면 상영 시스템의 시뮬레이션을 위한 시뮬레이션 시스템
JP5829306B2 (ja) * 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024668A (ja) * 2003-06-30 2005-01-27 Sharp Corp 投映型表示装置及び該投映型表示装置の設置調整方法
JP2014052393A (ja) * 2012-09-04 2014-03-20 Ricoh Co Ltd 画像投影システム、画像投影システムの運用方法、画像投影装置、画像投影システムの遠隔操作装置、及び画像投影システムを用いるテレビ会議システム
JP2015047894A (ja) * 2013-08-30 2015-03-16 富士通テン株式会社 表示システム
JP2016536909A (ja) * 2013-09-03 2016-11-24 シゼイ シジブイ カンパニー リミテッド 多面上映システムのシミュレーション映像を提供するためのシミュレーション映像管理システム及び方法
JP2016014720A (ja) 2014-07-01 2016-01-28 ソニー株式会社 情報処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3654638A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827559A (zh) * 2021-01-27 2022-07-29 精工爱普生株式会社 显示方法以及显示系统
JP2022114688A (ja) * 2021-01-27 2022-08-08 セイコーエプソン株式会社 表示方法および表示システム
JP2022114697A (ja) * 2021-01-27 2022-08-08 セイコーエプソン株式会社 表示方法および表示システム
JP7318670B2 (ja) 2021-01-27 2023-08-01 セイコーエプソン株式会社 表示方法および表示システム
JP7318669B2 (ja) 2021-01-27 2023-08-01 セイコーエプソン株式会社 表示方法および表示システム
CN114827559B (zh) * 2021-01-27 2023-12-01 精工爱普生株式会社 显示方法以及显示系统
WO2024034437A1 (ja) * 2022-08-08 2024-02-15 パナソニックIpマネジメント株式会社 シミュレーション装置、シミュレーション方法及びコンピュータプログラム

Also Published As

Publication number Publication date
CN110892713B (zh) 2022-04-15
EP3654638A1 (en) 2020-05-20
JPWO2019012774A1 (ja) 2020-05-07
KR20200028331A (ko) 2020-03-16
CN110892713A (zh) 2020-03-17
US11082670B2 (en) 2021-08-03
US20200112707A1 (en) 2020-04-09
EP3654638A4 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
WO2019012774A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11012674B2 (en) Information processing apparatus, image generation method, control method, and program
EP3301909B1 (en) Communication management apparatus, communication system, communication management method, and carrier means
EP3461124B1 (en) Communication terminal, image communication system, display control method, and carrier means
US9858643B2 (en) Image generating device, image generating method, and program
EP3346702A1 (en) Communication terminal, image communication system, communication method, and carrier means
US20200322591A1 (en) Information processing apparatus, image generation method, control method, and storage medium
US20200322584A1 (en) Control device, control method, and storage medium
WO2019205744A1 (zh) 图像畸变校正方法及装置、显示设备、计算机可读介质、电子设备
JP2016144089A (ja) 画像処理装置およびその制御方法
JP2015018296A (ja) 表示制御装置、プログラム及び記録媒体
US20200342671A1 (en) Information processing apparatus, information processing method, and program
JP6544996B2 (ja) 制御装置及び制御方法
JP6896452B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11317082B2 (en) Information processing apparatus and information processing method
JP2006018444A (ja) 画像処理システム及び付加情報指示装置
JP2020154155A (ja) 電子機器、電子機器の制御方法、プログラム
KR20190085681A (ko) 실감형 vr 영상의 제공 방법 및 이를 위한 서버 장치
WO2020054585A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019159894A (ja) 動体検出装置
JP2019145959A (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2019140530A (ja) サーバ装置、表示装置、映像表示システム、及び映像表示方法
CN110881102B (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
JP2017182843A (ja) プログラム、表示制御装置及び表示制御方法
EP4016464A1 (en) Apparatus, system, method, and carrier means

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18832009

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019529453

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018832009

Country of ref document: EP

Effective date: 20200214