WO2021131827A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2021131827A1
WO2021131827A1 PCT/JP2020/046457 JP2020046457W WO2021131827A1 WO 2021131827 A1 WO2021131827 A1 WO 2021131827A1 JP 2020046457 W JP2020046457 W JP 2020046457W WO 2021131827 A1 WO2021131827 A1 WO 2021131827A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
projection area
information processing
control unit
processing device
Prior art date
Application number
PCT/JP2020/046457
Other languages
English (en)
French (fr)
Inventor
健太郎 井田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/757,759 priority Critical patent/US20230015874A1/en
Publication of WO2021131827A1 publication Critical patent/WO2021131827A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Definitions

  • the present technology relates to an information processing device and an information processing method, and more particularly to an information processing device and an information processing method capable of more reliably realizing image projection using a plurality of projection devices.
  • This technology was made in view of such a situation, and makes it possible to more reliably realize image projection using a plurality of projection devices.
  • the information processing device of one aspect of the present technology detects the user's operation on the indicator projected on the projection area of each of the plurality of projection devices, and based on the detection result, relates to the relative position of the plurality of projection areas. It is an information processing device including a control unit that generates relative position information.
  • the information processing device detects the user's operation on the indicator projected on the projection area of each of the plurality of projection devices, and based on the detection result, the information processing device of the plurality of projection areas This is an information processing method that generates relative position information regarding a relative position.
  • the user's operation on the indicator projected on the projection area of each of the plurality of projection devices is detected, and based on the detection result, the plurality of projection areas Relative position information about the relative position of is generated.
  • the information processing device on one aspect of the present technology may be an independent device or an internal block constituting one device.
  • the continuity of the coordinates and the connected coordinates are unknown for each projector.
  • the first projector and the second projector are installed side by side, assuming that the content image is displayed across the two projectors, the upper left of the projection area of the first projector on the left side. Even if the position of is set as the origin, the x-coordinate will return to 0 again when the projection area of the second projector on the right side is entered beyond the right corner of the projection area.
  • a camera that captures the whole from a bird's-eye view is used, and the projection areas of each other are recognized by calibration, or the coordinates input by the user with a pen-type device or the like each time are used.
  • a method for recognizing the continuity of the boundary surface has been proposed.
  • Patent Document 1 As a technique relating to a large-screen digital blackboard using a pen-type device, the first projector and the second projector installed side by side, and slightly larger than the projection area of those projectors. A first camera and a second camera with a wide angle of view are installed, and the camera detection position (camera coordinate system) and the locus display position (projector coordinate system) of the pen-type device are set for each projector and camera set. , It has been calibrated in advance, and the trajectory is displayed at the place drawn by the pen-type device.
  • the end point (Pua) of the locus detected in one projection area (SC1) and the other projection area (SC2) are detected.
  • the criterion for determining the end point (Pua) and the start point (Pub) as continuous inputs is determined when two events come in one cycle of sampling.
  • Patent Document 1 As described above, the method disclosed in Patent Document 1 described above has a problem that it cannot be applied to an independent animation display, such as not only the system scale becoming bloated but also the user input being required each time. Existing.
  • the space is changed while changing the posture of the projector each time. Since it projects to an arbitrary area of the above, the projection relationship of a plurality of projectors changes even if the calibration is performed only once.
  • FIG. 1 shows an example of the configuration of an embodiment of a projection system to which the present technology is applied.
  • the projection system is a system for realizing projection mapping over a wider area and high-resolution image projection by using a plurality of projection devices, for example.
  • FIG. 1 in the projection system, two projectors 10A and 10B are installed adjacent to each other in the horizontal direction. Further, the camera 20A is installed on the upper surface of the housing of the projector 10A, and the camera 20B is installed on the upper surface of the housing of the projector 10B.
  • the projector 10A projects and displays an image on a projection surface based on image data input from a device such as a personal computer.
  • a device such as a personal computer.
  • the area that the projector 10A can project on the screen is represented by the projection area 100A.
  • the area that can be recognized by the camera 20A is represented by a camera angle of view of 200A.
  • the camera angle of view 200A is a little wider than the projection area 100A.
  • the projector 10B projects and displays an image on a projection surface based on image data input from a device such as a personal computer.
  • a device such as a personal computer.
  • the area that the projector 10B can project on the screen is represented by the projection area 100B
  • the area that can be recognized by the camera 20B is represented by the camera angle of view 200B.
  • the camera angle of view 200B is the projection area 100B. It will be a little wider area than.
  • the pen-type device 50 can be operated by the user by holding it in his / her hand, for example, to draw a figure such as a line on the projection area 100A and the projection area 100B at the time of calibration.
  • the combination of the two screens by the projection area 100A and the projection area 100B can be roughly classified into, for example, the three patterns shown in FIG. To.
  • the pattern in which the projection area 100A and the projection area 100B are separated and separated (A in FIG. 2) and the pattern in which the projection area 100A and the projection area 100B are in close contact with each other (B in FIG. 2) are in close contact with each other. ), And the projection area 100A and the projection area 100B overlap and overlap (C in FIG. 2).
  • the projection area 100A and the projection area 100B are arranged in the horizontal direction, but the projection area 100A and the projection area 100B are arranged. It may exist in the vertical direction or the diagonal direction instead of the horizontal direction.
  • the purpose of this technique is to recognize the relative positional relationship of a plurality of projection areas for all of the overlapping relationships and omnidirectional arrangements of the three patterns shown in FIG. 2 at the time of calibration.
  • the calibration method to which this technology is applied has two purposes.
  • the first is geometric correction when the projection area has a trapezoidal shape due to a situation such as oblique projection due to the relationship between the projector and the projection surface.
  • the second is a procedure of recognizing the relative relationship between the projection areas of a plurality of projectors and obtaining the continuity of coordinates.
  • the actual processing will be described in order.
  • the projection area 100B has a trapezoidal shape, and geometric correction is performed on the projection area 100A in a state where the projection area 100A and a part of the projection area 100B overlap.
  • the user uses the pen-type device 50, the feature point P A1 to P A4 as four indicator displayed on the projected area 100A by the projector 10A sequentially, will lead in one stroke.
  • the pen tip detected in the camera coordinate system is detected by detecting that the pen tip of the pen-type device 50 as an indicator has reached the feature point PA1 based on the captured image taken by the camera 20A. the position of, is associated with the feature point P A1 displayed in the projector coordinate system.
  • the locus of one-stroke writing by the user is shown by a thick line in order to make the explanation easy to understand, but in reality, this locus is not displayed on the projection area 100A.
  • the display of the locus on the projection area is the same in other figures described later.
  • FIG. 4 shows an example of homography transformation.
  • FIG. 4 for clarity of explanation, is also shown when recognizing a pattern of checker board, in fact, only the pen operation is recognized for the feature points P A1 to P A4.
  • a in FIG. 4 shows a photographed image taken by the camera 20A.
  • FIG. 4B shows a projected image projected by the projector 10A. That is, the captured image of A in FIG. 4 is converted into a facing image and becomes a projected image of B in FIG.
  • the point P A1 to P A4 on the photographed image corresponding to the point P A1 to P A4 on the projection image, i.e., be made to correspond to feature points P A pen operation Is generated by.
  • the homography transformation matrix generated by the above calibration is defined as the following equation (1).
  • x a represents the coordinates of the projector 10A
  • x a represents the coordinates of the camera 20A
  • H a represents a homography transformation matrix between the projector 10A and the camera 20A ing.
  • the user pen operation four displayed on the projection area 100A of the feature point P A1 to P A4 sequentially, after connecting with one stroke, further four displayed in the projection area 100B by the projector 10B of feature points P B1 to P B4, and represents a state in which connecting a line to the first feature points P B1.
  • the three patterns shown in FIG. 6 are assumed from the relationship between the two projection areas 100A and 100B.
  • the boundary surface of the projection area 100A is time. It is a pattern (C in FIG. 6) that is detected first.
  • the pen detected in the camera coordinate system is detected by detecting that the pen tip of the pen-type device 50 has reached each of the feature points P B1 to P B4 based on the captured image taken by the camera 20B.
  • the previous position is associated with each of the feature points P B1 to P B4 displayed in the projector coordinate system.
  • the homography transformation matrix of the camera coordinate system and the projector coordinate system is generated for the projection area 100B as well as the projection area 100A described above.
  • the homography transformation matrix generated by the above calibration is defined as the following equation (2).
  • x b represents the coordinates of the projector 10B
  • x b represents the coordinates of the camera 20B
  • H b represents a homography transformation matrix between the projector 10B and the camera 20B ing.
  • the line segment until detecting a P a is a projection area 100A and the projection area 100B, there are both detectable, it should match.
  • the nib corresponding to the pen operation by the user the captured image captured by the camera 20A, the coordinates of the projector coordinate system converted by the homography transformation matrix H a, the captured image captured by the camera 20B , It is shown that the coordinates of the projector coordinate system converted by the homography transformation matrix H b match in space.
  • the angle of rotation between the projection area 100A and the projection area 100B can be calculated.
  • FIG. 8 shows an example of a method of calculating the rotation angle between the projection areas when the two projection areas 100A and 100B overlap.
  • P b1 which is a point in the projection area 100B.
  • Each of the straight lines sandwiched between (x b1 , y b1 ) and P b2 (x b2 , y b2 ) is the line segment L s shown by the solid line in the figure, which is the projection coordinate system of the projection area 100A and the projection area 100B. They match in space.
  • the line segment L s indicated by the solid line is a line segment shared by the projection area 100A and the projection area 100B.
  • P a2 (x a2 , y a2 ) is the boundary point
  • P b1 (x b1 , y b1 ) is the boundary point.
  • FIG. 8 in order to calculate the angle of the line segment L s in the projection area 100A by applying a trigonometric function, it is shown by a broken line in the figure corresponding to the coordinate system in addition to the line segment L s. Use a triangle that contains two sides. Further, in order to calculate the angle of the line segment L s in the projection area 100B by applying a trigonometric function, in addition to the line segment L s , two sides indicated by a single point chain line in the figure corresponding to the coordinate system are used. Use the including triangle.
  • the angle ⁇ A of the line segment L s in the projection area 100 A is calculated by the following equation (3).
  • ⁇ A tan -1 (y a2 - y a1 / x a2 - x a1) ⁇ (3)
  • the angle ⁇ B of the line segment L s in the projection area 100 B is calculated by the following equation (4).
  • ⁇ B tan -1 (y b2 -y b1 / x b2 -x b1 ) ⁇ ⁇ ⁇ (4)
  • ⁇ AB ⁇ B - ⁇ A ... (5)
  • the vertical (vertical) shift amount (hereinafter referred to as vertical shift amount ⁇ y) between the projection area 100A and the projection area 100B is the corresponding point of the line segment L s shared between the projection areas.
  • the difference in y-coordinates in, that is, is calculated by the following equation (6) or equation (7).
  • the angle of rotation between the area 100B and the area 100B can be calculated.
  • FIG. 10 shows an example of a method of calculating the rotation angle between the projection areas when the boundaries of the two projection areas 100A and 100B are in contact with each other.
  • the angle of the L B in order to calculate by applying trigonometric functions, in addition to the line segment L B, using a triangle comprising two sides indicated by the chain line in the drawing in accordance with the coordinate system.
  • Angle theta A line segment L A in the projection area 100A is calculated by the following equation (8).
  • ⁇ B tan -1 (y b2 -y b1 / x b2 -x b1 ) ⁇ ⁇ ⁇ (9)
  • the vertical shift amount ⁇ y between the projection area 100A and the projection area 100B is the difference between the y coordinate of the boundary point P a of the projection area 100A and the y coordinate of the boundary point P b of the projection area 100B. That is, it is calculated by the following formula (11).
  • Offset may be added.
  • the angle of rotation between the area 100B and the area 100B can be calculated.
  • FIG. 12 shows an example of a method of calculating the rotation angle between the projection areas when the boundaries between the two projection areas 100A and 100B are separated.
  • the angle of the L B in order to calculate by applying trigonometric functions, in addition to the line segment L B, using a triangle comprising two sides indicated by the chain line in the drawing in accordance with the coordinate system.
  • ⁇ B tan -1 (y b2 -y b1 / x b2 -x b1 ) ⁇ ⁇ ⁇ (13)
  • the vertical shift amount ⁇ y between the projection area 100A and the projection area 100B can be obtained by using the relationship as shown in FIG.
  • the relative positional relationship between the projection areas is obtained according to the relative arrangement pattern of the projection area 100A and the projection area 100B, and the relative position regarding the relative position between the projection areas is obtained. Location information is saved. This relative position information is used in the application phase described later.
  • GUI Graphic User Interface
  • the projection area 100A, in 100B is a technique for drawing feature point P A, the P B.
  • FIG. 14 shows an example of a guide as support information at the time of calibration.
  • the feature point P A2 is the next target feature point P A1 is presented with emphasis in the projection area 100A.
  • the next target feature point can be enlarged and displayed or displayed in a different color. As a result, the user can surely grasp the next target feature point and perform the pen operation.
  • a guide of a line segment indicating the order in which the user traces the feature points by pen operation is presented by a line segment such as a dotted line or a broken line.
  • a line segment such as a dotted line or a broken line.
  • the user is notified.
  • a presentation prompting the user to return to the projection area 100A and perform the pen operation may be performed so that the geometric correction retry process is performed.
  • the retry process for recognizing the relative positional relationship may be performed.
  • the presentation as shown in FIG. 15 can be performed.
  • the user since the feature point P A1 of the projection area 100A are displayed flashing, the user is in the middle of the pen operation in the projection area 100B, that is to be resumed one stroke from the feature point P A1 Can be recognized.
  • the first added value is the omission of the recalibration procedure. That is, when obtaining the homography transformation matrix of the projection area, by storing the pan angle and the tilt angle at that time, a plurality of projection areas can be moved even after the drive type projector is driven. The relative positional relationship between the projection areas of can be calculated.
  • the distance d from the drive-type projector 10A to the projection area A is measured, and the value of this distance d is used to obtain the offset amount of the y coordinate from the change in the tilt angle ⁇ T. (Offset) can be calculated. This makes it possible to skip the recalibration procedure.
  • the offset amount y offset of the y coordinate is calculated by, for example, the following equation (16).
  • the second added value is the simplification of the calibration process. That is, by setting a plurality of projection areas at the same location using a drive-type projector, it is possible to calibrate all projection surfaces with a single pen operation by the user.
  • the projection areas 100A and the projection areas 100B of the projector 10A and the projector 10B as moving projectors are set to overlap as a whole.
  • the feature point P A1 to P A4 is displayed on the projection area 100A, that connect in one stroke, one stroke is made with respect to the feature points at the same time with respect to the projection area 100B that has been superimposed.
  • the relative positional relationship between a plurality of projection areas can be solved by using the relative position information generated in the calibration phase.
  • FIG. 18 shows an animation in which three projectors 10A to 10C are used and a character moves across the projection areas 100A to 100C.
  • the projection area 100A and the projection area 100B are separated from each other. Further, the projection area 100B and the projection area 100C are in a state where some areas overlap.
  • the projection system does not require real-time processing including detection when crossing the boundary between projection areas, and since the relative positional relationship is recognized in advance by the calibration phase, it is input as if it were on one large canvas. It can be used as if it were done.
  • FIG. 19 shows an animation in which a drive type projector 10A and a fixed type projector 10B are used and a character moves between the projection areas.
  • the character C which can display an independent animation by using the relative position information, can be projected from the projection area 100A to the projection area. It can be handed over to 100B and moved while straddling the projection area.
  • the relative position information includes the rotation angle ⁇ AB between the projection areas and the vertical shift amount ⁇ y between the projection areas.
  • FIG. 20 shows an example of coordinates at the boundary of the projection area when the character C moves across the projection areas in a state where a part of the projection area 100A and the projection area 100B overlap.
  • the character C moves from P a1 (x a1 , y a1 ) to P a2 (0, y a2 ) by moving from right to left along the path indicated by the arrow in the figure. doing.
  • the upper left position is the origin.
  • P a2 (0, ya2 ) on the projection area 100A is P b1 (x b1 , y b1 ) on the projection area 100B.
  • P a2 (0, ya2 ) and P b1 (x b1 , y b1 ) at the boundary between the projection areas 100A and 100B have a relationship as shown in FIG.
  • the coordinates of P b1 (x b1, y b1 ), using the rotation angle theta AB included in the relative position information of the vertical shift amount [Delta] y, the projection area 100A, relates lines and angles including interface 100B
  • the trigonometric function it is calculated by the following equations (17) and (18).
  • x b1 x bmax - cos ( 90 - ⁇ AB) / (y amax -y a2) ⁇ (17)
  • y b1 y a2 + y bmax -sin (90- ⁇ AB ) / (y amax- y a2 ) + ⁇ y ... (18)
  • the upper left position is set as the origin, and the maximum value in the y-axis direction is set as y amax .
  • the upper left position is set as the origin, the maximum value in the x-axis direction is x bmax , and the maximum value in the Y-axis direction is y bmax .
  • FIG. 22 shows an example of the configuration of each device of the projection system to which the present technology is applied.
  • the projection system is composed of a plurality of projectors 10 and an information processing device 30 that controls the plurality of projectors 10.
  • the plurality of projectors 10 include a fixed type projector and a drive type projector.
  • a case is shown in which one fixed-type projector 10A and two drive-type projectors 10B and 10C are configured, for a total of three projectors 10.
  • the projector 10A is a fixed type projector and has an I / F unit 11A, an IMU 12A, a projection unit 15A, and a camera 20A.
  • the I / F unit 11A is an interface with the information processing device 30, and is composed of a communication module, input / output terminals, and the like.
  • the I / F unit 11A outputs the sensor data input from the IMU 12A and the captured image data input from the camera 20A to the information processing device 30.
  • the I / F unit 11A outputs the control signal input from the information processing device 30 to the IMU 12A, the projection unit 15A, and the camera 20A. Further, the I / F unit 11A outputs the video data input from the information processing device 30 to the projection unit 15A.
  • IMU12A is an inertial measurement unit (IMU).
  • the IMU12A detects three-dimensional angular velocity and acceleration with a three-axis gyroscope and a three-direction accelerometer, and outputs them as sensor data.
  • the projection unit 15A has an optical member such as a light source and a lens, and various mechanisms.
  • the projection unit 15A displays an image corresponding to the image data input therein by projecting it on a screen or the like.
  • the camera 20A has an image sensor, a signal processing unit, and the like.
  • the camera 20A receives the light from the subject, performs photoelectric conversion, performs signal processing on the electric signal obtained as a result, and outputs it as captured image data.
  • the camera 20A may be built in the projector 10A or may be provided externally.
  • the projector 10B is a drive type projector and has an I / F unit 11B, a tilt motor 13B, a pan motor 14B, a projection unit 15B, and a camera 20B.
  • the I / F unit 11B is an interface with the information processing device 30, and is composed of a communication module, input / output terminals, and the like.
  • the I / F unit 11B outputs the angle data input from the tilt motor 13B and the pan motor 14B and the captured image data input from the camera 20B to the information processing device 30.
  • the I / F unit 11B outputs the control signal input from the information processing device 30 to the tilt motor 13B, the pan motor 14B, the projection unit 15B, and the camera 20B. Further, the I / F unit 11B outputs the video data input from the information processing device 30 to the projection unit 15B.
  • the tilt motor 13B is a motor that drives the projector 10B in the vertical direction.
  • the tilt motor 13B outputs angle data related to the tilt angle according to its drive.
  • the pan motor 14B is a motor for driving the projector 10B in the horizontal direction.
  • the pan motor 14B outputs angle data related to the pan angle according to its drive.
  • the projection unit 15B and the camera 20B are configured in the same manner as the projection unit 15A and the camera 20A described above, the description thereof will be omitted.
  • the projector 10C is a drive type projector and has an I / F unit 11C, a tilt motor 13C, a pan motor 14C, a projection unit 15C, and a camera 20C.
  • the I / F unit 11C is an interface with the information processing device 30, and is composed of a communication module, input / output terminals, and the like.
  • the I / F unit 11C outputs the angle data (including the tilt angle and the pan angle) input from the tilt motor 13C and the pan motor 14C and the captured image data input from the camera 20C to the information processing device 30.
  • the I / F unit 11C outputs a control signal input from the information processing device 30 to the tilt motor 13C, the pan motor 14C, the projection unit 15C, and the camera 20C.
  • the tilt motor 13C, the pan motor 14C, the projection unit 15C, and the camera 20C are configured in the same manner as the tilt motor 13B, the pan motor 14B, the projection unit 15B, and the camera 20B described above, the description thereof will be omitted.
  • the information processing device 30 is composed of a personal computer, a dedicated device, and the like.
  • the information processing device 30 includes a control unit 31, an I / F unit 32, and a storage unit 33.
  • the control unit 31 is a central control device (processing device) that controls the operation of each unit and performs various arithmetic processes.
  • the control unit 31 is composed of a processor such as a CPU (Central Processing Unit).
  • the I / F unit 32 is an interface between the projectors 10A to 10C, and is composed of a communication module, input / output terminals, and the like.
  • the I / F unit 32 outputs the control signal and video data input from the control unit 31 to the projectors 10A to 10C.
  • the I / F unit 32 outputs data such as sensor data, captured image data, and angle data input from the projectors 10A to 10C to the control unit 31.
  • the storage unit 33 is an auxiliary storage device such as a semiconductor memory or an HDD (Hard Disk Drive), and is configured as an internal storage or an external storage.
  • auxiliary storage device such as a semiconductor memory or an HDD (Hard Disk Drive)
  • HDD Hard Disk Drive
  • the storage unit 33 stores various data according to the control from the control unit 31.
  • the control unit 31 reads and processes various types of data stored in the storage unit 33.
  • control unit 31 includes a video generation unit 41, a pen event management unit 42, a pointing detection unit 43, a correction table generation unit 44, a coordinate system conversion unit 45, and a self-position estimation unit 46.
  • the video generation unit 41 generates video data and supplies it to the I / F unit 32.
  • This video data includes data relating to a video projected by the projectors 10A to 10C on each projection area.
  • the pen event management unit 42 manages events related to the pen-type device 50 that the user holds and operates.
  • the pointing detection unit 43 detects a position on the projection area based on data such as captured image data input therein, and supplies the detection result to the correction table generation unit 44 and the coordinate system conversion unit 45.
  • the correction table generation unit 44 generates a correction table that stores relative position information based on the detection result supplied from the pointing detection unit 43 and various data stored in the storage unit 33. This correction table is stored in the storage unit 33.
  • the coordinate system conversion unit 45 generates a homography conversion matrix of the camera coordinate system and the projector coordinate system based on the detection result supplied from the pointing detection unit 43 and various data stored in the storage unit 33. This homography transformation matrix is stored in the storage unit 33.
  • the pointing detection unit 43 may supply the detection result to the video generation unit 41, so that the video generation unit 41 may perform processing related to the video according to the detection result.
  • the self-position estimation unit 46 estimates the position, orientation, and the like of the drive-type projectors 10B and 10C based on the data such as the angle data input therein. Information related to the estimation of the position and the like (information about the tilt angle and the pan angle and the like) is stored in the correction table stored in the storage unit 33.
  • the control unit 31 also uses the relative position information and the like stored in the correction table read from the storage unit 33 to convert the coordinates of the boundaries of the projection areas of the plurality of projectors 10, and uses the converted coordinates to create the projection area. Controls the projection of images.
  • the projection system may be composed of only one type of projector, the fixed type and the drive type projector 10.
  • the video data for each projector of the projectors 10A to 10C to project an image is not limited to the one input via the information processing device 30, and is, for example, directly input to each projector or another device. It may be input via.
  • FIG. 23 is a flowchart illustrating the processing of the calibration phase.
  • This process is executed by the control unit 31 of the information processing apparatus 30 at the time of calibration when a fixed type projector 10A, a drive type projector 10B, or the like is provided as a plurality of projectors 10 constituting the projection system.
  • the control unit 31 projects in an arbitrary direction with respect to the drive-type projector 10B as a moving projector, and acquires the pan angle and tilt angle thereof (S11, S12). Further, the control unit 31 projects in an arbitrary direction with respect to the fixed projector 10A (S13).
  • the feature point P A is displayed in the projection area 100A
  • the characteristic point P B is displayed on the projection area 100B.
  • Control unit 31 based on the captured image data, by the pen operation of the user, detecting a locus described by a single stroke through all of the feature point P on the projection area of the operation target (P A1 to P A4 and the like) (S14). Control unit 31 based on the detection result of the track, determines whether it has passed through all of the feature point P on the projection area of the operation target (P A1 to P A4 and the like) (S15).
  • step S15 If it is determined in the determination process of step S15 that all the feature points P on the projection area 100 to be operated have been passed, the process proceeds to step S16.
  • the control unit 31 generates a homography transformation matrix of the projection area of the operation target based on the detection result of the locus with respect to the projection area of the operation target (S16).
  • the control unit 31 determines whether or not the projection area to be operated is the second or subsequent projection area (S17). If it is determined in the determination process of step S17 that it is not the second and subsequent projection areas, that is, it is the first projection area (for example, the projection area 100A), the processes of steps S18 and S19 are skipped.
  • step S17 determines whether it is the second and subsequent projection areas (for example, the projection area 100B). If it is determined in the determination process of step S17 that it is the second and subsequent projection areas (for example, the projection area 100B), the process proceeds to step S18.
  • the control unit 31 uses a homography transformation matrix of the projection area to be operated, and for example, the end point P a as the boundary point of the projection area 100 before the transition and the end point P b as the boundary point of the projection area 100B after the transition. Is converted from the camera coordinate system to the projector coordinate system (S18).
  • the control unit 31 calculates the relative position between the two projection areas 100A and 100B using the end point P a before the transition and the end point P b after the transition converted into the projector coordinate system (S19).
  • the relative position calculated here is stored in the storage unit 33 as relative position information ( ⁇ AB, ⁇ y).
  • the projection area 100A and the projection area 100B are in a state in which at least a part of the regions overlap, a state in which the boundaries are in contact with each other, or a state in which they are separated from each other. Since the state is set, the relative position information ( ⁇ AB , ⁇ y) is calculated by the calculation method according to the three states, and is stored in the correction table stored in the storage unit 33.
  • step S19 When the process of step S19 is completed, the process proceeds to step S20.
  • the control unit 31 determines whether or not it has passed the boundary of the projection area such as the boundary of the projection areas 100A and 100B based on the detection result of the locus (S20).
  • step S20 If it is determined in the determination process of step S20 that the boundary of the projection area has been passed, the process proceeds to step S21.
  • the control unit 31 stores the end point P a of the projection area 100A before the transition and the end point P b of the projection area 100B after the transition in the storage unit 33 in the camera coordinate system (S21).
  • the process returns to step S14, and when the third and subsequent projection areas (for example, the projection area 100C) exist, the projection areas of the third and subsequent images are also between the projection areas (projection areas 100B and 100C).
  • the relative position of (between) is calculated and stored as relative position information ( ⁇ BC , ⁇ y).
  • step S20 If it is determined in the determination process of step S20 that the boundary of the projection area has not been passed, the process proceeds to step S22.
  • the control unit 31 determines whether or not the pen tip of the pen-type device 50 is raised from the screen based on the detection result of the locus (S22).
  • step S22 If it is determined in the determination process of step S22 that the pen tip is not raised from the screen, the process returns to step S20, and the above-mentioned process is repeated. On the other hand, when it is determined in the determination process of step S22 that the pen tip is raised from the screen, the process ends.
  • FIG. 24 is a flowchart illustrating processing in the application phase.
  • the information processing device 30 is used when the application is executed after the calibration is completed. It is executed by the control unit 31.
  • the control unit 31 determines whether or not it is the boundary of the projection area when projecting an image by the plurality of projectors 10 (S51).
  • step S51 If it is determined in the determination process of step S51 that it is the boundary of the projection area, the process proceeds to step S52.
  • the control unit 31 converts the coordinates of the boundary of the projection area using the relative position information ( ⁇ , ⁇ y) and the like stored in the correction table read from the storage unit 33 (S52).
  • the control unit 31 controls the projector 10 to project an image onto the projection area using the converted coordinates (S53).
  • step S51 If it is determined in the determination process of step S51 that it is not the boundary of the projection area, the processes of steps S52 and S53 are skipped.
  • the user's operation on the indicator projected on the projection area of each of the plurality of projection devices is detected, and based on the detection result, the relative positions of the plurality of projection areas are related. Relative position information is generated. Further, according to the present technology, an image is projected on a plurality of corresponding projection areas by a plurality of projection devices based on relative position information.
  • this technology can handle images of characters that are displayed in an independent animation, and by retaining relative position information during calibration, the load due to calculation costs is reduced when the application is executed. can do. Therefore, it is possible to more reliably realize image projection using a plurality of projection devices.
  • the information processing device 30 is provided in the projection system, and the information processing device 30 (control unit 31) executes the calibration phase processing and the application phase processing. Since any one of the projectors 10 has (a part or all of the functions) of the information processing apparatus 30, the projector 10 may execute the processing of the calibration phase and the processing of the application phase.
  • processing of the calibration phase and the processing of the application phase are not limited to one projector 10, and a plurality of projectors 10 may cooperate to execute the processing.
  • the pen operation using the pen-type device 50 is illustrated as the user's operation for the feature point of the projection area, but the pen operation is not limited to the pen operation, and for example, the user's finger or other instrument is used. It doesn't matter.
  • the video data is composed of a plurality of image data, and "video" may be read as "image”.
  • the series of processes of the information processing apparatus 30 described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer of each device.
  • FIG. 25 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 and the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU1001) can be recorded and provided on the removable recording medium 1011 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the recording unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers.
  • the program may be transferred to a distant computer for execution.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An information processing device including a control unit that generates relative position information regarding relative positions of a plurality of projection areas based on the detection result.
  • the control unit projects an image onto the corresponding plurality of projection areas by the plurality of projection devices based on the relative position information.
  • the relative position information includes information on an angle of rotation between an adjacent first projection area and a second projection area and a shift amount in the vertical direction.
  • the information processing apparatus wherein the rotation angle and the shift amount are calculated using the points before and after the points and the line segments obtained from those points.
  • the control unit is a boundary point at which the first projection area and the second projection area can be individually detected.
  • the information processing apparatus wherein the rotation angle and the shift amount are calculated using the points before and after the above and the line segments obtained from those points.
  • the control unit A transformation matrix in which the position of the indicator projected on each projection area in the first coordinate system and the position of the operation detected in the second coordinate system from the captured image of the user's operation are associated with each other.
  • the plurality of projection devices include a drive-type projection device.
  • the control unit The distance from the drive-type projection device to the projection surface is acquired.
  • the control unit drives the drive-type projection device to set the plurality of projection areas at the same location.
  • the information processing device according to any one of (1) to (11), wherein the control unit presents support information for supporting the operation of the user with respect to the indicator.
  • the support information according to (12) above including information indicating the order of operations on the directive, animation display of the indicator to be operated, highlighting of the indicator to be operated, or guide display of the operation on the indicator.
  • the support information includes information for prompting the user to re-operate the projection area that has failed in the process for generating the relative position information among the plurality of projection areas (12) or (13).
  • the information processing device detects a one-stroke operation using an indicator for the indicator as an operation of the user.
  • the control unit projects the image at the boundary between the first projection area and the second projection area with the coordinates calculated by using the rotation angle and the shift amount according to the above (3).
  • Information processing device 17.
  • the plurality of projection devices include at least one type of projection device, a fixed type projection device and a drive type projection device.
  • the information processing device according to any one of (1) to (18) which is configured as a projection device of any of the plurality of projection devices or an external device.
  • Information processing device Detects the user's operation on the specifier projected on the projection area of each of multiple projection devices, An information processing method that generates relative position information regarding the relative positions of a plurality of projection areas based on the detection result.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)

Abstract

本技術は、より確実に、複数の投影装置を用いた映像投影を実現することができるようにする情報処理装置、及び情報処理方法に関する。 複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作を検出し、その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報を生成する制御部を備える情報処理装置が提供される。本技術は、例えば、複数のプロジェクタを制御する装置に適用することができる。

Description

情報処理装置、及び情報処理方法
　本技術は、情報処理装置、及び情報処理方法に関し、特に、より確実に、複数の投影装置を用いた映像投影を実現することができるようにした情報処理装置、及び情報処理方法に関する。
　近年、より広域のプロジェクションマッピングや、高解像度の映像投影を実現するために、複数台のプロジェクタをタイル状に並べて面積や解像度を確保する手法がとられている。
　複数台のプロジェクタを用いて映像投影を行う場合、事前にキャリブレーションが必要になる。この種のキャリブレーションの手法として、各々のプロジェクタとカメラのセットに対して、ペン型デバイスのカメラ検出位置と、軌跡表示する位置とを事前にキャリブレーションしておく技術が開示されている（例えば、特許文献１参照）。
特開2015-191484号公報
　しかしながら、特許文献１に開示されている技術を含む従来の技術では、投影する映像の内容によっては対応できなかったり、ペン型デバイスによる入力の際のリアルタイム性を担保できなかったりするため、キャリブレーションの手法としては十分ではない。
　そのため、より確実に、複数の投影装置を用いた映像投影を実現するための技術が求められていた。
　本技術はこのような状況に鑑みてなされたものであり、より確実に、複数の投影装置を用いた映像投影を実現することができるようにするものである。
　本技術の一側面の情報処理装置は、複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作を検出し、その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報を生成する制御部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、情報処理装置が、複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作を検出し、その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報を生成する情報処理方法である。
　本技術の一側面の情報処理装置、及び情報処理方法においては、複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作が検出され、その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報が生成される。
　本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術を適用した投影システムの一実施の形態の構成の例を示す図である。 投影エリアに応じた２画面の組み合わせのパターンの例を示す図である。 投影エリアに対する幾何補正の例を示す図である。 ホモグラフィ変換の例を示す図である。 投影エリアの遷移の例を示す図である。 投影エリアの境界点が検出される時系列のパターンの例を示す図である。 投影エリアに対する幾何補正の例を示す図である。 投影エリアの境界が重なっている場合の投影エリアの間の回転角の算出方法の例を示す図である。 投影エリアの境界が接している場合の例を示す図である。 投影エリアの境界が接している場合の投影エリア間の回転各の算出方法の例を示す図である。 投影エリアの境界が離れている場合の例を示す図である。 投影エリアの境界が離れている場合の投影エリア間の回転角の算出方法の例を示す図である。 投影エリア間の上下シフト量の算出方法の例を示す図である。 キャリブレーション時のガイドの例を示す図である。 再度の幾何補正を促す通知の例を示す図である。 駆動型のプロジェクタを利用する場合のキャリブレーションの例を示す図である。 駆動型のプロジェクタを利用する場合に、重なった投影エリアをまとめてキャリブレーションするときの例を示す図である。 投影エリアを跨いでキャラクタが移動するアニメーションの例を示す図である。 駆動型のプロジェクタと固定型プロジェクタとの連携の例を示す図である。 投影エリアの境界における座標の例を示す図である。 投影エリアの境界における投影エリアの座標の例を示す図である。 本技術を適用した投影システムの各装置の構成の例を示すブロック図である。 キャリブレーションフェーズの処理を説明するフローチャートである。 アプリケーションフェーズの処理を説明するフローチャートである。 コンピュータの構成の例を示す図である。
＜１．本技術の概要＞
　複数台のプロジェクタを跨いでコンテンツの映像を投影する場合、各プロジェクタの座標系は、各プロジェクタの各々の投影エリアの左上の位置が原点、つまり、（ｘ，ｙ）＝（０，０）となっており、座標の連続性や接続されている座標は、各々のプロジェクタで不明である。
　例えば、第１プロジェクタと第２プロジェクタが左右に並べて設置される場合に、それらの２台のプロジェクタを跨いでコンテンツの映像を表示することを想定すれば、左側の第１プロジェクタの投影エリアの左上の位置を原点としても、その投影エリアの右隅を超えて、右側の第２プロジェクタの投影エリアに入ると、ｘ座標が再び０に戻ることになる。
　このような問題を解決するためには、２台のプロジェクタ間の相対位置座標と画面の回転関係が既知でないと、座標系変換を行うことができない。
　例えば、この問題を解決するための手法として、全体を俯瞰的に捉えるカメラを用い、お互いの投影エリアをキャリブレーションにより認識させる手法や、その都度ペン型デバイスなどでユーザ入力される座標を用いて境界面の連続性を認識させる手法などが提案されている。
　具体的には、上述した特許文献１では、ペン型デバイスを用いた大画面デジタル黒板に関する技術として、左右に並べて設置された第１プロジェクタと第２プロジェクタと、それらのプロジェクタの投影エリアよりも若干広い画角を有する第１カメラと第２カメラを設置し、各々のプロジェクタとカメラのセットに対して、ペン型デバイスのカメラ検出位置（カメラ座標系）と軌跡表示する位置（プロジェクタ座標系）が、事前にキャリブレーションされており、ペン型デバイスで描いた場所に軌跡が表示される状態となっている。
　ここに、２つのプロジェクタの投影エリア（ＳＣ１，ＳＣ２）を跨いで描画した場合、一方の投影エリア（ＳＣ１）で検出された軌跡の終点（Ｐｕａ）と、他方の投影エリア（ＳＣ２）で検出された軌跡の始点（Ｐｕｂ）が存在し、ここから、各々の画面端までの線分を補間する（（Ｐｕａ－Ｐｕｓ１）／（Ｐｕｓ２－Ｐｕｂ））。このとき、終点（Ｐｕａ）と始点（Ｐｕｂ）が連続した入力として判定される基準は、２つのイベントがサンプリングの１周期で来た場合で判定する。
　しかしながら、この手法では、常に、ペン型デバイスによる入力と画面跨ぎを、１周期のサンプルで検出する必要がある。そのため、例えば、自立移動するアニメーションが画面を跨ぐ場合に対応点を検出することができない。
　また、この手法の特徴として、入力された際の軌跡を、画面跨ぎの前後で共に観測した後に、境界面付近のエリアを補間するアルゴリズムであるため、入力後の後処理となる。ペン型デバイスによる入力として、文字や図形の入力を行うことを想定すれば、リアルタイム性が重要であるが、この手法では、画面跨ぎの近辺ではリアルタイム性が担保できない方式となっている。さらに、入力座標から都度計算を行っているため、計算コストによる負荷も高いことが予想される。これらの全てが、リアルタイム性の阻害要因になる。
　このように、上述した特許文献１に開示された手法では、システム規模が肥大化するだけでなく、都度のユーザ入力が必要になることなど、自立したアニメーション表示に応用することができないという問題が存在している。
　また、水平方向と垂直方向の２軸で駆動する駆動型のプロジェクタ（以下、ムービングプロジェクタともいう）を用いる場合を想定すれば、駆動型のプロジェクタにおいては、プロジェクタの姿勢を都度変化させながら、空間の任意エリアに投影するため、一度の位置関係でキャリブレーションを行っただけでは、複数台のプロジェクタの投影関係が変化してしまう。
　これらの状況を踏まえて、本技術では、事前のキャリブレーション処理として、ペン型デバイスを用いて一筆書きにより各プロジェクタの幾何補正（台形補正）を行うだけでなく、複数のプロジェクタごとの投影エリアの相対位置関係を簡易的にキャリブレーションする手法を提案する。
　特に、駆動型のプロジェクタを用いる場合には、キャリブレーション時のパン角とチルト角を保存することにより、投影角度が変化した場合においても、再度のキャリブレーションを必要とせずに、内部計算により移動後の投影エリアにおける関係もセルフキャリブレーションで行われるようにする。
　以下、図面を参照しながら、本技術の実施の形態について説明する。本技術の実施の形態は、キャリブレーションフェーズと、アプリケーションフェーズの２つのフェーズに分けて順に説明する。
＜２．キャリブレーションフェーズ＞
　図１は、本技術を適用した投影システムの一実施の形態の構成の例を示している。
　投影システムは、複数の投影装置を用いて、例えば、より広域のプロジェクションマッピングや、高解像度の映像投影を実現するためのシステムである。
　図１において、投影システムでは、２台のプロジェクタ１０Ａとプロジェクタ１０Ｂが、水平方向に隣り合って設置されている。また、プロジェクタ１０Ａの筐体の上面には、カメラ２０Ａが設置され、プロジェクタ１０Ｂの筐体の上面には、カメラ２０Ｂが設置されている。
　プロジェクタ１０Ａは、パーソナルコンピュータ等の機器から入力される映像データに基づき、投影面に、映像を投影して表示する。図１では、プロジェクタ１０Ａがスクリーン上に投影可能なエリアを、投影エリア１００Ａで表している。また、カメラ２０Ａが認識可能なエリアを、カメラ画角２００Ａで表している。カメラ画角２００Ａは、投影エリア１００Ａよりも少し広いエリアとなる。
　プロジェクタ１０Ｂは、パーソナルコンピュータ等の機器から入力される映像データに基づき、投影面に、映像を投影して表示する。図１では、プロジェクタ１０Ｂがスクリーン上に投影可能なエリアを、投影エリア１００Ｂで表し、カメラ２０Ｂが認識可能なエリアを、カメラ画角２００Ｂで表しているが、カメラ画角２００Ｂは、投影エリア１００Ｂよりも少し広いエリアとなる。
　ペン型デバイス５０は、ユーザが手に持って操作することで、例えば、キャリブレーション時に、投影エリア１００Ａと投影エリア１００Ｂに対して線等の図形を描くことができる。
　２台のプロジェクタ１０Ａとプロジェクタ１０Ｂを水平方向に隣り合って設置した場合、投影エリア１００Ａと投影エリア１００Ｂによる２画面の組み合わせとしては、大別すると、例えば、図２に示した３パターンが想定される。
　すなわち、投影エリア１００Ａと投影エリア１００Ｂとが分離して、離れているパターン（図２のＡ）と、投影エリア１００Ａと投影エリア１００Ｂとが密接して、きれいに接しているパターン（図２のＢ）と、投影エリア１００Ａと投影エリア１００Ｂとが重複して、重なっているパターンである（図２のＣ）。
　ここでは、図２のＢに示したような、各投影エリアの境界の辺を完全に一致させた環境が理想であるが、実際には、図２のＡ，Ｃに示したように、投影エリア間で若干の隙間や重複が発生している。
　なお、図２の例では、２台のプロジェクタ１０Ａとプロジェクタ１０Ｂを水平方向に隣り合って設置したため、投影エリア１００Ａと投影エリア１００Ｂが水平方向に並んでいるが、投影エリア１００Ａと投影エリア１００Ｂが水平方向ではなく、垂直方向や斜め方向に存在していても構わない。
　本技術では、キャリブレーション時に、図２に示した３パターンの重なり関係と全方向性の配置の全てを対象として、複数の投影エリアの相対位置関係を認識させることを目的とする。
　また、本技術を適用したキャリブレーションの手法には、２つの目的がある。１つ目は、プロジェクタと投影面との関係から、斜め投影などの状況により、投影エリアが台形状の形状になってしまったときの幾何補正である。２つ目は、複数台のプロジェクタの投影エリア間の相対関係を認識して、座標の連続性を求める手順である。以下、実際の処理に沿って、順に説明する。
（投影エリアの幾何補正）
　まず、図３，図４を参照して、投影エリア１００Ａの幾何補正について説明する。
　図３に示すように、投影エリア１００Ｂが台形状の形状になって、投影エリア１００Ａと投影エリア１００Ｂの一部の領域が重なった状態で、投影エリア１００Ａに対する幾何補正を行う場合を想定する。
　このとき、ユーザは、ペン型デバイス５０を用い、プロジェクタ１０Ａにより投影エリア１００Ａに表示された４つの指示子としての特徴点ＰＡ１乃至ＰＡ４を順次、一筆書きで繋げていく。この際に、カメラ２０Ａにより撮影された撮影画像に基づき、特徴点ＰＡ１に、指示体としてのペン型デバイス５０のペン先が到達したことを検出することで、カメラ座標系で検出したペン先の位置と、プロジェクタ座標系で表示されている特徴点ＰＡ１とが対応付けられる。
　この処理を、投影エリア１００Ａに表示された残りの３つの特徴点ＰＡ２乃至ＰＡ４についても同様に行うことで、カメラ座標系とプロジェクタ座標系のホモグラフィ変換行列が生成される。
　なお、図３では、説明を分かりやすくするために、ユーザによる一筆書きの軌跡を、太線で図示しているが、実際には、この軌跡は、投影エリア１００Ａ上に表示されるものではない。この投影エリア上の軌跡の表示については、後述する他の図でも同様とされる。
　図４は、ホモグラフィ変換の例を示している。なお、図４では、説明を分かりやすくするために、チェッカボードのパターンを認識する場合も図示しているが、実際には、特徴点ＰＡ１乃至ＰＡ４に対するペン操作のみが認識される。
　図４のＡは、カメラ２０Ａにより撮影された撮影画像を示している。図４のＢは、プロジェクタ１０Ａにより投影される投影画像を示している。すなわち、図４のＡの撮影画像が正対画像に変換され、図４のＢの投影画像となる。
　この変換で用いられるホモグラフィ変換行列が、撮影画像上の点ＰＡ１乃至ＰＡ４と、投影画像上の点ＰＡ１乃至ＰＡ４との対応、すなわち、ペン操作の特徴点ＰＡを対応させることで生成される。
　以上のキャリブレーションにより生成されたホモグラフィ変換行列を、下記の式（１）のように定義する。
　ｘａ' ＝ Ｈａｘａ 　　　・・・（１）
　なお、式（１）において、ｘａ'は、プロジェクタ１０Ａの座標を表し、ｘａは、カメラ２０Ａの座標を表し、Ｈａは、プロジェクタ１０Ａとカメラ２０Ａとの間のホモグラフィ変換行列を表している。
（投影エリアの遷移）
　次に、図５，図６を参照して、投影エリア１００Ａから投影エリア１００Ｂへの遷移について説明する。
　図５は、ユーザがペン操作により、投影エリア１００Ａに表示された４つの特徴点ＰＡ１乃至ＰＡ４を順次、一筆書きで繋げた後に、さらに、プロジェクタ１０Ｂにより投影エリア１００Ｂに表示された４つの特徴点ＰＢ１乃至ＰＢ４のうち、最初の特徴点ＰＢ１に直線を繋げたときの様子を表している。
　投影エリア１００Ａと投影エリア１００Ｂの一部の領域が重なった状態になっているため、投影エリア１００Ａの特徴点ＰＡ４から、投影エリア１００Ｂの特徴点ＰＢ１に向けて直線が描かれたとき、この２つの投影エリア１００Ａ，１００Ｂの境界面で、各々のカメラ２０Ａ，２０Ｂにより撮影された撮影画像から検出された座標を保存しておくようにする。
　この際、投影エリア１００Ａの範囲から出る境界点を、Ｐａ(ｘａ，ｙａ)とし、投影エリア１００Ｂの範囲に入る境界点を、Ｐｂ(ｘｂ，ｙｂ)とした場合、それらの境界点が検出されるパターンとしては、２つの投影エリア１００Ａ，１００Ｂの関係から、例えば、図６に示した３パターンが想定される。
　すなわち、投影エリア１００Ａと投影エリア１００Ｂとが重なっている場合に、投影エリア１００Ｂの境界面が時間的に先に検出されるパターン（図６のＡ）と、投影エリア１００Ａと投影エリア１００Ｂとが接している場合に、投影エリア１００Ａ，１００Ｂの境界面が共通になるパターン（図６のＢ）と、投影エリア１００Ａと投影エリア１００Ｂとが離れている場合に、投影エリア１００Ａの境界面が時間的に先に検出されるパターン（図６のＣ）である。
（投影エリアの幾何補正）
　次に、図７を参照して、投影エリア１００Ｂの幾何補正について説明する。
　図７は、ユーザがペン操作により、投影エリア１００Ａの特徴点ＰＡ４と、投影エリア１００Ｂの特徴点ＰＢ１とを繋いだ後に、さらに、投影エリア１００Ｂに表示された残りの３つの特徴点ＰＢ２乃至ＰＢ４を順次、一筆書きで繋げたときの様子を示している。
　この際に、カメラ２０Ｂにより撮影された撮影画像に基づき、特徴点ＰＢ１乃至ＰＢ４のそれぞれに、ペン型デバイス５０のペン先が到達したことを検出することで、カメラ座標系で検出したペン先の位置と、プロジェクタ座標系で表示されている特徴点ＰＢ１乃至ＰＢ４のそれぞれとが対応付けられる。
　これにより、投影エリア１００Ｂについても、上述した投影エリア１００Ａと同様に、カメラ座標系とプロジェクタ座標系のホモグラフィ変換行列が生成される。
　以上のキャリブレーションにより生成されたホモグラフィ変換行列を、下記の式（２）のように定義する。
　ｘｂ' ＝ Ｈｂｘｂ 　　　・・・（２）
　なお、式（２）において、ｘｂ'は、プロジェクタ１０Ｂの座標を表し、ｘｂは、カメラ２０Ｂの座標を表し、Ｈｂは、プロジェクタ１０Ｂとカメラ２０Ｂとの間のホモグラフィ変換行列を表している。
（投影エリアの相対位置推定）
　ここまでの処理で、投影エリア１００Ａと投影エリア１００Ｂともに、ホモグラフィ変換行列が求められているため、撮影画像から検出される全ての検出点（観測点）を、カメラ座標系からプロジェクタ座標系に変換することができる。これ以降の処理の説明では、プロジェクタ座標系に変換した座標を対象に説明する。
　また、図６に示した通り、投影エリア１００Ａ，１００Ｂの関係から、投影エリアの相対的な配置として３パターンが想定される。そこで、これ以降の処理の説明では、パターンごとに、投影エリア１００Ａと投影エリア１００Ｂの相対位置関係を求める手法について説明する。
（ａ）２つの投影エリアが重なった場合
　図６のＡに示したように、投影エリア１００Ａと投影エリア１００Ｂとが少なくとも一部の領域が重なっている場合、投影エリア１００Ｂの境界面が、投影エリア１００Ａの境界面よりも時間的に先に検出されるため、境界点は、ＰｂからＰａに遷移する。
　この場合において、Ｐｂを検出した後に、Ｐａを検出するまでの線分は、投影エリア１００Ａと投影エリア１００Ｂで、共に検出可能であって、一致するはずである。
　つまり、ある瞬間において、ユーザのペン操作に応じたペン先を、カメラ２０Ａで撮影した撮影画像を、ホモグラフィ変換行列Ｈａで変換したプロジェクタ座標系の座標と、カメラ２０Ｂで撮影した撮影画像を、ホモグラフィ変換行列Ｈｂで変換したプロジェクタ座標系の座標とが、空間上では一致することを示している。
　この共有される線分を用いて、投影エリア１００Ａと投影エリア１００Ｂとの間の回転角を算出することができる。
　図８は、２つの投影エリア１００Ａ，１００Ｂが重なった場合の投影エリア間の回転角の算出方法の例を示している。
　図８において、投影エリア１００Ａの範囲の点であるＰａ１(ｘａ１，ｙａ１)とＰａ２(ｘａ２，ｙａ２)に挟まれた直線と、投影エリア１００Ｂの範囲の点であるＰｂ１(ｘｂ１，ｙｂ１)とＰｂ２(ｘｂ２，ｙｂ２)に挟まれた直線のそれぞれが、図中の実線で示す線分Ｌｓとして、投影エリア１００Ａと投影エリア１００Ｂのプロジェクタ座標系の空間上で一致している。
　すなわち、実線で示す線分Ｌｓが、投影エリア１００Ａと投影エリア１００Ｂとで共有される線分となっている。ただし、投影エリア１００Ａの範囲の点のうち、Ｐａ２(ｘａ２，ｙａ２)が境界点であり、投影エリア１００Ｂの範囲の点のうち、Ｐｂ１(ｘｂ１，ｙｂ１)が境界点となる。
　また、図８においては、投影エリア１００Ａにおける線分Ｌｓの角度を、三角関数を適用して算出するために、線分Ｌｓの他に、その座標系に応じた図中の破線で示す２つの辺を含む三角形を用いる。また、投影エリア１００Ｂにおける線分Ｌｓの角度を、三角関数を適用して算出するために、線分Ｌｓの他に、その座標系に応じた図中の一点鎖線で示す２つの辺を含む三角形を用いる。
　投影エリア１００Ａにおける線分Ｌｓの角度θＡは、下記の式（３）により算出される。
　θＡ ＝ tan-1（ｙａ２ － ｙａ１／ｘａ２ － ｘａ１） 　　　・・・（３）
　投影エリア１００Ｂにおける線分Ｌｓの角度θＢは、下記の式（４）により算出される。
　θＢ ＝ tan-1（ｙｂ２ － ｙｂ１／ｘｂ２ － ｘｂ１） 　　　・・・（４）
　投影エリア１００Ａと投影エリア１００Ｂとの間の回転角θＡＢは、式（３）と式（４）を用いて、下記の式（５）により算出される。
　θＡＢ ＝ θＢ － θＡ 　　　・・・（５）
　また、この場合において、投影エリア１００Ａと投影エリア１００Ｂとの間の垂直方向（上下方向）のシフト量（以下、上下シフト量Δｙという）は、投影エリア間で共有する線分Ｌｓの対応点におけるｙ座標の差、すなわち、下記の式（６）又は式（７）により算出される。
　Δｙ ＝ ｙａ１ － ｙｂ１ 　　　・・・（６）
　Δｙ ＝ ｙａ２ － ｙｂ２ 　　　・・・（７）
（ｂ）２つの投影エリアが接した場合
　図６のＢに示したように、投影エリア１００Ａと投影エリア１００Ｂとが密接している場合、投影エリア１００Ａ，１００Ｂの境界面が共通になるため、境界点は、Ｐａ＝Ｐｂで接している。このとき、図９に示すように、境界点を中心にして、少なくとも一方の投影エリアが回転している場合がある。図９の例では、投影エリア１００Ｂが境界点Ｐｂを中心に回転している。
　この場合において、投影エリア１００Ａにおける境界点Ｐａと、投影エリア１００Ｂにおける境界点Ｐｂで共に、境界点に対する前後の点を用いて、各々の線分から角度を求めることで、投影エリア１００Ａと投影エリア１００Ｂとの間の回転角を算出することができる。
　図１０は、２つの投影エリア１００Ａ，１００Ｂの境界が接している場合の投影エリア間の回転角の算出方法の例を示している。
　図１０においては、投影エリア１００Ａの境界点であるＰａ２(ｘａ２，ｙａ２)と、その境界点の前の点であるＰａ１(ｘａ１，ｙａ１)に挟まれた線分ＬＡの角度を、三角関数を適用して算出するために、線分ＬＡの他に、その座標系に応じた図中の破線で示す２つの辺を含む三角形を用いる。
　また、図１０においては、投影エリア１００Ｂの境界点であるＰｂ１(ｘｂ１，ｙｂ１)と、その境界点の後の点であるＰｂ２(ｘｂ２，ｙｂ２)に挟まれた線分ＬＢの角度を，三角関数を適用して算出するために、線分ＬＢの他に、その座標系に応じた図中の一点鎖線で示す２つの辺を含む三角形を用いる。
　ただし、図１０においては、Ｐａ２(ｘａ２，ｙａ２) ＝ Ｐｂ１(ｘｂ１，ｙｂ１) となっている。
　投影エリア１００Ａにおける線分ＬＡの角度θＡは、下記の式（８）により算出される。
　θＡ ＝ tan-1（ｙａ２ － ｙａ１／ｘａ２ － ｘａ１） 　　　・・・（８）
　投影エリア１００Ｂにおける線分ＬＢの角度θＢは、下記の式（９）により算出される。
　θＢ ＝ tan-1（ｙｂ２ － ｙｂ１／ｘｂ２ － ｘｂ１） 　　　・・・（９）
　投影エリア１００Ａと投影エリア１００Ｂとの間の回転角θＡＢは、式（８）と式（９）を用いて、下記の式（１０）により算出される。
　θＡＢ ＝ θＢ － θＡ 　　　・・・（１０）
　また、この場合において、投影エリア１００Ａと投影エリア１００Ｂとの間の上下シフト量Δｙは、投影エリア１００Ａの境界点Ｐａのｙ座標と、投影エリア１００Ｂの境界点Ｐｂのｙ座標との差、すなわち、下記の式（１１）により算出される。
　Δｙ ＝ ｙａ２ － ｙｂ１ 　　　・・・（１１）
　なお、詳細は後述するが、駆動型のプロジェクタ１０を用いる場合に、キャリブレーション時のパン角とチルト角に関する情報を保存しておくことで、式（１１）において、チルト角の変化に応じたオフセット量（Offset）を加味してもよい。
（ｃ）２つの投影エリアが離れた場合
　図６のＣに示したように、投影エリア１００Ａと投影エリア１００Ｂとが離れている場合、投影エリア１００Ａの境界点Ｐａと、投影エリア１００Ｂの境界点Ｐｂとの線分Ｐａ－Ｐｂは、投影エリア１００とカメラ画角２００の範囲外となる（図１１）。
　この場合において、投影エリア１００Ａにおける境界点Ｐａと、投影エリア１００Ｂにおける境界点Ｐｂで共に、境界点に対する前後の点を用いて、各々の線分から角度を求めることで、投影エリア１００Ａと投影エリア１００Ｂとの間の回転角を算出することができる。
　図１２は、２つの投影エリア１００Ａ，１００Ｂの境界が離れている場合の投影エリア間の回転角の算出方法の例を示している。
　図１２においては、投影エリア１００Ａの境界点であるＰａ２(ｘａ２，ｙａ２)と、その境界点の前の点であるＰａ１(ｘａ１，ｙａ１)に挟まれた線分ＬＡの角度を、三角関数を適用して算出するために、線分ＬＡの他に、その座標系に応じた図中の破線で示す２つの辺を含む三角形を用いる。
　また、図１２においては、投影エリア１００Ｂの境界点であるＰｂ１(ｘｂ１，ｙｂ１)と、その境界点の後の点であるＰｂ２(ｘｂ２，ｙｂ２)に挟まれた線分ＬＢの角度を、三角関数を適用して算出するために、線分ＬＢの他に、その座標系に応じた図中の一点鎖線で示す２つの辺を含む三角形を用いる。
　投影エリア１００Ａにおける線分ＬＡの角度θＡは、下記の式（１２）により算出される。
　θＡ ＝ tan-1（ｙａ２ － ｙａ１／ｘａ２ － ｘａ１） 　　　・・・（１２）
　投影エリア１００Ｂにおける線分ＬＢの角度θＢは、下記の式（１３）により算出される。
　θＢ ＝ tan-1（ｙｂ２ － ｙｂ１／ｘｂ２ － ｘｂ１） 　　　・・・（１３）
　投影エリア１００Ａと投影エリア１００Ｂとの間の回転角θＡＢは、式（１２）と式（１３）を用いて、下記の式（１４）により算出される。
　θＡＢ ＝ θＢ － θＡ 　　　・・・（１４）
　また、この場合において、投影エリア１００Ａと投影エリア１００Ｂとの間の上下シフト量Δｙは、図１３に示すような関係を用いることで求められる。
　すなわち、投影エリア１００Ａの境界点Ｐａのｙ座標と、投影エリア１００Ｂの境界点Ｐｂのｙ座標との差に、投影エリア間の時間ｔと線分Ｐａ－Ｐｂの傾きａを乗じて得られる値を加算した結果、すなわち、下記の式（１５）により算出される。
　Δｙ ＝ （ｙａ２ － ｙｂ１） ＋ （ｔ × ａ） 　　　・・・（１５）
　以上の処理により、キャリブレーションフェーズでは、投影エリア１００Ａと投影エリア１００Ｂの相対的な配置パターンに応じて、それらの投影エリア間の相対位置関係が求められ、投影エリア間の相対的な位置に関する相対位置情報が保存される。この相対位置情報は、後述するアプリケーションフェーズで用いられる。
（変形例）
　ここで、上述したキャリブレーション処理で、投影エリア１００に提示可能なGUI(Graphical User Interface)と、派生処理について説明する。
　ユーザがペン型デバイス５０を用いて一筆書きを行うに際して、最も単純なGUIによる提示手法は、投影エリア１００Ａ，１００Ｂ内に、特徴点ＰＡ，ＰＢを描画する手法である。図１４は、キャリブレーション時の支援情報としてのガイドの例を示している。
　図１４のＡでは、投影エリア１００Ａにおける各特徴点ＰＡ１乃至ＰＡ４の近傍に、ユーザがペン操作により特徴点をなぞる順番を表す数字が提示されている。これにより、ユーザは、数字を確認しながら、確実に特徴点ＰＡ１乃至ＰＡ４をその順番でなぞって一筆書きを行うことができる。
　図１４のＢでは、投影エリア１００Ａにおける特徴点ＰＡ１から特徴点ＰＡ２に向かってペン操作を行った時点で、次の目標である特徴点ＰＡ３に対するペン操作に応じたアニメーションが提示されている。これにより、ユーザは、アニメーションを確認して、確実に次の目標となる特徴点に向かって一筆書きを継続することができる。
　図１４のＣでは、投影エリア１００Ａにおける特徴点ＰＡ１の次の目標である特徴点ＰＡ２が強調して提示されている。ここでの強調の手法としては、次の目標となる特徴点を拡大して表示したり、異なる色で表示したりすることができる。これにより、ユーザは、次の目標となる特徴点を確実に把握して、ペン操作を行うことができる。
　図１４のＤでは、投影エリア１００Ａにおいて、ユーザがペン操作により特徴点をなぞる順番を表す線分のガイドが、点線や破線などの線種で提示されている。これにより、ユーザは、ガイドを確認しながら、確実に特徴点ＰＡ１乃至ＰＡ４をその順番でなぞって一筆書きを行うことができる。
　また、投影エリア１００Ａの幾何補正が何らかの理由で失敗したにもかかわらず、隣接する投影エリア１００Ｂの幾何補正に遷移してしまった場合、投影エリア１００Ｂの幾何補正を終了した後に、ユーザに対し、投影エリア１００Ａに戻ってペン操作を行うことを促す提示を行い、幾何補正のリトライ処理が行われるようにしてもよい。
　投影エリア間の相対位置関係の認識に失敗した場合にも同様に、相対位置関係の認識のリトライ処理が行われてもよい。
　これらの場合において、投影エリア１００Ａの幾何補正のリトライ処理を促すGUIとしては、例えば、図１５に示すような提示を行うことができる。図１５の例では、投影エリア１００Ａの特徴点ＰＡ１が点滅して表示されているため、ユーザは、投影エリア１００Ｂにおけるペン操作の途中で、特徴点ＰＡ１から一筆書きを再開すべきことを認識することができる。
　上述した説明では、固定型のプロジェクタを中心に説明したが、本技術を適用した投影システムにおいては、駆動型のプロジェクタ（ムービングプロジェクタ）を用いてもよい。
　駆動型のプロジェクタを用いる場合、特定の処理が行われることで、次の２つの付加価値が想定される。
　１つ目の付加価値は、再キャリブレーションの手順の省略である。すなわち、投影エリアのホモグラフィ変換行列を求めるに際し、その時点でのパン角とチルト角をそれぞれ記憶しておくことで、駆動型のプロジェクタが駆動した後の投影エリアが移動した場所においても、複数の投影エリア間の相対位置関係を計算で求めることができる。
　この手法では、図１６に示すように、駆動型のプロジェクタ１０Ａから投影エリアＡまでの距離ｄを測定し、この距離ｄの値を用いて、チルト角θＴの変化から、ｙ座標のオフセット量（Offset）を算出することができる。これにより、再キャリブレーションの手順をスキップすることが可能となる。
　ｙ座標のオフセット量ｙoffsetは、例えば、下記の式（１６）により算出される。
　ｙoffset ＝ ｄ × tanθＴ 　　　・・・（１６）
　２つ目の付加価値は、キャリブレーション処理の簡易化である。すなわち、駆動型のプロジェクタを用いて、複数の投影エリアを同じ場所に設定することで、ユーザによる一度のペン操作により全ての投影面のキャリブレーションを行うことができる。
　この手法では、図１７に示すように、キャリブレーション処理時に、ムービングプロジェクタとしてのプロジェクタ１０Ａとプロジェクタ１０Ｂによる投影エリア１００Ａと投影エリア１００Ｂの投影面全体が重なるように設定する。
　これにより、ユーザは、投影エリア１００Ａに表示された特徴点ＰＡ１乃至ＰＡ４を、一筆書きで繋げることで、重畳されていた投影エリア１００Ｂに対しても同時に特徴点に対する一筆書きがなされる。これにより、一度のペン操作により全ての投影面のキャリブレーションを行うことが可能となるため、ユーザは、投影面ごとにペン操作を行わなくてもよく、キャリブレーション時の手間を省くことができる。
　以上、キャリブレーションフェーズについて説明した。
＜３．アプリケーションフェーズ＞
　アプリケーションフェーズでは、各プロジェクタが投影エリアに映像を投影して表示させるに際して、キャリブレーションフェーズで生成された相対位置情報を用いることで、複数の投影エリア間における相対位置関係を解決することができる。
　例えば、図１８は、３台のプロジェクタ１０Ａ乃至１０Ｃを用い、それらの投影エリア１００Ａ乃至１００Ｃを跨いでキャラクタが移動するアニメーションを表している。
　具体的には、図１８において、投影エリア１００Ａと投影エリア１００Ｂとは、離れた状態となっている。また、投影エリア１００Ｂと投影エリア１００Ｃとは、一部の領域が重なった状態となっている。
　このような状態で、キャラクタＣが、図中の矢印で示した経路で右から左に向かって、投影エリア１００Ａ，１００Ｂ，１００Ｃを順に移動する際に、相対位置情報を用いることで、自立的なアニメーション表示がなされるキャラクタＣが、投影エリアを跨ぎながらの移動を行うことが可能となる。
　なお、ペン型デバイス５０などの入力を用いた筆記も同様に可能である。この場合、投影システムでは、投影エリア間の境界を跨ぐ際の検出を含むリアルタイムな処理は必要なく、あらかじめキャリブレーションフェーズにより相対位置関係を認識しているために、あたかも１枚の大きなキャンバスに入力しているかのような利用が可能である。
　また、図１９は、駆動型のプロジェクタ１０Ａと、固定型のプロジェクタ１０Ｂを用い、それらの投影エリア間でキャラクタが移動するアニメーションを表している。
　具体的には、図１９において、キャラクタＣが、図中の矢印で示した経路で右から左に向かって、投影エリア１００Ａ，１００Ｂを順に移動する際に、駆動型のプロジェクタ１０Ａが駆動して、投影エリア１００Ａが、投影エリア１００Ｂから離れた位置から、投影エリアＢに重なった位置に移動している（図中の矢印Ｍ）。
　このような状態でも、キャリブレーション時にプロジェクタ１０Ａのパン角とチルト角をそれぞれ記憶しておくことで、相対位置情報を用い、自立的なアニメーション表示がなされるキャラクタＣを、投影エリア１００Ａから投影エリア１００Ｂに受け渡して、投影エリアを跨ぎながらの移動を行うことが可能となる。
　ここで、投影エリア１００Ａと投影エリア１００Ｂとの境界における具体的な処理としては、キャリブレーションフェーズで生成された相対位置情報を用い、図２０に示すような、投影エリア１００Ａと投影エリア１００Ｂとの関係を用いて処理がなされる。相対位置情報は、投影エリア間の回転角θＡＢと、投影エリア間の上下シフト量Δｙを含む。
　図２０は、投影エリア１００Ａと投影エリア１００Ｂの一部の領域が重なった状態で、それらの投影エリアを跨いでキャラクタＣが移動する際の投影エリアの境界における座標の例を示している。
　投影エリア１００Ａにおいて、キャラクタＣは、図中の矢印で示した経路で右から左に向かって移動することで、Ｐａ１(ｘａ１，ｙａ１)から、Ｐａ２(０，ｙａ２)に移動している。ただし、投影エリア１００Ａの座標系（スクリーン座標）においては、左上の位置が原点とされる。
　このとき、投影エリア１００Ａが投影エリア１００Ｂと重なった状態になっているため、投影エリア１００Ａ上のＰａ２(０，ｙａ２)は、投影エリア１００Ｂ上のＰｂ１(ｘｂ１，ｙｂ１)で表すことができる。投影エリア１００Ａ，１００Ｂの境界におけるＰａ２(０，ｙａ２)とＰｂ１(ｘｂ１，ｙｂ１)は、図２１に示したような関係を有している。
　図２１において、Ｐｂ１(ｘｂ１，ｙｂ１)の座標は、相対位置情報に含まれる回転角θＡＢと上下シフト量Δｙを用い、投影エリア１００Ａ，１００Ｂの境界面を含む線分や角度に関する三角関数を適用することで、下記の式（１７），式（１８）により算出される。
　ｘｂ１ ＝ ｘｂｍａｘ － cos（90 － θＡＢ）／（ｙａｍａｘ－ｙａ２） 　　　・・・（１７）
　ｙｂ１ ＝ ｙａ２ ＋ ｙｂｍａｘ － sin（90 － θＡＢ）／（ｙａｍａｘ－ｙａ２） ＋ Δｙ 　　　・・・（１８）
　ただし、上述した演算を行うに際し、投影エリア１００Ａの座標系では、左上の位置が原点とされ、ｙ軸方向の最大値がｙａｍａｘとされる。また、投影エリア１００Ｂの座標系では、左上の位置が原点とされ、ｘ軸方向の最大値がｘｂｍａｘ，Ｙ軸方向の最大値がｙｂｍａｘとされる。
　以上、アプリケーションフェーズについて説明した。
＜４．システム構成＞
（投影システムの構成）
　図２２は、本技術を適用した投影システムの各装置の構成の例を示している。
　図２２において、投影システムは、複数のプロジェクタ１０と、複数のプロジェクタ１０を制御する情報処理装置３０から構成される。
　複数のプロジェクタ１０には、固定型のプロジェクタと駆動型のプロジェクタが含まれる。図２２の例では、１台の固定型のプロジェクタ１０Ａと、２台の駆動型のプロジェクタ１０Ｂ，１０Ｃの合計３台のプロジェクタ１０により構成される場合を示している。
　プロジェクタ１０Ａは、固定型のプロジェクタであり、I/F部１１Ａ、IMU１２Ａ、投影部１５Ａ、及びカメラ２０Ａを有する。
　I/F部１１Ａは、情報処理装置３０との間のインターフェースであって、通信モジュールや入出力端子などから構成される。
　I/F部１１Ａは、IMU１２Ａから入力されるセンサデータと、カメラ２０Ａから入力される撮影画像データを、情報処理装置３０に出力する。
　I/F部１１Ａは、情報処理装置３０から入力される制御信号を、IMU１２Ａ、投影部１５Ａ、及びカメラ２０Ａに出力する。また、I/F部１１Ａは、情報処理装置３０から入力される映像データを、投影部１５Ａに出力する。
　IMU１２Ａは、慣性計測装置（IMU：Inertial Measurement Unit）である。IMU１２Ａは、３軸のジャイロスコープと３方向の加速度計により、３次元の角速度と加速度を検出し、センサデータとして出力する。
　投影部１５Ａは、光源やレンズ等の光学部材や各種の機構を有する。投影部１５Ａは、そこに入力される映像データに応じた映像を、スクリーン上などに投影することで表示させる。
　カメラ２０Ａは、イメージセンサや信号処理部などを有する。カメラ２０Ａは、被写体からの光を受け付けて光電変換を行い、その結果得られる電気信号に信号処理を施し、撮影画像データとして出力する。なお、カメラ２０Ａは、プロジェクタ１０Ａに内蔵されてもよいし、外部に設けられてもよい。
　プロジェクタ１０Ｂは、駆動型のプロジェクタであり、I/F部１１Ｂ、チルトモータ１３Ｂ、パンモータ１４Ｂ、投影部１５Ｂ、及びカメラ２０Ｂを有する。
　I/F部１１Ｂは、情報処理装置３０との間のインターフェースであって、通信モジュールや入出力端子などから構成される。
　I/F部１１Ｂは、チルトモータ１３Ｂとパンモータ１４Ｂから入力される角度データと、カメラ２０Ｂから入力される撮影画像データを、情報処理装置３０に出力する。
　I/F部１１Ｂは、情報処理装置３０から入力される制御信号を、チルトモータ１３Ｂ、パンモータ１４Ｂ、投影部１５Ｂ、及びカメラ２０Ｂに出力する。また、I/F部１１Ｂは、情報処理装置３０から入力される映像データを、投影部１５Ｂに出力する。
　チルトモータ１３Ｂは、プロジェクタ１０Ｂを垂直方向に駆動させるモータである。チルトモータ１３Ｂは、その駆動に応じたチルト角に関する角度データを出力する。
　パンモータ１４Ｂは、プロジェクタ１０Ｂを水平方向に駆動させるためのモータである。パンモータ１４Ｂは、その駆動に応じたパン角に関する角度データを出力する。
　なお、投影部１５Ｂとカメラ２０Ｂは、上述した投影部１５Ａとカメラ２０Ａと同様に構成されるため、その説明は省略する。
　プロジェクタ１０Ｃは、駆動型のプロジェクタであり、I/F部１１Ｃ、チルトモータ１３Ｃ、パンモータ１４Ｃ、投影部１５Ｃ、及びカメラ２０Ｃを有する。
　I/F部１１Ｃは、情報処理装置３０との間のインターフェースであって、通信モジュールや入出力端子などから構成される。
　I/F部１１Ｃは、チルトモータ１３Ｃとパンモータ１４Ｃから入力される角度データ（チルト角とパン角を含む）と、カメラ２０Ｃから入力される撮影画像データを、情報処理装置３０に出力する。
　I/F部１１Ｃは、情報処理装置３０から入力される制御信号を、チルトモータ１３Ｃ、パンモータ１４Ｃ、投影部１５Ｃ、及びカメラ２０Ｃに出力する。
　なお、チルトモータ１３Ｃ、パンモータ１４Ｃ、投影部１５Ｃ、及びカメラ２０Ｃは、上述したチルトモータ１３Ｂ、パンモータ１４Ｂ、投影部１５Ｂ、及びカメラ２０Ｂと同様に構成されるため、その説明は省略する。
　情報処理装置３０は、パーソナルコンピュータや専用の機器などから構成される。情報処理装置３０は、制御部３１、I/F部３２、及び記憶部３３を有する。
　制御部３１は、各部の動作の制御や各種の演算処理を行う中心的な制御装置（処理装置）である。制御部３１は、CPU(Central Processing Unit)等のプロセッサから構成される。
　I/F部３２は、プロジェクタ１０Ａ乃至１０Ｃとの間のインターフェースであって、通信モジュールや入出力端子などから構成される。
　I/F部３２は、制御部３１から入力される制御信号や映像データを、プロジェクタ１０Ａ乃至１０Ｃに出力する。I/F部３２は、プロジェクタ１０Ａ乃至１０Ｃから入力されるセンサデータや、撮影画像データ、角度データ等のデータを、制御部３１に出力する。
　記憶部３３は、半導体メモリやHDD(Hard Disk Drive)等の補助記憶装置であって、内部ストレージ又は外部ストレージとして構成される。
　記憶部３３は、制御部３１からの制御に従い、各種のデータを記憶する。制御部３１は、記憶部３３に記憶された各種のデータを読み出して処理する。
　また、制御部３１は、映像生成部４１、ペンイベント管理部４２、ポインティング検出部４３、補正テーブル生成部４４、座標系変換部４５、及び自己位置推定部４６を有する。
　映像生成部４１は、映像データを生成し、I/F部３２に供給する。この映像データは、プロジェクタ１０Ａ乃至１０Ｃが各投影エリアに投影する映像に関するデータを含む。
　ペンイベント管理部４２は、ユーザが手に持って操作するペン型デバイス５０に関するイベントを管理する。
　ポインティング検出部４３は、そこに入力される撮影画像データ等のデータに基づいて、投影エリア上の位置を検出し、その検出結果を、補正テーブル生成部４４と座標系変換部４５に供給する。
　補正テーブル生成部４４は、ポインティング検出部４３から供給される検出結果や、記憶部３３に記憶された各種のデータに基づいて、相対位置情報を格納した補正テーブルを生成する。この補正テーブルは、記憶部３３に記憶される。
　座標系変換部４５は、ポインティング検出部４３から供給される検出結果や、記憶部３３に記憶された各種のデータに基づいて、カメラ座標系とプロジェクタ座標系のホモグラフィ変換行列を生成する。このホモグラフィ変換行列は、記憶部３３に記憶される。
　なお、ポインティング検出部４３が検出結果を、映像生成部４１に供給することで、その検出結果に応じて、映像生成部４１が映像に関する処理を行うようにしてもよい。
　自己位置推定部４６は、そこに入力される角度データ等のデータに基づいて、駆動型のプロジェクタ１０Ｂ，１０Ｃの位置や姿勢等を推定する。この位置等の推定に関する情報（チルト角とパン角に関する情報等）は、記憶部３３に記憶された補正テーブルに格納される。
　制御部３１はまた、記憶部３３から読み出した補正テーブルに格納された相対位置情報等を用いて、複数のプロジェクタ１０の投影エリアの境界の座標を変換し、変換した座標を用いて投影エリアに映像を投影させる制御を行う。
　なお、図２２の例では、１台の固定型のプロジェクタ１０Ａと、２台の駆動型のプロジェクタ１０Ｂ，１０Ｃにより構成される場合を示したが、プロジェクタの台数や、固定型と駆動型のタイプの割合は任意である。また、投影システムは、固定型と駆動型のプロジェクタ１０のうち、一方のタイプのプロジェクタのみから構成されてもよい。
　また、プロジェクタ１０Ａ乃至１０Ｃの各プロジェクタが映像を投影するための映像データは、情報処理装置３０を介して入力されるものに限らず、例えば、各プロジェクタに直接入力されたり、あるいは他の機器を介して入力されたりしてもよい。
（キャリブレーションフェーズの処理の流れ）
　図２３は、キャリブレーションフェーズの処理を説明するフローチャートである。
　この処理は、投影システムを構成する複数のプロジェクタ１０として、固定型のプロジェクタ１０Ａと、駆動型のプロジェクタ１０Ｂなどが設けられた場合において、キャリブレーション時に、情報処理装置３０の制御部３１により実行される。
　制御部３１は、ムービングプロジェクタとしての駆動型のプロジェクタ１０Ｂに対しては、任意の方向に投影するとともに、そのパン角とチルト角を取得する（Ｓ１１，Ｓ１２）。また、制御部３１は、固定型のプロジェクタ１０Ａに対しては、任意の方向に投影する（Ｓ１３）。
　これにより、スクリーン上では、投影エリア１００Ａに特徴点ＰＡが表示され、投影エリア１００Ｂに特徴点ＰＢが表示される。ステップＳ１２，Ｓ１３の処理が終了すると、処理は、ステップＳ１４に進められる。
　制御部３１は、撮影画像データに基づき、ユーザのペン操作によって、操作対象の投影エリア上の全ての特徴点Ｐ（ＰＡ１乃至ＰＡ４等）を経由して一筆書きで描かれる軌跡を検出する（Ｓ１４）。制御部３１は、軌跡の検出結果に基づき、操作対象の投影エリア上の全ての特徴点Ｐ（ＰＡ１乃至ＰＡ４等）を通過したかどうかを判定する（Ｓ１５）。
　ステップＳ１５の判定処理で、操作対象の投影エリア１００上の全ての特徴点Ｐを通過したと判定された場合、処理は、ステップＳ１６に進められる。制御部３１は、操作対象の投影エリアに対する軌跡の検出結果に基づいて、操作対象の投影エリアのホモグラフィ変換行列を生成する（Ｓ１６）。
　制御部３１は、操作対象の投影エリアが２つ目以降の投影エリアであるかどうかを判定する（Ｓ１７）。ステップＳ１７の判定処理で、２つ目以降の投影エリアではない、すなわち、１つ目の投影エリア（例えば投影エリア１００Ａ）であると判定された場合、ステップＳ１８，Ｓ１９の処理はスキップされる。
　一方で、ステップＳ１７の判定処理で、２つ目以降の投影エリア（例えば投影エリア１００Ｂ）であると判定された場合、処理は、ステップＳ１８に進められる。
　制御部３１は、操作対象の投影エリアのホモグラフィ変換行列を用い、例えば、遷移前の投影エリア１００の境界点としての端点Ｐａと、遷移後の投影エリア１００Ｂの境界点としての端点Ｐｂを、カメラ座標系からプロジェクタ座標系に変換する（Ｓ１８）。
　制御部３１は、プロジェクタ座標系に変換した遷移前の端点Ｐａと遷移後の端点Ｐｂを用い、２つの投影エリア１００Ａ，１００Ｂの間の相対位置を算出する（Ｓ１９）。ここで算出された相対位置は、相対位置情報（θＡＢ，Δｙ）として、記憶部３３に記憶される。
　例えば、図２乃至図１３を参照して説明したように、投影エリア１００Ａと投影エリア１００Ｂとは、少なくとも一部の領域が重なった状態、境界が接した状態、又は離れた状態のいずれかの状態となるため、その３状態に応じた算出方法で、相対位置情報（θＡＢ，Δｙ）が算出され、記憶部３３に記憶された補正テーブルに格納される。
　ステップＳ１９の処理が終了すると、処理は、ステップＳ２０に進められる。制御部３１は、軌跡の検出結果に基づき、投影エリア１００Ａ，１００Ｂの境界等の投影エリアの境界を通過したかどうかを判定する（Ｓ２０）。
　ステップＳ２０の判定処理で、投影エリアの境界を通過したと判定された場合、処理は、ステップＳ２１に進められる。制御部３１は、例えば、遷移前の投影エリア１００Ａの端点Ｐａと、遷移後の投影エリア１００Ｂの端点Ｐｂを、カメラ座標系で記憶部３３に記憶される（Ｓ２１）。
　その後、処理は、ステップＳ１４に戻り、３枚目以降の投影エリア（例えば投影エリア１００Ｃ）が存在する場合には、３枚目以降の投影エリアについても、投影エリア間（投影エリア１００Ｂ，１００Ｃの間）の相対位置が算出され、相対位置情報（θＢＣ，Δｙ）として記憶される。
　また、ステップＳ２０の判定処理で、投影エリアの境界を通過していないと判定された場合、処理は、ステップＳ２２に進められる。制御部３１は、軌跡の検出結果に基づき、ペン型デバイス５０のペン先がスクリーン上からアップされたかどうかを判定する（Ｓ２２）。
　ステップＳ２２の判定処理で、ペン先がスクリーン上からアップされていないと判定された場合、処理は、ステップＳ２０に戻り、上述した処理が繰り返される。一方で、ステップＳ２２の判定処理で、ペン先がスクリーン上からアップされたと判定された場合、処理を終了する。
　以上、キャリブレーションフェーズの処理の流れを説明した。
（アプリケーションフェーズの処理の流れ）
　図２４は、アプリケーションフェーズの処理を説明するフローチャートである。
　この処理は、投影システムを構成する複数のプロジェクタ１０として、固定型のプロジェクタ１０Ａと、駆動型のプロジェクタ１０Ｂなどが設けられた場合において、キャリブレーション完了後のアプリケーションの実行時に、情報処理装置３０の制御部３１により実行される。
　制御部３１は、複数のプロジェクタ１０により映像を投影する際に、投影エリアの境界であるかどうかを判定する（Ｓ５１）。
　ステップＳ５１の判定処理で、投影エリアの境界であると判定された場合、処理は、ステップＳ５２に進められる。
　制御部３１は、記憶部３３から読み出した補正テーブルに格納された相対位置情報（θ，Δｙ）等を用いて、投影エリアの境界の座標を変換する（Ｓ５２）。制御部３１は、プロジェクタ１０を制御して、変換後の座標を用いて、投影エリアに映像を投影させる（Ｓ５３）。
　例えば、図１８乃至図２１を参照して説明したように、投影エリア１００Ａ，１００Ｂの境界をキャラクタＣが移動する場合、相対位置情報（θＡＢ，Δｙ）を用い、投影エリア１００Ｂ上のＰｂ１(ｘｂ１，ｙｂ１)の座標が、上述した式（１７），式（１８）により算出され、算出された座標に基づき、キャラクタＣが投影される。
　なお、ステップＳ５１の判定処理で、投影エリアの境界ではないと判定された場合、ステップＳ５２，Ｓ５３の処理は、スキップされる。
　以上、アプリケーションフェーズの処理の流れを説明した。
　以上のように、本技術によれば、複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作が検出され、その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報が生成される。また、本技術によれば、相対位置情報に基づいて、複数の投影装置により、対応する複数の投影エリアに、映像が投影される。
　すなわち、本技術では、事前のキャリブレーション処理として、ペン型デバイスを用いて一筆書きにより各プロジェクタの幾何補正（台形補正）を行うだけでなく、複数のプロジェクタごとの投影エリアの相対位置関係を簡易的にキャリブレーションするようにしている。
　また、本技術では、自立的なアニメーション表示がなされるキャラクタの映像にも対応可能で、さらに、キャリブレーション時に相対位置情報を保持しておくことで、アプリケーションの実行時には、計算コストによる負荷を低減することができる。そのため、より確実に、複数の投影装置を用いた映像投影を実現することができる。
　なお、上述した説明では、投影システムにおいて、情報処理装置３０を設けて、情報処理装置３０（の制御部３１）が、キャリブレーションフェーズの処理とアプリケーションフェーズの処理を実行するとして説明したが、複数のプロジェクタ１０のいずれかが、情報処理装置３０の機能（の一部又は全部の機能）を有することで、プロジェクタ１０が、キャリブレーションフェーズの処理とアプリケーションフェーズの処理を実行しても構わない。
　また、キャリブレーションフェーズの処理とアプリケーションフェーズの処理を実行するのは、１台のプロジェクタ１０に限らず、複数台のプロジェクタ１０が協働して処理を実行しても構わない。
　また、上述した説明では、投影エリアの特徴点に対するユーザの操作として、ペン型デバイス５０を用いたペン操作を例示したが、ペン操作に限らず、例えば、ユーザの指や他の器具などを用いても構わない。
　なお、本明細書において、映像データは、複数枚の画像データから構成されるものであり、「映像」を、「画像」と読み替えても構わない。
＜５．コンピュータの構成＞
　上述した情報処理装置３０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成の例を示すブロック図である。
　コンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下のような構成をとることができる。
（１）
　複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作を検出し、
　その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報を生成する
　制御部を備える
　情報処理装置。
（２）
　前記制御部は、前記相対位置情報に基づいて、前記複数の投影装置により、対応する前記複数の投影エリアに、映像を投影させる
　前記（１）に記載の情報処理装置。
（３）
　前記相対位置情報は、隣接する第１の投影エリアと第２の投影エリアの間の回転角と垂直方向のシフト量に関する情報を含む
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記第１の投影エリアと前記第２の投影エリアとは、少なくとも一部の領域が重なった状態、境界が接した状態、又は離れた状態のいずれかの状態となる
　前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとの少なくとも一部の領域が重なった状態である場合、前記第１の投影エリアと前記第２の投影エリアとで共に検出可能な共有される線分を用い、前記回転角と前記シフト量を算出する
　前記（４）に記載の情報処理装置。
（６）
　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとの境界が接した状態である場合、前記第１の投影エリアと前記第２の投影エリアとで共に検出可能な境界の点の前後の点と、それらの点から得られる線分を用い、前記回転角と前記シフト量を算出する
　前記（４）に記載の情報処理装置。
（７）
　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとが離れた状態である場合、前記第１の投影エリアと前記第２の投影エリアとで個別に検出可能な境界の点の前後の点と、それらの点から得られる線分を用い、前記回転角と前記シフト量を算出する
　前記（４）に記載の情報処理装置。
（８）
　前記制御部は、
　　各投影エリアに第１の座標系で投影される前記指示子の位置と、前記ユーザの操作を撮影した撮影画像から第２の座標系で検出される前記操作の位置とを対応付けた変換行列を生成し、
　　前記変換行列を用い、前記第２の座標系で検出される位置を前記第１の座標系に変換して、前記相対位置情報を生成する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記複数の投影装置は、駆動型の投影装置を含み、
　前記制御部は、前記変換行列を生成するに際し、前記駆動型の投影装置におけるその時点でのパン角とチルト角を用いる
　前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、
　　前記駆動型の投影装置から投影面までの距離を取得し、
　　前記距離を用いて、前記チルト角の変化から垂直方向のオフセット量を算出する
　前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、前記駆動型の投影装置を駆動して、前記複数の投影エリアを同じ場所に設定する
　前記（９）に記載の情報処理装置。
（１２）
　前記制御部は、前記指示子に対する前記ユーザの操作を支援するための支援情報を提示する
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記支援情報は、指示子に対する操作の順番を示す情報、操作対象の指示子のアニメーション表示、操作対象の指示子の強調表示、又は指示子に対する操作のガイド表示を含む
　前記（１２）に記載の情報処理装置。
（１４）
　前記支援情報は、前記複数の投影エリアのうち、前記相対位置情報を生成するための処理に失敗した投影エリアについて、前記ユーザの再操作を促すための情報を含む
　前記（１２）又は（１３）に記載の情報処理装置。
（１５）
　前記制御部は、前記ユーザの操作として、前記指示子に対する指示体を用いた一筆書きの操作を検出する
　前記（１２）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとの境界で、前記回転角と前記シフト量を用いて算出される座標により、前記映像を投影させる
　前記（３）に記載の情報処理装置。
（１７）
　前記映像は、自立的なアニメーション表示がなされるキャラクタの映像を含む
　前記（１６）に記載の情報処理装置。
（１８）
　前記複数の投影装置は、固定型の投影装置と駆動型の投影装置の少なくとも一方の種類の投影装置を含む
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　前記複数の投影装置のいずれかの投影装置、又は外部の装置として構成される
　前記（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
　情報処理装置が、
　複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作を検出し、
　その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報を生成する
　情報処理方法。
　１０，１０Ａ，１０Ｂ，１０Ｃ　プロジェクタ，　１１Ａ，１１Ｂ，１１Ｃ　I/F部，　１２Ａ　IMU，　１３Ｂ，１３Ｃ　チルトモータ，　１４Ｂ，１４Ｃ　パンモータ，　１５Ａ，１５Ｂ，１５Ｃ　投影部，　２０，２０Ａ，２０Ｂ，２０Ｃ　カメラ，　３０　情報処理装置，　３１　制御部，　３２　I/F部，　３３　記憶部，　４１　映像生成部，　４２　ペンイベント管理部，　４３　ポインティング検出部，　４４　補正テーブル生成部，　４５　座標系変換部，　４６　自己位置推定部，　５０　ペン型デバイス

Claims (20)

  1. 　複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作を検出し、
    　その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報を生成する
    　制御部を備える
    　情報処理装置。
  2. 　前記制御部は、前記相対位置情報に基づいて、前記複数の投影装置により、対応する前記複数の投影エリアに、映像を投影させる
    　請求項１に記載の情報処理装置。
  3. 　前記相対位置情報は、隣接する第１の投影エリアと第２の投影エリアの間の回転角と垂直方向のシフト量に関する情報を含む
    　請求項２に記載の情報処理装置。
  4. 　前記第１の投影エリアと前記第２の投影エリアとは、少なくとも一部の領域が重なった状態、境界が接した状態、又は離れた状態のいずれかの状態となる
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとの少なくとも一部の領域が重なった状態である場合、前記第１の投影エリアと前記第２の投影エリアとで共に検出可能な共有される線分を用い、前記回転角と前記シフト量を算出する
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとの境界が接した状態である場合、前記第１の投影エリアと前記第２の投影エリアとで共に検出可能な境界の点の前後の点と、それらの点から得られる線分を用い、前記回転角と前記シフト量を算出する
    　請求項４に記載の情報処理装置。
  7. 　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとが離れた状態である場合、前記第１の投影エリアと前記第２の投影エリアとで個別に検出可能な境界の点の前後の点と、それらの点から得られる線分を用い、前記回転角と前記シフト量を算出する
    　請求項４に記載の情報処理装置。
  8. 　前記制御部は、
    　　各投影エリアに第１の座標系で投影される前記指示子の位置と、前記ユーザの操作を撮影した撮影画像から第２の座標系で検出される前記操作の位置とを対応付けた変換行列を生成し、
    　　前記変換行列を用い、前記第２の座標系で検出される位置を前記第１の座標系に変換して、前記相対位置情報を生成する
    　請求項１に記載の情報処理装置。
  9. 　前記複数の投影装置は、駆動型の投影装置を含み、
    　前記制御部は、前記変換行列を生成するに際し、前記駆動型の投影装置におけるその時点でのパン角とチルト角を用いる
    　請求項８に記載の情報処理装置。
  10. 　前記制御部は、
    　　前記駆動型の投影装置から投影面までの距離を取得し、
    　　前記距離を用いて、前記チルト角の変化から垂直方向のオフセット量を算出する
    　請求項９に記載の情報処理装置。
  11. 　前記制御部は、前記駆動型の投影装置を駆動して、前記複数の投影エリアを同じ場所に設定する
    　請求項９に記載の情報処理装置。
  12. 　前記制御部は、前記指示子に対する前記ユーザの操作を支援するための支援情報を提示する
    　請求項１に記載の情報処理装置。
  13. 　前記支援情報は、指示子に対する操作の順番を示す情報、操作対象の指示子のアニメーション表示、操作対象の指示子の強調表示、又は指示子に対する操作のガイド表示を含む
    　請求項１２に記載の情報処理装置。
  14. 　前記支援情報は、前記複数の投影エリアのうち、前記相対位置情報を生成するための処理に失敗した投影エリアについて、前記ユーザの再操作を促すための情報を含む
    　請求項１２に記載の情報処理装置。
  15. 　前記制御部は、前記ユーザの操作として、前記指示子に対する指示体を用いた一筆書きの操作を検出する
    　請求項１２に記載の情報処理装置。
  16. 　前記制御部は、前記第１の投影エリアと前記第２の投影エリアとの境界で、前記回転角と前記シフト量を用いて算出される座標により、前記映像を投影させる
    　請求項３に記載の情報処理装置。
  17. 　前記映像は、自立的なアニメーション表示がなされるキャラクタの映像を含む
    　請求項１６に記載の情報処理装置。
  18. 　前記複数の投影装置は、固定型の投影装置と駆動型の投影装置の少なくとも一方の種類の投影装置を含む
    　請求項１に記載の情報処理装置。
  19. 　前記複数の投影装置のいずれかの投影装置、又は外部の装置として構成される
    　請求項１８に記載の情報処理装置。
  20. 　情報処理装置が、
    　複数の投影装置ごとの投影エリアに投影される指示子に対するユーザの操作を検出し、
    　その検出結果に基づいて、複数の投影エリアの相対的な位置に関する相対位置情報を生成する
    　情報処理方法。
PCT/JP2020/046457 2019-12-27 2020-12-14 情報処理装置、及び情報処理方法 WO2021131827A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/757,759 US20230015874A1 (en) 2019-12-27 2020-12-14 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019237874 2019-12-27
JP2019-237874 2019-12-27

Publications (1)

Publication Number Publication Date
WO2021131827A1 true WO2021131827A1 (ja) 2021-07-01

Family

ID=76574104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046457 WO2021131827A1 (ja) 2019-12-27 2020-12-14 情報処理装置、及び情報処理方法

Country Status (2)

Country Link
US (1) US20230015874A1 (ja)
WO (1) WO2021131827A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252804A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
WO2006077665A1 (ja) * 2005-01-20 2006-07-27 National University Corporation NARA Institute of Science and Technology 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体
JP2011017894A (ja) * 2009-07-09 2011-01-27 Seiko Epson Corp プロジェクター、画像投写システムおよび画像投写方法
JP2014074825A (ja) * 2012-10-05 2014-04-24 Seiko Epson Corp プロジェクター、およびプロジェクターの制御方法
JP2015159524A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 プロジェクター、表示装置、及び、プロジェクターの制御方法
JP2017116950A (ja) * 2013-07-19 2017-06-29 株式会社Ｊｖｃケンウッド マルチプロジェクタシステム、プロジェクタ装置、調整装置および調整方法、ならびに、調整プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252804A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
WO2006077665A1 (ja) * 2005-01-20 2006-07-27 National University Corporation NARA Institute of Science and Technology 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体
JP2011017894A (ja) * 2009-07-09 2011-01-27 Seiko Epson Corp プロジェクター、画像投写システムおよび画像投写方法
JP2014074825A (ja) * 2012-10-05 2014-04-24 Seiko Epson Corp プロジェクター、およびプロジェクターの制御方法
JP2017116950A (ja) * 2013-07-19 2017-06-29 株式会社Ｊｖｃケンウッド マルチプロジェクタシステム、プロジェクタ装置、調整装置および調整方法、ならびに、調整プログラム
JP2015159524A (ja) * 2014-01-21 2015-09-03 セイコーエプソン株式会社 プロジェクター、表示装置、及び、プロジェクターの制御方法

Also Published As

Publication number Publication date
US20230015874A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US7852315B2 (en) Camera and acceleration based interface for presentations
US8398246B2 (en) Real-time projection management
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP5428600B2 (ja) プロジェクター、画像投写システムおよび画像投写方法
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
US10416540B2 (en) Display control apparatus, image projection system, and control method
US20110169776A1 (en) Image processor, image display system, and image processing method
WO2006030501A1 (ja) 画像投影システム及び画像幾何補正装置
JP2010122273A (ja) 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
US10979700B2 (en) Display control apparatus and control method
JP2007207056A (ja) 情報入力システム
JP5812593B2 (ja) 映像処理装置、撮像装置、映像処理方法及びプログラム
JP2019079450A (ja) マルチ画面システムに対して表示ポインタの位置補正を行う補正装置、プログラム、およびサービス提供方法
WO2021131827A1 (ja) 情報処理装置、及び情報処理方法
JP5947999B2 (ja) タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム
JPH05181605A (ja) 座標読み取り機能付き投影表示装置およびその表示スクリーンおよびその表示装置
JP2003280813A (ja) ポインティングデバイス、ポインタ制御装置、ポインタ制御方法及びその方法を記録した記録媒体
US20210321033A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP4720579B2 (ja) ポインティング装置、ポインティング装置の制御方法及びプログラム
JP5664725B2 (ja) プロジェクター、画像投写システムおよび画像投写方法
WO2019171635A1 (ja) 操作入力装置、操作入力方法、及びコンピュータ読み取り可能な記録媒体
JP2015053734A (ja) プロジェクター、画像投写システムおよび画像投写方法
CN115278184B (zh) 投影画面校正方法及装置
JP7020225B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN114616820B (zh) 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20906086

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20906086

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP