WO2007088943A1 - 調整方法、映像補正装置及び映像表示システム - Google Patents

調整方法、映像補正装置及び映像表示システム Download PDF

Info

Publication number
WO2007088943A1
WO2007088943A1 PCT/JP2007/051727 JP2007051727W WO2007088943A1 WO 2007088943 A1 WO2007088943 A1 WO 2007088943A1 JP 2007051727 W JP2007051727 W JP 2007051727W WO 2007088943 A1 WO2007088943 A1 WO 2007088943A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel value
input level
video
image data
Prior art date
Application number
PCT/JP2007/051727
Other languages
English (en)
French (fr)
Inventor
Tsuyoshi Minakawa
Hideyuki Sakai
Original Assignee
Hitachi, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi, Ltd. filed Critical Hitachi, Ltd.
Priority to JP2007556918A priority Critical patent/JP5047813B2/ja
Publication of WO2007088943A1 publication Critical patent/WO2007088943A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Definitions

  • the present invention relates to a technique for adjusting the brightness and hue of a video display system.
  • a video display system it is necessary to adjust brightness and hue so that substantially uniform characteristics can be obtained within a region where video is displayed.
  • the video projected from each video projector is used to connect the video projected by each video projector. It is necessary to adjust the brightness and hue of the.
  • Patent Document 1 discloses that test videos projected from all video projection devices are shot with a digital camera and projected on a screen based on the shot videos. A technique for making the luminance value of the entire video uniform is disclosed.
  • Patent Document 1 JP 2002-116500 A
  • the projector power is also projected with a digital camera
  • the captured image is obtained using the characteristic function of the digital camera obtained and obtained in advance. Because the pixel values of the data were converted into luminance values, and (3) correction parameters were calculated so that a desired image could be obtained based on the converted luminance value data and the characteristic functions of each projector. In order to obtain a good correction result, the individual characteristic functions must be accurately obtained. To obtain these characteristic functions with sufficient accuracy to be used for adjusting brightness and hue, It was expensive.
  • the present invention adjusts the brightness and hue of the video display system so that substantially uniform characteristics can be obtained within the area where the video is displayed even when these characteristic functions do not have a component. It aims at providing the technology that can do.
  • the exposure of the imaging device is set to a value suitable for adjustment for each input level used for adjustment, and on the captured image data photographed with the exposure.
  • the correction parameter is adjusted so that the pixel value on the captured image data obtained by photographing the video displayed by the video display system matches the target pixel value. did.
  • the image data output from the image supply unit is corrected in the image correction unit, and then displayed on the image display unit after being corrected, thereby displaying a desired image.
  • An adjustment method for adjusting a system using an imaging device wherein an exposure determination process for determining an exposure of the imaging device to be suitable for the adjustment of the input level for each of a plurality of specific input levels, and the input
  • a target pixel value determination process for determining a target pixel value from captured image data obtained by photographing the subject for determining a target pixel value corresponding to a level with the exposure determined in the exposure determination process, and the image display unit.
  • the image display unit adjusts the pixel value of the captured image data obtained by capturing the displayed image by the imaging device with the exposure determined in the exposure determination process to the target pixel value.
  • the target pixel value on the photographed image data is determined for each input level used at the time of adjustment, and the photographed image data obtained by photographing the corrected image is recorded. Since the correction parameter is adjusted so that the pixel value of the pixel matches the target pixel value, the above characteristic function becomes unnecessary.
  • the dynamic range of the imaging device is narrower than the dynamic range of the video display system because the force adjustment is performed by setting the exposure of the imaging device to a value suitable for adjustment for each input level used during adjustment. Even in this case, it is possible to accurately perform the adjustment without losing information on the bright side or the dark side.
  • FIG. 1 is a schematic configuration diagram of a video display system 100 according to a first embodiment.
  • FIG. 2 is a schematic configuration diagram of a video output device 110. 3) Schematic configuration diagram of the image correction device 120.
  • FIG. 4 is a schematic configuration diagram of a correction processing device 123.
  • FIG. 8 is a flowchart showing the flow of overall adjustment processing of the video display system 100.
  • FIG. 9 is a flowchart showing the processing contents of the entire overlapping projection frequency image data and each surface weight image data generation processing.
  • FIG. 10 is an explanatory diagram of each surface weight image data.
  • FIG. 11 is a flowchart showing the processing content of minimum input level target value determination processing.
  • FIG. 12 is a flowchart showing the processing content of maximum input level target value determination processing.
  • FIG. 13 is a flowchart showing the processing content of minimum input level feedback adjustment processing.
  • FIG. 14 is a flowchart showing the processing contents of intermediate input level target value determination processing.
  • FIG. 15 is a flowchart showing the processing content of maximum input level feedback adjustment processing.
  • FIG. 16 is a flowchart showing the processing contents of intermediate input level feedback adjustment processing.
  • FIG. 17 is a flowchart showing processing details of an image sensor abnormality detection / correction process.
  • FIG. 19 is a schematic configuration diagram of a storage unit 425 according to the second embodiment.
  • FIG. 20 A schematic configuration diagram of a video output device 510 according to the third embodiment.
  • ⁇ 21 Schematic configuration diagram of a video correction apparatus 520 according to the third embodiment.
  • ⁇ 22 Schematic configuration diagram of the correction control unit 524 according to the third embodiment.
  • ⁇ 23 Schematic configuration diagram of the correction control unit 624 according to the fourth embodiment.
  • ⁇ 24 Schematic configuration diagram of the storage unit 625 according to the fourth embodiment.
  • FIG. 25 is a flowchart showing the overall processing flow in the fourth embodiment.
  • FIG. 26 is a flowchart showing the processing content of the entire video display area image data generation processing.
  • FIG. 27 is a flowchart showing the processing contents of minimum input level target image data generation processing.
  • FIG. 28 is a flowchart showing the processing contents of maximum input level target image data generation processing.
  • FIG. 29 is a flowchart showing the processing contents of intermediate input level target image data generation processing.
  • FIG. 30 is a flowchart showing the processing content of correction feedback adjustment processing.
  • FIG. 31 is a flowchart showing the processing content when stack projection is performed.
  • FIG. 32 is a schematic configuration diagram of a correction control unit 924 according to a sixth embodiment.
  • FIG. 33 is a schematic configuration diagram of a storage unit 925 according to a sixth embodiment.
  • FIG. 34 is an explanatory diagram of a method for generating each surface blend weight image data according to the sixth embodiment.
  • FIG. 35 is a flowchart showing the overall flow in the sixth embodiment.
  • FIG. 36 is a flowchart showing the processing content of minimum input level target value determination processing.
  • FIG. 37 is a flowchart showing the contents of feedback adjustment processing.
  • FIG. 38 is a flowchart showing the processing contents of maximum input level target value determination processing.
  • FIG. 39 is a flowchart showing the processing content of intermediate input level adjustment processing.
  • FIG. 40 is a flowchart showing the processing content of intermediate input level target value determination processing.
  • FIG. 41 is a flowchart showing the processing contents of parameter generation registration processing.
  • FIG. 42 is an explanatory diagram of a pixel value conversion parameter.
  • FIG. 43 is an explanatory diagram of a display level determination method in intermediate input level target value determination processing. Explanation of symbols
  • FIGS. 1 to 17, FIG. 42, and FIG. a first embodiment of the video display system of the present invention will be described with reference to FIGS. 1 to 17, FIG. 42, and FIG.
  • the characteristics between the R, G, and B colors are adjusted in advance in each video projection device included in the video display system. The case where it is sufficient to perform the same correction for each color will be described.
  • an identity conversion geometric correction parameter is stored in the geometric correction parameter storage unit 123d of the corresponding correction processing device 123A to 123D, and pixel value conversion is performed.
  • the parameter storage unit 123f stores the identity conversion pixel value conversion parameter and the area where the image is displayed when the image is projected is called the “image projection area” of the image projection device, and is stored in the geometric correction parameter storage unit 123d.
  • Geometric correction parameters that have already been adjusted The area where the image is displayed when the pixel value conversion parameter storage unit 123f stores the identity conversion pixel value conversion parameter and projects the video is called the “video display area” of the video projection device, For each of the video projection devices 130A to 130D, an area that is “inside the video projection area and outside the video display area” is called the “non-charged projection area” of the video projection device, and any of the projection devices An area that is inside the video display area is called an “entire video display area”.
  • FIG. 1 is a schematic configuration diagram of a video display system 100 according to the first embodiment of the present invention.
  • the video display system 100 includes a video output device 110, a video correction device 120, video projection devices 130A to 130D, a screen 140, and an imaging device 150. Then, the image output from the image output device 110 is subjected to geometric correction and pixel value conversion by the image correction device 120, and then projected onto the screen 140 from the image projection devices 130A to 130D. The desired image can be displayed on the screen. Further, the video output device 110 and the video correction device 120 output image data in which each color of R, G, and B is expressed by 8 bits.
  • the image displayed on the screen 140 is captured by the image capturing device 150, and a pixel value conversion parameter serving as a reference for pixel value conversion in the image correcting device 120 based on the captured image data.
  • the pixel value conversion parameter is adjusted by the so-called feedback method, that is, the image displayed on the screen 140 is adjusted.
  • the end determination is performed by a method described later using the property that the pixel value input to the video projection device is a discrete value, and the end of the evaluation based on the magnitude of the evaluation value based on the difference from the previous time. In the so-called convergence judgment to determine whether or not, the feedback loop is repeated.
  • the video output device 110 includes a video input unit 111, an image storage unit 112, a video control unit 113, video output units 114A to 114D, and a first transmission / reception unit. 115 and.
  • the video input unit 111 inputs image data to be projected on the screen 140, and includes one or more CD-ROM (Compact Disk Read Only Memory) and DVD-ROM (Digital Versatile Disk Read Only Memory). , Such as magnetic disk
  • the storage medium power also reads image data. Further, it may be configured to input image data generated by one or a plurality of PCs (personal computers) or game machines. These image data may be one piece of data corresponding to the entire video image displayed on the screen 140, or a plurality of data items that are stored or generated in advance for each assigned range of the video projection devices 130A to 130D. May be, or even
  • It may be composed of a plurality of data, regardless of the configuration of the video projection device, which contains enough information to reconstruct the video displayed on the screen 140.
  • the image storage unit 112 stores image data for adjustment to be projected on the screen 140 in response to a command from the video correction device 120 described later.
  • the image data equal to the value of is stored.
  • the image data for adjustment is stored in a resolution suitable for each of the video projectors 130A to 130D. However, if such resolution is equal in a plurality of video projectors, one image data is stored.
  • the image storage unit 112 can be configured by an auxiliary storage device such as a hard disk, a DVD, or a RAM (Random Access Memory). Further, it may be configured such that image data is automatically generated based on a command from the video control unit 113 using one or a plurality of PCs. Furthermore, the video input unit 111 and the image storage unit 112 may be configured by the same device.
  • the video control unit 113 sends the image data input from the video input unit 111 and the image data stored in the image storage unit 112 to the video correction device 120 via the video output units 114A to 114D. Controls when outputting. Specifically, the image data input from the video input unit 111 is extracted according to design parameters related to the number and arrangement of the video projection devices 130A to 130D described later, and output to the video correction device 120. When a command to output specific image data is received from the video correction device 120 via the first transmission / reception unit 115 described later, the requested image data is read from the image storage unit 112 and output to the video correction device 120. To do. Note that the video control unit 113 can be realized, for example, by executing a predetermined program on a CPU (Central Processing Unit).
  • CPU Central Processing Unit
  • Video output units 114A to 114D output image data to video correction device 120.
  • it can be configured using a known video output interface.
  • an interface equipped with DZA transformation is used.
  • the first transmission / reception unit 115 transmits / receives data to / from the video correction device 120.
  • it may be configured using an infrared interface, RS-232C interface, NIC (Network Interface Card), or the like.
  • the video correction device 120 includes a correction unit 121 and an adjustment unit 122, and the correction unit 121 includes correction processing devices 123A to 123D for adjustment.
  • the unit 122 includes a correction control unit 124, a storage unit 125, an input device 126, a second transmission / reception unit 127, and a third transmission / reception unit 128.
  • the correction processing devices 123A to 123D include an input unit 123a, a frame memory 123b, a correction data input unit 123c, a geometric correction parameter storage unit 123d, and a correction unit. 123e, a pixel value conversion parameter storage unit 123f, a pixel value conversion unit 123g, and an output unit 123h.
  • the input unit 123a inputs the image data output from the video output device 110 to the correction processing devices 123A to 123D. Specifically, it is configured using a known video input interface according to the video output units 114A to 114D. In addition, when an interface having DZA transformation is used in the video output units 114A to 114D, an interface having AZ D transformation is used in the input unit 123a.
  • the frame memory 123b stores the image data input from the input unit 123a.
  • the correction data input unit 123c is an interface for transmitting and receiving data to and from the correction control unit 124 of the video correction device 120.
  • the correction data input unit 123c is a PCI (Peripheral Component)
  • USB Universal Serial Bus
  • the geometric correction parameter storage unit 123d is transmitted from the correction control unit 124 of the video correction device 120.
  • an identity transformation geometric correction parameter for outputting image data that is geometrically equivalent to the input image data, and images projected by the four video projectors 130A to 130D are geometrically displayed on the screen 140.
  • One of the geometric correction parameters for output so as to be smoothly connected is stored. Which parameter is stored is stored in the geometric correction parameter until the adjustment is required again after the adjustment of the force controlled by the correction control unit 124 is completed.
  • it is assumed that the geometric correction parameter has already been generated by a known method.
  • the geometric correction parameter storage unit 123d can store both the force identity conversion geometric correction parameter and the geometric correction parameter that can be realized by a storage device such as a RAM (Random Access Memory).
  • a storage device such as a RAM (Random Access Memory).
  • both the identity transformation geometric correction parameter and the geometric correction parameter are stored, and the correction control unit 124 determines which correction parameter to be used in the correction process performed by the geometric correction unit 123e. You may want to control what you use.
  • the geometric correction unit 123e is a unit that performs geometric correction on the image data stored in the geometric correction parameter storage unit 123d and read out from the frame memory using the correction parameters. It can be composed of logic circuits such as FPGA (Field Programmable Gate Array).
  • the resolution of each image data output from the video output device 110 is equal to the resolution of the image data to be input to the corresponding video projection devices 130A to 130D.
  • the system is configured so that the resolution of the image data input to the geometric correction unit 123e is equal to the resolution of the image data output from the geometric correction unit 123e.
  • the mode is not limited to such a mode, and by considering the difference in resolution before and after correction by the geometric correction unit 123e, it can be easily implemented even when the resolutions of the two are different.
  • the pixel value conversion parameter storage unit 123f stores the conversion parameter transmitted from the correction control unit 124 of the video correction device 120.
  • the identity conversion pixel value conversion parameter for outputting the pixel value of each pixel of the image data input to the pixel value conversion unit 123g as it is, and the image data input to the pixel value conversion unit 123g Predetermined pixel value for each pixel Either one of the pixel value conversion parameters for output after conversion is stored. Which parameter is stored is controlled by the correction control unit 124. Once the adjustment is completed, the pixel value conversion parameter is stored until the adjustment is required again.
  • the pixel value conversion parameter storage unit 123f stores both a power identity pixel value conversion parameter and a pixel value conversion parameter that can be realized by a storage device such as a RAM (Random Access Memory), for example. If there is enough storage capacity, both the identity conversion pixel value conversion parameter and the pixel value conversion parameter are stored, and the correction control unit 124 performs a correction process performed by the pixel value conversion unit 123g. You may want to control which conversion parameters are used.
  • Each conversion parameter is a parameter having the same resolution as the image data output to each of the video projection devices 130A to 130D. These conversion parameters will be described with reference to FIG.
  • FIG. 42 (a) is a diagram illustrating parameters that are independently held for each pixel position.
  • the pixel value is converted to L10 and output, and the first intermediate input level L1 is input as the input pixel value. If the second intermediate input level L2 is input as the input pixel value, the pixel value is converted to L12 and output, and the first pixel value is input as the input pixel value.
  • the third intermediate input level L3 is input, the pixel value is converted to L 13 and output, and when the maximum input level L4 is input as the input pixel value, the pixel value is converted to L 14 and output.
  • the pixel values are converted based on a piecewise linear function 974a defined based on the input levels L0 to L4 and output levels L10 to L14. And output.
  • the input levels LO, L 1, L2, L3, and L4 are values preliminarily specified as design values, they are held independently for each pixel position in order to define the partitioned linear function 974a.
  • the required parameters are the output levels LIO, Lll, L12, L13, and L14 corresponding to each input level. Therefore, the pixel value conversion parameter stored in the pixel value conversion parameter storage unit 123f is a set of these five output levels for each pixel position.
  • the parameters to be stored in the pixel value conversion parameter storage unit 125g which will be described later, Since it is desirable to have a configuration that can be handled independently for each level, the minimum input level pixel value conversion, which is the pixel value conversion parameter for each pixel position, with L10 corresponding to that pixel position set as the pixel value Parameters, a first intermediate input level pixel value conversion parameter that is a pixel value conversion parameter that is set as a pixel value of LI 1 corresponding to the pixel position for each pixel position, and a pixel position for each pixel position.
  • a second intermediate input level pixel value conversion parameter which is a pixel value conversion parameter set with the corresponding L12 as the pixel value, and a pixel value conversion set with L13 corresponding to that pixel position as the pixel value for each pixel position
  • a third intermediate input level pixel value conversion parameter which is a parameter, and an image in which L14 corresponding to the pixel position is set as the pixel value for each pixel position. It is composed of the maximum input level pixel value conversion parameter which is a prime value conversion parameter, and when it is stored in the pixel value conversion parameter storage unit 123f via the correction processing control unit 124b described later, the format conversion is performed. Configure as follows.
  • FIG. 42 (b) and FIG. 42 (c) are examples in the case where a special function is set as the piecewise linear function 974a of FIG. 42 (a).
  • the piecewise linear function 974b in Fig. 42 (b) corresponds to the identity transformation, and the output level L2 0 is equal to the input level LO, the output level L21 is equal to the input level L1, and the output level L22. Is equal to the input level L2, the output level L23 is equal to the input level L3, and the output level L24i is equal to the human level L4! / ⁇ .
  • the set of “L20, L21, L22, L23, L2 4” for all the pixels is the identity conversion pixel value conversion parameter stored in the pixel value conversion parameter storage unit 123f.
  • the piecewise linear function 974c in FIG. 42 (c) is for outputting the output level L30 when any input level is input as the pixel value.
  • the characteristic function used for pixel value conversion is not limited to the illustrated piecewise linear function, and other functions defined by a plurality of control points such as a cubic spline function may be used.
  • the number of control points for each pixel position Any number from 2 to 256 points (when the output is expressed as an 8-bit number) can be used.
  • the number of control points may be arbitrarily related to the number of parameters stored in the pixel value conversion parameter storage unit 125g described later. If they are different, the parameter stored in the pixel value conversion parameter storage unit 125g Is stored in the pixel value conversion parameter storage unit 123f via the correction processing control unit 124b, which will be described later, after being optimized by an existing method as part of the format conversion.
  • the correction processing control unit 124b uses the pixel value conversion parameter as a parameter that best approximates the result. Create a parameter to be stored in the storage unit 123f and store it in the pixel value conversion parameter storage unit 123f.
  • the pixel value conversion unit 123g converts the pixel value of each pixel of the image data input from the geometric correction unit 123e using the conversion parameter stored in the pixel value conversion parameter storage unit 123f, This is sent to the output unit 123h.
  • it can be composed of a logic circuit such as an FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • the output unit 123h is an interface for transmitting the image data sent from the pixel value conversion unit 123g to the video projection devices 130A to 130D, and a known video output interface can be used. is there. If the video projection devices 130A to 130D are configured to input an analog output signal, an interface having a DZA change is used.
  • the correction control unit 124 includes a pixel value conversion parameter update unit 124a, a correction processing device control unit 124b, an imaging device control unit 124c, and a video output device control unit 124d.
  • the pixel value conversion parameter update unit 124a includes pixels according to requests from a feedback adjustment unit 124g, an imaging element abnormality detection / correction unit 124h, and a video display area outside parameter correction unit 124i described later. Update the parameter value of the value conversion parameter.
  • the correction processing device control unit 124b controls correction processing performed by each of the correction processing devices 123A to 123D. Specifically, the geometric transformation parameter stored in the identity transformation geometric correction parameter storage unit 125d and the geometric correction parameter stored in the geometric correction parameter storage unit 125f are set as necessary to each correction processing device. 123A to 123D geometric correction parameter storage unit 123d, and stored in the identity conversion pixel value conversion parameter and pixel value conversion parameter storage unit 125g stored in the identity conversion pixel value conversion parameter storage unit 125e. Thus, the pixel value conversion parameter is stored in the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D as necessary.
  • each correction parameter and each conversion parameter stored in the storage unit 125 is generated as a general-purpose device regardless of the specifications of the respective correction processing devices 123A to 123D
  • the correction processing device control unit 124b also performs conversion of the data format so that an equivalent effect can be obtained in each of the correction processing devices 123A to 123D.
  • the imaging device control unit 124c controls the imaging device 150 described later. Specifically, exposure and shooting timing of the imaging device 150 are controlled, and input / output control of captured image data captured by the imaging device 150 is performed.
  • the video output device control unit 124d controls the video output device 110 via a second transmission / reception unit 127 described later. Specifically, an instruction for outputting desired image data from the image data for adjustment stored in the image storage unit 112 of the video output device 110 is transmitted to the video output device 110.
  • the entire overlap projection frequency image data and each surface blend weight image data generation unit 124e shoots images projected on the screen 140 by the image projection devices 130A to 130D described later using the imaging device 150 described later.
  • the overall overlapping projection frequency image data representing the overlapping number of images (how many image projection devices 130A to 130D are projected) is calculated, and Based on this overall overlap projection frequency image data, each surface blend weight image data corresponding to each video projection device 130A to 130D is calculated.
  • the overall overlap projection frequency image data is image data having the same resolution as the captured image data, and an area in which video is projected from only one of the video projection devices 130A to 130D (that is, video projection).
  • Pixels included in the area corresponding to the image projection area of devices 130A to 130D are images from just two of the image projection devices 130A to 130D.
  • the pixel included in the area corresponding to the area where the image is projected is “2”, and the pixels included in the area corresponding to the area where the image is projected from exactly three of the image projection devices 130A to 130D! “3”, “4” for the pixels included in the area corresponding to the area where the image is projected from exactly 4 of the image projection devices 130A to 13D, and the image from any of the image projection devices 130A to 130D Is also projected and included in the area corresponding to the area. Is set as "0", the pixel value of each numerical value of the pixels in the pixel.
  • each surface blend weight image data is image data having a resolution equivalent to the image data input to each pixel value conversion unit 123g, and considers sharing with other video projection devices.
  • the ratio of the brightness that the pixel at that position is responsible for (if this is an intuitive expression for explanation only, the brightness on the screen 140 and the brightness measured by the imaging device 140 are actually It is not divided according to the ratio), and is expressed as a numerical value between 0 and 1 for each pixel.
  • edge blending which has been known from the past, the value is made smaller as the boundary of the area where the image is displayed is approached.
  • the target value determining unit 124f determines a pixel value in the captured image data to be used as a target value when performing feedback adjustment.
  • the pixel values of all the pixels of the image data output from the video output device 110 are the minimum input level (the pixel value is 0 for R, G, and B in common), and the maximum input level ( R, G, B common, pixel value 255), first intermediate input level (R, G, B common, pixel value 64), second intermediate input level (R, G, B common, In the five cases (pixel value 128) and the third intermediate input level (R, G, B common, pixel value 192), the image data is projected on the screen 140 and feedback adjustment is performed. That of these image data A corresponding target value is determined for each. The specific target value determination method will be described later.
  • the target value determination unit 124f also determines a reference pixel position for determining each target value. The specific method will be described later together with the target value determination method.
  • the feedback adjustment unit 124g inputs the respective image data to the video projection devices 130A to 13OD, and the pixel value force target value of the captured image data captured by the imaging device 150 when the image is projected on the screen. Feedback adjustment is performed so as to match the target value of the pixel value determined by the determination unit 124f.
  • feedback adjustment is performed by changing the pixel value conversion parameters set in the correction processing devices 123A to 123D.
  • the imaging element abnormality detection / correction unit 124h is used for the imaging element when dust adheres to the imaging element surface of the imaging device 150, which will be described later, or when the imaging element itself is damaged. Detect abnormalities and correct pixel value conversion parameters. Specifically, if dust adheres to the surface of the image sensor, or if the image sensor itself is damaged, the pixel value will hardly change even when shooting with different exposures.
  • the abnormality of the image sensor is detected by using and the pixel value conversion parameter of the abnormal part is corrected using the pixel value conversion parameter of the part. Specifically, this correction may be performed using an existing interpolation method or an external method.
  • the video display area outside parameter correction unit 124i outputs the pixel values of the portions other than the video display area in which the image data output from the video output apparatus 110 is projected among the projection areas of the video projection apparatuses 130A to 130D.
  • the pixel value conversion parameter is corrected so as to be the parameter value of the minimum input level pixel value conversion parameter adjusted by the feedback adjustment unit 124g.
  • correction control unit 124 can be realized, for example, by executing a predetermined program on the CPU.
  • the storage unit 125 of the image correction device 120 includes an intermediate input level data storage unit 125a, an imaging element abnormality determination pixel value threshold value data storage unit 125b, and an imaging element abnormality.
  • the intermediate input level data storage unit 125a stores data for specifying an intermediate input level for feedback adjustment.
  • the image data of the first intermediate input level (all pixel values are 64)
  • the image data of the second intermediate input level (all pixel values are 128)
  • the third intermediate input level (all Since the target value is determined for image data with a pixel value of 192) and feedback adjustment is performed, data for specifying these three input levels is stored in a predetermined format.
  • the first intermediate input level image data is assigned serial number 0, and the second intermediate input level image data is assigned serial number 1, and the third intermediate input level image data is assigned.
  • Level image data is given serial number 2. These serial numbers are used when determining the target value of the intermediate input level and when performing feedback adjustment of the intermediate input level.
  • the imaging element abnormality determination pixel value threshold value data storage unit 125b stores a threshold value when the imaging element abnormality detection and correction unit 124h detects abnormality of the imaging element.
  • a numerical value of about 50 is set as the threshold value.
  • the imaging element abnormality detection / correction unit 124h determines how many times the pixel value at each position is "imaging element abnormality determination pixel value threshold value data storage unit" Stored in the threshold value for use in the determination of the force that determines that there is an abnormality in the image sensor at that position when the threshold value is less than or equal to the threshold value stored in 125b.
  • the image sensor abnormality is detected for the three intermediate input levels of the first intermediate input level, the second intermediate input level, and the third intermediate input level. Force setting the value of “3” Image sensor abnormality detection 'correction unit 124h In consideration of misjudgment at, it is also possible to set the value to “2” or “1”.
  • the identity conversion geometric correction parameter storage unit 125d stores an identity conversion geometric correction parameter.
  • the identity transformation geometric correction parameter is a parameter for ensuring that the image data input to the geometric correction unit 123e and the image data output from the geometric correction unit 123e are geometrically equivalent. Prepared for each of the correction processors 123A to 123D. In this embodiment, since resolution conversion is not performed, each pixel position of the output image data is associated with the same pixel position as the pixel position of the input image data. Is the identity transformation geometric correction parameter. When the resolution is the same, the same parameter may be used in common by the plurality of correction processing devices 123A to 123D.
  • the identity conversion pixel value conversion parameter storage unit 125e stores identity conversion pixel value conversion parameters.
  • the identity conversion pixel value conversion parameter is a parameter that makes the pixel values of the corresponding pixels equal between the image data input to the pixel value conversion unit 123g and the image data output from the pixel value conversion unit 123g. It is prepared for each of the correction processing devices 123A to 12 3D. If the resolution is the same, the same parameter may be used in common by multiple correction processing devices 123A to 123D!
  • the geometric correction parameter storage unit 125f stores geometric correction parameters.
  • the geometric correction parameter is a parameter having a resolution equal to the resolution of the image data output from the individual correction processing devices 123A to 123D to the video projection devices 130A to 130D, and is prepared for each of the correction processing devices 123A to 123D. The details of this geometric correction parameter will be described later (Fig. 7). In this embodiment, it is assumed that the geometric correction parameter is generated in advance by a known method and stored in the geometric correction parameter storage unit 125f.
  • the pixel value conversion parameter storage unit 125g stores a pixel value conversion parameter. Specifically, for each of the correction processing devices 123A to 123D, a minimum input level pixel value conversion parameter, a maximum input level pixel value conversion parameter, a first intermediate input level pixel value conversion parameter, a second intermediate input level pixel The value conversion parameter and the third intermediate input level pixel value conversion parameter are stored. In the correction processing device control unit 124b, the pixel value conversion parameters stored in the pixel value conversion parameter storage unit 125g are stored in the image processing units 123A to 123D.
  • the minimum input level pixel value conversion parameter, the maximum input level pixel value conversion parameter, the first intermediate input level pixel value conversion parameter, and the second intermediate input level pixel value Based on the conversion parameter and the third intermediate input level pixel value, a characteristic function that matches the specifications of each correction processing device 123A to 123D is generated by performing interpolation processing for each pixel using a known method.
  • the pixel value conversion parameter storage unit 123f stores the pixel value.
  • Each surface photographing coordinate corresponding image data storage unit 125h stores each surface photographing coordinate corresponding image data.
  • the image data corresponding to each surface shooting coordinate is image data having a resolution equal to the resolution of the image data input to each correction processing device 123A to 123D, and the pixel value of each pixel is a captured image corresponding to that pixel. It is a two-dimensional vector value that represents the coordinate position on the data.
  • the image data corresponding to each surface photographing coordinate is prepared for each of the correction processing devices 123A to 123D.
  • the image data corresponding to each surface photographing coordinate is stored by being generated by a known method. It shall be stored in part 125h.
  • gray codes alternative binary codes
  • the video projection devices 130A to 130D are also projected separately while using the plurality of captured image data captured by the imaging device 150 V, the coordinate positions on the frame memory 123b of each correction processing device 123A to 123D and the captured image data It can be generated by matching the upper coordinate position. Note that necessary non-turn image data is stored in the image storage unit 112 in accordance with the known method used here.
  • the inverse mapping (photographed image) of each surface photographing coordinate corresponding image data from the resolution information of the photographing image data and each surface photographing coordinate corresponding image data.
  • This is image data having a resolution equal to the resolution of the data
  • the pixel value of each pixel is a two-dimensional vector value representing the coordinate position on the frame memory corresponding to the pixel position on the photographed image data.
  • the NZ A value is set as the pixel value) using the existing method, and the image data corresponding to each surface shooting coordinate is stored together with the image data corresponding to each surface shooting coordinate.
  • the configuration may be such that it is stored in section 125h.
  • FIG. 7 is a diagram corresponding to the image projection device 130D that projects the screen 140 on the lower right portion with the power.
  • a coordinate system 160 is a coordinate system used for geometric correction parameters
  • a coordinate system 162 is a coordinate system on a frame memory
  • a coordinate system 163 is a coordinate system on photographed image data.
  • the region 161 on the coordinate system 160 outputs a part of the image data input to the correction processing device 123D by obtaining the pixel value of the image data force on the frame memory 123b by the processing in the geometric correction unit 123e. Area.
  • the following two-dimensional vector value is set as the pixel value of the geometric correction parameter.
  • the coordinate value of the point 162a serving as a reference source in the coordinate system on the frame memory 123b is set.
  • the N / A value that has been determined in advance is set.
  • the geometric correction unit 123e outputs a pixel value of (0, 0, 0) for this NZA value.
  • each pixel position 162a on the frame memory is associated with a coordinate value 163a on the photographed image data in which the pixel position on the screen is reflected.
  • a set of imaging coordinate-corresponding image data corresponding to all the video projection devices 130A to 130D is the corresponding image data, and each plane imaging coordinate-corresponding image data.
  • NZA values are set for the pixel positions for which the coordinate values on the corresponding shooting image data cannot be obtained.
  • Each surface blend weight image data storage unit 125i stores the entire overlapping projection frequency image data and each surface blend weight image data generated by each surface blend weight image data generation unit 124e.
  • the reference pixel position data storage unit 123 ⁇ 4 includes a reference image determined by the target value determination unit 124f.
  • Raw position data is stored.
  • the reference pixel position data includes the serial number corresponding to the reference video projection devices 130A to 130D, and the coordinate values on the frame memory 123b of the correction processing devices 123A to 123D corresponding to the reference video projection devices.
  • This data consists of The pixel position on the photographed image data corresponding to the reference pixel position is stored in each surface photographing coordinate corresponding image data storage unit 125h, and is referred to the photographing coordinate corresponding image data specified by the serial number. Can be easily obtained.
  • the overall overlap projection frequency image data storage unit 125k stores the overall overlap projection frequency image data and the overall overlap projection frequency image data generated by each surface blend weight image data generation unit 124e.
  • the target data storage unit 1251 stores the minimum input level individual target data, the maximum input level individual target data, the first intermediate input level individual target data, and the second intermediate input level individual target data. And third intermediate input level individual target data.
  • the minimum input level individual target data includes the minimum input level pixel value (the pixel value is 0 for R, G, and B in common) and the exposure for the minimum input level, which is the exposure value when shooting with the imaging device 150. There is also a value, a minimum input level target value that is the target for feedback adjustment, and power.
  • the minimum input level pixel value is a design value
  • the minimum input level exposure value and the minimum input level target value are both values determined by the processing in the target value determination unit 124f.
  • the individual target data for the maximum input level includes the maximum input level pixel value (the pixel value is 255 for R, G, and B in common) and the exposure for the maximum input level, which is the exposure value when shooting with the imaging device 150. And a maximum input level target value that is a target in feedback adjustment.
  • the maximum input level pixel value is a design value
  • both the maximum input level exposure value and the maximum input level target value are values determined by processing in the target value determination unit 124f.
  • the first intermediate input level individual target data includes the first intermediate input level pixel value (common to R, G, and B, the pixel value is 64), the first intermediate display level, and the imaging device 150.
  • the first intermediate input level exposure value which is the exposure value for shooting
  • the first intermediate input level target value which is the target for feedback adjustment
  • the first intermediate input level pixel value is a design value
  • the first intermediate display level and the first intermediate input level exposure value is a value determined by processing in the target value determination unit 124f.
  • the first intermediate input level target value is image data in which the pixel values of all pixels are the same as the first intermediate display level in common for R, G, and B, and the identity conversion pixel value conversion parameter is V, Then, the image projection devices 130A to 130D are also projected, and the image values obtained by using the first intermediate input level exposure value with the image capture device 150 are converted into pixel values at the reference pixel positions. It is calculated by obtaining.
  • the second intermediate input level individual target data includes the second intermediate input level pixel value (the pixel value is 128 for R, G, and B in common), the second intermediate display level, and imaging.
  • the second intermediate input level exposure value which is the exposure value when photographing with the device 150
  • the second intermediate input level target value which is a target for feedback adjustment
  • the second intermediate input level pixel value is a design value
  • the second intermediate display level, the second intermediate input level exposure value, and the second intermediate input level target value are all determined as target values. This value is determined by the processing in section 124f.
  • the second intermediate input level target value is obtained by converting image data in which the pixel values of all pixels are equal to the second intermediate display level in common to R, G, and B using the identity conversion pixel value conversion parameter. Then, the image projection devices 130A to 130D are also projected, and the pixel value at the reference pixel position is obtained on the photographed image data obtained by photographing the image using the exposure value for the second intermediate input level with the imaging device 150. It is calculated by.
  • the third intermediate input level individual target data is the third intermediate input level pixel value.
  • the third intermediate input level target value (Common to R, G, and B, pixel value is 192), third intermediate display level, third intermediate input level exposure value that is the exposure value when shooting with imaging device 150, and feedback adjustment
  • the third intermediate input level target value which is the target in, also has power.
  • the third intermediate input level pixel value is a design value
  • the third intermediate display level, the third intermediate input level exposure value, and the third intermediate input level target value are all determined as target values. This value is determined by the processing in section 124f.
  • the third intermediate input level target value is obtained by converting image data in which the pixel values of all pixels are equal to the third intermediate display level in common to R, G, and B using the identity conversion pixel value conversion parameter.
  • the amplitude value data storage unit 125m stores an initial value and a current value of an amplitude value that are added or subtracted from the parameter value of the pixel value conversion parameter when feedback adjustment is performed by the feedback adjustment unit 124g.
  • the initial value of the amplitude value is a numerical value within the range of pixel values that can be obtained when the pixel value range (number of gradations) is 1Z2 (rounded up) (128 in this embodiment) or more (this embodiment). Select any numerical value within the range of less than 255).
  • the iteration count data storage unit 125 ⁇ stores iteration count data that defines how many iterations are required when the feedback adjustment unit 124g performs feedback adjustment. This iteration count data is the number of times until the solution becomes “1” when the initial value of the amplitude value stored in the amplitude value data storage unit 125m is halved (rounded up). 1 ”is added.
  • the amplitude value to be added to or subtracted from the pixel value conversion parameter corresponding to the input level to be adjusted starts from ⁇ 128 '' corresponding to the first judgment, and ⁇ 64 '', ⁇ 32 '', ⁇ 16 '', It changes to “8”, “4”, “2”, “1”.
  • the feedback adjustment process is terminated without making any other convergence determination.
  • the value that the pixel value can take is a discrete value
  • the number of iterations data stored in the iteration number data storage unit 125 ⁇ can be changed variously depending on the initial value of the amplitude value and how the amplitude value is changed, but in this embodiment, the initial value of the amplitude value is always Since it is “128” and the amplitude value is always changed by a factor of 1/2 (rounded up) for each feedback iteration, the iteration count data stored in the iteration count data storage unit 125 ⁇ is always Use “8”. Note that, in the present embodiment, when changing the amplitude value with a power factor that is 1Z2 times for each feedback iteration, an arbitrary change rate of 1Z2 times or more and less than 1 time is used. can do. At that time, if the amplitude value after multiplying by the rate of change is rounded, always round it up.
  • the serial number storage unit 125 ⁇ stores the serial numbers assigned to the video projection devices 130A to 130D in association with the identification information of the corresponding video projection devices 130A to 130D. Serial numbers 0, 1, 2, and 3 are used here.
  • Each surface abnormality detection count image data storage unit 125q stores each surface abnormality detection count image data.
  • the number of abnormal detection times for each surface The image data is image data having the same resolution as the image data output from the individual correction processing devices 123A to 123D, and the number of times that the abnormality of the associated image sensor is detected is input for each pixel. Image data.
  • the storage unit 125 can be realized by an auxiliary storage device such as a hard disk, for example.
  • the input device 126 is a device for inputting a command to the correction control unit 124, and can be configured by a keyboard or a mouse, for example. For example, “adjustment start” command is input using the input device 126.
  • the second transmitting / receiving unit 127 transmits / receives data to / from the video output device 110.
  • it since it is connected to the first transmission / reception unit 115 of the video output device 110, it may be configured using, for example, an RS-232C interface or NIC in accordance with the first transmission / reception unit 115.
  • the third transmitting / receiving unit 128 transmits / receives data to / from the imaging device 150.
  • an IEEE1394 interface or a USB (Universal Serial Bus) interface may be used in correspondence with the interface of the imaging device 150.
  • the video projection devices 130A to 130D project the image data output from the video correction device 120 onto the screen 140, and specifically, a liquid crystal projector or the like can be used. Note that the video projection devices 130A to 130D whose projection areas are adjacent on the screen 140 are installed so that the projection areas overlap each other, and the image data output from the video output device 110 is used as the video correction device 120. When the images are properly corrected and supplied to the video projectors 130A to 130D, the images projected by all the video projectors 130A to 130D are optically superimposed to project the desired video. Have been able to. Each video projection device 130A to 130D is assigned a serial number with a serial number from 0 to 3, and this serial number is serialized together with the identification information of the corresponding video projection device 130A to 130D. Number storage unit 1 Stored in 25p.
  • the shape of the screen 140 is a planar shape, a cylindrical shape, a hemispherical shape, and the like. Any light can be used as long as it satisfies the condition that the entire projection light projected from 130D to the screen 140 can be photographed from a single point, but in this embodiment, it is used for front projection.
  • a rectangular shape is used.
  • the image capturing apparatus 150 transmits captured image data obtained by capturing the image projected on the screen 140 to the image correcting apparatus 120.
  • the exposure and shooting timing of the imaging device 150 can be controlled by the imaging device control unit 124c of the video correction device 120.
  • the imaging apparatus 150 can be realized by using a digital camera, and uses an apparatus that can transmit and receive data to and from the video correction apparatus 120 using an IEEE1394 interface, a USB interface, or the like.
  • the imaging device 150 is installed so that the entire projection light projected on the screen 140 from all of the video projection devices 130A to 130D can be photographed, and is fixed so that the position and posture do not change.
  • FIG. 8 is a flowchart showing the overall flow of adjustment processing in the video display system 100 of the present embodiment.
  • the entire overlap projection frequency image data and each surface weight image data generation process are performed (S200).
  • minimum input level target value determination processing is performed (S201), and then maximum input level target value determination processing is performed (S202).
  • the minimum input level feedback adjustment process is performed (S203).
  • the maximum input level feedback adjustment process is performed based on the maximum input level target value determined in the maximum input level target value determination process (S205), and then the intermediate input level target value determination process! Based on the intermediate input level target value determined in this way (in this embodiment, the first intermediate input level target value, the second intermediate input level target value, and the third intermediate input level target value). Then, intermediate input level feedback adjustment processing is performed (S206).
  • FIG. 9 is a flowchart showing the processing contents of the entire overlapping projection frequency image data and surface weight image data generation processing.
  • initial setting is performed (S210).
  • the initial setting here is that the identity conversion geometric correction parameter and the identity conversion pixel value conversion parameter are set in all the correction processing devices 123A to 123D, and are stored in the entire overlap projection frequency image data storage unit 125k. In this process, all the pixel values of the entire overlapped projection frequency image data are set to zero.
  • serial number N for identifying the video projection devices 130A to 130D to be processed is set to 0. (S211).
  • exposure adjustment of the imaging device 150 is performed (S212).
  • This exposure adjustment is performed by the image storage unit 112 of the video output device 110 with the pixel values of all pixels (255, 255, 255) for the video projection devices 130A to 130D specified by the serial number N.
  • the image projection device 150 shoots a projected image
  • the average pixel value on the captured image data corresponding to the image projected by the image projection device 130A to 130D specified by the serial number N is 192 to The exposure value is adjusted to be in the 240 range.
  • this exposure adjustment is a process for stably performing the binary value described later, and it is not necessary for the pixel value to be strictly within that range. If not, the maximum pixel value of the captured image data may be adjusted to fall within this range.
  • the area on the captured image data corresponding to the area projected by the video projection devices 130A to 130D identified by the serial number N is, for example, each plane imaging coordinate already created by a known method. What is necessary is just to extract from corresponding image data with reference to the imaging coordinate corresponding
  • overall foreground color image data is generated (S213).
  • This processing is performed by the image storage unit 112 of the video output device 110 for the foreground pixel values, for example, the pixel values of all pixels (0, 255) for the video projection devices 130A to 130D specified by the serial numbers. 255) image data is output, and the image data of all pixel values (0, 0, 0) are output to the other video projectors 130A to 130D.
  • the imaged image data when the image taken at 140 is imaged by the imaging device 150 is used as the foreground color image data.
  • overall background color image data is generated (S214). This processing is performed by the image storage unit 112 of the video output device 110, for the video projection devices 130A to 130D specified by the serial number, the pixel values of the background color, for example, the pixel values of all the pixels are (255, 0). , 0) pixel data is output, and the image data of all pixel values (0, 0, 0) are output to the other video projectors 130A to 130D. Projected on screen 140 In this process, the captured image data when the image is captured by the imaging device 150 is used as the entire background color image data.
  • overall binarized image data is generated (S215). 0 This processing is performed for each pixel corresponding to the overall foreground color image data and the overall background color image data.
  • the absolute difference image data generated by calculating the absolute value of the image is created, and binarization processing is performed on the absolute difference image data using a predetermined threshold value, and the absolute difference value is larger than the threshold value.
  • the entire binary image data is created so that the pixel value is 1, the absolute difference value is smaller than the threshold value, and the pixel value is 0 for the pixel.
  • the predetermined threshold used in the binarization is a value that is automatically determined from absolute difference image data using an existing method such as a method called Otsu's discriminant analysis method.
  • the binarization threshold is not set to one fixed value for the entire image data. Use existing methods called “thresholding” (ie, using “threshold” instead of “threshold”).
  • the entire overlapped projection frequency image data is updated (S216). 0
  • This processing is performed for each pixel corresponding to the pixel value of the entire binarized image data corresponding to the pixel value of the entire overlapped projection frequency image data. It is a process to add to.
  • a numerical value of “1” is set for the area in which only one video projection device 130A to 130D is projecting video. Therefore, the value is 2 for the part where the two video projectors 130A to 130D are projecting video, and the number is 3 for the part where the three video projectors 130A to 130D are projecting video.
  • the number of the four image projectors 130A to 130D projecting the image is a value of “4”, and the misaligned image projectors 130A to 130D are also projecting the image. Therefore, it is possible to create the entire overlapped projection frequency image data having a value of “0”.
  • FIG. 10 is a diagram corresponding to the video projection device 130A in charge of the upper left image with respect to the screen 140, but it is generated in the same manner for the other video projection devices 130B to 130D. Do it!
  • the image region 170a is an image region having the same resolution as the image data input to the pixel value conversion unit 123g of the correction processing device 123A corresponding to the video projection device 130A.
  • Each surface blend weight image data 170 is It is generated as data in which a pixel value between 0 and 1 is set for each pixel in the image area 170a.
  • the image area 170a includes an image area 170e, an image area 170g, and an image area 170f, which are image areas that do not overlap each other.
  • the image area 170e is in charge of the video projector 130A in the video display area on the screen 140, and corresponds to the image area 170g, and the image area 170g is not in charge of the video projector 130A in the video display area on the screen 140.
  • the image area 170f is a video projection area of the video projection apparatus 130A other than the video display area, that is, a so-called “Black” (As a whole, the image is connected smoothly on the screen 140, so (0, 0, 0) is not supplied as the pixel value to the image projection device 130A.
  • the image area 170b is an image area corresponding to a portion that overlaps the projection area of the video projection apparatus 130B in charge of the projection area adjacent to the projection area of the video projection apparatus 130A on the screen 140.
  • 170c is an image area corresponding to a portion that overlaps the projection area of the video projection apparatus 130C in charge of the projection area on the right side of the projection area of the video projection apparatus 130A on the screen 140, and the image area 170d This is an image area corresponding to a portion that overlaps with the projection area of the video projection apparatus 130D that is in charge of the projection area at the lower right of the projection area of the video projection apparatus 130A.
  • the measurement results for geometric adjustment are obtained as described later.
  • the regions 170b to 170d may not be rectangular because the region is reflected and defined.
  • the image projection device 130A projects an image in which the pixel values of each pixel belonging to the image area 170g are all (0, 0, 0).
  • the pixel value (weight value) of the pixel included in the image region 170g is set to “0”.
  • the image area 170h included in the image area 170a and not included in the image area 170b, the image area 170c, or the image area 170d is light on the screen 140 only from the video projection device 130A. Is an image area corresponding to the projected area, and it is an image area that does not need to consider the sharing of brightness with the projected light. Therefore, in the present embodiment, the pixel value (weight value) of the pixels included in the image region 170h is set to “1”.
  • the pixel 171 included in the image area 170i is as follows.
  • the pixel value (weight value) is “D2Z (D1 + D2)”.
  • D1 is the distance from the pixel 171 to the image area 170h
  • D2 is “the distance from the pixel 171 to the image area 170g” and “the distance from the pixel 171 to the boundary of the image area 170a included in the image area 170i. The smaller value of "".
  • the image areas 170b to 170i overlap with the image data and geometric correction parameters corresponding to the respective plane imaging coordinates already created by a known method.
  • the image area 170a that can be obtained using the projection frequency image data is self-evident.
  • each surface blend weight image data is not limited to the above example.
  • each surface blend image data in which the pixel value (weight value) is “0” for the pixels included in the image area 170g and the pixel value (weight value) is “1” for the other pixels. May be generated.
  • the formation of so-called edge blending in the vicinity of the overlapping projected area cannot be expected, but the adjustment is made so that the video is smoothly connected as a whole.
  • Each surface blend weight image data 170 generated in S220 is stored in each surface blend weight image data storage unit 125i (S221).
  • FIG. 11 is a flowchart showing the processing contents of the minimum input level target value determination processing.
  • initial setting is first performed (S230).
  • the identity conversion geometric correction parameter and the identity conversion pixel value conversion parameter are set in all the correction processors 123A to 123D.
  • the image data of the minimum input level stored in the image storage unit 112 of the video output device 110 that is, the pixel values of all the pixels of (0, 0, 0) are displayed on the screen 140. (S231).
  • exposure adjustment of the imaging device 150 is performed (S232).
  • This exposure adjustment refers to the entire overlapping projection frequency image data, and in the captured image data captured by the imaging device 150, the overlapping projection frequency is “4” and the maximum pixel value of the region is about 128 to 192. Adjust the exposure value so that it is within the range. It should be noted that any exposure value may be used as long as the maximum pixel value is within such a range.
  • the exposure value adjusted in this way is stored as the minimum input level exposure value in the minimum input level individual target data of the target data storage unit 1251 (S233).
  • imaging is performed by the imaging device 150 using the minimum input level exposure value (S234).
  • the captured image data captured in this way is transmitted from the imaging device 150 to the video correction device 120 as whole captured image data (S235).
  • the target value determination unit 124f of the correction control unit 124 performs a process of selecting an effective maximum pixel value (S236). This process is This is a process of referring to the double projection frequency image data and selecting the maximum pixel value in the entire captured image data for a set of pixel positions that have a multiple projection power of s “1” or more.
  • the maximum pixel value selected in this way is stored as the minimum input level target value in the minimum input level individual target data of the target data storage unit 1251 (S237).
  • FIG. 12 is a flowchart showing the processing contents of the maximum input level target value determination processing.
  • initial setting is first performed (S240).
  • the identity conversion geometric correction parameter and the identity conversion pixel value conversion parameter are set in all the correction processors 123A to 123D.
  • the maximum input level target value determination process is performed immediately after the minimum input level target value determination process, the identity conversion geometric correction parameter and the identity conversion pixel value are already included in all the correction processing devices 123A to 123D. Since the conversion parameters are set, omit the initial setting in the maximum input level target value determination process.
  • the image data of the maximum input level stored in the image storage unit 112 of the video output device 110 that is, the pixel values of all pixels (255, 255, 255) is displayed on the screen 1. Projected to 40 (S241).
  • exposure adjustment of the imaging device 150 is performed (S242).
  • This exposure adjustment refers to the entire overlapped projection frequency image data, and in the captured image data taken with the imaging device 150, the overlap projection frequency is “1”! Adjust the exposure value so that it is within the range of about 192. Any exposure value may be used as long as the average value of the pixel values is within such a range.
  • the exposure value adjusted in this way is stored as the maximum input level exposure value in the maximum input level individual target data of the target data storage unit 1251 (S243).
  • imaging is performed with the imaging device 150 using the exposure value for the maximum input level (S244).
  • the captured image data captured in this way is transmitted from the imaging device 150 to the video correction device 120 as whole captured image data (S245).
  • the target pixel determination unit 124f of the correction control unit 124 determines the reference pixel position (S246). Intuitively, this is a process of referring to the entire overlapping projection frequency image data and selecting a pixel position where the overlapping force in the entire captured image data is “1” or more and the pixel value is the smallest. is there.
  • the reference pixel position is the serial number of the reference video projection device among the video projection devices 130A to 130D and the correction processing device corresponding to the reference video projection device on the frame memory 123b.
  • the pixel position having the smallest pixel value in the image data corresponding to each surface shooting coordinate is selected by referring to the image data corresponding to each plane shooting coordinate in addition to the frequency image data and the entire shooting image data.
  • the pixel value of the pixel is used for each pixel of each plane imaging coordinate corresponding image data corresponding to each video projection device 130A to 130D.
  • the reference pixel position may be selected by referring to the entire overlap projection frequency image data and the entire captured image data.
  • the data corresponding to the reverse mapping of the image data corresponding to each plane shooting coordinate that is, the coordinate position on the frame memory 1 23b of each correction processing device 123A to 123D corresponding to the pixel on the shooting image data.
  • the data corresponding to the image data simply select the pixel position having the minimum pixel value in the image data corresponding to each plane shooting coordinate with reference to the entire overlap projection frequency image data, and the pixel on the captured image data
  • the position can also be obtained by converting the position into the coordinate position on the frame memory 123b by the inverse mapping.
  • the nearest grid point is obtained so that it becomes an integer value.
  • the reference pixel position selected in this way is stored as reference pixel position data in the reference pixel position data storage unit 123 ⁇ 4 of the storage unit 125 (S247).
  • the pixel value on the entire captured image data corresponding to the reference pixel position is stored as the maximum input level target value in the maximum input level individual target data of the target data storage unit 1251 (S248).
  • FIG. 13 is a flowchart showing the processing contents of the minimum input level feedback adjustment processing.
  • initialization processing is first performed (S250). This initialization process is performed by storing the current value of the amplitude value stored in the amplitude value data storage unit 125m, the iteration number data stored in the iteration number data storage unit 125 ⁇ , and the pixel value conversion parameter storage unit 125g.
  • Stored in the pixel value conversion parameter storage unit 123f of the 3A to 123D sets the pixel value conversion parameter to the initial value, and stores it in the image storage unit 112 of the video output device 110.
  • a process of projecting image data having a minimum input level that is, pixel values of all pixels (0, 0, 0) onto the screen 140 via the correction processing devices 123A to 123D and the video projection devices 130A to 130D. It is.
  • the pixel values of all the pixels of the minimum input level pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g are set to (0, 0, 0), and then the pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g is set to the pixel value of each correction processing unit 123A to 123D via the correction processing unit control unit 124b. This is carried out by storing it in the conversion parameter storage unit 123f.
  • the minimum input level exposure value is set in the imaging device 150 (S251).
  • the exposure value for the minimum input level has already been determined in the minimum input level target value determination process, and is stored in the minimum input level individual target data in the target data storage unit 1251.
  • photographing is performed with the imaging device 150 (S253).
  • the image data photographed here is transmitted to the video correction device 120 as whole photographed image data (S254).
  • each plane image data is generated from the entire image data (S255).
  • Each surface image data is image data having a resolution equal to that of each surface image coordinate corresponding image data, and is generated corresponding to each of the correction processing devices 123A to 123D.
  • the pixel value of each pixel of each plane image data is referred to the pixel value (two-dimensional vector value) of the corresponding pixel of the image data corresponding to each plane shooting coordinate that has already been generated. It is determined by calculating the pixel value at the coordinate position on the entire captured image data corresponding to the pixel value (two-dimensional vector value).
  • each image bright / dark image data generation process is performed in the video correction device 120 (S256).
  • This process compares the minimum input level target value with the pixel value at each pixel of each plane image data, and if the pixel value at each pixel of each plane image data is smaller than the minimum input level target value, If the pixel value of the pixel at the position corresponding to the pixel to be compared is ⁇ +1 '' and the pixel value at each pixel of each plane image data is greater than the minimum input level target value, this comparison target If the pixel value at the position corresponding to the pixel becomes “1” and the pixel value at each pixel of each plane image data is equal to the minimum input level target value, the position corresponding to this comparison target pixel This is a process for generating each surface bright and dark image data in which the pixel value of each pixel is “0”.
  • This process is a process of updating the minimum input level pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g based on each surface bright / dark image data.
  • the current pixel value is P (in this embodiment, the same correction is performed for each color of R, G, and B. In the following, this is abbreviated as a single value), the brightness value of the corresponding pixel position of each surface brightness image data is s, the weight value of the corresponding pixel position of each surface blend weight image data is w, and the number of repetitions If the value of the amplitude value data at is a, the pixel value of the pixel is updated to be “p + s XwX a” (rounded to the nearest whole number).
  • the value a of the amplitude value data is “128” when the number of iterations X is “0”, “64” when “1”, “32” when “2”. ”,“ 3 ”is“ 16 ”,“ 4 ”is“ 8 ”,“ 5 ”is“ 4 ”,“ 6 ”is“ 2 ”,“ 7 ”is“ 1 ” " [0156]
  • the pixel value conversion parameters stored in the pixel value conversion parameter storage unit 125g including the minimum input level pixel value conversion parameter updated in this way are transmitted via the correction processing device control unit 124b.
  • the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D is stored (S258).
  • the amplitude value data is updated (amplitude value data).
  • X 1Z2) round up the fraction
  • S260 add 1 to the number of iterations X (S261), and repeat the processing of S253 to S258.
  • FIG. 14 is a flowchart showing the processing contents of the intermediate input level target value determination processing.
  • a curve 975 in FIG. 43 represents a characteristic function at the reference pixel position (this is an unknown function and is not used explicitly in this embodiment).
  • Brightness BO is the brightness of the result adjusted by the minimum input level feedback adjustment process
  • brightness B1 is the brightness that is the brightness that is the adjustment target in the maximum input level feedback adjustment process. It is unknown.
  • the input level force L40 to the video projector corresponding to the brightness BO is the input level force L44 to the video projector corresponding to the brightness B1.
  • the input level L44 is a value equal to the maximum input level (255)
  • the brightness B1 is a value equal to the brightness BH. .
  • the reference offset input level conversion data generation process of the force S270 for calculating the input level L40 corresponding to the brightness BO is performed. Specifically, it may be calculated by extracting the pixel value at the corresponding pixel position from the minimum input level pixel value conversion parameter after the minimum input level feedback adjustment process is completed.
  • the characteristic function of the entire system is taken as an image on the screen 140. Using the photographed image data, only the brightness, color, heel, and judgment for the target brightness is used, and finally adjusted to match the characteristic function of the reference pixel position.
  • the pixel value conversion unit 123g determines that the pixel value input to the reference pixel position is the minimum input level. Means that L40 is output as the output level, and if it is the maximum input level, L44 is output as the output level.
  • target brightness B2 in the first intermediate input level adjustment target brightness B3 in the second intermediate input level adjustment, target brightness B4 in the third intermediate input level adjustment
  • display levels L41, L42, and L43 are determined by proportionally allocating usable sections 976 defined by L40 and L44. For example, when the value of L40 is “55”, the first intermediate display level corresponding to the first intermediate input level “64” is “105”. This is a value calculated as “55+ (255—55) X (64—0) Z (255—0)” (rounded to the nearest whole number). Similarly, the second intermediate display level corresponding to the second intermediate input level “128” is “155”, and the third intermediate display level corresponding to the third intermediate input level “192” is “206”. It becomes.
  • this proportional distribution method is a simple method but has a high contrast as a video projection device, that is, BL (brightness observed when "0" is input to the video projection device) is high.
  • BL brightness observed when “0” is input to the video projection device
  • the display level determination process in the present invention is not limited to this method.For example, when the function form of the curve 975 is known as a design value or an estimated value (it seems to contain an error). However, it is also possible to use the information to determine the target characteristics by rescaling based on brightness.
  • the first intermediate display level, the second intermediate display level, and the third intermediate display level calculated in this way are the first intermediate input level individual target data of the target data storage unit 1251, The second intermediate input level individual target data and the third intermediate input level individual target data are respectively stored (S272).
  • initial setting is performed (S273). 0
  • an identity conversion geometric correction parameter and an identity conversion pixel value conversion parameter are set in all the correction processing devices 123A to 123D.
  • serial number M for specifying the intermediate input level to be processed is set to 0 (S274).
  • the display level image data corresponding to the intermediate input level represented by the serial number is read from the image storage unit 112 of the video output device 110 and projected on the screen 140 (S275).
  • exposure adjustment of the imaging device 150 is performed (S276).
  • the exposure value is adjusted so that the pixel value at the reference pixel position of the captured image data captured by the imaging device 150 is within the range of about 128 to 192. Any exposure value may be used as long as the pixel value power falls within such a range.
  • the exposure value adjusted in this way is stored in the intermediate input level individual target data specified by the serial number of the target data storage unit 1251 as the exposure value for the intermediate input level specified by the serial number. (S277).
  • the imaging device 15 uses the exposure value for the intermediate input level specified by the serial number, the imaging device 15 to calculate the exposure value for the intermediate input level specified by the serial number.
  • the captured image data captured in this way is transmitted from the imaging device 150 to the video correction device 120 as whole captured image data (S279).
  • the target value determination unit 124f of the correction control unit 124 causes the target value at the intermediate input level to be specified by the serial number of the pixel value at the reference pixel position. (S280).
  • the target value extracted in this way is stored in the intermediate input level individual target data specified by the serial number of the target data storage unit 1251 as the intermediate input level target value specified by the serial number. (S281). If there is an intermediate input level that has not been processed (S282), “1” is added to the serial number (S283), and the processes of S274 to S281 are repeated. If the processing has been completed for all intermediate input levels (S282), the intermediate input level target value determination processing is ended.
  • FIG. 15 is a flowchart showing the processing contents of the maximum input level feedback adjustment processing.
  • initialization processing is first performed (S300). This initialization process is performed by storing the current value of the amplitude value stored in the amplitude value data storage unit 125m, the iteration number data stored in the iteration number data storage unit 125 ⁇ , and the pixel value conversion parameter storage unit 125g.
  • Stored in the pixel value conversion parameter storage unit 123f of the 3A to 123D sets the pixel value conversion parameter to the initial value, and stores it in the image storage unit 112 of the video output device 110.
  • the maximum input level that is, the image data whose pixel values of all the pixels are (255, 255, 255) are corrected.
  • the pixel values of all the pixels of the maximum input level pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g are set to (0, 0, 0), and then the pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g is set to the pixel value of each correction processing unit 123A to 123D via the correction processing unit control unit 124b. This is carried out by storing it in the conversion parameter storage unit 123f.
  • the pixel value of the pixel corresponding to the minimum input level pixel value conversion parameter may be set as it is for each pixel.
  • the maximum input level exposure value is set in the imaging device 150 (S301).
  • Maximum entry The bell exposure value has already been determined in the maximum input level target value determination process, and is stored in the maximum input level individual target data of the target data storage unit 1251.
  • photographing is performed with the imaging device 150 (S303).
  • the image data captured here is transmitted to the video correction device 120 as whole captured image data (S304).
  • the feedback adjustment unit 124g In the video correction apparatus 120 that has received the entire captured image data, the feedback adjustment unit 124g generates each surface captured image data from the entire captured image data (S305). This process may be performed in the same manner as the image data generation process for each plane in the minimum input level feedback adjustment process.
  • each image bright / dark image data generation process is performed in the video correction device 120 (S306).
  • This process compares the maximum input level target value with the pixel value at each pixel of each plane image data, and if the pixel value at each pixel of each plane image data is smaller than the maximum input level target value, If the pixel value of the pixel at the position corresponding to the pixel to be compared is ⁇ +1 '' and the pixel value at each pixel of each plane image data is greater than the maximum input level target value, this comparison target If the pixel value at the position corresponding to the pixel becomes “1” and the pixel value at each pixel of each plane image data is equal to the maximum input level target value, the position corresponding to this comparison target pixel This is a process of generating each surface bright and dark image data in which the pixel value of each pixel is “0”.
  • the image correction device 120 performs update processing of the pixel value conversion parameter (S307).
  • This process is a process of updating the maximum input level pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g based on each surface bright / dark image data.
  • the current pixel value is p
  • the brightness value of the corresponding pixel position of each surface light / dark image data is s
  • each surface blend weight image When the weight value at the corresponding pixel position in the data is w and the value of the amplitude value data at this iteration is a, the pixel value of that pixel is updated to ⁇ p + s X w X a '' is there.
  • the pixel value conversion parameters stored in the pixel value conversion parameter storage unit 125g including the maximum input level pixel value conversion parameter updated in this way are used as the correction processing device.
  • the values are stored in the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D via the control unit 124b (S308).
  • the amplitude value data is updated (amplitude value data X 1 / 2) (Round up the fraction) ⁇ (S310), add 1 to the number of iterations X (S311), and repeat S303 to S308.
  • FIG. 16 is a flowchart showing the processing contents of the intermediate input level feedback adjustment processing.
  • the serial number M for specifying the intermediate input level to be processed is set to 0 (S320).
  • initialization processing is performed (S321).
  • This initialization process corresponds to the intermediate input level specified by the serial number, the current value of the amplitude value stored in the amplitude value data storage unit 125m, and the iteration number stored in the iteration number data storage unit 125 ⁇ .
  • Set the count data to the initial value. As described above, “8” is always used in this embodiment for the iteration count data.
  • the initial value of the amplitude value data is set separately according to the input level to be adjusted, If the required number of iterations varies depending on the input level, the value is calculated in S321 and the initialization process is performed.
  • the optical characteristics of the video projectors 130A to 130D are normally used, for example, the first intermediate input level at each pixel position after completion of all adjustment processes.
  • the pixel value of the pixel value conversion parameter is expected to be smaller than the pixel value of the maximum input level pixel value conversion parameter that is larger than the pixel value of the minimum input level pixel value conversion parameter.
  • the pixel value of the second intermediate input level pixel value conversion parameter is expected to be smaller than the pixel value of the maximum input level pixel value conversion parameter that is larger than the pixel value of the first intermediate input level pixel value conversion parameter. Is done.
  • the search range can be reasonably narrowed, so that the initial value of the amplitude value and the iteration count data are dynamically determined using the already adjusted pixel value conversion parameter. May be.
  • the range that needs to be searched is narrow, so the number of iterations
  • the adjustment time can be shortened by reducing.
  • the exposure value for intermediate input level specified by the serial number is set in the imaging device 150 (S322).
  • the exposure value for the intermediate input level has already been determined in the intermediate input level target value determination process, and is stored in the intermediate input level individual target data specified by the serial number of the target data storage unit 1251.
  • the initial value of the pixel value conversion parameter is set (S323). This is stored in the pixel value conversion parameter storage unit 125g according to the intermediate input level specified by the serial number, and is stored in the pixel value conversion parameters and the pixel value conversion parameters of the correction processing devices 123A to 123D. This process sets the pixel value conversion parameters stored in the unit 123f to the initial values.
  • the intermediate input level specified by the serial number is the first intermediate input level
  • the first intermediate input level stored in the pixel value conversion parameter storage unit 125g is set to the pixel value conversion parameter.
  • the pixel value of the pixel corresponding to the minimum input level pixel value conversion parameter is set as it is, and then stored in the pixel value conversion parameter storage unit 125g via the correction processing device control unit 124b.
  • the second intermediate input level stored in the pixel value conversion parameter storage unit 125g is set to the pixel value conversion parameter.
  • the pixel value of the corresponding pixel of the first intermediate input level pixel value conversion parameter is set as it is, and then it is stored in the pixel value conversion parameter storage unit 125g via the correction processing device control unit 124b.
  • the stored pixel value conversion parameters are stored in the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D.
  • the third intermediate input level stored in the pixel value conversion parameter storage unit 125g is set to the pixel value conversion parameter.
  • the pixel value of the corresponding pixel of the second intermediate input level pixel value conversion parameter is set as it is, and then the pixel value conversion parameter storage unit 125g is set via the correction processing device control unit 124b.
  • Each stored pixel value conversion parameter It is stored in the pixel value conversion parameter storage unit 123f of the primary processing devices 123A to 123D.
  • the first intermediate input level pixel value conversion parameter and the second intermediate input level are used in these processes.
  • Each of the pixel value conversion parameter and the third intermediate input level pixel value conversion parameter may be initialized so that the pixel values of all the pixels are (0, 0, 0).
  • the initial value for each pixel position may be determined by interpolating them using an existing method.
  • the intermediate input level image data specified by the serial number stored in the image storage unit 112 of the video output device 110 is converted into the correction processing devices 123A to 123D and the video projection devices 130A to 130D. Is projected onto the screen 140 through the screen (S324).
  • the feedback adjustment unit 124g In the video correction device 120 that has received the entire captured image data, the feedback adjustment unit 124g generates each surface captured image data from the entire captured image data (S328). This process may be performed in the same manner as the image data generation process for each plane in the minimum input level feedback adjustment process.
  • each surface bright / dark image data generation process is performed in the video correction device 120 (S329).
  • This process compares the intermediate input level target value specified by the serial number with the pixel value at each pixel of each surface image data, and the pixel value at each pixel of each surface image data is determined by the serial number. If it is smaller than the specified intermediate input level target value, the pixel value power of the pixel at the position corresponding to the pixel to be compared is “+1”, and the pixel value at each pixel of each surface shot image data is the serial number.
  • a pixel value conversion parameter update process is performed (S330). This process is a process of updating the pixel value of the pixel value conversion parameter based on each surface bright / dark image data.
  • the current pixel value is p
  • the brightness value of the corresponding pixel position of each surface brightness image data is s.
  • the pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g including the intermediate input level pixel value conversion parameter specified by the serial number updated in this way is corrected.
  • the values are stored in the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D via the device control unit 124b (S331).
  • FIG. 17 is a flowchart showing the processing contents of the image sensor abnormality detection / correction processing.
  • Image sensor abnormality detection ⁇ When correction processing is started, initialization processing is first performed (S340).
  • This initialization processing is stored in all the correction processing devices 123A to 123D in the identity conversion geometric correction parameter stored in the identity conversion geometric correction parameter storage unit 125d and in the pixel value conversion parameter storage unit 125g.
  • the pixel value conversion parameters (after the feedback adjustment processing is completed) are set via the correction processing device control unit 124b, and each surface abnormality detection count image is set. This is a process of setting the pixel values of all the pixels of each surface abnormality detection count image data stored in the image data storage unit 125q to “0”.
  • serial number M for specifying the intermediate input level to be processed is set to 0 (S341).
  • the exposure value for the intermediate input level specified by the serial number is set in the imaging device 150 (S342).
  • the exposure value for the intermediate input level has already been determined in the intermediate input level target value determination process, and is stored in the intermediate input level individual target data in the target data storage unit 1251.
  • an intermediate input level image specified by the serial number is projected on the screen 140 (S343). This is because image data corresponding to the intermediate input level specified by the serial number is read from the image storage unit 112 of the video output device 110, and the image data is corrected processing devices 123A to 123D and video projection devices 130A to 130A. It is projected onto the screen 140 via 130D.
  • photographing is performed with the imaging device 150 (S344).
  • the image data captured here is transmitted to the video correction device 120 as entire captured image data (S345).
  • the imaging device abnormality detection and correction unit 124h generates each surface captured image data from the entire captured image data (S346).
  • This process may be performed in the same manner as the process for generating each plane photographed image data in the minimum input level feedback adjustment process.
  • the image data for each surface abnormality detection is updated (S347). This is because, when the pixel value of each pixel of each surface image data is smaller than the threshold specified by the image sensor abnormality determination pixel value threshold data, the pixel of the corresponding pixel of each surface abnormality detection number image data This is a process of adding “1” to the value. Note that if there is no dust on the image sensor surface of the imaging device 150, the threshold value is adjusted so that the pixel value after feedback adjustment is about 128 to 192 in the set exposure value. For example, by setting a value of about “50”, an abnormality can be detected.
  • each-surface imaging pixel state image data is generated (S350). This is because, in the updated image data for each surface abnormality detection, the number of times the abnormality of the image sensor is detected is more than the predetermined threshold V, and the pixel value of the corresponding pixel is 1 (abnormal). When the value is less than the threshold value, each plane imaging pixel state image data that is image data with the pixel value of the corresponding pixel set to 0 (not abnormal!) Is generated.
  • the threshold value in this embodiment, since abnormality of the image sensor is detected at three intermediate input levels, any one of the numerical values from “1” to “3” can be selected depending on the reliability of each determination. Select and set it!
  • each pixel value conversion parameter stored in the pixel value conversion parameter storage unit 125g is set.
  • Correction processing is performed (S351). This process is a process for correcting the pixel value conversion parameter of a pixel determined to be abnormal using the pixel value conversion parameter of a pixel that has not been determined to be abnormal by referring to each surface-captured pixel state image data.
  • Input level pixel value conversion parameter, maximum input level pixel value conversion parameter, first intermediate input level pixel value conversion parameter, second intermediate input level pixel value conversion parameter, third intermediate input level pixel value conversion parameter Processing to be performed on each of. Specifically, the existing interpolation method should be carried out by the external method.
  • the parameter outside the video display area correction processing (S208) shown in FIG. 8 is performed by the maximum input level pixel value conversion parameter corresponding to the pixel position where the NZ A value is stored as the pixel value of the geometric correction parameter.
  • the pixel values of the first intermediate input level pixel value conversion parameter, the second intermediate input level pixel value conversion parameter, and the third intermediate input level pixel value conversion parameter are all set to the minimum input level pixel value conversion parameter. This is a process to correct the pixel value to be equal to the pixel value.
  • the geometric correction parameters stored in the geometric correction parameter storage unit 125f of the storage unit 125 of the video correction device 120 are corrected.
  • the pixel value stored in the pixel value conversion parameter storage unit 125g of the storage unit 125 of the video correction device 120 is further stored via the unit 124b.
  • This is a process of storing the conversion parameter in the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D via the correction processing device control unit 124b. After this processing is completed, a desired image reflecting the geometric correction parameter that has been preliminarily adjusted and the pixel value conversion parameter that has been adjusted by the method of the present invention is displayed on the screen 140. become.
  • the present invention uses the pixel value itself on the imaging device 150 as a reference, and uses only the qualitative determination whether the captured image is brighter or darker than the target value. Even if characteristic data representing the relationship between the pixel values handled by the image projection devices 130A to 130D and the image pickup device 150 and the actual brightness are not obtained at all. Adjustments can be made without problems. Therefore, the adjustment cost can be kept low, and the image quality after adjustment can be guaranteed at a constant level according to the quality of the imaging device 150.
  • the adjustment is performed while changing the exposure of the imaging device 150 to an appropriate one for each input level to be adjusted. Therefore, the adjustment for each input level is compared with the conventional technique. Can be done with high accuracy.
  • the dynamic range can be adjusted using a cheaper imaging device with a narrower dynamic range than the dynamic range of the video projection devices 130A to 130D, the cost of the entire system can be reduced.
  • the uncontrollable light power S screen 140 since feedback adjustment processing is performed independently for each pixel, for example, the uncontrollable light power S screen 140 called “leakage light” from the image projection devices 130A to 130D. Even when it is projected above, it can be adjusted to obtain a good image including that light. Such light usually has almost constant brightness, and it can hardly be visually recognized in a bright image, but it can be recognized in a dark image or can be recognized on a screen 140. However, since it is affected by the leakage light of “other” video projectors, it is difficult to adjust with the conventional technology, in addition to being uncontrollable.
  • the pixel value conversion parameter is set. Since the processing to correct the pixel value conversion parameter based on the information of the spatial distribution of pixel values on the meta has been added, even if the performance and state of the imaging device 150 are poor, a good pixel value conversion parameter can be set. You can get more robust.
  • the present invention first, adjustment is performed so that the image corresponding to the input level is smoothly connected to each of the pixel value conversion parameters corresponding to the plurality of input levels, and then the plurality of adjustments are performed. Since the pixel value conversion parameters used in the correction processing device are calculated by integrating the already-processed pixel value conversion parameters, the image is smoothly connected to at least the input level for which feedback adjustment has been performed. Even when the characteristics of the video projector are not guaranteed and the characteristics of the video projector cannot be accurately modeled, stable adjustment can be performed.
  • the target value for feedback adjustment is It was determined by shooting the image data projected using the video projectors 130A to 130D.
  • the present invention matches the characteristics of the video display system 100 with the color samples prepared. It can also be applied when adjusting.
  • one of the image projection devices 130A to 130D is projected as a pattern for specifying the position of the color sample on the screen, and the user selects the color sample.
  • a configuration may be adopted in which a command for instructing the continuation of processing after being fixed at a specified position can be input from the input device 126.
  • the video display system 100 includes the video output device 110, the video correction device 120, the video projection devices 130A to 130D, the screen 140, and the imaging device 150.
  • the present invention is configured to include the video output device 110, the correction unit 121 of the video correction device 120, the video projection devices 130A to 130D, the screen 140, and an existing video display system that also includes power.
  • the present invention can also be applied to a video adjustment system in which the adjustment unit 122 of the video correction device 120 and the imaging device 150 are separately connected to adjust the pixel value conversion parameter.
  • the characteristics between the R, G, and B colors are preliminarily adjusted in each video projection apparatus included in the video display system. Therefore, the case where it is sufficient to perform the same correction for each of the colors R, G, and B has been described. However, this is because each color that is not related to the essence of the present invention is adjusted individually, or described later. By adjusting each color simultaneously and independently as in the other embodiments, it is possible to apply the present invention even when the characteristics between the R, G, and B colors are not adjusted by force. It is.
  • the image storage unit 112 of the video output device 110 stores a single color (for one color) pattern (256 patterns). Choose an appropriate pattern for each of the R, G, and B colors, and combine them to output.
  • the range of pixel values indicated by the exposure adjustment method described above is a range for photographing image data suitable for the imaging apparatus 150 used in the present embodiment. It can be appropriately changed according to the performance of the imaging apparatus to be used. Also, if exposure values suitable for adjusting each input level are divided, they are set as target data. Store it in the data storage unit 1251 and use those values instead of the values obtained by exposure adjustment.
  • the image data input to the video projection devices 130A to 130D is updated by updating the pixel value conversion parameters set in the correction processing devices 123A to 123D.
  • the image projected on the screen 140 is updated.
  • the image data input to the correction processing devices 123A to 123D is updated to update the image input to the video projection devices 130A to 130D. The data was updated, and the video projected on screen 140 was updated.
  • the correction control unit 424 and the storage unit 425 are different from the video display system 100 in the first embodiment. Hereinafter, matters related to these different points will be described.
  • a parameter image generation unit 424j is provided instead of the pixel value conversion parameter update unit 124a. It has been.
  • a parameter conversion unit 424k is newly provided.
  • the parameter image generation unit 424j is a parameter to be input to each of the correction processing devices 123A to 123D in response to requests of the feedback adjustment unit 124g, the imaging element abnormality detection and correction unit 124h, and the video display area parameter correction unit 124i. Generate an image.
  • the parameter image includes a minimum input level pixel value conversion parameter, a maximum input level pixel value conversion parameter, and a first intermediate input level pixel value conversion that have been updated by the pixel value conversion parameter update unit 124a of the first embodiment.
  • Image data corresponding to each of the parameter, the second intermediate input level pixel value conversion parameter, and the third intermediate input level pixel value conversion parameter (hereinafter, the minimum input level parameter image, the maximum input level parameter image, the first Intermediate input level parameter image, second intermediate input level parameter image, third intermediate input
  • This is image data in which the pixel value of the corresponding pixel position of each pixel value conversion parameter is set for each pixel position.
  • the pixel conversion unit 424k converts the parameter image generated by the parameter image generation unit 424j into a pixel value conversion parameter (minimum input level pixel value conversion parameter, maximum input level pixel value conversion parameter) stored in the pixel value conversion parameter storage unit 125g. , First intermediate input level pixel value conversion parameter, second intermediate input level pixel value conversion parameter, and third intermediate input level pixel value conversion parameter).
  • the process in the parameter conversion unit 424k is a format conversion process and can be easily performed.
  • a different meta image storage unit 425r is provided, unlike the first embodiment.
  • the meta image storage unit 425r stores the parameter image generated by the parameter image generation unit 424j.
  • the video output device control unit 424d of the correction control unit 424 stores an appropriate parameter image in the image storage unit 112 of the video output device 110 at the time of feedback adjustment, and this parameter image at a necessary timing. Is output.
  • the correction processing devices 123A to 123D Image data is corrected using the identity conversion pixel value conversion parameter.
  • all the pixel values of the minimum input level parameter image stored in the parameter image storage unit 425r are all (0, 0, 0) in the initialization process. ). Also, in the pixel value conversion parameter update process, parameters The minimum input level parameter image stored in the data image storage unit 425r is updated by the parameter image generation unit 424j, and the updated minimum input level parameter image is stored in the image storage unit 112 of the video output device 110. By outputting the minimum input level parameter image, the image on the screen 140 is updated in the feedback adjustment.
  • all the pixel values of the maximum input level parameter image stored in the parameter image storage unit 425r are all (0, 0, 0) in the initialization process. ). Further, in the update process of the pixel value conversion parameter, the maximum input level parameter image stored in the parameter image storage unit 425r is updated by the parameter image generation unit 424j, and the updated maximum input level parameter image is updated by the video output device. The image on the screen 140 is updated in feedback adjustment by storing it in the image storage unit 112 of 110 and outputting the maximum input level parameter image.
  • the initial value of each pixel of the first intermediate input level parameter image is set to be equal to the pixel value of the corresponding pixel of the minimum input level parameter image
  • the second intermediate input level The initial value of each pixel of the parameter image is set to be equal to the pixel value of the corresponding pixel of the first intermediate input level parameter image
  • the initial value of each pixel of the third intermediate input level parameter image is Set to be equal to the pixel value of the corresponding pixel in the second intermediate input level parameter image.
  • the intermediate input level parameter image that is stored in the parameter image storage unit 425r and specified by the serial number is the parameter image.
  • the image is updated by the generation unit 424j, and the updated normal meta image is stored in the image storage unit 112 of the video output device 110, and this parameter image is output to update the video on the screen 140 in the feedback adjustment. I am doing so.
  • image data at the intermediate input level specified by the serial number is converted by the pixel value conversion parameter after feedback adjustment.
  • the intermediate input level parameter image specified by the serial number is projected on the screen 140 (converted with the identity conversion pixel value conversion parameter) and the image sensor abnormality correction unit 124 ⁇
  • the difference is that the target of correction processing is each parameter image.
  • each parameter image stored in the norameta image storage unit 425r is converted to a corresponding pixel value conversion by the parameter conversion unit 424k. After the conversion to the parameter, it is stored in the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D via the correction processing device control unit 124b.
  • the image projected on the screen 140 can be updated and the feedback adjustment can be performed by updating the image data input to the correction processing devices 123A to 123D. Therefore, when it is not preferable to frequently update the pixel value conversion pattern because of the design of the correction processing devices 123A to 123D, the adjustment can be performed while suppressing the number of update of the pixel value conversion parameter.
  • the video output device control unit 424d of the correction control unit 424 stores the parameter image in the image storage unit 112 of the video output device 110 during feedback adjustment, and at a necessary timing.
  • the power for outputting the parameter image is not limited to such a mode.
  • the parameter image is transmitted from the correction control unit 424 to the video output device 110 at a necessary timing and output from the video output device 110. Let's do it.
  • the image data input to the correction processing devices 123A to 123D is updated to update the image data input to the video projection devices 130A to 130D.
  • a special pixel that outputs desired image data whatever the image data is input to the correction processing devices 123A to 123D.
  • the image data input to the video projection devices 130A to 130D is updated. Data has been updated, and the video projected on screen 140 has been updated.
  • Such special pixel value conversion parameters include the minimum input level pixel value conversion parameter, the maximum input level pixel value conversion parameter, and the first intermediate input level pixel as described with reference to Fig. 42 (c).
  • the pixel value of each pixel is set as the pixel value at the corresponding pixel position of the desired image data. Generate by setting to be the same (or equivalent).
  • the present embodiment has such differences as compared to the second embodiment, the following description will be made based on the first embodiment in order to clarify the difference in configuration of each device. .
  • the video output device 510 and the video correction device 520 are different from the video display system 100 in the first embodiment.
  • this I will explain the matters related to this point.
  • the video output device 510 in this embodiment does not transmit / receive data to / from the video correction device 520, the first transmission / reception unit 115 and the image storage unit 112 in the first embodiment are unnecessary. Others have the same configuration as the first embodiment! /
  • the video correction device 520 in the present embodiment does not transmit and receive data to and from the video output device 510, the second transmission / reception unit 127 in the first embodiment is unnecessary and correction control is performed.
  • the part 524 is different from the first embodiment.
  • the pixel value conversion meta memory unit 125g includes a special pixel value conversion parameter corresponding to each parameter image in the second embodiment (in the present embodiment, this pixel value conversion parameter is referred to as a parameter image hereinafter). And so on). Other configurations are the same as those in the first embodiment.
  • the correction control unit 524 in the present embodiment does not require the control of the video output device 510, so that the video output device control unit is compared with the first embodiment. 124d is no longer needed. Unlike the first embodiment, a parameter image generation unit 5241 is provided instead of the pixel value conversion parameter update unit 124a. In addition, a parameter conversion unit 524k is newly provided.
  • the processing in the NORA META conversion unit 524k is performed from each parameter image (in this embodiment, a special pixel value conversion parameter), corresponding to a minimum input level pixel value conversion parameter and a maximum input.
  • a special pixel value conversion parameter corresponding to a minimum input level pixel value conversion parameter and a maximum input.
  • the correction processing devices 123A to 123D until the adjustment is completed and stored in the geometric correction parameter storage unit 125f and the geometric correction parameters are set in the correction processing devices 123A to 123D.
  • Image data is corrected using the identity transformation geometric correction parameter.
  • the feedback adjustment processing is mainly different from that in the first embodiment. The difference will be described.
  • all the pixel values of the minimum input level parameter image stored in the pixel value conversion parameter storage unit 125g are all (0, 0) during the initialization process. , 0). Further, in the update process of the pixel value conversion parameter, the minimum input level parameter image stored in the pixel value conversion parameter storage unit 125g is updated by the meta-image generation unit 5241, and the updated minimum input level parameter image is respectively updated. The image on the screen 140 is updated in the feedback adjustment by storing it in the pixel value conversion parameter storage unit 123f of the corresponding correction processing device 123A to 123D.
  • all pixel values of the maximum input level parameter image stored in the pixel value conversion parameter storage unit 125g are all (0, 0) during the initialization process. , 0).
  • the maximum input level parameter image stored in the pixel value conversion parameter storage unit 125g is updated by the meta-image generation unit 5241, and the updated maximum input level parameter image is respectively corresponding to the pixels of the corresponding correction processing devices 123A to 123D.
  • the image on the screen 140 is updated in the feedback adjustment.
  • the initial value of each pixel of the first intermediate input level parameter image is set to be equal to the pixel value of the corresponding pixel of the minimum input level parameter image
  • the second intermediate input level The initial value of each pixel of the parameter image is set to be equal to the pixel value of the corresponding pixel of the first intermediate input level parameter image
  • the initial value of each pixel of the third intermediate input level parameter image is Set to be equal to the pixel value of the corresponding pixel in the second intermediate input level parameter image.
  • the intermediate input level parameter image specified by the serial number stored in the pixel value conversion parameter storage unit 125g is used as the parameter image generation unit.
  • Update the image on the screen 140 in the feedback adjustment by updating the parameter image in 5241 and storing the updated parameter image in the corresponding pixel value conversion parameter storage unit 123f of the correction processing devices 123A to 123D. And then.
  • serial The intermediate input level specified by the number is stored in the pixel value conversion parameter storage unit 123f of the corresponding correction processing device 123A to 123D, and the image on the screen 140 is updated.
  • the difference is that the object to be corrected by the imaging element abnormality correction unit 124 ⁇ is each parameter image.
  • the pixel value conversion parameter setting is not related. Then, after each parameter image stored in the pixel value conversion parameter storage unit 125g is converted into a corresponding pixel value conversion parameter by the parameter conversion unit 524k, each correction process is performed via the correction processing device control unit 124b. It is made to memorize
  • the image projected on the screen 140 is updated and feedback adjustment is performed by updating a special pixel value conversion parameter set in the correction processing devices 123A to 123D. Since the video output device 110 cannot be controlled by the video correction device 120, the system can be adjusted.
  • this embodiment is an example of readjustment of a pixel value conversion parameter that has been adjusted previously, and can be realized with substantially the same configuration as the video display system 100 of the first embodiment. There will be described below the matters related to the differences from the first embodiment.
  • the correction control unit 624 and the storage unit 625 are different from the video display system 100 in the first embodiment. Below, I will explain the matters related to these different points.
  • the correction control unit 624 in the present embodiment includes, in addition to the correction control unit 124 in the first embodiment, an entire video display area image data generation unit 624m, a correction A target image data generation unit 624 ⁇ and a correction feedback adjustment unit 624p are provided.
  • the entire video display area image data generation unit 624m generates the entire video display area image data.
  • the entire video display area image data is image data having the same resolution as the captured image data captured by the imaging device 150, and corresponds to the video display area in which video is displayed by any of the video projection devices 1 30A to 130D after adjustment.
  • the pixel value is “1” for the area corresponding to the entire video display area, that is, the other areas, that is, the projection light of any of the video projection devices 130A to 130D is not projected, Or, the projected light of any of the video projectors 130A to 130D is projected, but after adjustment For the area corresponding to the area where there is no video to be displayed and so-called “black” is projected, the entire video display area image data is generated such that the pixel value is “0”.
  • the corrected target image data generation unit 624 ⁇ generates corrected target image data that is a target image that is already stored and for correcting the pixel value conversion parameter.
  • all the pixel values are converged to one target value.
  • the target value is different for each pixel as described later. Therefore, for each input level to be corrected, feedback adjustment is performed based on the correction target image data which is image data in which the correction value of each pixel position is set to the corresponding pixel position.
  • the correction target image data is created separately for each correction processing device 123A to 123D, and the resolution is the image output from the pixel value conversion unit 123g of each correction processing device 123A to 123D. The resolution is equal to the data resolution.
  • the correction feedback adjustment unit 624p corrects the already stored pixel value conversion parameters.
  • the correction target data storage unit 625s and the entire video display area image data A storage unit 625t is provided.
  • the minimum input level individual correction target data, the maximum input level individual correction target data, the first intermediate input level individual correction target data, and the second intermediate input level individual correction are stored.
  • the target value for each input level is the pixel value conversion that has already been obtained. This is determined based on the result of converting the input level image data to be adjusted with parameters. Therefore, in the present embodiment, unlike the first embodiment, the display level for determining the target value in the feedback adjustment process is not calculated. In the present embodiment, the target value in the feedback adjustment process is also an independent value for each pixel. Unlike the first embodiment, the target value in the feedback adjustment process at each pixel position is used as the pixel value. Using the corrected target image data Dodback adjustment processing. A method for calculating the corrected target image data will be described later.
  • the minimum input level individual correction target data is composed of a minimum input level pixel value, a minimum input level exposure value, and minimum input level correction target image data.
  • the minimum input level pixel value is a design value
  • the minimum input level exposure value and the minimum input level correction target image data are determined by processing in the correction target image data generation unit 624 ⁇ . It is.
  • the maximum input level individual correction target data includes a maximum input level pixel value, a maximum input level exposure value, and a maximum input level correction target image data.
  • the maximum input level pixel value is a design value
  • the exposure value for the maximum input level and the maximum input level correction target image data are determined by processing in the correction target image data generation unit 624 ⁇ . It is.
  • the first intermediate input level individual correction target data is composed of the first intermediate input level pixel value, the first intermediate input level exposure value, and the first intermediate input level correction target image data.
  • the first intermediate input level pixel value is a design value
  • the first intermediate input level exposure value and the first intermediate input level correction target image data are both corrected target image data generation unit 624 ⁇ . It is determined by the processing in
  • the second intermediate input level individual correction target data is composed of a second intermediate input level pixel value, a second intermediate input level exposure value, and second intermediate input level correction target image data.
  • the second intermediate input level pixel value is a design value
  • the second intermediate input level exposure value and the second intermediate input level corrected target image data are both corrected target image data generation unit 624 ⁇ . It is determined by the processing in
  • the third intermediate input level individual correction target data is composed of a third intermediate input level pixel value, a third intermediate input level exposure value, and third intermediate input level correction target image data.
  • the third intermediate input level pixel value is a design value
  • the third intermediate input level exposure value and the third intermediate input level correction target image data are both corrected target image data generation unit 624 ⁇ . It is determined by the processing in
  • the entire video display area image data storage unit 625t stores the above-described entire video display area image data.
  • the entire image display area image data generated by the data generation unit 624m is stored.
  • FIG. 25 is a flowchart showing the overall flow of pixel value conversion parameter correction processing in the video display system of the present embodiment.
  • each surface weight is determined based on image data corresponding to the maximum input level pixel value conversion parameter among the pixel value conversion parameters.
  • Image data may be generated. Specifically, it can be generated by normalizing (constant multiplication) the pixel value of the image data corresponding to the maximum input level pixel value conversion parameter.
  • the constant for this normal value is calculated so that the entire value of the image data corresponding to the maximum input level pixel value conversion parameter is referred to and the maximum value force S “1” is obtained by multiplying the constant.
  • FIG. 26 is a flowchart showing the specific processing contents of the entire video display area image data generation processing (S702).
  • initial setting is performed first (S710).
  • the initial settings here are already adjusted with the geometric correction parameters already calculated.
  • V the pixel value conversion parameters are set in all the correction processing devices 123A to 123D, and the pixel values of all the pixels of the entire image display area image data stored in the entire image display area image data storage unit 625t are set. Is a process of setting “0” to “0”.
  • exposure adjustment of the imaging device 150 is performed (S711).
  • image data having pixel values (255, 255, 255) of all pixels are recorded from the image storage unit 112 of the video output device 110 to all the video projection devices 130A to 130D.
  • Video output and projected on screen 140 (This video should have a nearly uniform brightness because it uses already-adjusted pixel value conversion parameters) Adjust the exposure value so that the maximum pixel value of the captured video area falls within the range of 192 to 240.
  • This exposure adjustment is a process for stably performing the binary processing described later, and it is not necessary for the pixel value to be strictly within that range.
  • the entire foreground color image data is generated (S712). 0 This process is performed for all the video projection devices 130A to 130D from the image storage unit 112 of the video output device 110.
  • the image data that is equal to the foreground color is output, and the image projected on the screen 140 is captured by the imaging device 150 to generate the entire foreground color image data as the captured image data. It is.
  • the entire background color image data is generated (S713). 0
  • This processing is performed for all the video projection devices 130A to 130D from the image storage unit 112 of the video output device 110. This is a process that generates image data that is equal to the background color and generates the entire background color image data as the captured image data by shooting the image projected on the screen 140 with the imaging device 150. .
  • the pixel values corresponding to the foreground color and the background color are, for example, (0, 255, 255) and (255, 0) so that the pixel value of each pixel of the absolute difference image data described later is as large as possible. , 0) should be used.
  • the entire binarized image data is generated (S714).
  • This process generates absolute difference image data by taking the difference between the corresponding pixels for all pixels of the entire foreground color image data and the entire background color image data and setting the absolute value as the pixel value (this The difference is taken for each color corresponding to R, G, and B, and the sum of the absolute values is taken as the absolute difference image. Pixels that have an absolute difference value that is equal to or greater than a predetermined threshold by performing a binarization process on the absolute difference image data. This is a process for generating the entire binary image data in which the pixel value is “1” for the position and the pixel value S is “0” for the other pixel positions.
  • the resolution of the absolute difference image data and the entire binarized image data is equal to the resolution of the entire foreground color image data and the entire background color image data
  • the predetermined threshold value used in the binary image is: For example, a method that is automatically determined from absolute difference image data using an existing method, such as a method called Otsu's discriminant analysis method, is used.
  • the entire video display area image data is updated (S715).
  • This process is a process of registering a copy of the entire binarized image data as the entire video display area image data.
  • the pixel value S is “l” for the area corresponding to the video display area in which the image is displayed by any of the video projection devices 130A to 130D, and any video projection device 130A.
  • ⁇ 130D projection light is not projected, or the projection light of any of the video projection devices 130A to 130D is projected, but there is no image to be displayed, so-called "black” is projected
  • the entire video display area image data is image data having a resolution equivalent to that of the entire binarized image data.
  • FIG. 27 is a flowchart showing the processing contents of the minimum input level target image data generation processing (S703).
  • initial setting is first performed (S720).
  • the identity conversion geometric correction parameter and the previously adjusted pixel value conversion parameter are set in all the correction processors 123A to 123D.
  • the minimum input level stored in the image storage unit 112 of the video output device 110 that is, image data in which the pixel values of all the pixels are (0, 0, 0) are corrected processing devices 123A to 123A.
  • the image is projected onto the screen 140 via the 123D and the image projection devices 130A to 130D (S721).
  • exposure adjustment of the imaging device 150 is performed (S722).
  • This exposure adjustment refers to the entire video display area image data, and the pixel value of the entire video display area image data is “1”. Adjust the exposure value so that the average pixel value of the pixels corresponding to the area falls within the range of about 128-192. Any exposure value may be used as long as the average value S of the pixel values is within such a range.
  • the exposure value adjusted in this way is stored as the minimum input level exposure value in the minimum input level individual target data in the corrected target data storage unit 625s (S723).
  • imaging is performed by the imaging device 150 (S724).
  • the captured image data captured in this way is transmitted from the imaging device 150 to the video correction device 120 as whole captured image data (S725).
  • the corrected target image data generation unit 624 ⁇ generates the overall smoothed image data from the entire captured image data (S726).
  • This process is to smooth the entire captured image data, and is generated, for example, by applying an average value filter to the entire captured image data.
  • the filter radius of the average value filter it is desirable to set the filter radius of the average value filter to a larger value. Also, for the minimum input level, it is not necessary to generate the entire smoothed image data by referring to the entire overlapping projection frequency image data as in other input levels described later.
  • overall difference image data is generated (S727).
  • overall difference image data is generated by subtracting the pixel value of the corresponding pixel of the overall smoothed image data from the pixel value of each pixel of the overall captured image data.
  • the maximum value Mi l is a non-negative value (S729)
  • the overall smoothed image data is used as the overall corrected target image data as it is, a good pixel value conversion parameter is obtained due to the performance of the video projector. Since there is a possibility, the total corrected target image data is obtained by adding the maximum value Mil to the pixel value of each pixel of the entire smoothed image data (S730).
  • the maximum value M 11 is non-negative! In this case (S729), the overall smoothed image data is set as the overall corrected target image data (S731).
  • the minimum input level correction target image data is generated from the entire correction target image data. Then, it is stored in the minimum input level individual correction target data of the correction target data storage unit 625s (S732).
  • the minimum input level correction target image data is image data having a resolution such as image data corresponding to each plane photographing coordinate, and is generated corresponding to each of the correction processing devices 123A to 123D.
  • each pixel in the minimum input level correction target image data refers to the pixel value (two-dimensional vector value) of the corresponding pixel in the image data corresponding to each plane imaging coordinate that has already been generated, and refer to the pixel value It is determined by calculating the pixel value at the coordinate position on the overall correction target image data corresponding to (two-dimensional vector value). This completes the minimum input level target image data generation process.
  • the target value of each pixel is determined to be an adjustable value, taking advantage of the characteristics of the previously adjusted pixel value conversion parameter. can do.
  • FIG. 28 is a flowchart showing the processing contents of the maximum input level target image data generation processing (S704).
  • initial setting is first performed (S740).
  • the identity conversion geometric correction parameter and the previously adjusted pixel value conversion parameter are set in all the correction processors 123A to 123D.
  • the maximum input level stored in the image storage unit 112 of the video output device 110 that is, the image data in which the pixel values of all the pixels are (255, 255, 255) are corrected processing devices 123A to 123A to 123D and video projection devices 130A to 130D are projected onto the screen 140 (S 74 Do
  • exposure adjustment of the imaging device 150 is performed (S742). Refer to the whole video display area image data for this exposure adjustment. Then, the exposure value is adjusted so that the average value of the pixel values corresponding to the region where the pixel value of the entire video display region image data is “1” falls within the range of about 128 to 192. Any exposure value can be used as long as it falls within this range.
  • the exposure value adjusted in this way is stored as the maximum input level exposure value in the maximum input level individual target data in the corrected target data storage unit 625s (S743).
  • imaging is performed by the imaging device 150 (S744).
  • the captured image data captured in this way is captured as the entire captured image data.
  • the image 150 is transmitted to the image correction device 120 (S745).
  • the corrected target image data generation unit 624 ⁇ of the correction control unit 624 generates the overall smoothed image data from the entire captured image data (S746). This process smooths the entire captured image data, and is generated, for example, by applying an average value filter to the entire captured image data.
  • the filter radius of the average value filter be a large value.
  • the entire overlap projection frequency image data is referred to, and the entire overlap projection frequency image data "1 J area (each video projection device 130A to 130D is independent. It is desirable to perform smoothing using only the value of the projected area, because the projection area of each of the video projectors 130A to 130D may overlap depending on the previously adjusted pixel value conversion parameters. This is a phenomenon that occurs due to insufficient adjustment, and in fact, multiple image projection devices 130A to 130D are projected, and the area that is projected is This is because a single image projection device 130A to 130D can be projected and adjusted brighter than the area.
  • overall difference image data is generated (S747).
  • overall difference image data is generated by subtracting the pixel value of the corresponding pixel of the entire captured image data from the pixel value of each pixel of the overall smoothed image data.
  • the maximum value M21 is a non-negative value (S749)
  • the overall smoothed image data is used as the overall corrected target image data as it is, a good pixel value conversion parameter is obtained in terms of the performance of the video projection device. Since there is a possibility, the total corrected target image data is obtained by subtracting the maximum value M21 from the pixel value of each pixel of the entire smoothed image data (S750).
  • the maximum value Mil is not a non-negative value (S749)
  • the entire smoothed wrinkle image data is set as the entire corrected target image data (S751).
  • the maximum input level correction target image data is generated from the entire correction target image data and stored in the maximum input level individual correction target data of the correction target data storage unit 625s.
  • the maximum input level correction target image data is image data having a resolution such as image data corresponding to each plane photographing coordinate, and is generated corresponding to each of the correction processing devices 123A to 123D.
  • the pixel value of each pixel in the maximum input level correction target image data refer to the pixel value (two-dimensional vector value) of the corresponding pixel in the image data corresponding to each surface shooting coordinate that has already been generated, and refer to the pixel value It is determined by calculating the pixel value at the coordinate position on the overall correction target image data corresponding to (two-dimensional vector value). This is the end of the maximum input level target image data generation process.
  • the target value of each pixel is determined to be an adjustable value, taking advantage of the characteristics of the previously adjusted pixel value conversion parameter. can do.
  • FIG. 29 is a flowchart showing the processing contents of the intermediate input level target image data generation processing (S705).
  • initial setting is first performed (S760).
  • the identity conversion geometric correction parameter and the previously adjusted pixel value conversion parameter are set in all the correction processors 123A to 123D.
  • serial number M that identifies the intermediate input level to be processed is initialized to 0.
  • the intermediate input level image data specified by the serial number stored in the image storage unit 112 of the video output device 110 is screened via the correction processing devices 123A to 123D and the video projection devices 130A to 130D. Projected to 140 (S762).
  • exposure adjustment of the imaging device 150 is performed (S763). In this exposure adjustment, the exposure value is adjusted so that the average value of the pixel values in the region corresponding to the region where the pixel value of the entire overlapped projection frequency image data is “1” falls within the range of about 128 to 192. It should be noted that any exposure value may be used as long as the average pixel value is within such a range.
  • the exposure value adjusted in this way is stored in the individual target data of the intermediate input level specified by the serial number of the correction target data storage unit 625s as the exposure value for the intermediate input level specified by the serial number. (S764).
  • the imaging device 15 Shoot at 0 (S765).
  • the captured image data captured in this way is transmitted from the imaging device 150 to the video correction device 120 as whole captured image data (S766).
  • the correction target image data generation unit 624 ⁇ of the correction control unit 624 smoothes the whole shot image data and generates the whole correction target image data (S767).
  • the overall correction target image data can be generated by applying an average value filter to the entire captured image data.
  • the entire overlap projection frequency image data is referred to and the “1” area ( It is desirable to perform smoothing using only the values of the areas projected by each of the image projection devices 130A to 130D.
  • intermediate input level correction target image data identified by a serial number is generated from the entire correction target image data, and stored in the intermediate input level individual correction target data of the correction target data storage unit 625s ( S768).
  • the intermediate input level correction target image data specified by the serial number is image data having the same resolution as the image data corresponding to each plane photographing coordinate, and is generated corresponding to each of the correction processing devices 123A to 123D. Is done.
  • each pixel of the intermediate input level correction target image data specified by the serial number refers to the pixel value (two-dimensional vector value) of the corresponding pixel of the image data corresponding to each plane photographing coordinate already generated, It is determined by calculating the pixel value at the coordinate position on the entire corrected target image data corresponding to the referenced pixel value (two-dimensional vector value).
  • FIG. 30 is a flowchart showing the processing content of the correction feedback adjustment processing.
  • the modified feedback adjustment process S706 in Fig. 25 performs the modified feedback adjustment process shown in Fig. 30 with the minimum input level, maximum input level, first intermediate input level, second intermediate input level, and third intermediate input. Each level is to be revised and implemented sequentially.
  • an initialization process is first performed (S780). This initialization processing includes the current value of the amplitude value stored in the amplitude value data storage unit 125m, the iteration number data stored in the iteration number data storage unit 125 ⁇ , and the pixel values of the correction processing devices 123 to 123D.
  • the pixel value conversion parameter stored in the conversion parameter storage unit 123f is set to an initial value, and stored in the image storage unit 112 of the video output device 110.
  • the image data of the input level to be corrected is corrected by the correction processing device 123. This is a process of projecting onto the screen 140 via A to 123D and the video projection devices 130A to 130D.
  • the pixel value conversion parameters stored in the current pixel value conversion parameter storage unit 125g are changed to the respective correction processing devices via the correction processing device control unit 124b. This is implemented by storing the pixel value conversion parameter storage unit 123f of 123A to 123D.
  • the purpose is to correct the previously adjusted pixel value conversion parameter, and therefore the corrected pixel value conversion parameter is the pixel value conversion parameter that has been adjusted before. If it is possible to estimate whether or not it can be changed, the search area is narrowed according to the amount of change, that is, the initial value of the amplitude value is set to a smaller value, and the number of iterations data is set to a smaller number of times accordingly You can set it.
  • the exposure value for input level to be corrected is set (S781). This is determined when the target image data at each input level is determined, and the exposure value stored in the corrected target data storage unit 625s is set as the exposure value of the imaging device 150.
  • photographing is performed with the imaging device 150 (S783).
  • the image data captured here is transmitted to the video correction device 120 as entire captured image data (S784).
  • the correction feedback adjustment unit 624p generates each surface captured image data from the entire captured image data (S785).
  • each bright and dark image data generation process is performed (S786).
  • the pixel value in each pixel of the target image data at the input level (stored in the correction target data storage unit 625s) and the pixel value in the corresponding pixel of each plane image data are subject to correction. If the pixel value at each pixel of each plane image data is smaller than the pixel value of the target image data, the pixel value of the pixel at the position corresponding to this comparison target pixel is “+1”.
  • each plane image data If the pixel value at each pixel of each plane image data is larger than the pixel value of the target image data, set “1” as the pixel value at the position corresponding to the pixel to be compared. When the pixel value at each pixel of each plane image data is equal to the pixel value of the target image data, “0” is set as the pixel value of the pixel at the position corresponding to this comparison target pixel.
  • Each face light and dark It is a process of generating the image data.
  • This process is a process of updating the pixel value of the pixel value conversion parameter based on each surface bright / dark image data, and may be performed in the same manner as in the first embodiment.
  • the pixel value conversion parameters stored in the pixel value conversion parameter storage unit 125g including the pixel value conversion parameters to be corrected updated in this way are stored in the correction processing device control unit 124b. Then, it is stored in the pixel value conversion parameter storage unit 1 23f of each of the correction processing devices 123A to 123D (S788).
  • the geometric correction parameters stored in the geometric correction parameter storage unit 125f of the storage unit 125 of the video correction device 120 are transferred via the correction processing unit control unit 124b.
  • Parameters are stored in the pixel value conversion parameter storage unit 123f of each of the correction processing devices 123A to 123D via the correction processing device control unit 124b. It is a process to memorize.
  • stack projection is a method of projecting images from a plurality of video projection devices on the same area of the screen. For example, a so-called stereoscopic image is projected by using a polarizing plate. It is used for such as.
  • the adjustment method will be described by taking as an example the case where the A-side image projected from one video projection device and the B-side image projected from the other video projection device are superimposed on the screen.
  • the power supply for the video projection devices on the A-screen video side and the B-screen video side is assumed to have a power supply control mechanism that can control the power of the video correction device (drawing is omitted).
  • another method may be used that can obtain the same effect as the force that only one of the A-side image and the B-side image is displayed on the screen.
  • a shutter mechanism that can block the projection light on the A side image side and B side image side, respectively, can be replaced by controlling it.
  • the image projection device on the A plane image side is set.
  • target value candidates are determined (S800).
  • the minimum input level and the maximum input level may be obtained. In this case, turn off the power of the video projection device on the B-side video side.
  • the target value determination method is the same as the target value determination in the first to fourth embodiments described above.
  • a target value candidate is determined for the video projection apparatus on the B-side video side (S801).
  • the target value candidates may be obtained for the minimum input level and the maximum input level.
  • the target value candidate for the minimum input level and the target value for the maximum input level on the A side image side are used.
  • the same processing as the determination of the target value in the first to fourth embodiments is performed.
  • a common target value is set for the image projection device on the A-screen image side and the image projection device on the B-screen image side (S802).
  • the basic idea is the same as in the first embodiment.
  • the minimum input level the larger of the two candidates and the smaller of the two candidates for the maximum input level are adopted.
  • the target value for the intermediate input level should be determined!
  • the processing is performed with only the power source selected as the reference between the A-screen video side and B-side video side video projection devices turned on and the other power source turned off.
  • FIG. 32 to 41 [0361]
  • FIG. 32 to 41 [0361]
  • the processing order is changed based on the second embodiment, and the exposure value of the imaging device can be adjusted. This is a suitable example in such a case where it cannot be obtained.
  • the target value for feedback adjustment is set according to a given reference position and a given display image
  • the color and brightness characteristics of the video after adjustment are This is an example suitable for the case of matching the characteristics.
  • a geometric correction parameter is not required when adjusting the pixel value conversion parameter, and a shooting process for generating the correction parameter and a shooting process for generating the pixel value conversion parameter are first performed. And then analyze the data offline for final geometric compensation The positive parameter and the pixel value conversion parameter can be generated. Therefore, it is a preferable example even when the time required for consideration such as not changing the ambient light for adjustment is shortened.
  • the present embodiment Since the present embodiment is mainly different from the second embodiment in the correction control unit 924 and the storage unit 925 of the video correction device 120, the present embodiment relates to matters related to these different points. I will explain.
  • the imaging device 150 is installed so that an area to be imaged by the imaging device 150 does not include images brighter than the images projected by the image projection devices 130A to 130D. However, in a situation where the imaging device 150 cannot be installed so as to satisfy this condition, in this embodiment as well, the entire overlap projection frequency image data is generated and referred to as in the other embodiments. Also good.
  • FIG. 32 is a schematic configuration diagram of the correction control unit 924 in the present embodiment.
  • each surface blend weight image data generation unit 924q is provided instead of the entire overlap projection frequency image data and each surface blend weight image data generation unit 124e. Further, a target value determining unit 924f having a different operation from the target value determining unit 124f and a feedback adjusting unit 924g having a different operation from the feedback adjusting unit 124g are provided. Further, a parameter image correction unit 924r is provided instead of the imaging element abnormality detection / correction unit 124h and the video display area outside parameter correction unit 124i. In addition, a target value determination image generation unit 924s is newly provided.
  • Each surface blend weight image data generation unit 924q calculates each surface blend weight image data based on the design value! A specific calculation method of each surface blend weight image data in this embodiment will be described with reference to FIG.
  • the target value determination unit 924f has the pixel values of all the pixels of the image data input to the correction processing devices 123A to 123D having the minimum input level (the pixel value is 0 for R, G, and B in common) and the maximum Input level common to G, B, pixel value is 255), first intermediate input level (common to R, G, B, pixel value is 64), second intermediate input level (common to R, G, B) , The pixel value is 128), and the third intermediate input level (common to R, G, B, pixel value is 192).
  • the exposure value and the target value in the feedback adjustment process are determined. A specific method for determining the target value will be described later.
  • the feedback adjustment unit 924g performs feedback adjustment processing.
  • the image projected on the screen 140 is input to the image projection device 13 OA to 130D based on the captured image data captured by the image capturing device 150 using the exposure value determined by the target value determination unit 924f.
  • the pixel value of the image to be increased or decreased for each pixel, and the pixel value of the pixel corresponding to the area where the image is projected on the captured image data matches the target value determined by the target value determination unit 924f .
  • the pixel values of the images input to the video projection devices 130A to 130D are increased or decreased by updating the parameter image input to the correction processing devices 123A to 123D.
  • the specific feedback adjustment processing method will be described later.
  • the parameter image correction unit 924r performs image processing such as smoothing on the parameter image in response to a request from the parameter conversion unit 924k described later.
  • force and other image processing described in an example of performing smoothing to reduce the roughness of the video may be performed.
  • the feedback adjustment process is performed only for the area that does not change reliably, and the The meta image correction unit 924r may be extrapolated.
  • each surface image data of the binary with the same resolution as each pixel value conversion parameter is obtained from each of the entire image data by using the image data corresponding to each surface shooting coordinate already generated.
  • Each area of the image data is converted into an area having a pixel value of “1” (that is, an area corresponding to the projection area) by a predetermined contraction width by using an existing binary image contraction processing technique. It can be generated by contraction.
  • a predetermined shrinkage width a value considering the margin is previously stored in the storage unit 925, and the value is used.
  • the target value determination image generation unit 924s receives the minimum input level (R, G, B, the pixel value is 0), and the maximum input level (R, G, Pixel value common to B Force S255), first intermediate input level (common to R, G, B, pixel value 64), second intermediate input level, common to G, B, pixel value 128), and third intermediate input
  • R, G, Pixel value common to B Force S255 first intermediate input level
  • first intermediate input level common to R, G, B, pixel value 64
  • second intermediate input level common to G, B, pixel value 128)
  • third intermediate input A target value determination image to be output from the video output device 110 is generated to determine a target value corresponding to each of the levels (the pixel value is 192 for both R, G, and B).
  • the normal meta conversion unit 924k performs a parameter generation registration process (FIG. 41) described later.
  • image processing such as smoothing is performed on the parameter image for which feedback adjustment processing has been completed, and a pixel value conversion parameter is generated based on the parameter image after this processing.
  • the value conversion parameter and the already generated geometric correction parameter are set in the correction processing devices 123A to 123D.
  • FIG. 33 is a schematic configuration diagram of the storage unit 925 in the present embodiment.
  • the storage unit 925 in the present embodiment includes an intermediate input level data storage unit 125a, an identity conversion geometric correction parameter storage unit 125d, an identity conversion pixel value conversion parameter storage unit 125e, Geometric correction parameter storage unit 125f, pixel value conversion parameter storage unit 125g, image data storage unit corresponding to each surface photographing coordinate 125h, each surface blend weight image data storage unit 125i, iteration count data storage unit 125n, serial number storage unit 125p, parameter An image storage unit 425r, a margin storage unit 925u, an amplitude value data storage unit 925m, a smoothness parameter storage unit 925v, a target data storage unit 9251, and a target value determining image storage unit 925w are provided.
  • the margin storage unit 925u includes an extended margin width and a reduced margin width that are used when each surface blend weight image data generation unit 924q generates each surface blend weight image data based on the design value. Is stored. These values are values given in advance as design values, and are expressed as the number of pixels on the image data input to the pixel value conversion unit 123g as a value specific to each correction processing device 123A to 123D. It is a value.
  • the amplitude value data storage unit 925m stores a set of the number of iterations in the feedback adjustment process and a sequence of amplitude values. These values are given in advance as design values.
  • the minimum input level (common to R, G, B, pixel value is 0), and the maximum input level (common to R, G, B, pixel values are 255), first intermediate input level (common R, G, B, pixel value 64), second intermediate input level (common R, G, B, pixel value 128), and third intermediate In common with the input level, G, and B, the pixel value is unique to each of 192).
  • the amplitude value With regard to the number sequence, it may be a number sequence unique to each video projection device 130 or may be a number sequence unique to each of R, G, and B.
  • the number of iterations and the sequence of amplitude values may be set as follows, for example. For example, if it is necessary to search the range of upper and lower “A1” around the pixel value “A0”, “A0” is set as the amplitude value corresponding to the iteration number “0”, and the iteration number “1” is supported.
  • the amplitude value corresponding to the iteration number ⁇ X + 1 '' is the amplitude value corresponding to the iteration number ⁇ X '' 1Z2 ”times or more and“ 1 ”times or less (round up the calculated amplitude value), and set so that the last element is the amplitude value“ 1 ”.
  • the amplitude value after the number of iterations “1” is added to the searchable range.
  • this value is usually larger than “A1” in the above method, this value is not less than “A1” and close to “A1” for the purpose of shortening the adjustment time, for example.
  • the amplitude value corresponding to the number of iterations “1” may be adjusted (an example is the above-described example).
  • the binary search is not strictly performed, that is, the amplitude value corresponding to the iteration number “X + 1” is set to a value larger than half of the amplitude value corresponding to the iteration number “X”. This improves resistance to noise and enables stable adjustment.
  • the method of setting the number of iterations and the sequence of amplitude values is not limited to the example given here as long as the necessary search range can be searched without omission.
  • the smoothing parameter storage unit 925v stores parameters used in the image processing in the parameter image correction unit 924r.
  • the force in which the smoothing radius is stored is used, for example, when performing smoothing using a weighted average value filter. Write the weight information at each position on the filter. Just remember. These parameters are parameters given in advance as design values.
  • the target data storage unit 9251 has a minimum input level display level for determining a target value corresponding to the minimum input level (common to R, G, B, pixel value 0), and a maximum input level ( In common to R, G, and B, the maximum input level for determining a target value corresponding to a pixel value of 255) is the entire captured image in the display level, maximum input level target value determination process, and intermediate input level target value determination process
  • the reference pixel position used when extracting the target value from the data is stored. Also used in the feedback adjustment process for each of the minimum input level (R, G, B common, pixel value is 0) and maximum input level (R, G, B common, pixel value is 255). The target value is stored.
  • the first intermediate input level (common R, G, B, pixel value 64), the second intermediate input level (common R, G, B, pixel value 128), and the third intermediate input
  • the display level for determining the target value corresponding to each of the levels (common to R, G, B, pixel value 192) and the target value used in the feedback adjustment process are stored. These target values are unique to each of R, G, and B.
  • the minimum input level display level is a value given in advance as a design value. For example,
  • the value is (5, 5, 5).
  • a value larger than (0, 0, 0) for each of R, G, and B images are displayed from two or more of the image projection devices 130A to 130D even at the minimum input level. Since an edge blend is formed in a certain area, it is possible to generate a pixel value conversion parameter that makes it difficult for the user to perceive an edge at the boundary of the projection area of each of the video projection apparatuses 130A to 130D. Note that if this value is set to a large value, the contrast is reduced, so the minimum input level display level is as large as possible under the condition that it is (0, 0, 0) or more and within the allowable range for contrast reduction. A good value should be set.
  • the maximum input level display level is a value given in advance as a design value. For example,
  • the values are (240, 250, 245).
  • the maximum input level display level and a reference pixel position are provided as design values, the adjustment result can be close to what the user intended.
  • the optical characteristics of the screen 140 directivity when diffusing projection light, etc.
  • the arrangement of the video projection devices 130A to 130D Depending on the boundary of the entire video display area, it may not be possible to converge to the target value due to the performance limit of the video projection device 130, but it may cause degradation in video quality, but even at the expense of video quality in that area. Effective if you do not want to reduce the contrast of the entire image as much as possible, and if you adjust “white” at the reference pixel position to “greenish white with a slight bluishness” compared to before adjustment. It is an example.
  • the reference pixel position is a value given in advance as a design value, and the serial number of the reference video projection device 130 and the corresponding coordinate value on the image data input to the pixel value conversion unit 123g. It is a value expressed as a pair.
  • the target value determination image storage unit 925w temporarily stores the target value determination image generated by the target value determination image generation unit 924s.
  • the parameter image has a minimum input level (common to R, G, B, pixel value is 0), maximum input level, common to G, B, pixel value is 255), first intermediate input level ( R, G, B common, pixel value 64), second intermediate input level (R, G, B common, pixel value 128), and third intermediate input level (R, G, B common)
  • the pixel value is unique to each of 192), and is unique to each of the video projection devices 130A to 130D.
  • the pixel value of each pixel of the parameter image can take a different value for each of R, G, and B.
  • FIG. 34 is a view for explaining a method of generating each surface blend weight image data in the present embodiment. Also in the present embodiment, each surface blend weight image data is created for each of the correction processing apparatuses 1 23 A to 123D and stored in each surface blend weight image data storage unit 125i, but in this embodiment, based on the design value. Then, each surface blend weight image data is generated at the stage where the geometric correction parameter is not generated. In this embodiment, each surface blend weight image data generated by the same method as in the previous embodiments may be used.
  • an image area 972a is an image area in charge of the pixel value conversion unit 123g of the correction processing device 123 (FIG. 34 is a correction in charge of the upper left image directed to the screen 140). This represents the one corresponding to the processing device 123A).
  • the image area 972b is an area projected on the inside of the screen 140 by design in the video projection area.
  • the image area 972c is a designed video display area.
  • the image area 972d is, by design, an outside projection area located inside the entire video display area. This is an area where it is essential to output (0, 0, 0) as the pixel value.
  • the image area 972e is an area that is included in the image area 972a by design and not included in the image area 972b, and is an area projected outside the screen 140 in design. It is desirable to output (0, 0, 0) as the pixel value of the pixel included in the image area 972e, which is a non-charged projection area.
  • the areas included in the image area 972b are non-in-charge projection areas, but (0, 0, 0) may not necessarily be output. This is an undesirable area.
  • the pixels included in this image area are handled in the same way as the pixels included in the image area 972c when calculating the pixel value of each surface blend weight image data.
  • the image area 972f is an area projected on the screen 140 in an overlapping manner with an image in charge of another correction processing device by design.
  • the image area 972g is an area obtained by expanding the image area 972d by the extended margin width stored in the margin storage unit 925u, and when an assumed error is considered, In the process of expanding the image area 972d by the extended margin width, 8 neighbors are used as the neighborhoods.
  • the image area 972h is an area obtained by reducing the image area 972e in the margin storage unit 925u !, and is reduced by the reduction margin width, and is projected outside the screen 140 even in consideration of an assumed error. It is an area to be done.
  • 8 neighborhoods are used as neighborhoods.
  • the pixel value at the pixel position 973 of each surface blend weight image data is calculated as follows.
  • the edge blend is Since it is desirable to do this, the following values are set in this embodiment.
  • Distance D1 is the distance from pixel position 973 to “inside image area 972a and outside image area 972f”
  • distance D2 is the distance from pixel position 973 to “outside image area 972a or inside image area 972g”
  • the pixel value at the pixel position 973 is “D2Z (D1 + D2)”.
  • FIG. 35 is a flowchart showing the overall flow of adjustment processing in the present embodiment.
  • each surface blend weight image data can be generated based on the design value by the method described in FIG. Therefore, each surface blend weight image data is generated in advance before performing the adjustment process of FIG.
  • S1001 minimum input level target value determination processing is performed (S1001), and feedback adjustment processing is performed for the minimum input level without changing the exposure (S1002).
  • S1001 and S1002 will be described with reference to FIGS. 36 and 37, respectively.
  • S1003 a maximum input level target value determination process is performed (S1003), and a feedback adjustment process for the maximum input level is performed without changing the exposure (S1004).
  • S1003 and S1004 will be described with reference to FIGS. 38 and 37, respectively.
  • the minimum input level, the maximum input level, and the intermediate input levels are shot with different exposures, so that the imaging device 150 is stopped.
  • the exposure is adjusted not by the aperture value but by the shutter speed.
  • the exposure may be adjusted by changing the aperture value.
  • FIG. 36 is a flowchart showing the processing contents of the minimum input level target value determination processing in the present embodiment.
  • a target value determination image in which the pixel values of all the pixels are equal to the minimum input level display level stored in the target data storage unit 9251 is displayed.
  • the target value determination image generation unit 924s generates the target value determination image generated in the image storage unit 112 of the video output device 110 and outputs the target value determination image (S1010).
  • exposure adjustment of the imaging device 150 is performed (S1011).
  • the exposure value is adjusted so that the maximum value of the pixel value of the photographed image data photographed by the imaging device 150 is within the range of about 128 to 192. Note that any exposure value may be used as long as the maximum pixel value is within such a range.
  • photographing is performed with the imaging device 150 (S1012).
  • the captured image data captured here is transmitted as whole captured image data from the imaging device 150 to the video correction device 120 (S1 013).
  • the target value determination unit 924f of the correction control unit 124 performs a process of selecting an effective maximum pixel value (S1014).
  • This process refers to the image data corresponding to each plane imaging coordinate, and at a position on the whole captured image data associated with at least one of the pixel positions of the image data input to the individual correction processing devices 123A to 123D.
  • This is a process of selecting the pixel value having the maximum value from the corresponding pixel values of the entire captured image data.
  • the maximum value is independently selected for R, G, and B. For example, R and B pixel values are selected based on the position corresponding to the maximum value of G (in this case, R And B may not be the maximum value).
  • the selected pixel value is stored in the minimum input level individual target data of the target data storage unit 9251 as the minimum input level target value (S1015).
  • FIG. 37 is a flowchart showing the processing contents of the feedback adjustment processing in the present embodiment. In this embodiment, feedback adjustment is performed by the process shown in FIG. 37 in common for all input levels.
  • an initialization process is first performed (S1020). This initialization process sets all pixel values of the parameter image corresponding to the input level to be processed to (0,
  • the parameter image corresponding to the input level to be processed is stored in the image storage unit 112 of the video output device 110, and this parameter image is output (S1022).
  • photographing is performed by the imaging apparatus 150 (S1023).
  • the captured image data captured here is transmitted from the imaging device 150 to the video correction device 120 as whole captured image data (S1 024).
  • the feedback adjustment unit 924g performs the entire bright / dark image data generation process (S1025).
  • the target value corresponding to the input level to be processed is compared with the pixel value at each pixel of the entire captured image data, and the pixel value at each pixel of the entire captured image data is converted into the input level to be processed. If the target value is smaller than the corresponding target value, “+1” is set as the pixel value of the comparison target pixel, and the pixel value of each pixel of the entire captured image data is lower than the target value corresponding to the input level to be processed.
  • each surface bright / dark image data generation process is performed (S1026).
  • each surface light / dark image data is generated from the entire light / dark image data by referring to the image data corresponding to each surface photographing coordinate already generated.
  • the pixel value is a value other than "-U" 0 "" + 1 ", if the interpolation result is" -0.5 "or less,” 1 "is interpolated.
  • the result is “+0.5” or more, “+1” is used as the pixel value of each surface bright / dark image data.
  • parameter image update processing is performed (S1027). This process is a process of updating the parameter image corresponding to the input level to be processed based on each surface bright / dark image data.
  • the pixel value of the parameter image at the corresponding pixel position is p
  • the brightness value of each surface light / dark image data is s
  • the weight value of each surface blend weight image data is w
  • the input of the processing target If the value of the amplitude data corresponding to the number of level iterations X is a, this is a process of updating the pixel value of the parameter image to “p + s X w X a”.
  • the amount of data to be processed in the entire feedback adjustment process by generating each surface brightness / darkness image data via the entire brightness / darkness image data instead of each surface shot image data
  • the adjustment time can be shortened.
  • FIG. 38 is a flowchart showing the processing contents of the maximum input level target value determination processing in the present embodiment.
  • the reference pixel position stored in the target data storage unit 9251 is referenced, and the video projection device 130 corresponding to this reference pixel position is referred to.
  • the pixel values of all pixels are (0, 0, 0 ) Is generated by the target value determination image generation unit 924s, and the generated exposure adjustment image is stored in the image storage unit 112 of the video output device 110, and this exposure adjustment image is stored in the image output unit 110.
  • the brightness that converges for the feedback adjustment corresponding to the maximum input level is close to the brightness of the part where only one of the video projectors 130A to 130D is projected.
  • Yo By using such an image, it is possible to set a desired exposure value for feedback adjustment that is not affected by the brightness of the portion of the image projectors 130A to 130D that are projected in an overlapping manner.
  • exposure adjustment of the imaging device 150 is performed (S1031).
  • the exposure value is adjusted so that the maximum value of the pixel value of the photographed image data photographed by the imaging device 150 is within the range of about 128 to 192. Note that any exposure value may be used as long as the maximum pixel value is within such a range.
  • the target value determination image generation unit 924s generates a target value determination image that is equal to the maximum input level display level in which the pixel values of all the pixels are stored in the target data storage unit 9251. Then, the generated target value determination image is stored in the image storage unit 112 of the video output device 110, and this target value determination image is output (S 1032). Note that the process of S 1032 is a process for obtaining a good target value in consideration of the influence of reflection of the video projected from the video projection device 130 other than the video projection device 130 corresponding to the reference pixel position. If the influence of reflection is considered to be sufficiently small, it may be omitted.
  • the target value determination unit 924f of the correction control unit 124 performs the selection process of the maximum input level target value (S1035). This process is a process of referring to the image data corresponding to each surface photographing coordinate and extracting a pixel value corresponding to the reference pixel position stored in the target data storage unit 9251. For each of R, G, and B, Do it independently.
  • the selected pixel value is stored as the maximum input level target value in the maximum input level individual target data of the target data storage unit 9251 (S 1036).
  • FIG. 39 is a flowchart showing the processing contents of the intermediate input level adjustment processing in the present embodiment.
  • FIG. 40 is a flowchart showing the processing contents of the intermediate input level target value determination processing in the present embodiment.
  • the intermediate input level to be processed is specified by the serial number! Speak.
  • display level determination processing is first performed (S1050). This process determines the display level used to determine the target value corresponding to the intermediate input level specified by the serial number. Specifically, the pixel value SPL at the reference pixel position of the parameter image corresponding to the minimum input level after feedback adjustment is stored in the target data storage unit 9251, and the post-adjustment after feedback adjustment is performed. When the pixel value at the reference pixel position of the parameter image corresponding to the maximum input level is PH, the minimum input level LL, the maximum input level LH, and the intermediate input level LM specified by the serial number are used for display.
  • the display level determined in S 1050 is stored in the intermediate input level individual target data specified by the serial number in the target data storage unit 9251 (S1051
  • exposure adjustment of the imaging device 150 is performed (S1053).
  • the exposure value is adjusted so that the maximum value of the pixel value of the photographed image data photographed by the imaging device 150 is within the range of about 128 to 192. Note that any exposure value may be used as long as the maximum pixel value is within such a range.
  • a target value determining image is generated by the target value determining image generating unit 924s so that the pixel values of all the pixels are equal to the display level stored in S1051, and the generated target value determining image is generated.
  • the image is stored in the image storage unit 112 of the video output device 110, and this target value determination image is output (S1054). Note that the processing of S1054 can be omitted, similar to the processing of S1032.
  • photographing is performed with the imaging device 150 (S1055).
  • the photographed image data photographed here is transmitted as whole photographed image data from the imaging device 150 to the video correction device 120 (S1 056).
  • the target value determination unit 924f of the correction control unit 124 performs a target value extraction process corresponding to the intermediate input level specified by the serial number (S1057).
  • This process is a process of referring to the image data corresponding to each plane imaging coordinate and extracting the pixel value corresponding to the reference pixel position stored in the target data storage unit 9251 from the whole imaging image data, G and B are performed independently.
  • the selected pixel value is stored in the intermediate input level individual target data specified by the serial number in the target data storage unit 9251 as the intermediate input level target value specified by the serial number (S 1058). ).
  • FIG. 41 is a flowchart showing the processing contents of the parameter generation / registration processing in this embodiment.
  • the parameter image correction unit 924r performs normal meta image smoothing processing (S1060). This processing is performed as an image filter for the minimum input level, maximum input level, and each intermediate input level, and the parameter image after completion of the feedback processing corresponding to each correction processing device 123A to 123D. This is a smoothing process, and each of R, G, and B is processed independently. For pixels with a pixel value of 0, the pixel value is set to 0 after the smoothing process, and for other parts, for example, a median filter is used for smoothing.
  • the smoothing filter used in the smoothing process is not limited to the median filter, and other smoothing filters such as an average filter may be used.
  • other smoothing filters such as an average filter may be used.
  • each surface overlapping projection frequency image data is generated as in the other embodiments, the generated surface overlapping projection frequency image data is referred to, and smoothing is performed for each region having the same overlapping projection frequency.
  • ⁇ Processing may be performed, and further, pixel values in the vicinity of the boundary between regions with different overlapping projection frequencies may be stored. By adopting such processing, a favorable processing result can be obtained particularly at a low input level.
  • the smoothing processing target may be limited to only an area having the overlapping projection power S “l”. By adopting such a process, the process of S1060 can be prevented from affecting the edge blend portion.
  • a pixel value conversion parameter generation process is performed (S1061). This processing is performed by converting the data format including approximation and interpolation as necessary from the parameter image stored in the parameter image storage unit 425r so as to correspond to the specifications of the correction processing devices 123A to 123D. In this process, a pixel value conversion parameter is generated and stored in the pixel value conversion parameter storage unit 125g.
  • parameter registration processing is performed (S1062). This process is performed by changing the pixel value generated in S1061. This is a process of setting replacement parameters and already generated geometric correction parameters in the correction processing devices 123A to 123D. After the completion of this process, the images projected by the image projection devices 130A to 130D form one image smoothly connected on the screen.
  • the exposure value cannot be acquired from the imaging apparatus. Even in such a case, adjustment can be performed using an appropriate exposure value for each input level.
  • the target value is determined using a predetermined pixel position, it is easy to obtain video characteristics close to the characteristics intended by the user. For example, when a liquid crystal projector is used as a video projector, even if image data that is uniformly white on the entire screen is projected, each projector power is projected to a gradation from green in the upper left to magenta in the lower right. Even in such a case, the coordinate value of the part that is displayed near white near the center is given as the pixel position when determining the target value. The characteristics of the part can be matched to the characteristics of the pixel position with good quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

　撮像装置や画像表示装置の特性が正確に得られない場合にも、画像表示装置の明るさや色合いの特性を画面内で略一様に調整できる技術を提供すること。 　特定の複数の入力レベルのそれぞれにおいて、調整に適した撮像装置の露出を決定する露出決定過程と、当該露出で調整を行った場合に、撮影画像データ上でどのような状態となるように調整すべきかという目標を決定する目標値決定過程と、画像表示装置の表示する映像を前記露出で撮影しながら、画像表示装置に供給する画像データを変更して、前記目標を達成するために前記画像表示装置に供給すべき画像データを探索する調整過程とを備えるようにし、前記特定の入力レベルの調整結果に基づいて、最終的な補正パラメタを生成するようにした。

Description

明 細 書
調整方法、映像補正装置及び映像表示システム
技術分野
[0001] 本発明は、映像表示システムの明るさや色合いを調整する技術に関する。
背景技術
[0002] 映像表示システムでは、映像を表示している領域内で略一様な特性が得られるよう に、明るさや色合いを調整する必要がある。特に、複数の映像投映装置を使用して スクリーンに映像を投映する映像表示システムにおいては、各々の映像投映装置に より投映される映像をつなぎ合わせるために、各々の映像投映装置から投映される 映像の明るさや色合いを調整する必要がある。
[0003] そのような調整を行う技術として、特許文献 1には、全ての映像投映装置から投映さ れるテスト映像をデジタルカメラで撮影し、この撮影された映像に基づ 、てスクリーン に投映される映像全体の輝度値を均一にする技術が開示されている。
[0004] 特許文献 1 :特開 2002— 116500
発明の開示
発明が解決しょうとする課題
[0005] し力しながら従来の技術では、（1)プロジェクタ力もパターン画像を投映したものを デジタルカメラで撮影し、 (2)あらかじめ求めてぉ ヽた該デジタルカメラの特性関数を 用いて撮影画像データの画素値を輝度値に変換し、 (3)変換された輝度値のデータ と各々のプロジェクタの特性関数とに基づいて所望の映像が得られるような補正パラ メタを算出していた、ため、良好な補正結果を得るためには個々の特性関数が正確 に求められている必要がある力 これらの特性関数を、明るさや色合いの調整に使え るだけの十分な精度で求めるためには、高いコストがかかっていた。
そこで、本発明は、これらの特性関数が分力ゝらない場合でも、映像を表示している領 域内で略一様な特性が得られるように映像表示システムの明るさや色合いを調整す ることができる技術を提供することを目的とする。
課題を解決するための手段 [0006] 以上の課題を解決するため、本発明では、調整に使用する個々の入力レベル毎に 、撮像装置の露出を調整に適した値に設定し、その露出で撮影した撮影画像データ 上における目標となる画素値を定めた上で、映像表示システムで表示される映像を 撮影した撮影画像データ上の画素値が前記目標となる画素値と一致するように、補 正パラメタを調整するようにした。
[0007] 例えば、本発明では、画像供給部から出力した画像データを画像補正部にお!、て 補正した後に画像表示部で表示することで所望の映像を映し出すことができるように した映像表示システムを、撮像装置を用いて調整する調整方法であって、特定の複 数の入力レベル毎に、前記撮像装置の露出を前記入力レベルの調整に適するよう に決定する露出決定過程と、前記入力レベルに対応する目標画素値決定用被写体 を前記露出決定過程で決定された露出で前記撮像装置により撮影した撮影画像デ ータから目標画素値を決定する目標画素値決定過程と、前記画像表示部にお!、て 表示された映像を前記露出決定過程で決定された露出で前記撮像装置により撮影 した撮影画像データの画素値を前記目標画素値に合わせるように前記画像表示部 に供給する画像データの画素値を画素毎に変更する調整過程と、を備えたことを特 徴とする調整方法によって調整する。
発明の効果
[0008] 以上のように、本発明によれば、調整時に使用する個々の入力レベル毎に撮影画 像データ上での目標とする画素値を定め、補正後の映像を撮影した撮影画像データ 上の画素値が該目標とする画素値に合うように補正パラメタを調整しているため、前 記特性関数が不要となる。また、調整時に使用する個々の入力レベル毎に、撮像装 置の露出を調整に適した値に設定して力 調整を行う構成としたため、撮像装置の ダイナミックレンジが映像表示システムのダイナミックレンジより狭 、場合でも、明る ヽ 側や暗い側での情報が潰れてしまうことなぐ前記調整を精度よく実施することが可 能となる。
図面の簡単な説明
[0009] [図 1]第一の実施形態である映像表示システム 100の概略構成図。
[図 2]映像出力装置 110の概略構成図。 圆 3]映像補正装置 120の概略構成図。
[図 4]補正処理装置 123の概略構成図。
圆 5]補正制御部 124の概略構成図。
圆 6]記憶部 125の概略構成図。
圆 7]幾何補正パラメタの説明図。
[図 8]映像表示システム 100の全体的な調整処理の流れを表すフローチャート。
[図 9]全体重複投映度数画像データ及び各面重み画像データ生成処理の処理内容 を示すフローチャート。
[図 10]各面重み画像データの説明図。
[図 11]最小入力レベル目標値決定処理の処理内容を示すフローチャート。
[図 12]最大入力レベル目標値決定処理の処理内容を示すフローチャート。
[図 13]最小入力レベルフィードバック調整処理の処理内容を示すフローチャート。
[図 14]中間入力レベル目標値決定処理の処理内容を示すフローチャート。
[図 15]最大入力レベルフィードバック調整処理の処理内容を示すフローチャート。
[図 16]中間入力レベルフィードバック調整処理の処理内容を示すフローチャート。
[図 17]撮像素子異常検出 ·修正処理の処理内容を示すフローチャート。
圆 18]第二の実施形態に係る補正制御部 424の概略構成図。
[図 19]第二の実施形態に係る記憶部 425の概略構成図。
圆 20]第三の実施形態に係る映像出力装置 510の概略構成図。
圆 21]第三の実施形態に係る映像補正装置 520の概略構成図。
圆 22]第三の実施形態に係る補正制御部 524の概略構成図。
圆 23]第四の実施形態に係る補正制御部 624の概略構成図。
圆 24]第四の実施形態に係る記憶部 625の概略構成図。
[図 25]第四の実施形態における全体的な処理の流れを示すフローチャート。
[図 26]全体映像表示領域画像データ生成処理の処理内容を示すフローチャート。
[図 27]最小入力レベル目標画像データ生成処理の処理内容を示すフローチャート。
[図 28]最大入力レベル目標画像データ生成処理の処理内容を示すフローチャート。
[図 29]中間入力レベル目標画像データ生成処理の処理内容を示すフローチャート。 [図 30]修正フィードバック調整処理の処理内容を示すフローチャート。
[図 31]スタック投映を行う際の処理内容を示すフローチャート。
[図 32]第六の実施形態に係る補正制御部 924の概略構成図。
[図 33]第六の実施形態に係る記憶部 925の概略構成図。
[図 34]第六の実施形態に係る各面ブレンド重み画像データの生成方法の説明図。
[図 35]第六の実施形態における全体的な流れを示すフローチャート。
[図 36]最小入力レベル目標値決定処理の処理内容を示すフローチャート。
[図 37]フィードバック調整処理の処理内容を示すフローチャート。
[図 38]最大入力レベル目標値決定処理の処理内容を示すフローチャート。
[図 39]中間入力レベル調整処理の処理内容を示すフローチャート。
[図 40]中間入力レベル目標値決定処理の処理内容を示すフローチャート。
[図 41]パラメタ生成登録処理の処理内容を示すフローチャート。
[図 42]画素値変換パラメタの説明図。
[図 43]中間入力レベル目標値決定処理における表示レベルの決定方法の説明図。 符号の説明
[0010] 100…映像表示システム、 110、 510…映像出力装置、 120、 520· ··映像補正装置 、 130…映像投映装置、 140· ··スクリーン、 150…撮像装置
発明を実施するための最良の形態
[0011] 以下、図 1〜図 17と図 42及び図 43を用いて、本発明の映像表示システムの第一 の実施形態について説明する。本実施形態では説明を簡単にするため、映像表示 システムが備える各々の映像投映装置において、 R、 G、 Bの各色間の特性があらか じめ調整されており、したがって R、 G、 Bの各色に対して同一の補正を行えば十分で ある場合について説明を行う。
[0012] なお、後述の各々の映像投映装置 130A〜130Dに対して、各々対応する補正処 理装置 123A〜 123Dの幾何補正パラメタ記憶部 123dに恒等変換幾何補正パラメ タを記憶し画素値変換パラメタ記憶部 123fには恒等変換画素値変換パラメタを記憶 して映像を投映した場合に映像が表示される領域をその映像投映装置の「映像投映 領域」と呼び、幾何補正パラメタ記憶部 123dに既に調整されている幾何補正パラメ タを記憶し画素値変換パラメタ記憶部 123fには恒等変換画素値変換パラメタを記憶 して映像を投映した場合に映像が表示される領域をその映像投映装置の「映像表示 領域」と呼び、各々の映像投映装置 130A〜130Dに対して「映像投映領域の内側 かつ映像表示領域の外側」であるような領域をその映像投映装置の「担当外投映領 域」と呼び、いずれかの投映装置の映像表示領域の内側であるような領域を「全体映 像表示領域」と呼ぶ。
[0013] 図 1は、本発明の第一の実施形態である映像表示システム 100の概略構成図であ る。
[0014] 映像表示システム 100は、映像出力装置 110と、映像補正装置 120と、映像投映 装置 130A〜130Dと、スクリーン 140と、撮像装置 150と、を備えている。そして、映 像出力装置 110から出力された映像に対して映像補正装置 120で幾何的な補正と 画素値の変換を行った後に映像投映装置 130A〜130Dからスクリーン 140に投映 することで、スクリーン 140に所望の映像を映し出すことができるようにされている。ま た、映像出力装置 110及び映像補正装置 120からは、 R, G, Bの各色が各々 8ビット で表現される画像データが出力されるようにされて 、る。
[0015] ここで、本システムでは、スクリーン 140に映し出された映像を撮像装置 150で撮影 し、撮影された撮影画像データに基づいて映像補正装置 120における画素値変換 の基準となる画素値変換パラメタを更新する、所謂フィードバック方式によって画素 値変換パラメタの調整、すなわちスクリーン 140に映し出される映像の調整を行う。そ の際の終了判定は、映像投映装置に入力される画素値が離散値であるという性質を 利用した後述の方法により、前回との差分を基準とした評価値の大きさによって終了 する力否かを決定する所謂収束判定ではなぐフィードバックループを反復した回数 によって為される。
[0016] 映像出力装置 110は、図 2に示されているように、映像入力部 111と、画像記憶部 112と、映像制御部 113と、映像出力部 114A〜114Dと、第一の送受信部 115と、 を備えている。 映像入力部 111は、スクリーン 140に投映するための画像データを 入力するものであり、 1つまたは複数の CD— ROM (Compact Disk Read Only Memo ry)、 DVD-ROM (Digital Versatile Disk Read Only Memory)、磁気ディスクなどの 記憶媒体力も画像データを読み込むものである。また、 1台または複数台の PC (パー ソナルコンピュータ）やゲーム機などによって生成される画像データを入力するような 構成としてもよい。これらの画像データは、スクリーン 140上に映し出す映像全体に 対応する 1つのデータであってもよ 、し、あらかじめ映像投映装置 130A〜 130Dの 各々の担当範囲毎に保持または生成される複数のデータであってもよいし、さらには
、スクリーン 140上に映し出す映像を再構成できるだけの情報を含んだ、映像投映装 置の構成とは関係な 、複数のデータによって構成するようにしてもょ 、。
[0017] 画像記憶部 112は、後述する映像補正装置 120からの指令に応じてスクリーン 14 0に投映するための、調整用の画像データを記憶している。本実施形態では、調整 用の画像データとして各色 8ビットの画像データを使用しており、全ての画素の画素 値力 S (R, G, B) = (128, 128, 128)等、 R、 G、 Bの値力 ^等し!/ヽ 256偶の画像データ と、全ての画素の画素値が後述する前景色の値に等 、画像データ及び全ての画 素の画素値が後述する後景色の値に等しい画像データを記憶している。調整用の 画像データは、映像投映装置 130A〜130Dの各々に適した解像度のものが記憶さ れているが、複数の映像投映装置においてそのような解像度が等しい場合には、 1 つの画像データを複数の映像投映装置に対して共通に使用するようにしてもよい。 なお、画像記憶部 112は、例えば、ハードディスク、 DVD、 RAM (Random Acces s Memory)などの補助記憶装置により構成することができる。また、 1台または複数 台の PCなどを用いて、映像制御部 113からの指令に基づ 、て画像データを自動生 成するような構成としてもよい。さらに、映像入力部 111と画像記憶部 112とを同一の 装置で構成してもよい。
[0018] 映像制御部 113は、映像入力部 111から入力された画像データや画像記憶部 11 2に記憶されて ヽる画像データを、映像出力部 114A〜114Dを介して映像補正装 置 120に出力する際の制御を行う。具体的には、映像入力部 111から入力された画 像データを後述する映像投映装置 130A〜 130Dの数及び配置に関する設計パラメ タに応じて抽出し、映像補正装置 120に出力する。また、後述する第一の送受信部 1 15を介して映像補正装置 120から特定の画像データを出力する指令を受信すると、 要求された画像データを画像記憶部 112から読み出し、映像補正装置 120に出力 する。なお、映像制御部 113は、例えば、 CPU (Central Processing Unit)で所定の プログラムを実行することにより実現することができる。
[0019] 映像出力部 114A〜114Dは、画像データを映像補正装置 120に出力する。具体 的には、既知の映像出力用インターフェースを用いて構成することが可能である。な お、映像補正装置 120にアナログ信号を出力する場合には、 DZA変翻を備える インターフェースを用いる。
[0020] 第一の送受信部 115では、映像補正装置 120との間でデータの送受信を行う。具 体的には、赤外線インターフェースや RS— 232Cインターフェースや NIC (Network I nterface Card)等を用いて構成すればよい。
[0021] 映像補正装置 120は、図 3に示されているように、補正部 121と調整部 122とを備 えており、補正部 121は、補正処理装置 123A〜123Dを有しており、調整部 122は 、補正制御部 124、記憶部 125、入力装置 126と、第二の送受信部 127及び第三の 送受信部 128を有している。
[0022] 補正処理装置 123A〜123Dは、図 4に示されているように、入力部 123aと、フレ ームメモリ 123bと、補正データ入力部 123cと、幾何補正パラメタ記憶部 123dと、幾 何補正部 123eと、画素値変換パラメタ記憶部 123fと、画素値変換部 123gと、出力 部 123hと、を備えている。
[0023] 入力部 123aは、映像出力装置 110から出力された画像データを補正処理装置 12 3A〜123Dに入力する。具体的には、映像出力部 114A〜114Dに合わせて、既知 の映像入力用インターフェースを用いて構成する。なお、映像出力部 114A〜114D で DZA変 を備えるインターフェースを用いる場合には、入力部 123aでは、 AZ D変翻を備えるインターフェースを用いる。
[0024] フレームメモリ 123bは、入力部 123aから入力された画像データを記憶する。
[0025] 補正データ入力部 123cは、映像補正装置 120の補正制御部 124との間でデータ を送受信するインターフェースであり、例えば、 PCI (Peripheral Component
Interconnect)インターフェースや USB (Universal Serial Bus)インターフェース等で 構成する。
[0026] 幾何補正パラメタ記憶部 123dは、映像補正装置 120の補正制御部 124から送信 された補正パラメタを記憶する。本実施形態では、入力された画像データと幾何的に 等価な画像データを出力するための恒等変換幾何補正パラメタと、四つの映像投映 装置 130A〜130Dカも投映される映像がスクリーン 140において幾何的に滑らかに 繋がるように出力するための幾何補正パラメタと、のうちのいずれか一方を記憶して いる。どちらのパラメタを記憶しているかは補正制御部 124によって制御される力 一 度調整が完了した後、再び調整が必要となるまでは、幾何補正パラメタの方が記憶さ れる。なお、本実施形態においては、幾何補正パラメタは既知の方法で既に生成さ れているものとする。また、幾何補正パラメタ記憶部 123dは、例えば、 RAM (Rando m Access Memory)などの記憶装置で実現することができる力 恒等変換幾何補正 ノ メタと幾何補正パラメタの両方を記憶しておけるだけの記憶容量がある場合には 、恒等変換幾何補正パラメタと幾何補正パラメタの両方を記憶しておき、補正制御部 124からは幾何補正部 123eが実施する補正処理にぉ 、てどちらの補正パラメタを 使用するかを制御するようにしてもょ ヽ。
[0027] 幾何補正部 123eは、幾何補正パラメタ記憶部 123dに記憶されて 、る補正パラメタ を使用してフレームメモリから読み出した画像データに幾何的な補正を施すものであ り、具体的には、 FPGA (Field Programmable Gate Array)等の論理回路で構成する ことができる。
[0028] なお、本実施形態では説明を簡単にするため、映像出力装置 110から出力される 各画像データの解像度と各々対応する映像投映装置 130A〜130Dに入力すべき 画像データの解像度とが等しくなるように、すなわち、幾何補正部 123eに入力される 画像データの解像度と幾何補正部 123eから出力される画像データの解像度とが等 しくなるようにシステムを構成しているが、本発明の実施形態はこのような態様に限定 されるものではなぐ幾何補正部 123eでの補正の前後における解像度の違いを考 慮することにより、両者の解像度が異なる場合にも容易に実施可能である。
[0029] 画素値変換パラメタ記憶部 123fは、映像補正装置 120の補正制御部 124から送 信された変換パラメタを記憶する。本実施形態では、画素値変換部 123gに入力され た画像データの各画素の画素値をそのまま出力するための恒等変換画素値変換パ ラメタと、画素値変換部 123gに入力された画像データの各画素の画素値に所定の 変換を施してから出力するための画素値変換パラメタと、のうちのいずれか一方を記 憶している。どちらのパラメタを記憶しているかは補正制御部 124によって制御される 力 一度調整が完了した後、再び調整が必要となるまでは、画素値変換パラメタの方 が記憶される。なお、画素値変換パラメタ記憶部 123fは、例えば、 RAM (Random A ccess Memory)などの記憶装置で実現することができる力 恒等変換画素値変換パ ラメタと画素値変換パラメタの両方を記憶しておけるだけの記憶容量がある場合には 、恒等変換画素値変換パラメタと画素値変換パラメタの両方を記憶しておき、補正制 御部 124からは画素値変換部 123gが実施する補正処理にぉ 、てどちらの変換パラ メタを使用するかを制御するようにしてもょ ヽ。
[0030] 各々の変換パラメタは、各映像投映装置 130A〜130Dに対して出力する画像デ ータと等しい解像度を有するパラメタである。これらの変換パラメタについて、図 42を 用いて説明する。
[0031] 図 42(a)は、各々の画素位置毎に独立に保持するパラメタを説明する図である。
[0032] 各々の画素位置においては、入力画素値として最小入力レベル L0が入力された 場合には画素値を L10に変換して出力し、入力画素値として第一の中間入力レベル L1が入力された場合には画素値を L11に変換して出力し、入力画素値として第二 の中間入力レベル L2が入力された場合には画素値を L 12に変換して出力し、入力 画素値として第三の中間入力レベル L3が入力された場合には画素値を L 13に変換 して出力し、入力画素値として最大入力レベル L4が入力された場合には画素値を L 14に変換して出力し、入力画素値としてその他の入力レベルが入力された場合には 、例えば、入力レベル L0〜L4と出力レベル L10〜L14とに基づいて規定される区 分線形関数 974aに基づいて画素値を変換して出力する。ここで、入力レベル LO, L 1, L2, L3, L4については設計値としてあらかじめ規定されている値であるため、区 分線形関数 974aを定義するために各々の画素位置毎に独立に保持することが必要 となるパラメタは、各々の入力レベルに対応する出力レベル LIO, Ll l, L12, L13, L14となる。そのため、各々の画素位置に対してこの 5つの出力レベルの組を設定し たものが、画素値変換パラメタ記憶部 123fに記憶される画素値変換パラメタである。
[0033] なお、後述の画素値変換パラメタ記憶部 125gに記憶するパラメタは、各々の入力 レベル毎に独立に扱えるような構成とした方が望ましいため、各々の画素位置につ いてその画素位置に対応する L 10を画素値として設定した画素値変換パラメタであ る最小入力レベル画素値変換パラメタと、各々の画素位置についてその画素位置に 対応する LI 1を画素値として設定した画素値変換パラメタである第一の中間入カレ ベル画素値変換パラメタと、各々の画素位置についてその画素位置に対応する L12 を画素値として設定した画素値変換パラメタである第二の中間入力レベル画素値変 換パラメタと、各々の画素位置についてその画素位置に対応する L13を画素値とし て設定した画素値変換パラメタである第三の中間入力レベル画素値変換パラメタと、 各々の画素位置についてその画素位置に対応する L14を画素値として設定した画 素値変換パラメタである最大入力レベル画素値変換パラメタとで構成し、後述の補正 処理制御部 124bを介して画素値変換パラメタ記憶部 123fに記憶される際に、フォ 一マットの変換が為されるように構成する。
[0034] 図 42 (b)及び図 42 (c)は、図 42 (a)の区分線形関数 974aとして、特別な関数を設 定する場合の例である。
[0035] 図 42 (b)の区分線形関数 974bは恒等変換に対応するものであり、出力レベル L2 0は入力レベル LOに等しぐ出力レベル L21は入力レベル L1に等しぐ出力レベル L22は入力レベル L2に等しぐ出力レベル L23は入力レベル L3に等しぐ出カレべ ノレ L24iま人カレべノレ L4に等し!/ヽ。全ての画素に対して「L20, L21, L22, L23, L2 4」の組を設定したものが、画素値変換パラメタ記憶部 123fに記憶される恒等変換画 素値変換パラメタである。
[0036] 図 42 (c)の区分線形関数 974cは、画素値としてどんな入力レベルが入力された場 合にも、出力レベル L30を出力するためのものである。この形の区分線形関数を使 用して、各々の画素毎に L30の値を適切に設定することで、画素値変換部 123gに どんな画像データが入力された場合にも、それに依存せず、常に所望の画像データ を出力するようにできる。
[0037] なお、画素値の変換に用いる特性関数は、例示した区分線形関数に限るものでは なぐ例えば 3次スプライン関数など、複数の制御点によって規定される他の関数を 使用してもよい。また、各々の画素位置毎の制御点の数に関しても、例示した 5点に 限らず、 2点以上 256点以下（出力が 8ビットの数で表現される場合)の任意の数を使 用可能である。この制御点の数は、さらに、後述の画素値変換パラメタ記憶部 125g に記憶するパラメタの数との関係も任意であり、両者が異なる場合には、画素値変換 パラメタ記憶部 125gに記憶するパラメタが後述の補正処理制御部 124bを介して画 素値変換パラメタ記憶部 123fに記憶される際、フォーマットの変換の一部として既存 の方法による最適化が為された上で記憶されるように構成すればよい。例えば、制御 点の数は 5点としたまま、異なる 7種類の入力レベルに対して後述の調整を行い、補 正処理制御部 124bで、その結果を最もよく近似するパラメタとして画素値変換パラメ タ記憶部 123fに記憶させるパラメタを生成し、画素値変換パラメタ記憶部 123fに記 '隐させるようにしてちょい。
[0038] 画素値変換部 123gは、画素値変換パラメタ記憶部 123fに記憶されている変換パ ラメタを使用して、幾何補正部 123eから入力された画像データの各画素の画素値を 変換し、出力部 123hに送り出すものであり、具体的には、 FPGA (Field Programmab le Gate Array)等の論理回路で構成することができる。なお、画素値変換部 123gに おける処理では、解像度の変更は為されず、画素値変換部 123gに入力される画像 データと同じ解像度の画像データが出力される。
[0039] 出力部 123hは、画素値変換部 123gから送られてきた画像データを映像投映装置 130A〜 130Dに送信するためのインターフェースであり、既知の映像用出力インタ 一フェースを用いることが可能である。なお、映像投映装置 130A〜130Dでアナ口 グ信号を入力するように構成されて ヽる場合には、 DZA変 を有するインターフ エースを使用する。
[0040] 補正制御部 124は、図 5に示されているように、画素値変換パラメタ更新部 124aと 、補正処理装置制御部 124bと、撮像装置制御部 124cと、映像出力装置制御部 12 4dと、全体重複投映度数画像データ及び各面ブレンド重み画像データ生成部 124e と、目標値決定部 124fと、フィードバック調整部 124gと、撮像素子異常検出 ·修正部 124hと、映像表示領域外パラメタ修正部 124iと、を備えている。
[0041] 画素値変換パラメタ更新部 124aは、後述するフィードバック調整部 124g、撮像素 子異常検出'修正部 124h、映像表示領域外パラメタ修正部 124iの要求に応じ画素 値変換パラメタのパラメタ値を更新する。
[0042] 補正処理装置制御部 124bは、各補正処理装置 123A〜123Dで行う補正処理を 制御する。具体的には、恒等変換幾何補正パラメタ記憶部 125dに記憶されている 恒等変換幾何補正パラメタ及び幾何補正パラメタ記憶部 125fに記憶されている幾 何補正パラメタを必要に応じて各補正処理装置 123A〜 123Dの幾何補正パラメタ 記憶部 123dに記憶させ、また、恒等変換画素値変換パラメタ記憶部 125eに記憶さ れている恒等変換画素値変換パラメタ及び画素値変換パラメタ記憶部 125gに記憶 されて 、る画素値変換パラメタを必要に応じて各補正処理装置 123A〜 123Dの画 素値変換パラメタ記憶部 123fに記憶させる。
[0043] なお、記憶部 125に記憶されている各々の補正パラメタや各々の変換パラメタが、 各々の補正処理装置 123A〜123Dの仕様に関係なく汎用的なものとして生成され ている場合には、各々の補正処理装置 123A〜123Dにおいて等価な効果が得られ るようなデータフォーマットの変換等に関しても、補正処理装置制御部 124bで実施 する。
[0044] 撮像装置制御部 124cは、後述する撮像装置 150を制御する。具体的には、撮像 装置 150の露出や撮影タイミングの制御を行うとともに、撮像装置 150で撮影された 撮影画像データの入出力制御を行う。
[0045] 映像出力装置制御部 124dは、後述する第二の送受信部 127を介して、映像出力 装置 110を制御する。具体的には、映像出力装置 110の画像記憶部 112に記憶さ れている調整用の画像データのうちから、所望の画像データを出力させるための指 令を映像出力装置 110に送信する。
[0046] 全体重複投映度数画像データ及び各面ブレンド重み画像データ生成部 124eは、 後述する映像投映装置 130A〜130Dがスクリーン 140上に投映した映像を後述す る撮像装置 150で撮影し、このようにして撮影された撮影画像データの各々の画素 位置において、映像の重複数 (何台の映像投映装置 130A〜130Dカも投映されて いるか)を表す全体重複投映度数画像データを算出し、さらに、この全体重複投映度 数画像データに基づき、各映像投映装置 130A〜 130Dに対応する各面ブレンド重 み画像データを算出する。 [0047] なお、全体重複投映度数画像データは、撮影画像データと同じ解像度を有する画 像データであり、映像投映装置 130A〜 130Dのうち 1つからだけ映像が投映されて いる領域 (すなわち映像投映装置 130A〜130Dの映像投映領域のうちいずれか 1 つだけに含まれている領域）に対応する領域に含まれる画素には「1」、映像投映装 置 130A〜130Dのうち丁度 2つから映像が投映されている領域に対応する領域に 含まれる画素には「2」、映像投映装置 130A〜130Dのうち丁度 3つから映像が投映 されて!/ヽる領域に対応する領域に含まれる画素には「3」、映像投映装置 130A〜 13 ODのうち丁度 4つから映像が投映されている領域に対応する領域に含まれる画素に は「4」、どの映像投映装置 130A〜 130Dからの映像も投映されて 、な 、領域に対 応する領域に含まれる画素には「0」、の数値が各々の画素の画素値として設定され ている。
[0048] また、各面ブレンド重み画像データは、各々の画素値変換部 123gに入力される画 像データと等し 、解像度を有する画像データであって、他の映像投映装置との分担 を考慮した場合のその位置の画素が担当する明るさの割合 (これはあくまで説明のた めの直感的な表現であり、スクリーン 140上での明るさや撮像装置 140で計測される 明るさが実際にこの割合に従って分担されるわけではない）を画素毎に 0以上 1以下 の数値で表したものである。従来から知られて 、るエッジブレンドと呼ばれる効果を実 現するため、映像を表示している領域の境界に近づくに従って、値が小さくなるように している。
[0049] なお、これらの画像データの具体的な生成方法につ!、ては、後述する。
[0050] 目標値決定部 124fは、フィードバック調整を行う際に目標値とする、撮影画像デー タにおける画素値を決定する。
[0051] 本実施形態では、映像出力装置 110から出力される画像データの全ての画素の画 素値が、最小入力レベル (R, G, B共通に、画素値が 0)、最大入力レベル (R, G, B 共通に、画素値が 255)、第一の中間入力レベル (R, G, B共通に、画素値が 64)、 第二の中間入力レベル (R, G, B共通に、画素値が 128)及び第三の中間入カレべ ル (R, G, B共通に、画素値が 192)の五つの場合について、それぞれ画像データを スクリーン 140に投映してフィードバック調整を行うため、これらの画像データのそれ ぞれについて対応する目標値を決定する。なお、具体的な目標値の決定方法は後 述する。
[0052] また、目標値決定部 124fでは、前記各々の目標値を決定するための基準画素位 置の決定も行う。その具体的な方法は、目標値の決定方法と合わせ、後述する。
[0053] フィードバック調整部 124gは、それぞれの画像データを映像投映装置 130A〜 13 ODに入力し、スクリーンに投映した際の映像を撮像装置 150で撮影した撮影画像デ ータの画素値力 目標値決定部 124fで決定された画素値の目標値と一致するよう にフィードバック調整を行う。
[0054] ここで、本実施形態では、補正処理装置 123A〜123Dに設定する画素値変換パ ラメタを変更することでフィードバック調整を行っている。
[0055] なお、具体的なフィードバック調整の方法は後述する。
[0056] 撮像素子異常検出'修正部 124hは、後述する撮像装置 150の撮像素子面にゴミ が付着して!/ヽる場合や、撮像素子自体が破損して ヽる場合等の撮像素子の異常を 検出して、画素値変換パラメタを修正する。具体的には、撮像素子面にゴミが付着し て 、る場合や撮像素子自体が破損して 、る場合、露出を変えて撮影を行ってもほと んど画素値に変化が生じないことを利用して撮像素子の異常を検出し、異常と判定 されて 、な 、部分の画素値変換パラメタを用いて異常部分の画素値変換パラメタを 修正する。この修正は、具体的には、既存の内挿法ゃ外揷法などを用いて実施すれ ばよい。
[0057] 映像表示領域外パラメタ修正部 124iは、映像投映装置 130A〜130Dの投映領域 のうち、映像出力装置 110から出力された画像データを投映する映像表示領域以外 の部分の画素値を、前述のフィードバック調整部 124gで調整された最小入力レベル 画素値変換パラメタのパラメタ値となるように、画素値変換パラメタの修正を行う。
[0058] なお、補正制御部 124は、例えば、 CPUで所定のプログラムを実行することにより 実現可能である。
[0059] 映像補正装置 120の記憶部 125は、図 6に示されているように、中間入カレベルデ ータ記憶部 125aと、撮像素子異常判定画素値閾値データ記憶部 125bと、撮像素 子異常判定回数閾値データ記憶部 125cと、恒等変換幾何補正パラメタ記憶部 125 dと、恒等変換画素値変換パラメタ記憶部 125eと、幾何補正パラメタ記憶部 125fと、 画素値変換パラメタ記憶部 125gと、各面撮影座標対応画像データ記憶部 125hと、 各面ブレンド重み画像データ記憶部 125iと、基準画素位置データ記憶部 12¾と、 全体重複投映度数画像データ記憶部 125kと、目標データ記憶部 1251と、振幅値デ ータ記憶部 125mと、反復回数データ記憶部 125ηと、シリアル番号記憶部 125ρと、 各面異常検出回数画像データ記憶部 125qと、を備える。
[0060] 中間入力レベルデータ記憶部 125aには、フィードバック調整を行う中間入カレべ ルを特定するためのデータを記憶する。本実施形態では、第一の中間入力レベル（ 全ての画素値が 64)の画像データ、第二の中間入力レベル（全ての画素値が 128) の画像データ及び第三の中間入力レベル (全ての画素値が 192)の画像データにつ いて目標値を決定し、フィードバック調整を行うこととしているため、これらの三つの入 カレベルを特定するデータが所定の形式で記憶されている。
[0061] なお、第一の中間入力レベルの画像データにはシリアル番号 0が付されており、第 二の中間入力レベルの画像データにはシリアル番号 1が付されており、第三の中間 入力レベルの画像データにはシリアル番号 2が付されている。これらのシリアル番号 は、中間入力レベルの目標値を決定する際や中間入力レベルのフィードバック調整 を行う際に利用される。
[0062] 撮像素子異常判定画素値閾値データ記憶部 125bには、撮像素子異常検出 '修 正部 124hで、撮像素子の異常を検出する際の閾値が記憶されている。本実施形態 では、画素値が 128〜192程度となるように撮像装置 150の露出を調整しているため 、この閾値として 50程度の数値を設定している。
[0063] 撮像素子異常判定回数閾値データ記憶部 125cには、撮像素子異常検出 ·修正部 124hにお 、て各々の位置での画素値が何回「撮像素子異常判定画素値閾値デー タ記憶部 125bに記憶されて 、る閾値以下」となった場合にその位置の撮像素子に 異常があると判定する力 という判定で使用するための閾値が記憶されている。本実 施形態では、第一の中間入力レベル、第二の中間入力レベル及び第三の中間入力 レベルの三つの中間入力レベルにつき撮像素子の異常検出を行うようにしているた め、この閾値として「3」の数値を設定している力 撮像素子異常検出'修正部 124h での誤判定を考慮して、「2」や「1」の数値とすることも可能である。
[0064] 恒等変換幾何補正パラメタ記憶部 125dには、恒等変換幾何補正パラメタが記憶さ れている。恒等変換幾何補正パラメタは、幾何補正部 123eに入力された画像データ と、幾何補正部 123eから出力される画像データとが、幾何的に等価となるようにする ためのパラメタであり、それぞれの補正処理装置 123A〜123D毎に用意する。本実 施形態においては、解像度の変換が為されないため、出力される画像データの各々 の画素位置に対して、入力される画像データの、その画素位置と同じ画素位置を対 応させるようなパラメタが、恒等変換幾何補正パラメタとなる。なお、解像度が同じ場 合には、同一のパラメタを複数の補正処理装置 123A〜 123Dで共通に使用しても よい。
[0065] 恒等変換画素値変換パラメタ記憶部 125eには、恒等変換画素値変換パラメタが 記憶されている。恒等変換画素値変換パラメタは、画素値変換部 123gに入力された 画像データと、画素値変換部 123gから出力される画像データとで、各々対応する画 素の画素値を等しくするようなパラメタであり、それぞれの補正処理装置 123A〜 12 3D毎に用意する。なお、解像度が同じ場合には、同一のパラメタを複数の補正処理 装置 123A〜 123Dで共通に使用してもよ!、。
[0066] 幾何補正パラメタ記憶部 125fには、幾何補正パラメタを記憶する。幾何補正パラメ タは、個々の補正処理装置 123A〜123Dから映像投映装置 130A〜130Dに出力 する画像データの解像度と等しい解像度を有するパラメタであり、補正処理装置 123 A〜123D毎に用意する。なお、この幾何補正パラメタの内容については、後述する (図 7)。本実施例においては、幾何補正パラメタは、既知の方法であらかじめ生成さ れ幾何補正パラメタ記憶部 125fに記憶されているものとする。
[0067] 画素値変換パラメタ記憶部 125gには、画素値変換パラメタを記憶する。具体的に は、個々の補正処理装置 123A〜123D毎に、最小入力レベル画素値変換パラメタ 、最大入力レベル画素値変換パラメタ、第一の中間入力レベル画素値変換パラメタ 、第二の中間入力レベル画素値変換パラメタ及び第三の中間入力レベル画素値変 換パラメタを記憶する。補正処理装置制御部 124bでは、画素値変換パラメタ記憶部 125gに記憶されて 、る画素値変換パラメタを各補正処理装置 123A〜 123Dの画 素値変換パラメタ記憶部 123fに記憶させる際に、最小入力レベル画素値変換パラメ タ、最大入力レベル画素値変換パラメタ、第一の中間入力レベル画素値変換パラメ タ、第二の中間入力レベル画素値変換パラメタ及び第三の中間入力レベル画素値 変換パラメタに基づいて、既知の方法で画素毎に補間処理を行うことで各々の補正 処理装置 123A〜 123Dの仕様に合致する特性関数を生成した上で、画素値変換 パラメタ記憶部 123fに記憶させる。
各面撮影座標対応画像データ記憶部 125hには、各面撮影座標対応画像データ を記憶する。各面撮影座標対応画像データは、個々の補正処理装置 123A〜123 Dに入力される画像データの解像度と等 ヽ解像度を有する画像データであり、各 画素の画素値はその画素に対応する撮影画像データ上の座標位置を表す 2次元べ タトル値である。この各面撮影座標対応画像データは、補正処理装置 123 A〜 123 D毎に用意するものであり、本実施形態では、既知の方法であら力じめ生成され、各 面撮影座標対応画像データ記憶部 125hに記憶されているものとする。例えば、個 々の補正処理装置 123A〜 123Dに恒等変換幾何補正パラメタと恒等変換画素値 変換パラメタを設定した上で、グレイコード (交番 2進コード)と呼ばれる複数枚のバタ ーン画像データを各映像投映装置 130A〜 130D力も個別に投映しながら撮像装置 150で撮影した複数の撮影画像データを用 V、て、各補正処理装置 123A〜 123Dの フレームメモリ 123b上の座標位置と撮影画像データ上の座標位置とを対応させるこ とによって生成することができる。なお、ここで使用する既知の方法に応じて、必要な ノターン画像データを画像記憶部 112に記憶しておく。なお、後述の処理における 計算効率を向上させるために、撮影画像データの解像度の情報と、各々の各面撮影 座標対応画像データとから、各々の各面撮影座標対応画像データの逆写像 (撮影 画像データの解像度と等 ヽ解像度を有する画像データであり、各画素の画素値は 、撮影画像データ上のその画素位置に対応するフレームメモリ上の座標位置を表す 2次元ベクトル値であり、対応する画素位置がない画素に対しては画素値として NZ A値が設定されているようなもの）を既存の方法であらかじめ生成し、各面撮影座標 対応画像データと一緒に各面撮影座標対応画像データ記憶部 125hに記憶してお くような構成としてもよい。 [0069] ここで、図 7を用いて、幾何補正パラメタ及び各面撮影座標対応画像データにっ ヽ て説明する。なお、図 7は、スクリーン 140に向力つて右下部分に投映する映像投映 装置 130Dに対応する図である。
[0070] 図 7において、座標系 160は幾何補正パラメタの用いる座標系であり、座標系 162 はフレームメモリ上の座標系であり、座標系 163は撮影画像データ上の座標系であ る。また、座標系 160上の領域 161は、幾何補正部 123eにおける処理でフレームメ モリ 123b上の画像データ力も画素値を取得することによって補正処理装置 123Dに 入力された画像データの一部が出力される領域である。幾何補正パラメタの画素値 としては、次のような 2次元ベクトル値を設定する。まず、領域 161内の画素位置 161 aに対しては、フレームメモリ 123b上の座標系において参照元となる点 162aの座標 値を設定する。また、領域 161の外にある画素位置 161bに対しては、あら力じめ定 めておいた N/A値を設定する。なお、幾何補正部 123eにおいては、この NZA値 に対しては (0、 0、 0)の画素値を出力する。
[0071] 同様に、フレームメモリ上の各々の画素位置 162aに対して、その画素位置の画素 のスクリーン上での位置が写っている撮影画像データ上の座標値 163aを対応付け たものが撮影座標対応画像データであり、全ての映像投映装置 130A〜 130Dに対 応する撮影座標対応画像データの集合が、各面撮影座標対応画像データである。こ の撮影座標対応画像データに関しても、対応する撮影画像データ上の座標値が得 られない画素位置に対しては NZA値を設定しておく。
[0072] なお、幾何補正パラメタ及び各面撮影座標対応画像データの各画素値に関しては 、各々の値が実数値であるような 2次元ベクトル値が用いられる。これは各々のデー タの精度を向上させることを目的とした既存の技術であり、格子点以外の座標が対応 付けられている場合であっても、双線形補間など既存の方法を使うことによって、参 照先の座標に対応する画素値を算出することができる。
[0073] 各面ブレンド重み画像データ記憶部 125iには、全体重複投映度数画像データ及 び各面ブレンド重み画像データ生成部 124eで生成した各面ブレンド重み画像デー タが記憶される。
[0074] 基準画素位置データ記憶部 12¾には、目標値決定部 124fで決定された基準画 素位置データが記憶される。ここで、基準画素位置データは、基準とする映像投映装 置 130A〜130Dに対応するシリアル番号と、基準とする映像投映装置に対応する 補正処理装置 123A〜 123Dのフレームメモリ 123b上の座標値とで構成されるデー タである。この基準画素位置に対応する撮影画像データ上の画素位置は、各面撮影 座標対応画像データ記憶部 125hに記憶されて 、る、シリアル番号で特定される撮 影座標対応画像データを参照することで、容易に得ることができる。
[0075] 全体重複投映度数画像データ記憶部 125kには、全体重複投映度数画像データ 及び各面ブレンド重み画像データ生成部 124eで生成した全体重複投映度数画像 データが記憶される。
[0076] 目標データ記憶部 1251には、最小入力レベル個別目標データと、最大入カレべ ル個別目標データと、第一の中間入力レベル個別目標データと、第二の中間入カレ ベル個別目標データと、第三の中間入力レベル個別目標データと、を記憶する。
[0077] 最小入力レベル個別目標データは、最小入力レベル画素値 (R, G, B共通に、画 素値が 0)と、撮像装置 150で撮影する際の露出値である最小入力レベル用露出値 と、フィードバック調整での目標となる最小入力レベル目標値と、力もなつている。ここ で、最小入力レベル画素値は設計値であり、最小入力レベル用露出値と最小入カレ ベル目標値は、いずれも目標値決定部 124fにおける処理で決定される値である。
[0078] 最大入力レベル個別目標データは、最大入力レベル画素値 (R, G, B共通に、画 素値が 255)と、撮像装置 150で撮影する際の露出値である最大入力レベル用露出 値と、フィードバック調整での目標となる最大入力レベル目標値と、からなつている。 ここで、最大入力レベル画素値は設計値であり、最大入力レベル用露出値と最大入 カレベル目標値は、いずれも目標値決定部 124fにおける処理で決定される値であ る。
[0079] 第一の中間入力レベル個別目標データは、第一の中間入力レベル画素値 (R, G, B共通に、画素値が 64)と、第一の中間表示レベルと、撮像装置 150で撮影する際 の露出値である第一の中間入力レベル用露出値と、フィードバック調整での目標とな る第一の中間入力レベル目標値と、力もなつている。ここで、第一の中間入力レベル 画素値は設計値であり、第一の中間表示レベルと第一の中間入力レベル用露出値 と第一の中間入力レベル目標値は 、ずれも目標値決定部 124fにおける処理で決 定される値である。なお、第一の中間入力レベル目標値は、全ての画素の画素値が R, G, B共通に第一の中間表示レベルに等しい画像データを、恒等変換画素値変 換パラメタを用 V、て変換して映像投映装置 130A〜 130Dカも投映し、その映像を撮 像装置 150で第一の中間入力レベル用露出値を用いて撮影した撮影画像データ上 で、基準画素位置における画素値を求めることで算出される。
[0080] 同様に、第二の中間入力レベル個別目標データは、第二の中間入力レベル画素 値 (R, G, B共通に、画素値が 128)と、第二の中間表示レベルと、撮像装置 150で 撮影する際の露出値である第二の中間入力レベル用露出値と、フィードバック調整 での目標となる第二の中間入力レベル目標値と、力もなつている。ここで、第二の中 間入力レベル画素値は設計値であり、第二の中間表示レベルと第二の中間入力レ ベル用露出値と第二の中間入力レベル目標値はいずれも目標値決定部 124fにお ける処理で決定される値である。なお、第二の中間入力レベル目標値は、全ての画 素の画素値が R, G, B共通に第二の中間表示レベルに等しい画像データを、恒等 変換画素値変換パラメタを用いて変換して映像投映装置 130A〜 130Dカも投映し 、その映像を撮像装置 150で第二の中間入力レベル用露出値を用 、て撮影した撮 影画像データ上で、基準画素位置における画素値を求めることで算出される。
[0081] さらに、第三の中間入力レベル個別目標データは、第三の中間入力レベル画素値
(R, G, B共通に、画素値が 192)と、第三の中間表示レベルと、撮像装置 150で撮 影する際の露出値である第三の中間入力レベル用露出値と、フィードバック調整で の目標となる第三の中間入力レベル目標値と、力もなつている。ここで、第三の中間 入力レベル画素値は設計値であり、第三の中間表示レベルと第三の中間入カレべ ル用露出値と第三の中間入力レベル目標値はいずれも目標値決定部 124fにおけ る処理で決定される値である。なお、第三の中間入力レベル目標値は、全ての画素 の画素値が R, G, B共通に第三の中間表示レベルに等しい画像データを、恒等変 換画素値変換パラメタを用いて変換して映像投映装置 130A〜 130Dカも投映し、 その映像を撮像装置 150で第三の中間入力レベル用露出値を用いて撮影した撮影 画像データ上で、基準画素位置における画素値を求めることで算出される。 [0082] 振幅値データ記憶部 125mには、フィードバック調整部 124gでフィードバック調整 を行う際に画素値変換パラメタのパラメタ値から加減する振幅値の初期値と現在値と を記憶する。
[0083] 本実施形態では、画素値の取り得る値の範囲が「0〜255」の 256種類の離散値で あることを利用して、後述のフィードバック調整において、二分探索によって補正結果 として好ましい画素値を選択する。そのため、この振幅値の初期値は、画素値の取り 得る範囲（階調数)の 1Z2の数値 (端数切り上げ）（本実施形態では 128)以上で画 素値の取り得る範囲の数値 (本実施形態では 255)未満の範囲内から任意の数値を 選択する。このような数値を選択することで、後述するフィードバック調整において、 振幅値を半分にしながら判定及び更新処理を繰り返し、最終的に振幅値がパラメタ を調整可能な最小単位である「1」となった回の更新を終了した段階で、探索が必要 なすべての範囲が、調整が可能な最小単位である「1」の精度で探索されることが、保 証される。なお、振幅値の初期値については、調整結果がある程度の範囲で予測さ れるような場合には、フィードバック調整における必要な反復回数を減らすことによる 調整時間の削減を目的として、調整対象とする入力レベル毎に別々の値を設定する ようにしてもよいが、本実施形態では、常に「128」を使用する。
[0084] 反復回数データ記憶部 125ηは、フィードバック調整部 124gでフィードバック調整 を行う際に、何回の反復が必要であるかを規定する反復回数データを記憶する。こ の反復回数データは、振幅値データ記憶部 125mに記憶される振幅値の初期値を 1 /2倍 (端数は切り上げ）にしていった際に解が「1」となるまでの回数に「1」を加えた ものである。例えば、振幅値データ記憶部 125mに記憶される振幅値の初期値が 12 8である場合には、反復回数データ記憶部 125ηに記憶される反復回数データは「8」 となり、後述のフィードバック調整処理の際に調整対象の入力レベルに対応する画素 値変換パラメタに加減される振幅値は第 1回目の判定に対応する「128」から始まつ て、「64」、 「32」、 「16」、 「8」、 「4」、 「2」、 「1」と変化する。第「8」回目の判定で、調 整可能な最小単位である「1」の加減算処理を行った後は、他の収束判定をせず、フ イードバック調整処理を終了する。なお、画素値が取り得る値が離散値であるために
、最後の「1」の加減算の際、 1をカ卩えると明るすぎるが 1をカ卩えないと暗すぎる、など の状況が発生し得るが、その場合、 1未満については誤差と見做してそのまま終了し てもよいし、両者を比較してより好ましい方を選ぶような処理をカ卩えてもよい。反復回 数データ記憶部 125ηに記憶する反復回数データは、振幅値の初期値と、振幅値の 変化のさせ方に依存して種々変更され得るが、本実施形態では振幅値の初期値は 常に「128」であり、振幅値はフィードバックの反復 1回毎に常に 1/2倍 (端数は切り 上げ）となるように変化させるため、反復回数データ記憶部 125ηに記憶する反復回 数データは常に「8」を使用する。なお、振幅値の変化のさせ方は、本実施形態では フィードバックの反復 1回毎に 1Z2倍となるようにしている力 定率で変化させる場合 、 1Z2倍以上 1倍未満の任意の変化率を使用することができる。その際、その変化 率を乗じた後の振幅値に端数が出る場合には、常に切り上げて処理を行うようにする
[0085] シリアル番号記憶部 125ρは、各映像投映装置 130A〜130Dに割り当てられてい るシリアル番号を、対応する映像投映装置 130A〜 130Dの識別情報に対応させて 記憶している。ここでのシリアル番号は 0、 1、 2、 3の連番が用いられている。
[0086] 各面異常検出回数画像データ記憶部 125qには、各面異常検出回数画像データ を記憶する。各面異常検出回数画像データは、個々の補正処理装置 123A〜123 Dから出力する画像データと等 ヽ解像度を有する画像データであり、関連する撮像 素子の異常が検出された回数を画素毎に入力した画像データである。
[0087] なお、記憶部 125は、例えば、ハードディスクなどの補助記憶装置により実現するこ とがでさる。
[0088] 入力装置 126は、補正制御部 124に対してコマンドを入力する装置であって、例え ば、キーボードやマウスにより構成することができる。例えば、「調整開始」コマンド等 力 入力装置 126を使用して入力される。
[0089] 第二の送受信部 127は、映像出力装置 110との間でデータの送受信を行う。実際 には、映像出力装置 110の第一の送受信部 115と接続されるため、第一の送受信部 115に合わせて、例えば、 RS— 232Cインターフェースや NICを用いて構成すれば よい。
[0090] 第三の送受信部 128は、撮像装置 150との間でデータの送受信を行う。具体的に は、撮像装置 150のインターフェースに対応させて、 IEEE1394インターフェースや USB (Universal Serial Bus)インターフェース等を用いればよい。
[0091] 映像投映装置 130A〜130Dは、映像補正装置 120から出力された画像データを スクリーン 140に投映するものであり、具体的には、液晶プロジェクタ等を用いること ができる。なお、スクリーン 140上で投映領域が隣接する映像投映装置 130A〜130 Dについては、それらの投映領域が互いに重なり合うように設置されており、映像出 力装置 110から出力した画像データを映像補正装置 120で適切に補正して映像投 映装置 130A〜 130Dに供給した場合に、全ての映像投映装置 130A〜 130Dによ り投映された映像が光学的に重ね合わされることによって所望の映像を投映すること ができるようにされている。また、各映像投映装置 130A〜130Dには、 0〜3までの 連番によるシリアル番号が一つずつ割り当てられており、このシリアル番号について は、対応する映像投映装置 130A〜 130Dの識別情報とともにシリアル番号記憶部 1 25pに記憶されている。
[0092] スクリーン 140については、フロント投射用とリア投射用のどちらを使用することもで き、また、その形状は、平面状、円筒状、半球状等、撮像装置 150が映像投映装置 1 30A〜130Dからスクリーン 140に投射されている投射光の全体を一点から撮影可 能であるという条件を満たす範囲で任意のものを使用することができるが、本実施形 態では、フロント投射用で平面矩形状のものを使用している。
[0093] 撮像装置 150は、スクリーン 140に投映された映像を撮影した撮影画像データを映 像補正装置 120に送信する。なお、撮像装置 150の露出及び撮影タイミングについ ては、映像補正装置 120の撮像装置制御部 124cで制御することができるようにされ ている。例えば、撮像装置 150は、デジタルカメラを使用することにより実現すること ができ、 IEEE1394インターフェースや USBインターフェース等を用いて映像補正 装置 120とデータの送受信を行うことができるものを使用する。また、撮像装置 150は 、全ての映像投映装置 130A〜130Dからスクリーン 140に投映されている投射光の 全体を撮影することができるように設置し、位置や姿勢が変わらないように固定してお
<o
[0094] 以上のように構成される映像表示システム 100において、スクリーン 140上で複数 の映像をより滑らかに繋ぎ合わせるための画素値変換パラメタの調整方法について 以下説明する。
[0095] 図 8は、本実施形態の映像表示システム 100における調整処理の全体的な流れを 示すフローチャートである。
[0096] 本実施形態における映像表示システム 100にお ヽては、まず、全体重複投映度数 画像データ及び各面重み画像データ生成処理を行う (S200)。
[0097] 次に、最小入力レベル目標値決定処理を行い（S201)、続いて、最大入力レベル 目標値決定処理を行う (S202)。
[0098] そして、最小入力レベル目標値決定処理で決定された最小入力レベル目標値に 基づ 、て最小入力レベルフィードバック調整処理を行う (S203)。
[0099] 次に、中間入力レベル目標値決定処理を行う（S204)。
[0100] 次に、最大入力レベル目標値決定処理において決定された最大入力レベル目標 値に基づいて最大入力レベルフィードバック調整処理を行い（S205)、続いて、中間 入力レベル目標値決定処理にお!ヽて決定された中間入力レベル目標値 (本実施形 態では、第一の中間入力レベル目標値、第二の中間入力レベル目標値及び第三の 中間入力レベル目標値の三つ）に基づいて、中間入力レベルフィードバック調整処 理を行う（S206)。
[0101] そして、撮像素子異常補正処理 (S207)と、映像表示領域外パラメタ修正処理 (S2
08)と、パラメタ設定処理 (S209)と、を行う。
[0102] 以下、これらの処理内容を説明する。
[0103] 図 9は、全体重複投映度数画像データ及び各面重み画像データ生成処理の処理 内容を示すフローチャートである。
[0104] 全体重複投映度数画像データ及び各面重み画像データ生成処理では、まず、初 期設定を行う（S210)。ここでの初期設定は、全ての補正処理装置 123A〜123Dに 恒等変換幾何補正パラメタと恒等変換画素値変換パラメタとを設定し、全体重複投 映度数画像データ記憶部 125kに記憶されて ヽる全体重複投映度数画像データの 画素値を全て 0にする処理である。
[0105] 次に、処理対象となる映像投映装置 130A〜130Dを特定するシリアル番号 Nを 0 にする（S211)。
[0106] 次に、撮像装置 150の露出調整を行う（S212)。この露出調整は、映像出力装置 1 10の画像記憶部 112から、シリアル番号 Nで特定される映像投映装置 130A〜130 Dに対しては全ての画素の画素値が（255、 255、 255)の画素値の画像データを出 力し、その他の映像投映装置 130A〜130Dに対しては全ての画素の画素値が（0、 0、 0)の画素値の画像データを出力して、スクリーン 140に映像を投映したものを撮 像装置 150で撮影した際に、このシリアル番号 Nで特定される映像投映装置 130A 〜 130Dが投映した映像に対応する撮影画像データ上の画素値の平均値が 192〜 240の範囲に入るように露出値を調整するものである。ここで、この露出調整は、後 述する 2値ィ匕を安定して行うための処理であり、画素値が厳密にその範囲に入るよう にする必要はなぐまた、周囲にほかに明るいものがない場合には、撮影画像データ の画素値の最大値がこの範囲に入るように調整してもよい。なお、シリアル番号 Nで 特定される映像投映装置 130A〜 130Dが映像を投映して ヽる領域に対応する撮影 画像データ上の領域は、例えば、既知の方法で既に作成されている各面撮影座標 対応画像データの中から、シリアル番号 Nで特定される映像投映装置 130A〜130 Dに対応する撮影座標対応画像データを参照することによって抽出すればよい。
[0107] 次に、全体前景色画像データの生成を行う（S213)。この処理は、映像出力装置 1 10の画像記憶部 112から、シリアル番号で特定される映像投映装置 130A〜 130D に対しては前景色の画素値、例えば全ての画素の画素値が（0、 255、 255)の画素 値の画像データを出力し、その他の映像投映装置 130A〜130Dに対しては全ての 画素の画素値が（0、 0、 0)の画素値の画像データを出力してスクリーン 140に投映し た際の映像を撮像装置 150で撮影した際の撮影画像データを全体前景色画像デー タとする処理である。
[0108] 次に、全体背景色画像データの生成を行う（S214)。この処理は、映像出力装置 1 10の画像記憶部 112から、シリアル番号で特定される映像投映装置 130A〜 130D に対しては背景色の画素値、例えば全ての画素の画素値が（255、 0、 0)の画素値 の画像データを出力し、その他の映像投映装置 130A〜130Dに対しては全ての画 素の画素値が（0、 0、 0)の画素値の画像データを出力してスクリーン 140に投映した 際の映像を撮像装置 150で撮影した際の撮影画像データを全体背景色画像データ とする処理である。
[0109] 次に、全体 2値化画像データの生成を行う (S215) 0この処理は、全体前景色画像 データと全体背景色画像データとの対応する画素の各々にお ヽて両者の差分値の 絶対値を算出することで生成される絶対差分画像データを作成し、この絶対差分画 像データに所定の閾値を用いて 2値化処理を施し、その絶対差分値が閾値よりも大 き 、画素には画素値が 1、その絶対差分値が閾値よりも小さ 、画素には画素値が 0、 となるようにして全体 2値ィ匕画像データを作成する処理である。ここで、前記 2値化の 際に使用する所定の閾値は、例えば大津の判別分析法と呼ばれる方法等、既存の 方法を用いて絶対差分画像データから自動で決定されるものを用いるが、スクリーン 140の指向性が高い場合など、絶対差分画像データにおける映像投映領域中の濃 淡レベル変動が大きくなる場合には、 2値化の閾値を画像データ全体で 1つの固定 値とせず、「動的閾値処理」と呼ばれる既存の方法を用いて (すなわち、「閾値」では なく「閾面」を用いて)処理をしてもょ 、。
[0110] 次に、全体重複投映度数画像データの更新を行う (S216) 0この処理は、全体重 複投映度数画像データの画素値に全体 2値化画像データの画素値をそれぞれ対応 する画素毎に加算する処理である。このような処理を行うことで、全ての映像投映装 置 130A〜130Dに関して処理が終了した後に、一つの映像投映装置 130A〜130 Dのみが映像を投映している領域については「1」の数値となり、二つの映像投映装 置 130A〜130Dが映像を投映している部分については「2」の数値となり、三つの映 像投映装置 130A〜130Dが映像を投映している部分については「3」の数値となり、 四つの映像投映装置 130A〜130Dが映像を投映している部分については「4」の数 値となり、 、ずれの映像投映装置 130A〜 130Dも映像を投映して 、な 、部分につ Vヽては「0」の数値となる全体重複投映度数画像データを作成することができる。
[0111] 次に、全ての映像投映装置 130A〜130Dについて上記処理が終了したか否かを 判定し (S217)、上記処理が終了していない映像投映装置 130A〜130Dがある場 合には、シリアル番号に「1」をカ卩算して（S218)、 S212〜S216の処理を繰り返す。
[0112] 一方、全ての映像投映装置 130A〜130Dについて上記処理が終了した場合には (S 217)、シリアル番号 Nを 0に戻し（S 219)各面ブレンド重み画像データの生成を 行う（S 220)。
[0113] この各面ブレンド重み画像データの生成方法については、図 10を用いて説明する 。なお、図 10は、スクリーン 140に対して向かって左上方の映像を担当する映像投映 装置 130Aに対応する図であるが、他の映像投映装置 130B〜 130Dに対しても同 様の方法で生成すればよ!、。
[0114] 画像領域 170aは、映像投映装置 130Aに対応する補正処理装置 123Aの画素値 変換部 123gに入力される画像データと等しい解像度を有する画像領域であり、各面 ブレンド重み画像データ 170は、画像領域 170aの各画素毎に 0以上 1以下の画素 値を設定したデータとして生成される。
[0115] 画像領域 170aは、互いに重複を持たない画像領域である、画像領域 170eと画像 領域 170gと画像領域 170fによって構成される。画像領域 170eは、スクリーン 140 上の映像表示領域で映像投映装置 130Aの担当となって 、る領域に対応し、画像 領域 170gは、スクリーン 140上の映像表示領域で映像投映装置 130Aの担当では ないが他の映像投映装置 130B〜130Dのうちの少なくとも 1つの担当となっている 領域に対応し、画像領域 170fは、映像投映装置 130Aの映像投映領域のうち、映 像表示領域以外、すなわち所謂「黒」（全体としてスクリーン 140上で滑らかに繋がつ た映像とするため、映像投映装置 130Aに画素値として (0, 0, 0)が供給されるわけ ではなぐ後述のように、画素値変換パラメタによって然るべき変換が為された画素値 として供給される）が表示される領域に対応する。なお、画像領域 170bは、映像投映 装置 130Aの投映領域の下隣の投映領域を担当する映像投映装置 130Bの投映領 域とスクリーン 140上で重複しあう部分に対応する画像領域であり、画像領域 170c は、映像投映装置 130Aの投映領域の右隣の投映領域を担当する映像投映装置 1 30Cの投映領域とスクリーン 140上で重複しあう部分に対応する画像領域であり、画 像領域 170dは、映像投映装置 130Aの投映領域の右下方の投映領域を担当する 映像投映装置 130Dの投映領域とスクリーン上で重複しあう部分に対応する画像領 域である。
[0116] ここで、領域 170b〜170iに関しては、後述のように幾何調整のための計測結果を 反映して領域が定義されるため、例えば、領域 170b〜170dが矩形とならないことも ある。
[0117] 本発明では、映像投映装置 130Aからは画像領域 170gに属する各画素の画素値 がすべて (0, 0, 0)であるような画像を投映する。これを実現するために、本実施形 態では、各面ブレンド重み画像データ 170において、画像領域 170gに含まれる画 素の画素値 (重み値)を「0」とする。
[0118] また、画像領域 170aに含まれ、かつ、画像領域 170bにも画像領域 170cにも画像 領域 170dにも含まれない画像領域 170hは、スクリーン 140上で映像投映装置 130 Aからだけの光が投射される領域に対応する画像領域であり、他の映像投映装置 13 0B〜130D力 投射される光との明るさの分担を考慮する必要がない画像領域であ る。したがって本実施形態では、画像領域 170hに含まれる画素の画素値 (重み値） を「1」とする。
[0119] さらに、画像領域 170aに含まれ、かつ、画像領域 170gにも画像領域 170hにも含 まれな 、画像領域を画像領域 170iとした場合に、画像領域 170iに含まれる画素 17 1に関しては、画素値 (重み値）を「D2Z (D1 + D2)」とする。ここで、 D1は画素 171 力も画像領域 170hまでの距離であり、 D2は「画素 171から画像領域 170gまでの距 離」と「画素 171から画像領域 170iに含まれる画像領域 170aの境界までの距離」の うち小さい方の値である。
[0120] なお、図 10に示されている画像領域のうち画像領域 170b〜170iに関しては、既 知の方法で既に作成されている各面撮影座標対応画像データ及び幾何補正パラメ タと、全体重複投映度数画像データとを用いて求めればよぐ画像領域 170aについ ては自明である。
[0121] なお、各面ブレンド重み画像データの生成方法は、上記の例に限定されない。例 えば、画像領域 170gに含まれる画素については画素値 (重み値）が「0」となり、その 他の画素については画素値 (重み値）が「1」となるような、各面ブレンド画像データを 生成してもよい。その場合、フィードバック調整の結果として、重複して投映されてい る領域付近における所謂エッジブレンドの形成は期待できな 、が、全体として映像が 滑らかに繋がるようには調整される。 [0122] S220において生成された各面ブレンド重み画像データ 170は、各面ブレンド重み 画像データ記憶部 125iに記憶される（S221)。
[0123] 次に、全ての映像投映装置 130A〜130Dについて上記処理が終了したか否かを 判定し (S222)、上記処理が終了していない映像投映装置がある場合には、シリア ル番号に「1」をカ卩算して（S223)、 S220〜S221の処理を繰り返す。
[0124] 一方、全ての映像投映装置 130A〜130Dについて上記処理が終了した場合には
(S222)、全体重複投映度数画像データ及び各面重み画像データ生成処理を終了 する。
[0125] 図 11は、最小入力レベル目標値決定処理の処理内容を示すフローチャートである
[0126] 最小入力レベル目標値決定処理が開始されると、まず、初期設定を行う（S230)。
この初期設定では、全ての補正処理装置 123A〜 123Dに恒等変換幾何補正パラメ タと恒等変換画素値変換パラメタとを設定する。
[0127] 次に、映像出力装置 110の画像記憶部 112に記憶されている最小入力レベル、即 ち、全ての画素の画素値が（0、 0、 0)の画素値の画像データをスクリーン 140に投映 する（S231)。
[0128] 次に、撮像装置 150の露出調整を行う（S232)。この露出調整は、全体重複投映 度数画像データを参照し、撮像装置 150で撮影した撮影画像データにおいて、重複 投映度数が「4」となって 、る領域の画素値の最大値が 128〜 192程度の範囲に収 まるように露出値を調整する。なお、画素値の最大値がこのような範囲内に収まれば 、どの露出値を用いてもよい。
[0129] このようにして調整された露出値は、最小入力レベル用露出値として、目標データ 記憶部 1251の最小入力レベル個別目標データ内に記憶される（S233)。
[0130] そして、最小入力レベル用露出値を用いて撮像装置 150で撮影を行う（S234)。
このようにして撮影された撮影画像データは、全体撮影画像データとして撮像装置 1 50から映像補正装置 120に送信される（S235)。
[0131] 全体撮影画像データを受信した映像補正装置 120では、補正制御部 124の目標 値決定部 124fで有効最大画素値の選出処理を行う（S236)。この処理は、全体重 複投映度数画像データを参照し、重複投映度数力 s「1」以上であるような画素位置の 集合を処理対象として、全体撮影画像データにおける最大の画素値を選出する処理 である。
[0132] このようにして選出された最大の画素値は、最小入力レベル目標値として目標デー タ記憶部 1251の最小入力レベル個別目標データ内に記憶される（S237)。
[0133] 以上の処理で最小入力レベル目標値決定処理を終了する。
[0134] 図 12は、最大入力レベル目標値決定処理の処理内容を示すフローチャートである
[0135] 最大入力レベル目標値決定処理が開始されると、まず、初期設定を行う（S240)。
この初期設定では、全ての補正処理装置 123A〜 123Dに恒等変換幾何補正パラメ タと恒等変換画素値変換パラメタとを設定する。なお、最小入力レベル目標値決定 処理の直後に最大入力レベル目標値決定処理を実施する場合には、全ての補正処 理装置 123 A〜 123Dに既に恒等変換幾何補正パラメタと恒等変換画素値変換パラ メタとが設定されているため、最大入力レベル目標値決定処理における初期設定を 省略してちょい。
[0136] 次に、映像出力装置 110の画像記憶部 112に記憶されている最大入力レベル、即 ち、全ての画素の画素値が（255、 255、 255)の画素値の画像データをスクリーン 1 40に投映する（S241)。
[0137] 次に、撮像装置 150の露出調整を行う（S242)。この露出調整は、全体重複投映 度数画像データを参照し、撮像装置 150で撮影した撮影画像データにおいて、重複 投映度数が「 1」となって!/、る領域の画素値の平均値が 128〜 192程度の範囲に収 まるように露出値を調整する。なお、画素値の平均値がこのような範囲内に収まれば 、どの露出値を用いてもよい。
[0138] このようにして調整された露出値は、最大入力レベル用露出値として、目標データ 記憶部 1251の最大入力レベル個別目標データ内に記憶される（S243)。
[0139] そして、最大入力レベル用露出値を用いて撮像装置 150で撮影を行う（S244)。
このようにして撮影された撮影画像データは、全体撮影画像データとして撮像装置 1 50から映像補正装置 120に送信される（S 245)。 [0140] 全体撮影画像データを受信した映像補正装置 120では、補正制御部 124の目標 値決定部 124fで基準画素位置を決定する（S 246)。これは、直感的には、全体重 複投映度数画像データを参照し、全体撮影画像データにおける重複投映度数が「1 」以上の領域力 画素値が最小であるような画素位置を選出する処理である。実際に は既に説明したように、基準画素位置は、映像投映装置 130A〜130Dのうち基準と する映像投映装置のシリアル番号と基準とする映像投映装置に対応する補正処理 装置のフレームメモリ 123b上の座標値とで構成されるデータであるため、単純に全 体重複投映度数画像データを参照しながら各面撮影座標対応画像データにおいて 最小の画素値を有する画素位置を選出するのではなぐ全体重複投映度数画像デ ータと全体撮影画像データに加えて各面撮影座標対応画像データを参照することに よって選出される。具体的には、各映像投映装置 130A〜130Dに対応する各面撮 影座標対応画像データの各々の画素に対し、その画素の画素値 (座標値を表現す る 2次元ベクトル値)を使って全体重複投映度数画像データ及び全体撮影画像デー タの参照を行うことで、基準画素位置を選出すればよい。なお、あらかじめ各面撮影 座標対応画像データの逆写像に相当するデータ、すなわち撮影画像データ上の各 画素に対してその画素に対応する各補正処理装置 123A〜 123Dのフレームメモリ 1 23b上の座標位置を対応させたデータを算出した上で、単純に全体重複投映度数 画像データを参照しながら各面撮影座標対応画像データにおいて最小の画素値を 有する画素位置を選出し、その撮影画像データ上の画素位置を前記逆写像によつ てフレームメモリ 123b上の座標位置に変換するようにしても求めることができる。なお 、変換後の座標値が整数値とならない場合には、最近傍の格子点を取得すること〖こ よって整数値となるようにする。
[0141] このようにして選出された基準画素位置は、基準画素位置データとして、記憶部 12 5の基準画素位置データ記憶部 12¾に記憶される（S247)。
[0142] また、この基準画素位置に対応する全体撮影画像データ上の画素値は、最大入力 レベル目標値として目標データ記憶部 1251の最大入力レベル個別目標データ内に 記憶される（S248)。
[0143] 以上の処理で最大入力レベル目標値決定処理を終了する。 [0144] 図 13は、最小入力レベルフィードバック調整処理の処理内容を示すフローチャート である。
[0145] 最小入力レベルフィードバック調整処理が開始されると、まず、初期化処理を行う ( S250)。この初期化処理は、振幅値データ記憶部 125mに記憶されている振幅値の 現在値、反復回数データ記憶部 125ηに記憶されている反復回数データ、画素値変 換パラメタ記憶部 125gに記憶されている画素値変換パラメタ及び補正処理装置 12 3A〜 123Dの画素値変換パラメタ記憶部 123fに記憶されて 、る画素値変換パラメ タを初期値に設定し、映像出力装置 110の画像記憶部 112に記憶されて 、る最小 入力レベル、即ち、全ての画素の画素値が（0, 0, 0)の画像データを補正処理装置 123A〜 123D及び映像投映装置 130A〜 130Dを介してスクリーン 140に投映する 処理である。
[0146] なお、反復回数データに関しては、前述のように本実施形態では常に「8」を使用す るが、調整対象となる入力レベルに応じて振幅値データの初期値を別々に設定する 場合等、調整対象となる入力レベルに応じて必要な反復回数が変化する場合にお V、ては、 S250で値を算出して初期化処理を行うようにする。
[0147] また、画素値変換パラメタの初期化処理に関しては、まず、画素値変換パラメタ記 憶部 125gに記憶されている最小入力レベル画素値変換パラメタの全ての画素の画 素値を (0, 0, 0)に初期化し、次に、補正処理装置制御部 124bを介して、画素値変 換パラメタ記憶部 125gに記憶されている画素値変換パラメタを各補正処理装置 123 A〜 123Dの画素値変換パラメタ記憶部 123fに記憶させることで実施する。
[0148] 次に、最小入力レベル用露出値を撮像装置 150に設定する（S251)。最小入カレ ベル用露出値については、最小入力レベル目標値決定処理において既に決定され ており、目標データ記憶部 1251の最小入力レベル個別目標データ内に記憶されて いる。
[0149] 次に、反復回数 Xを 0に初期化する（S252)。
[0150] 次に、撮像装置 150で撮影を行う (S253)。ここで撮影された画像データは、全体 撮影画像データとして映像補正装置 120に送信される（S254)。
[0151] 全体撮影画像データを受信した映像補正装置 120では、フィードバック調整部 124 gにおいて、全体撮影画像データから各面撮影画像データを生成する（S255)。各 面撮影画像データは、各面撮影座標対応画像データと等し ヽ解像度を有する画像 データであり、補正処理装置 123A〜123Dの各々に対応して生成される。各面撮 影画像データの各画素の画素値は、既に生成されて!ヽる各面撮影座標対応画像デ ータの対応する画素の画素値（2次元ベクトル値)を参照し、その参照した画素値（2 次元ベクトル値）に対応する全体撮影画像データ上の座標位置での画素値を算出 することにより、決定される。
[0152] 次に、映像補正装置 120において、各面明暗画像データ生成処理を行う (S256) 。この処理は、最小入力レベル目標値と各面撮影画像データの各画素における画素 値とを比較して、各面撮影画像データの各画素における画素値が最小入力レベル 目標値よりも小さい場合にはこの比較対象となった画素に対応する位置の画素の画 素値が「 + 1」、各面撮影画像データの各画素における画素値が最小入力レベル目 標値よりも大きい場合にはこの比較対象となった画素に対応する位置の画素値が「 1」、各面撮影画像データの各画素における画素値が最小入力レベル目標値と等 しい場合にはこの比較対象となった画素に対応する位置の画素の画素値が「0」、と なる各面明暗画像データを生成する処理である。
[0153] 次に、画素値変換パラメタの更新処理を行う（S257)。この処理は、各面明暗画像 データに基づいて、画素値変換パラメタ記憶部 125gに記憶されている最小入カレ ベル画素値変換パラメタを更新する処理である。
[0154] 具体的には、最小入力レベル画素値変換パラメタの各画素に対して、現在の画素 値が P (本実施形態では R, G, Bの各色に対して同一の補正を行うため、以下、この ように単一の値で略記する）、各面明暗画像データの対応する画素位置の明暗値が s、各面ブレンド重み画像データの対応する画素位置の重み値が w、この反復回数 における振幅値データの値が a、である場合に、その画素の画素値を「p + s XwX a」 (端数は四捨五入)となるように更新する。
[0155] なお、本実施形態では、振幅値データの値 aは、反復回数 Xが「0」の場合は「128」 、「1」の場合は「64」、「2」の場合は「32」、「3」の場合は「16」、「4」の場合は「8」、「5 」の場合は「4」、「6」の場合は「2」、「7」の場合は「1」となる。 [0156] 次に、このようにして更新された最小入力レベル画素値変換パラメタを含めた画素 値変換パラメタ記憶部 125gに記憶されている画素値変換パラメタを、補正処理装置 制御部 124bを介して、各補正処理装置 123A〜 123Dの画素値変換パラメタ記憶 部 123fに記憶させる（S258)。
[0157] そして、反復回数データ記憶部 125ηに記憶されている所定の反復回数 (本実施 形態では 8)が終わって 、な 、場合には（S259)、振幅値データの更新 (振幅値デー タ X 1Z2) (端数は切り上げ)を行い（S260)、反復回数 Xに 1を加算して（S261)、 S 253〜S258の処理を繰り返す。
[0158] 一方、所定の反復回数が終わった場合には（S260)、最小入力レベルフィードバッ ク調整処理を終了する。
[0159] 図 14は、中間入力レベル目標値決定処理の処理内容を示すフローチャートである
[0160] 中間入力レベル目標値決定処理が開始されると、まず、基準オフセット入力レベル 換算データの生成を行い（S270)、続いて表示レベル決定処理を行う（S271)。これ らの処理の内容について、図 43を用いて説明する。
[0161] 図 43の曲線 975は、基準画素位置における特性関数 (これは未知の関数であり、 本実施形態で陽には使用しない）を表している。明るさ BOは最小入力レベルフィード バック調整処理によって調整された結果の明るさであり、明るさ B1は最大入力レベル フィードバック調整処理において調整目標とされる明るさである力 いずれも具体的 な値は不明である。明るさ BOに対応する映像投映装置への入力レベル力L40であり 、明るさ B1に対応する映像投映装置への入力レベル力L44である。なお、図 43にお いては別々に記してあるが、本実施形態では入力レベル L44は最大入力レベル（25 5)に等しい値であり、また、明るさ B1は明るさ BHに等しい値である。
[0162] ここで、明るさ BOに対応する入力レベル L40を算出するの力 S270の基準オフセ ット入力レベル換算データ生成処理である。具体的には、最小入力レベルフィードバ ック調整処理の終了後の最小入力レベル画素値変換パラメタから、対応する画素位 置の画素値を抽出することで算出すればよい。
[0163] 本実施形態では、システム全体の特性関数を、スクリーン 140上の映像を撮影した 撮影画像データにぉ 、て、目標となる明るさに対して明る 、か喑 、かと 、う判定のみ を使用して、最終的に基準画素位置の特性関数に合わせるように調整する。ここで、 最小入力レベルフィードバック調整処理が終了した段階で確定しているのは、画素 値変換部 123gが、基準画素位置に入力される画素値に対して、それが最小入カレ ベルの場合には出力レベルとして L40を出力し、それが最大入力レベルの場合には 出力レベルとして L44を出力するということである。このとき、第一の中間入力レベル の調整において目標とする明るさ B2、第二の中間入力レベルの調整において目標 とする明るさ B3、第三の中間入力レベルの調整において目標とする明るさ B4、を決 定するためのパターンを表示するために使用する入力レベルを決定するの力 S27 1の表示レベル決定処理である。
[0164] 本実施形態では、 L40と L44とで規定される使用可能な区間 976を比例配分する ことで、表示レベル L41, L42, L43を決定する。例えば、 L40の値が「55」である場 合には、第一の中間入力レベル「64」に対応する第一の中間表示レベルは、「105」 とする。これは「55+ (255— 55) X (64— 0)Z(255— 0)」のように計算される値で ある (端数は四捨五入して整数値とする)。同様に、第二の中間入力レベル「128」に 対応する第二の中間表示レベルは「155」となり、第三の中間入力レベル「192」に対 応する第三の中間表示レベルは「206」となる。
[0165] なお、この比例配分による方法は、簡易な方法でありながら、映像投映装置としてコ ントラストが高い、すなわち BL (映像投映装置に「0」を入力したときに観測される明る さ）が BH (映像投映装置に「255」を入力したときに観測される明るさ）に比べて十分 に小さいものを使用した場合に、調整後の特性が調整前の特性に近くなることが期 待できる方法である力 本発明における表示レベル決定処理はこの方法に限るもの ではなぐ例えば、設計値や推定値として曲線 975の関数形が判明している場合 (誤 差を含んでいるようなものであっても問題ない）には、その情報を使用して、明るさを 基準としたリスケーリングによって目標となる特性を決定するようにしてもよい。
[0166] なお、図 43に示したとおり、映像投映装置への入力レベル「L40, L41, L42, L4 3, L44」が単調増加のとき、一般に、観測される明るさ「BO, B2, B3, B4, Bl」も単 調増加となるが、調整対象とする入力レベルによって調整時に撮像装置 150に設定 する露出値が異なるため、後述の処理で決定される中間入力レベル目標値に関して は、単調増加となるように制御する必要はな 、。
[0167] このようにして算出された第一の中間表示レベル、第二の中間表示レベル及び第 三の中間表示レベルは、目標データ記憶部 1251の第一の中間入力レベル個別目 標データ、第二の中間入力レベル個別目標データ及び第三の中間入力レベル個別 目標データの中にそれぞれ記憶される (S272)。
[0168] 次に、初期設定を行う (S273) 0この初期設定では、全ての補正処理装置 123A〜 123Dに恒等変換幾何補正パラメタと恒等変換画素値変換パラメタとを設定する。
[0169] 次に、処理を行う中間入力レベルを特定するシリアル番号 Mを 0にする（S274)。
[0170] 次に、シリアル番号で表された中間入力レベルに対応する表示レベルの画像デー タを映像出力装置 110の画像記憶部 112から読み出して、スクリーン 140に投映す る（S275)。
[0171] 次に、撮像装置 150の露出調整を行う（S276)。この露出調整は、撮像装置 150で 撮影した撮影画像データの基準画素位置の画素値が 128〜 192程度の範囲に収ま るように露出値を調整する。なお、この画素値力このような範囲に収まれば、どの露出 値を用いてもよい。
[0172] このように調整された露出値は、シリアル番号で特定される中間入力レベル用露出 値として、目標データ記憶部 1251のシリアル番号で特定される中間入力レベル個別 目標データ内に記憶される（S277)。
[0173] そして、シリアル番号で特定される中間入力レベル用露出値を用いて撮像装置 15
0で撮影を行う（S 278)。このようにして撮影された撮影画像データは、全体撮影画 像データとして撮像装置 150から映像補正装置 120に送信される（S279)。
[0174] 全体撮影画像データを受信した映像補正装置 120では、補正制御部 124の目標 値決定部 124fにお 、て、基準画素位置における画素値をシリアル番号で特定され る中間入力レベルにおける目標値として抽出する（S280)。
[0175] このようにして抽出された目標値は、シリアル番号で特定される中間入力レベル目 標値として目標データ記憶部 1251のシリアル番号で特定される中間入力レベル個別 目標データ内に記憶される（S281)。 [0176] 処理が終了していない中間入力レベルがある場合（S282)には、シリアル番号に「 1」を加算して（S283)、 S274〜S281の処理を繰り返す。 全ての中間入力レベル について処理が終了している場合 (S282)には、中間入力レベル目標値決定処理 を終了する。
[0177] 図 15は、最大入力レベルフィードバック調整処理の処理内容を示すフローチャート である。
[0178] 最大入力レベルフィードバック調整処理が開始されると、まず、初期化処理を行う ( S300)。この初期化処理は、振幅値データ記憶部 125mに記憶されている振幅値の 現在値、反復回数データ記憶部 125ηに記憶されている反復回数データ、画素値変 換パラメタ記憶部 125gに記憶されている画素値変換パラメタ及び補正処理装置 12 3A〜 123Dの画素値変換パラメタ記憶部 123fに記憶されて 、る画素値変換パラメ タを初期値に設定し、映像出力装置 110の画像記憶部 112に記憶されて 、る最大 入力レベル、即ち、全ての画素の画素値が（255, 255, 255)の画像データを補正 処理装置 123A〜 123D及び映像投映装置 130A〜 130Dを介してスクリーン 140 に投映する処理である。
[0179] なお、反復回数データに関しては、前述のように本実施形態では常に「8」を使用す るが、調整対象となる入力レベルに応じて振幅値データの初期値を別々に設定する 場合等、調整対象となる入力レベルに応じて必要な反復回数が変化する場合にお V、ては、 S300で値を算出して初期化処理を行うようにする。
[0180] また、画素値変換パラメタの初期化処理に関しては、まず、画素値変換パラメタ記 憶部 125gに記憶されている最大入力レベル画素値変換パラメタの全ての画素の画 素値を (0, 0, 0)に初期化し、次に、補正処理装置制御部 124bを介して、画素値変 換パラメタ記憶部 125gに記憶されている画素値変換パラメタを各補正処理装置 123 A〜123Dの画素値変換パラメタ記憶部 123fに記憶させることで実施する。なお、最 大入力レベル画素値変換パラメタの初期化に関しては、各画素に対して、最小入力 レベル画素値変換パラメタの対応する画素の画素値をそのまま設定するようにしても よい。
[0181] 次に、最大入力レベル用露出値を撮像装置 150に設定する（S301)。最大入カレ ベル用露出値は、最大入力レベル目標値決定処理において既に決定されており、 目標データ記憶部 1251の最大入力レベル個別目標データ内に記憶されている。
[0182] 次に、反復回数 Xを 0に初期化する（S302)。
[0183] 次に、撮像装置 150で撮影を行う (S303)。ここで撮影された画像データは、全体 撮影画像データとして映像補正装置 120に送信される（S304)。
[0184] 全体撮影画像データを受信した映像補正装置 120では、フィードバック調整部 124 gにおいて、全体撮影画像データから各面撮影画像データを生成する（S 305)。この 処理は、最小入力レベルフィードバック調整処理における各面撮影画像データ生成 処理と同様に実施すればよい。
[0185] 次に、映像補正装置 120において、各面明暗画像データ生成処理を行う (S306) 。この処理は、最大入力レベル目標値と各面撮影画像データの各画素における画素 値とを比較して、各面撮影画像データの各画素における画素値が最大入力レベル 目標値よりも小さい場合にはこの比較対象となった画素に対応する位置の画素の画 素値が「 + 1」、各面撮影画像データの各画素における画素値が最大入力レベル目 標値よりも大きい場合にはこの比較対象となった画素に対応する位置の画素値が「 1」、各面撮影画像データの各画素における画素値が最大入力レベル目標値と等 しい場合にはこの比較対象となった画素に対応する位置の画素の画素値が「0」、と なるようにした各面明暗画像データを生成する処理である。
[0186] 次に、映像補正装置 120において、画素値変換パラメタの更新処理を行う（S307) 。この処理は、各面明暗画像データに基づいて、画素値変換パラメタ記憶部 125gに 記憶されている最大入力レベル画素値変換パラメタを更新する処理である。
[0187] 具体的には、最大入力レベル画素値変換パラメタの各画素に対して、現在の画素 値が p、各面明暗画像データの対応する画素位置の明暗値が s、各面ブレンド重み 画像データの対応する画素位置の重み値が w、この反復回数における振幅値デー タの値が a、である場合に、その画素の画素値を「p + s X w X a」に更新する処理であ る。
[0188] 次に、このようにして更新された最大入力レベル画素値変換パラメタを含めた画素 値変換パラメタ記憶部 125gに記憶されている画素値変換パラメタを、補正処理装置 制御部 124bを介して、各補正処理装置 123A〜 123Dの画素値変換パラメタ記憶 部 123fに記憶させる（S308)。 そして、反復回数データ記憶部 125ηに記憶されて V、る所定の反復回数 (本実施形態では 8)が終わって 、な 、場合には（S309)、振幅 値データの更新 (振幅値データ X 1/2) (端数は切り上げ)を行 ヽ (S310)、反復回 数 Xに 1を加算して（S311)、 S303〜S308の処理を繰り返す。
[0189] 一方、所定の反復回数が終わった場合には（S309)、最大入力レベルフィードバッ ク調整処理を終了する。
[0190] 図 16は、中間入力レベルフィードバック調整処理の処理内容を示すフローチャート である。
[0191] 中間入力レベルフィードバック調整処理が開始されると、まず、処理を行う中間入力 レベルを特定するシリアル番号 Mを 0にする（S320)。
[0192] 次に、初期化処理を行う（S321)。この初期化処理は、シリアル番号によって特定さ れる中間入力レベルに対応して、振幅値データ記憶部 125mに記憶されている振幅 値の現在値と、反復回数データ記憶部 125ηに記憶されている反復回数データを、 初期値に設定する。反復回数データに関しては、前述のように本実施形態では常に 「8」を使用するが、調整対象となる入力レベルに応じて振幅値データの初期値を別 々に設定する場合等、調整対象となる入力レベルに応じて必要な反復回数が変化 する場合においては、 S321で値を算出して初期化処理を行うようにする。
[0193] なお、映像投映装置 130A〜130Dの光学特性が通常使用されるようなものである 場合には、すべての調整処理の完了後、各画素位置において、例えば、第一の中 間入力レベル画素値変換パラメタの画素値は、最小入力レベル画素値変換パラメタ の画素値より大きぐ最大入力レベル画素値変換パラメタの画素値より小さくなること が期待される。同様に、第二の中間入力レベル画素値変換パラメタの画素値は、第 一の中間入力レベル画素値変換パラメタの画素値より大きぐ最大入力レベル画素 値変換パラメタの画素値より小さくなることが期待される。この性質から、探索が必要 な範囲を合理的に狭くすることができるため、既に調整された画素値変換パラメタを 用いて、振幅値の初期値と反復回数データとを動的に決定するようにしてもよい。そ のような構成とした場合、探索が必要となる範囲が狭くなつていることから、反復回数 を削減による調整時間の短縮が期待できる。
次に、シリアル番号によって特定される中間入力レベル用露出値を撮像装置 150 に設定する（S322)。中間入力レベル用露出値は、中間入力レベル目標値決定処 理において既に決定されており、目標データ記憶部 1251のシリアル番号によって特 定される中間入力レベル個別目標データ内に記憶されている。
[0194] 次に、画素値変換パラメタの初期値を設定する（S323)。これは、シリアル番号によ つて特定される中間入力レベルに応じて、画素値変換パラメタ記憶部 125gに記憶さ れて 、る画素値変換パラメタ及び補正処理装置 123A〜 123Dの画素値変換パラメ タ記憶部 123fに記憶されている画素値変換パラメタを初期値に設定する処理である
[0195] 画素値変換パラメタの初期化処理に関しては、次のように実施する。
[0196] シリアル番号で特定される中間入力レベルが第一の中間入力レベルである場合に は、まず、画素値変換パラメタ記憶部 125gに記憶されている第一の中間入力レベル 画素値変換パラメタの各画素に対して、最小入力レベル画素値変換パラメタの対応 する画素の画素値をそのまま設定し、次に、補正処理装置制御部 124bを介して、画 素値変換パラメタ記憶部 125gに記憶されている画素値変換パラメタを各補正処理 装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶させる。
[0197] シリアル番号で特定される中間入力レベルが第二の中間入力レベルである場合に は、まず、画素値変換パラメタ記憶部 125gに記憶されている第二の中間入力レベル 画素値変換パラメタの各画素に対して、第一の中間入力レベル画素値変換パラメタ の対応する画素の画素値をそのまま設定し、次に、補正処理装置制御部 124bを介 して、画素値変換パラメタ記憶部 125gに記憶されている画素値変換パラメタを各補 正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶させる。
[0198] シリアル番号で特定される中間入力レベルが第三の中間入力レベルである場合に は、まず、画素値変換パラメタ記憶部 125gに記憶されている第三の中間入力レベル 画素値変換パラメタの各画素に対して、第二の中間入力レベル画素値変換パラメタ の対応する画素の画素値をそのまま設定し、次に、補正処理装置制御部 124bを介 して、画素値変換パラメタ記憶部 125gに記憶されている画素値変換パラメタを各補 正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶させる。
[0199] なお、本実施形態のように探索範囲を 0〜255の全域として 、る場合には、これら の処理において、第一の中間入力レベル画素値変換パラメタ、第二の中間入カレべ ル画素値変換パラメタ、第三の中間入力レベルの画素値変換パラメタのそれぞれを 、全ての画素の画素値が（0, 0, 0)となるように初期化してもよい。あるいは、既に調 整が完了している画素値変換パラメタに基づき、それらを既存の方法で補間すること によって、各々の画素位置毎の初期値を決定するようにしてもょ 、。
[0200] 次に、映像出力装置 110の画像記憶部 112に記憶されている、シリアル番号で特 定される中間入力レベルの画像データを、補正処理装置 123A〜 123D及び映像投 映装置 130A〜130Dを介してスクリーン 140に投映する（S324)。
[0201] 次に、反復回数 Xを 0に初期化する（S325)。
[0202] 次に、撮像装置 150で撮影を行う (S326)。ここで撮影された画像データは、全体 撮影画像データとして映像補正装置 120に送信される（S327)。
[0203] 全体撮影画像データを受信した映像補正装置 120では、フィードバック調整部 124 gにおいて、全体撮影画像データから各面撮影画像データを生成する（S328)。この 処理は、最小入力レベルフィードバック調整処理における各面撮影画像データ生成 処理と同様に実施すればよい。
[0204] 次に、映像補正装置 120において、各面明暗画像データ生成処理を行う (S329) 。この処理は、シリアル番号によって特定される中間入力レベル目標値と各面撮影画 像データの各画素における画素値とを比較して、各面撮影画像データの各画素に おける画素値がシリアル番号によって特定される中間入力レベル目標値よりも小さい 場合にはこの比較対象となった画素に対応する位置の画素の画素値力「 + 1」、各面 撮影画像データの各画素における画素値がシリアル番号によって特定される中間入 カレベル目標値よりも大きい場合にはこの比較対象となった画素に対応する位置の 画素値が「一 1」、各面撮影画像データの各画素における画素値がシリアル番号によ つて特定される中間入力レベル目標値と等しい場合にはこの比較対象となった画素 に対応する位置の画素の画素値が「0」、となるようにした各面明暗画像データを生成 する処理である。 [0205] 次に、映像補正装置 120において、画素値変換パラメタの更新処理を行う（S330) 。この処理は、各面明暗画像データに基づいて、画素値変換パラメタの画素値を更 新する処理である。
[0206] 具体的には、シリアル番号によって特定される中間入力レベル画素値変換パラメタ の各画素に対して、現在の画素値が p、各面明暗画像データの対応する画素位置の 明暗値が s、各面ブレンド重み画像データの対応する画素位置の重み値が w、この 反復回数における振幅値データの値が a、である場合に、その画素の画素値を「p + s X w X aJに更新する処理である。
[0207] 次に、このようにして更新された、シリアル番号によって特定される中間入力レベル 画素値変換パラメタを含めた画素値変換パラメタ記憶部 125gに記憶されている画素 値変換パラメタを、補正処理装置制御部 124bを介して、各補正処理装置 123A〜1 23Dの画素値変換パラメタ記憶部 123fに記憶させる（S331)。
[0208] そして、反復回数データ記憶部 125ηに記憶されている所定の反復回数 (本実施 形態では 8)が終わって 、な 、場合には（S332)、振幅値データの更新 (振幅値デー タ X 1Z2) (端数は切り上げ)を行い（S333)、反復回数 Xに 1を加算して（S334)、 S 326〜S331の処理を繰り返す。
[0209] 一方、所定の反復回数が終わった場合には（S332)、全ての中間入力レベルにつ V、てフィードバック調整処理が終了して 、る力否かを確認する（S335)。
[0210] そして、処理が終了していない中間入力レベルがある場合（S335)には、シリアル 番号に「1」を加算して（S336)、 S321〜S334の処理を繰り返す。
[0211] 全ての中間入力レベルについて処理が終了している場合（S335)には、中間入力 レベルフィードバック調整処理を終了する。
[0212] 図 17は、撮像素子異常検出 ·修正処理の処理内容を示すフローチャートである。
[0213] 撮像素子異常検出 ·修正処理が開始されると、まず、初期化処理を行う（S340)。
この初期化処理は、全ての補正処理装置 123A〜123Dに、恒等変換幾何補正パラ メタ記憶部 125dに記憶されている恒等変換幾何補正パラメタと、画素値変換パラメ タ記憶部 125gに記憶されている（フィードバック調整処理終了後の）画素値変換パラ メタとを、補正処理装置制御部 124bを介して設定し、さらに、各面異常検出回数画 像データ記憶部 125qに記憶されて 、る各面異常検出回数画像データの全ての画 素の画素値を「0」にする処理である。
[0214] 次に、処理対象となる中間入力レベルを特定するシリアル番号 Mを 0にする（S341
) o
[0215] 次に、シリアル番号によって特定される中間入力レベル用露出値を撮像装置 150 に設定する（S342)。中間入力レベル用露出値は、中間入力レベル目標値決定処 理において既に決定されており、目標データ記憶部 1251の中間入力レベル個別目 標データ内に記憶されて 、る。
[0216] 次に、シリアル番号で特定される中間入力レベルの映像をスクリーン 140に投映す る（S343)。これは、シリアル番号で特定される中間入力レベルに対応する画像デー タを映像出力装置 110の画像記憶部 112から読み出して、その画像データを補正処 理装置 123 A〜 123D及び映像投映装置 130A〜 130Dを介してスクリーン 140に 投映するものである。
[0217] 次に、撮像装置 150で撮影を行う (S344)。ここで撮影された画像データは、全体 撮影画像データとして映像補正装置 120に送信される（S345)。
[0218] 全体撮影画像データを受信した映像補正装置 120では、撮像素子異常検出'修正 部 124hにおいて、全体撮影画像データから各面撮影画像データを生成する（S346
) o
この処理は、最小入力レベルフィードバック調整処理における各面撮影画像データ 生成処理と同様に実施すればよい。
[0219] 次に、各面異常検出回数画像データの更新を行う（S347)。これは、各面撮影画 像データの各画素の画素値が、撮像素子異常判定画素値閾値データで特定される 閾値よりも小さい場合には、各面異常検出回数画像データの対応する画素の画素値 に「1」を加算する処理である。なお、撮像装置 150の撮像素子面にゴミなどが付着し ていない場合には、設定した露出値において、フィードバック調整後の画素値が 128 〜192程度になるように調整されているため、この閾値として例えば「50」程度の値を 設定しておくことで、異常を検出することができる。
[0220] 次に、全ての中間入力レベルについて処理が完了しているか否かを判定し（S348 )、処理が完了していない中間入力レベルがある場合には、シリアル番号に「1」をカロ 算して（S349)、 S342〜S347の処理を繰り返す。
[0221] また、全ての中間入力レベルについて処理が完了している場合には（S348)、各 面撮像画素状態画像データを生成する（S350)。これは、更新された各面異常検出 回数画像データにおいて、撮像素子の異常が検出された回数が所定の閾値よりも多 V、場合にはその対応する画素の画素値を 1 (異常）とし、その閾値以下の場合にはそ の対応する画素の画素値を 0 (異常でな!ヽ）とした画像データである各面撮像画素状 態画像データを生成するものである。なお、この閾値としては、本実施形態では、三 つの中間入力レベルで撮像素子の異常検出を行っているため、個々の判定の信頼 度に応じて「1」〜「3」までの数値の何れかを選択して設定しておけばよ!、。
[0222] 次に、生成された各面撮像画素状態画像データに基づいて、撮像素子異常検出' 修正部 124hにおいて、画素値変換パラメタ記憶部 125gに記憶されている各々の画 素値変換パラメタの補正処理を行う（S351)。この処理は、各面撮像画素状態画像 データを参照し、異常と判定されていない画素の画素値変換パラメタを用いて、異常 と判定された画素の画素値変換パラメタを補正する処理であり、最小入力レベル画 素値変換パラメタ、最大入力レベル画素値変換パラメタ、第一の中間入力レベル画 素値変換パラメタ、第二の中間入力レベル画素値変換パラメタ、第三の中間入カレ ベル画素値変換パラメタ、の各々に対して行う処理である。具体的には、既存の内挿 法ゃ外揷法によって実施すればょ ヽ。
[0223] 以上で、撮像素子異常検出'修正処理を終了する。
[0224] 図 8で示された映像表示領域外パラメタ修正処理 (S208)は、幾何補正パラメタの 画素値として NZ A値が格納されて ヽる画素位置に対応する、最大入力レベル画素 値変換パラメタ、第一の中間入力レベル画素値変換パラメタ、第二の中間入カレべ ル画素値変換パラメタ、第三の中間入力レベル画素値変換パラメタの画素値を、全 て最小入力レベル画素値変換パラメタのその画素位置の画素値に等しくなるように 修正する処理である。
[0225] 図 8で示されたパラメタ設定処理 (S209)は、映像補正装置 120の記憶部 125の幾 何補正パラメタ記憶部 125fに記憶されている幾何補正パラメタを補正処理装置制御 部 124bを介して各補正処理装置 123A〜 123Dの幾何補正パラメタ記憶部 123d〖こ 記憶させ、さらに、映像補正装置 120の記憶部 125の画素値変換パラメタ記憶部 12 5gに記憶されている画素値変換パラメタを、補正処理装置制御部 124bを介して、各 補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶させる処理 である。この処理の終了後、スクリーン 140上には、あら力じめ調整されていた幾何補 正パラメタと、本発明の方法で調整された画素値変換パラメタとを反映した、所望の 映像が映し出されることになる。
[0226] 以上のように、本発明では、撮像装置 150上の画素値そのものを基準とし、また、 撮影された画像が目標値に比べて明るいか暗いかという定性的な判定のみを用いて 基本的な調整を行うようにして ヽるため、映像投映装置 130A〜 130Dや撮像装置 1 50において扱われる画素値と実際の明るさとの関係を表す特性データがまったく得 られていない場合であっても、問題なく調整を行うことができる。そのため、調整コスト を低く抑えることができ、また、調整後の映像品質を撮像装置 150の品質に応じた一 定レベルで保証することができる。
[0227] また、本発明では、調整対象となる入力レベル毎に撮像装置 150の露出を適切な ものに変更しながら調整を行っているため、各々の入力レベルに対する調整を、従来 の技術に比べ、高い精度で行うことができる。また、映像投映装置 130A〜130Dの ダイナミックレンジに比べ、ダイナミックレンジの狭 、安価な撮像装置を使って調整を 行うことができるため、システム全体のコストを削減することができる。
[0228] また、本発明では、画素毎に独立にフィードバック調整処理を行っているため、例 えば映像投映装置 130A〜 130Dから「漏れ光」などの名称で呼ばれる制御不可能 な光力 Sスクリーン 140上に投射されている場合でも、その光を含めて良好な映像が得 られるように調整することができる。このような光は、通常ほぼ一定の明るさを持ってお り、明るい映像では見た目でほとんど識別できない一方で、暗い映像でははつきり認 識されることや、スクリーン 140上に表示される映像が「他の」映像投映装置の漏れ光 に影響されることから、制御不可能であることと合わせ、従来の技術では調整が困難 であった。
[0229] また、本発明では、撮像装置 150を使用した調整処理の終了後、画素値変換パラ メタ上での画素値の空間的な分布の情報に基づいて画素値変換パラメタを修正する 処理を加えたため、撮像装置 150の性能や状態が悪い場合であっても、良好な画素 値変換パラメタをより頑健に得ることができる。
[0230] また、本発明では、まず最初に、複数の入力レベルに対応する画素値変換パラメタ の各々に対してその入力レベルに対する映像が滑らかに繋がるように調整を行い、 その後、それら複数の調整済の画素値変換パラメタを統合することによって補正処理 装置で使用する画素値変換パラメタを算出するような構成としているため、少なくとも 、フィードバック調整を行った入力レベルに対しては映像が滑らかに繋がることが保 証され、映像投映装置の特性が精度よくモデルィ匕できないような場合であっても、安 定した調整を行うことができる。なお、本発明では 3種類の中間入力レベルに対して 調整を行ったが、何種類の中間入力レベルに対して調整を行うかは、「0」以上「254 (= 256— 2)」以下（映像出力装置 110から出力される画像データの画素値が各色 8 ビットで表されている場合)の任意の数を選択することができる。 また、本発明では、 恒等変換幾何補正パラメタを使用することで全ての画素に対して調整を行い、その 上で、調整後に常時「黒」が表示されることが望まれている投映領域に対しては、画 素値変換部 123gに入力されるレベルに依存せず、調整後の最小入力レベル画素 値変換パラメタに基づ 、た変換が為されるようにして 、る。調整後に常時「黒」が表示 されることが望まれて 、る領域は、意味のある映像を表示して 、る領域の外側の領域 であるが、この部分で映像間の繋ぎ目が視認された場合、心理的にその付近の映像 の繋ぎ目が視認されやすくなる。本発明によれば、そのような悪影響を排した映像を 提供することができる。
[0231] なお、以上に記載した実施形態においては、映像出力装置 110から 4つの映像を 出力し、それを 4つの補正処理装置 123A〜123Dでそれぞれ補正した上で、 4つの 映像投映装置 130A〜130Dカゝらそれぞれ投映している力 映像出力装置からいく つの映像を出力するかは、必要に応じて、 1つ以上の任意の数を選択することができ る。その際、補正処理装置及び映像投映装置の数は、映像出力装置力 出力される 映像の数に合わせて用意すればょ 、。
[0232] また、以上に記載した実施形態にお!、ては、フィードバック調整の際の目標値を、 映像投映装置 130A〜 130Dを用 V、て投映した画像データを撮影することで決定し たが、本発明は、映像表示システム 100の特性をあらカゝじめ用意された色見本に合 わせて調節する場合にも適用することが可能である。その場合、各々の目標値を決 定する際に、色見本のスクリーン上での提示位置を特定するパターンを映像投映装 置 130A〜130Dのうちの 1つカも投映し、ユーザが色見本を指定された位置に固定 した後に処理の続行を指示するためのコマンドを、入力装置 126から入力できるよう な構成とすればよい。
[0233] また、以上に記載した実施形態においては、映像表示システム 100を、映像出力 装置 110と、映像補正装置 120と、映像投映装置 130A〜130Dと、スクリーン 140と 、撮像装置 150と、を備えるように構成したが、本発明は、映像出力装置 110と、映像 補正装置 120の補正部 121と、映像投映装置 130A〜130Dと、スクリーン 140と、 力も構成される既存の映像表示システムに対して、映像補正装置 120の調整部 122 と撮像装置 150とを別途接続して画素値変換パラメタの調整を行うような、映像調整 システムに対しても適用することが可能である。
[0234] また、本実施形態にぉ 、ては、説明を簡単にするため、映像表示システムが備える 各々の映像投映装置において、 R, G, Bの各色間の特性があら力じめ調整されてお り、したがって R, G, Bの各色に対して同一の補正を行えば十分である場合に関して 説明したが、これは本発明の本質とは関係なぐ各色を個別に調整することや、後述 の他の実施形態のように各色を同時に独立に調整することによって、 R, G, Bの各色 間の特性があら力じめ調整されていないような場合にも本発明を適用することは可能 である。なお、本実施形態において、各色を同時に独立に調整する場合には、映像 出力装置 110の画像記憶部 112には単色（1色分)のパターン（256通り）を記憶して おき、調整時に、 R, G, Bの各色それぞれに対して適切なパターンを選択して、それ らを組み合わせて出力するようにすればょ 、。
[0235] なお、以上に記載した露出調整の方法で示した画素値の範囲については、本実施 形態で使用した撮像装置 150にお ヽて好適な画像データを撮影するための範囲で あって、使用する撮像装置の性能に応じて適宜変更可能である。また、あら力じめ各 々の入力レベルの調整に適した露出値が分力つている場合には、それらを目標デー タ記憶部 1251に記憶しておき、露出調整で得られる値の代わりにそれらの値を使用 するようにしてちょい。
[0236] 以下、図 18及び図 19を用いて本発明の映像表示システムの第二の実施形態を説 明する。本実施形態は、補正処理装置 123A〜123Dの設計上、画素値変換パラメ タの更新を頻繁に実施するのが好ましくない場合 (例えば、画素値変換パラメタ記憶 部 123fに記憶するパラメタのデータサイズが大き 、又は補正データ入力部 123cの スループットが小さく一回の設定に時間が力かる場合など）に好適な形態である。 第一の実施形態では、フィードバック調整を行う際に、補正処理装置 123A〜123D に設定する画素値変換パラメタを更新することで、映像投映装置 130A〜 130Dに入 力される画像データを更新し、スクリーン 140に投映される映像が更新されるようにし ていたが、本実施形態では、補正処理装置 123A〜123Dに入力する画像データを 更新することで、映像投映装置 130A〜 130Dに入力される画像データが更新され、 スクリーン 140に投映される映像が更新されるようにした。
[0237] このような相違点があるため、本実施形態における映像表示システムでは、第一の 実施形態における映像表示システム 100と比較して、補正制御部 424と記憶部 425 が異なっている。以下、これらの異なっている点に関連する事項について説明する。
[0238] 本実施形態における補正制御部 424では、図 18に示されているように、第一の実 施形態と異なり、画素値変換パラメタ更新部 124aの代わりにパラメタ画像生成部 42 4jが設けられている。また、新たに、パラメタ変換部 424kが設けられている。
[0239] パラメタ画像生成部 424jは、フィードバック調整部 124g、撮像素子異常検出'修正 部 124h、映像表示領域外パラメタ修正部 124iの要求に応じ各補正処理装置 123 A 〜123Dに入力するためのパラメタ画像を生成する。
[0240] パラメタ画像は、第一の実施形態の画素値変換パラメタ更新部 124aで更新してい た最小入力レベル画素値変換パラメタ、最大入力レベル画素値変換パラメタ、第一 の中間入力レベル画素値変換パラメタ、第二の中間入力レベル画素値変換パラメタ 、第三の中間入力レベル画素値変換パラメタの各々に対応する画像データ（以下で はそれぞれ、最小入力レベルパラメタ画像、最大入力レベルパラメタ画像、第一の中 間入力レベルパラメタ画像、第二の中間入力レベルパラメタ画像、第三の中間入力 レベルパラメタ画像、と呼ぶ）であり、各々の画素位置に対して各々の画素値変換パ ラメタの対応する画素位置の画素値を設定した画像データである。したがって、画素 毎に独立に画素値変換パラメタの画素値と同じ (あるいは同等の)画素値が設定でき るような構造となっていればよぐ例えば、必要な色深度を備えた BMP (Bit MaP) , RAW, TIFF (Tagged Image File Format)等の既存の开拭で生成すればよ い。 ノ メタ変換部 424kは、パラメタ画像生成部 424jが生成したパラメタ画像を、 画素値変換パラメタ記憶部 125gに記憶される画素値変換パラメタ (最小入力レベル 画素値変換パラメタ、最大入力レベル画素値変換パラメタ、第一の中間入力レベル 画素値変換パラメタ、第二の中間入力レベル画素値変換パラメタ、第三の中間入力 レベル画素値変換パラメタ）に変換するものである。パラメタ変換部 424kでの処理は 、フォーマットの変換処理であり、容易に実施可能である。 本実施形態における記 憶部 425では、図 19に示されているように、第一の実施形態とは異なり、ノ ラメタ画 像記憶部 425rが設けられて ヽる。
[0241] ノ メタ画像記憶部 425rには、パラメタ画像生成部 424jで生成されたパラメタ画像 を記憶する。
[0242] そして、補正制御部 424の映像出力装置制御部 424dは、フィードバック調整の際 に、映像出力装置 110の画像記憶部 112に適切なパラメタ画像を記憶させ、必要な タイミングで、このパラメタ画像を出力させるようにして 、る。
[0243] なお、本実施形態では、調整が完了して幾何補正パラメタと画素値変換パラメタを 補正処理装置 123A〜 123Dに設定するまで、補正処理装置 123A〜 123Dでは、 恒等変換幾何補正パラメタと恒等変換画素値変換パラメタを用いて画像データの補 正を行っている。
[0244] 以上のように構成される第二の実施形態における映像表示システムにおける調整 処理については、主に、フィードバック調整処理が第一の実施形態と異なっているた め、以下、フィードバック調整処理の相違点に関して説明する。
[0245] 本実施形態における最小入力レベルフィードバック調整処理では、初期化処理に お 、てパラメタ画像記憶部 425rに記憶されて 、る最小入力レベルパラメタ画像の画 素値を全て (0, 0, 0)にする。また、画素値変換パラメタの更新処理において、パラメ タ画像記憶部 425rに記憶されている最小入力レベルパラメタ画像をパラメタ画像生 成部 424jで更新し、更新された最小入力レベルパラメタ画像を映像出力装置 110の 画像記憶部 112に記憶させて、この最小入力レベルパラメタ画像を出力させることで 、フィードバック調整におけるスクリーン 140上の映像の更新を行うようにしている。
[0246] 本実施形態における最大入力レベルフィードバック調整処理では、初期化処理に お 、てパラメタ画像記憶部 425rに記憶されて 、る最大入力レベルパラメタ画像の画 素値を全て (0, 0, 0)にする。また、画素値変換パラメタの更新処理において、パラメ タ画像記憶部 425rに記憶されている最大入力レベルパラメタ画像をパラメタ画像生 成部 424jで更新し、更新された最大入力レベルパラメタ画像を映像出力装置 110の 画像記憶部 112に記憶させて、この最大入力レベルパラメタ画像を出力させることで 、フィードバック調整におけるスクリーン 140上の映像の更新を行うようにしている。
[0247] 本実施形態における中間入力レベルフィードバック調整処理では、シリアル番号で 特定される中間入力レベルパラメタ画像の初期値を設定する際に、既にフィードバッ ク調整処理が終了した入力レベルに対応するパラメタ画像を使用する。
[0248] 具体的には、第一の中間入力レベルパラメタ画像の各画素の初期値は、最小入力 レベルパラメタ画像の対応する画素の画素値と等しくなるように設定し、第二の中間 入力レベルパラメタ画像の各画素の初期値は、第一の中間入力レベルパラメタ画像 の対応する画素の画素値と等しくなるように設定し、第三の中間入力レベルパラメタ 画像の各画素の初期値は、第二の中間入力レベルパラメタ画像の対応する画素の 画素値と等しくなるように設定する。
[0249] また、中間入力レベルフィードバック調整処理における画素値変換パラメタの更新 処理にお 、ては、パラメタ画像記憶部 425rに記憶されて 、るシリアル番号で特定さ れる中間入力レベルパラメタ画像をパラメタ画像生成部 424jで更新し、更新された ノ ラメタ画像を映像出力装置 110の画像記憶部 112に記憶させて、このパラメタ画像 を出力させることで、フィードバック調整におけるスクリーン 140上の映像の更新を行 うようにしている。
[0250] 本実施形態における撮像素子異常検出'修正処理では、シリアル番号で特定され る中間入力レベルの画像データをフィードバック調整後の画素値変換パラメタで変換 してスクリーン 140に投映する代わりに、シリアル番号で特定される中間入力レベル パラメタ画像を (恒等変換画素値変換パラメタで変換して)スクリーン 140に投映する 点と、撮像素子異常補正部 124ηで補正処理を行う対象が各々のパラメタ画像となる 点が異なる。
[0251] なお、本実施形態におけるパラメタ設定処理では、画素値変換パラメタの設定に関 して、ノラメタ画像記憶部 425rに記憶されている各々のパラメタ画像をパラメタ変換 部 424kで対応する画素値変換パラメタに変換してから、補正処理装置制御部 124b を介して各補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶 するようにしている。
[0252] 以上のように、本実施形態においては、補正処理装置 123A〜123Dに入力する 画像データを更新することでスクリーン 140に投映される映像を更新してフィードバッ ク調整を行うことができるため、補正処理装置 123A〜123Dの設計上、画素値変換 ノ メタの更新を頻繁に実施するのが好ましくない場合に、画素値変換パラメタの更 新回数を抑えて調整を行うことができる。
[0253] なお、本実施形態では、補正制御部 424の映像出力装置制御部 424dは、フィード バック調整の際に、映像出力装置 110の画像記憶部 112にパラメタ画像を記憶させ 、必要なタイミングで、このパラメタ画像を出力させるようにしている力 このような態様 に限定されるわけではなぐ必要なタイミングで補正制御部 424から映像出力装置 1 10にパラメタ画像を送信し、映像出力装置 110から出力させるようにしてもょ 、。
[0254] 以下、図 20〜図 22を用いて本発明の映像表示システムの第三の実施形態を説明 する。本実施形態は、映像出力装置 110を映像補正装置 120で制御することができ な 、場合に好適な例である。
[0255] 第二の実施形態では、調整処理を行う際に、補正処理装置 123A〜123Dに入力 する画像データを更新することで、映像投映装置 130A〜130Dに入力される画像 データを更新し、スクリーン 140に投映される映像が更新されるようにしていた力 本 実施形態では、補正処理装置 123A〜123Dに入力される画像データが何であって も所望の画像データを出力するような特殊な画素値変換パラメタを利用し、その画素 値変換パラメタを更新することで、映像投映装置 130A〜 130Dに入力される画像デ ータが更新され、スクリーン 140に投映される映像が更新されるようにした。
[0256] なお、そのような特殊な画素値変換パラメタは、図 42 (c)で説明したように、最小入 カレベル画素値変換パラメタ、最大入力レベル画素値変換パラメタ、第一の中間入 カレベル画素値変換パラメタ、第二の中間入力レベル画素値変換パラメタ、第三の 中間入力レベル画素値変換パラメタ、の全てについて、各画素の画素値を、所望の 画像データの対応する画素位置の画素値と同じ (あるいは同等）になるように設定す ることで生成する。
[0257] 本実施形態は、第二の実施形態と比べ、このような相違点があるが、各装置の構成 の違いを明確にするため、以下では第一の実施形態を基準として説明を行う。本実 施形態における映像表示システムでは、第一の実施形態における映像表示システム 100と比較して、映像出力装置 510と映像補正装置 520が異なっている。以下、これ
Figure imgf000054_0001
、る点に関連する事項につ!、て説明する。
[0258] 本実施形態における映像出力装置 510では、映像補正装置 520との間でデータの 送受信を行わないため、第一の実施形態における第一の送受信部 115と画像記憶 部 112が不要である他は、第一の実施形態と同様の構成となって！/、る。
[0259] 本実施形態における映像補正装置 520は、映像出力装置 510との間でデータの 送受信を行わないため、第一の実施形態における第二の送受信部 127が不要であ るとともに、補正制御部 524が第一の実施形態とは異なっている。また、画素値変換 ノ メタ記憶部 125gには、第二の実施形態における各々のパラメタ画像に対応する 特殊な画素値変換パラメタ (本実施形態では、以下、この画素値変換パラメタのこと をパラメタ画像と呼ぶ)も含めて記憶する。なお、その他の構成については、第一の 実施形態と同様の構成となっている。
[0260] 本実施形態における補正制御部 524は、図 22に示されているように、映像出力装 置 510の制御が不要となったため、第一の実施形態と比べて、映像出力装置制御部 124dが不要になっている。また、第一の実施形態と異なり、画素値変換パラメタ更新 部 124aの代わりにパラメタ画像生成部 5241が設けられている。また、新たに、パラメ タ変換部 524kが設けられて 、る。
[0261] パラメタ画像生成部 5241は、フィードバック調整部 124g、撮像素子異常検出'修正 部 124h、映像表示領域外パラメタ修正部 124iの要求に応じ各補正処理装置 123 A 〜123Dに入力するためのパラメタ画像を生成し、生成したパラメタ画像を画素値変 換パラメタ記憶部 125gに記憶させた上で、補正処理装置制御部 124bを用いてその ノ メタ画像を各々対応する補正処理装置 123A〜 123Dの画素値変換パラメタ記 憶部 123fに記憶させる。
[0262] ノラメタ変換部 524kでの処理は、各々のパラメタ画像 (本実施形態では、特殊な画 素値変換パラメタである)から、各々に対応する、最小入力レベル画素値変換パラメ タ、最大入力レベル画素値変換パラメタ、第一の中間入力レベル画素値変換パラメ タ、第二の中間入力レベル画素値変換パラメタ、第三の中間入力レベル画素値変換 ノ メタへとフォーマットを変換する処理であり、容易に実施可能である。
[0263] なお、本実施形態では、調整が完了して幾何補正パラメタ記憶部 125fに記憶され て 、る幾何補正パラメタを補正処理装置 123A〜 123Dに設定するまで、補正処理 装置 123A〜 123Dでは、恒等変換幾何補正パラメタを用 、て画像データの補正を 行っている。
[0264] 以上のように構成される第三の実施形態における映像表示システムにおける調整 処理については、主に、フィードバック調整処理が第一の実施形態と異なっているた め、以下、フィードバック調整処理の相違点に関して説明する。
[0265] 本実施形態における最小入力レベルフィードバック調整処理では、初期化処理に ぉ 、て画素値変換パラメタ記憶部 125gに記憶されて 、る最小入力レベルパラメタ画 像の画素値を全て (0, 0, 0)にする。また、画素値変換パラメタの更新処理において 、画素値変換パラメタ記憶部 125gに記憶されて 、る最小入力レベルパラメタ画像を ノ メタ画像生成部 5241で更新し、更新された最小入力レベルパラメタ画像を各々 対応する補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶さ せることで、フィードバック調整におけるスクリーン 140上の映像の更新を行うようにし ている。
[0266] 本実施形態における最大入力レベルフィードバック調整処理では、初期化処理に ぉ 、て画素値変換パラメタ記憶部 125gに記憶されて 、る最大入力レベルパラメタ画 像の画素値を全て (0, 0, 0)にする。また、画素値変換パラメタの更新処理において 、画素値変換パラメタ記憶部 125gに記憶されて 、る最大入力レベルパラメタ画像を ノ メタ画像生成部 5241で更新し、更新された最大入力レベルパラメタ画像を各々 対応する補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶さ せることで、フィードバック調整におけるスクリーン 140上の映像の更新を行うようにし ている。
[0267] 本実施形態における中間入力レベルフィードバック調整処理では、シリアル番号で 特定される中間入力レベルパラメタ画像の初期値を設定する際に、既にフィードバッ ク調整処理が終了した入力レベルに対応するパラメタ画像を使用する。
[0268] 具体的には、第一の中間入力レベルパラメタ画像の各画素の初期値は、最小入力 レベルパラメタ画像の対応する画素の画素値と等しくなるように設定し、第二の中間 入力レベルパラメタ画像の各画素の初期値は、第一の中間入力レベルパラメタ画像 の対応する画素の画素値と等しくなるように設定し、第三の中間入力レベルパラメタ 画像の各画素の初期値は、第二の中間入力レベルパラメタ画像の対応する画素の 画素値と等しくなるように設定する。
[0269] また、中間入力レベルフィードバック調整処理における画素値変換パラメタの更新 処理においては、画素値変換パラメタ記憶部 125gに記憶されているシリアル番号で 特定される中間入力レベルパラメタ画像をパラメタ画像生成部 5241で更新し、更新さ れたパラメタ画像を各々対応する補正処理装置 123A〜 123Dの画素値変換パラメ タ記憶部 123fに記憶させることで、フィードバック調整におけるスクリーン 140上の映 像の更新を行うようにして 、る。
[0270] 本実施形態における撮像素子異常検出'修正処理では、シリアル番号で特定され る中間入力レベルの画像データをフィードバック調整後の画素値変換パラメタで変換 してスクリーン 140に投映する代わりに、シリアル番号で特定される中間入力レベル ノ メタ画像を各々対応する補正処理装置 123A〜 123Dの画素値変換パラメタ記 憶部 123fに記憶させてスクリーン 140上の映像の更新を行うようにしている点と、撮 像素子異常補正部 124ηで補正処理を行う対象が各々のパラメタ画像となる点が異 なる。
[0271] なお、本実施形態におけるパラメタ設定処理では、画素値変換パラメタの設定に関 して、画素値変換パラメタ記憶部 125gに記憶されている各々のパラメタ画像をパラメ タ変換部 524kで対応する画素値変換パラメタに変換してから、補正処理装置制御 部 124bを介して各補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123f に記憶するようにしている。
[0272] 以上のように、本実施形態においては、補正処理装置 123A〜123Dに設定する 特殊な画素値変換パラメタを更新することでスクリーン 140に投映される映像を更新 してフィードバック調整を行うことができるため、映像出力装置 110を映像補正装置 1 20で制御することができな 、場合にも、システムの調整を行うことができる。
[0273] 以下、図 23〜図 30を用いて、本発明の第四の実施形態である映像表示システム について説明する。
[0274] なお、本実施形態は、以前に調整された画素値変換パラメタを再調整する場合の 例であり、第一の実施形態である映像表示システム 100とほぼ同一の構成で実現可 能ではあるが、以下、第一の実施形態と異なる点に関連する事項について説明する
[0275] 本実施形態における映像表示システムでは、第一の実施形態における映像表示シ ステム 100と比較して、補正制御部 624と記憶部 625が異なっている。以下、これら の異なって!/、る点に関連する事項につ!、て説明する。
[0276] 本実施形態における補正制御部 624には、図 23に示されているように、第一の実 施形態の補正制御部 124に加えて、全体映像表示領域画像データ生成部 624m、 修正目標画像データ生成部 624η及び修正フィードバック調整部 624pが設けられて いる。
[0277] 全体映像表示領域画像データ生成部 624mは、全体映像表示領域画像データを 生成するものである。全体映像表示領域画像データは、撮像装置 150が撮影する撮 影画像データと同じ解像度の画像データであり、調整後に何れかの映像投映装置 1 30A〜130Dによって映像が表示される映像表示領域に対応する領域、すなわち全 体映像表示領域に対応する領域については画素値が「1」、それ以外の領域、すな わち、何れの映像投映装置 130A〜130Dの投映光も投射されていないか、または、 何れかの映像投映装置 130A〜130Dの投映光は投射されているものの、調整後に 表示すべき映像がなく所謂「黒」が投映される領域に対応する領域につ!ヽては画素 値が「0」であるような、全体映像表示領域画像データを生成するものである。
[0278] 修正目標画像データ生成部 624ηは、既に記憶されて 、る画素値変換パラメタを修 正するための目標画像である修正目標画像データを生成する。なお、第一の実施形 態では、全ての画素値を一つの目標値に収束させたが、本実施形態では、後述する ように、画素毎に目標値が異なるようにしている。従って、修正を行うそれぞれの入力 レベル毎に、各画素位置の修正値を対応する画素位置に設定した画像データであ る修正目標画像データに基づいてフィードバック調整をするようにしている。なお、こ の修正目標画像データは、各補正処理装置 123A〜123D用に別々のものを作成し 、その解像度は、個々の補正処理装置 123A〜123Dの画素値変換部 123gから出 力される画像データの解像度と等しいものとなっている。
[0279] 修正フィードバック調整部 624pは、既に記憶されている画素値変換パラメタの修正 を行うものである。
[0280] 本実施形態における記憶部 625には、図 24に示されているように、第一の実施形 態の記憶部 125に加えて、修正目標データ記憶部 625sと全体映像表示領域画像 データ記憶部 625tが設けられて 、る。
[0281] 修正目標データ記憶部 625sには、最小入力レベル個別修正目標データと、最大 入力レベル個別修正目標データと、第一の中間入力レベル個別修正目標データと、 第二の中間入力レベル個別修正目標データと、第三の中間入力レベル個別修正目 標データと、を記憶する。
[0282] 本実施形態では、以前に調整されて!ヽる画素値変換パラメタを再調整することを前 提としているため、それぞれの入力レベルに対する目標値は、既に得られている画 素値変換パラメタで調整対象とする入力レベルの画像データを変換した結果に基づ いて決定する。そこで、本実施形態では、第一の実施形態とは異なり、フィードバック 調整処理における目標値を決定するための表示レベルを算出していない。また、本 実施形態では、フィードバック調整処理における目標値についても画素毎に独立な 値としているため、第一の実施形態とは異なり、各々の画素位置でのフィードバック 調整処理における目標値を画素値として備えた修正目標画像データを用いてフィー ドバック調整処理を行う。なお、この修正目標画像データの算出方法については、後 述する。
[0283] 最小入力レベル個別修正目標データは、最小入力レベル画素値、最小入カレべ ル用露出値及び最小入力レベル修正目標画像データにより構成されている。ここで 、最小入力レベル画素値は設計値であり、最小入力レベル用露出値と最小入カレべ ル修正目標画像データは、 、ずれも修正目標画像データ生成部 624ηにおける処 理で決定されるものである。
[0284] 最大入力レベル個別修正目標データは、最大入力レベル画素値、最大入カレべ ル用露出値及び最大入力レベル修正目標画像データにより構成されている。ここで 、最大入力レベル画素値は設計値であり、最大入力レベル用露出値と最大入カレべ ル修正目標画像データは、 、ずれも修正目標画像データ生成部 624ηにおける処 理で決定されるものである。
[0285] 第一の中間入力レベル個別修正目標データは、第一の中間入力レベル画素値、 第一の中間入力レベル用露出値及び第一の中間入力レベル修正目標画像データ により構成されている。ここで、第一の中間入力レベル画素値は設計値であり、第一 の中間入力レベル用露出値と第一の中間入力レベル修正目標画像データは、いず れも修正目標画像データ生成部 624ηにおける処理で決定されるものである。
[0286] 第二の中間入力レベル個別修正目標データは、第二の中間入力レベル画素値、 第二の中間入力レベル用露出値及び第二の中間入力レベル修正目標画像データ により構成されている。ここで、第二の中間入力レベル画素値は設計値であり、第二 の中間入力レベル用露出値と第二の中間入力レベル修正目標画像データは、いず れも修正目標画像データ生成部 624ηにおける処理で決定されるものである。
[0287] 第三の中間入力レベル個別修正目標データは、第三の中間入力レベル画素値、 第三の中間入力レベル用露出値及び第三の中間入力レベル修正目標画像データ により構成されている。ここで、第三の中間入力レベル画素値は設計値であり、第三 の中間入力レベル用露出値と第三の中間入力レベル修正目標画像データは、 、ず れも修正目標画像データ生成部 624ηにおける処理で決定されるものである。
[0288] 全体映像表示領域画像データ記憶部 625tは、前述の全体映像表示領域画像デ ータ生成部 624mにより生成された全体映像表示領域画像データを記憶する。
[0289] なお、本実施形態における画素値変換パラメタ記憶部 125gには、以前に生成され た画素値変換パラメタが既に記憶されているものとする。
[0290] 以上のように構成される第四の実施形態である映像表示システムにおける画素値 変換パラメタの修正処理について、以下説明する。
[0291] 図 25は、本実施形態の映像表示システムにおける画素値変換パラメタの修正処理 の全体的な流れを示すフローチャートである。
[0292] 画素値変換パラメタの修正を行う場合には、まず、全体重複投映度数画像データ 及び各面重み画像データ生成処理を行う（S701)。次に、全体映像表示領域画像 データを生成する（S702)。そして、最小入力レベル目標画像データの生成処理 (S 703)、最大入力レベル目標画像データの生成処理（S704)及び中間入力レベル目 標画像データの生成処理を行 ヽ (S705)、これらの目標画像データに基づき修正フ イードバック調整処理を行い（S706)、既に算出されている幾何補正パラメタと以上 の処理で修正した画素値変換パラメタとを補正処理装置に設定する（S707)。
[0293] 以下、これらの各処理の具体的内容について説明する。
[0294] まず、全体重複投映度数画像データ及び各面重み画像データ生成処理 (S701) については、第一の実施形態と同様であるので、説明を省略する。なお、本実施形 態では、以前に調整された画素値変換パラメタが存在するため、例えば、その画素 値変換パラメタのうち最大入力レベル画素値変換パラメタに相当する画像データに 基づいて、各面重み画像データを生成するようにしてもよい。具体的には、最大入力 レベル画素値変換パラメタに相当する画像データの画素値を正規化 (定数倍)するこ とで生成することができる。ここで、この正規ィ匕のための定数は、最大入力レベル画 素値変換パラメタに相当する画像データの全体を参照し、定数倍した結果の最大値 力 S「 1」となるように算出すればょ 、。
[0295] 図 26は、全体映像表示領域画像データ生成処理 (S702)の具体的な処理内容を 表すフローチャートである。
[0296] 全体映像表示領域画像データ生成処理が開始されると、まず、初期設定を行う (S 710)。ここでの初期設定は、既に算出されている幾何補正パラメタと既に調整されて V、る画素値変換パラメタとを全ての補正処理装置 123A〜 123Dに設定し、全体映 像表示領域画像データ記憶部 625tに記憶されている全体映像表示領域画像デー タの全ての画素の画素値を「0」にする処理である。
[0297] 次に、撮像装置 150の露出調整を行う（S711)。この露出調整は、映像出力装置 1 10の画像記憶部 112から、全ての映像投映装置 130A〜 130Dに対して全ての画 素の画素値が（255、 255、 255)の画素値の画像データを出力して、スクリーン 140 に投映された映像 (この映像は、既に調整されている画素値変換パラメタを使用して いるため、ほぼ一様な明るさの映像となっているはずである）を撮影した際に、撮影し た映像領域の画素値の最大値が 192〜240の範囲に入るように露出値を調整する。 なお、この露出調整は、後述する 2値ィヒ処理を安定して行うための処理であり、画素 値が厳密にその範囲に入るようにする必要はな 、。
[0298] 次に、全体前景色画像データの生成を行う (S712) 0この処理は、全ての映像投映 装置 130A〜 130Dに対して映像出力装置 110の画像記憶部 112から全ての画素 の画素値が前景色に等し 、ような画像データを出力し、それによつてスクリーン 140 に投映された映像を撮像装置 150で撮影することで、その撮影画像データとしての 全体前景色画像データを生成する処理である。
[0299] 次に、全体背景色画像データの生成を行う (S713) 0この処理は、全ての映像投映 装置 130A〜 130Dに対して映像出力装置 110の画像記憶部 112から全ての画素 の画素値が背景色に等しいような画像データを出力し、それによつてスクリーン 140 に投映された映像を撮像装置 150で撮影することで、その撮影画像データとしての 全体背景色画像データを生成する処理である。
[0300] ここで、前景色及び背景色に対応する画素値は、後述の絶対差分画像データの各 画素の画素値ができるだけ大きくなるように、例えば (0, 255, 255)と（255, 0, 0) のような値を使用すればよい。
[0301] 次に、全体 2値化画像データの生成を行う（S714)。この処理は、全体前景色画像 データと全体背景色画像データの全ての画素に対して各々対応する画素同士の差 分を取りその絶対値を画素値として設定した絶対差分画像データを生成し (このとき 、前記の差分は R, G, Bの各々対応する色毎に取り、その絶対値の和を絶対差分画 像データの画素値として設定する）、この絶対差分画像データに対して 2値化処理を 行うことで、絶対差分画像データの画素値である絶対差分値が所定の閾値以上であ るような画素位置に対しては画素値が「1」、それ以外の画素位置に対しては画素値 力 S「0」であるような、全体 2値化画像データを生成する処理である。ここで、絶対差分 画像データ及び全体 2値化画像データの解像度は全体前景色画像データ及び全体 背景色画像データの解像度に等しぐまた、前記 2値ィ匕の際に使用する所定の閾値 は、例えば大津の判別分析法と呼ばれる方法等、既存の方法を用いて絶対差分画 像データから自動で決定されるものを用いる。
[0302] 次に、全体映像表示領域画像データの更新を行う (S715)。この処理は、全体 2値 化画像データの複製を全体映像表示領域画像データとして登録する処理である。こ のような処理を行うことで、何れかの映像投映装置 130A〜130Dによって画像が表 示される映像表示領域に対応する領域については画素値力 S「l」であり、何れの映像 投映装置 130A〜130Dの投映光も投射されていないか、または、何れかの映像投 映装置 130A〜130Dの投映光は投射されているものの表示すべき画像がなく所謂 「黒」が投映されて 、る領域に対応する領域につ 1、ては画素値が「0」であるような、 全体映像表示領域画像データを作成することができる。なお、全体映像表示領域画 像データは、全体 2値化画像データの解像度と等 ヽ解像度を有する画像データで ある。
[0303] 図 27は、最小入力レベル目標画像データ生成処理（S703)の処理内容を示すフ ローチャートである。
[0304] 最小入力レベル目標画像データ生成処理が開始されると、まず、初期設定を行う ( S720)。この初期設定では、全ての補正処理装置 123A〜123Dに恒等変換幾何 補正パラメタと以前に調整された画素値変換パラメタを設定する。
[0305] 次に、映像出力装置 110の画像記憶部 112に記憶されている最小入力レベル、即 ち、全ての画素の画素値が（0, 0, 0)の画像データを補正処理装置 123A〜123D 及び映像投映装置 130A〜130Dを介してスクリーン 140に投映する（S721)。
[0306] 次に、撮像装置 150の露出調整を行う（S722)。この露出調整は、全体映像表示 領域画像データを参照し、この全体映像表示領域画像データの画素値が「1」の領 域に対応する画素の画素値の平均値が 128〜 192程度の範囲に収まるように露出 値を調整する。なお、画素値の平均値力 Sこのような範囲内に収まれば、どの露出値を 用いてもよい。
[0307] このように調整された露出値は、最小入力レベル用露出値として、修正目標データ 記憶部 625sの最小入力レベル個別目標データ内に記憶される（S723)。
[0308] そして、この最小入力レベル用露出値を用いて撮像装置 150で撮影を行う（S724 )。このようにして撮影された撮影画像データは、全体撮影画像データとして撮像装 置 150から映像補正装置 120に送信される（S 725)。
[0309] 全体撮影画像データを受信した映像補正装置 120では、修正目標画像データ生 成部 624ηで、全体撮影画像データから全体平滑化画像データを生成する（S726) 。この処理は、全体撮影画像データを平滑化するものであって、例えば、全体撮影画 像データに平均値フィルタを掛けることにより生成される。なお、ここでは、全体として 滑らかな画像データを取得することが目的であるため、平均値フィルタのフィルタ半 径は大きめの値とするのが望ましい。また、最小入力レベルに対しては、後述する他 の入力レベルのように全体重複投映度数画像データを参照して全体平滑化画像デ ータを生成する必要はな 、。
[0310] 次に、全体差分画像データの生成を行う (S727)。この処理は、全体撮影画像デ 一タの各画素の画素値から、全体平滑化画像データの対応する画素の画素値を減 じることにより全体差分画像データを生成するものである。
[0311] 次に、全体映像表示領域画像データの画素値が「1」の領域に対応する全体差分 画像データの領域の画素値の最大値 Ml 1を求める（S728)。
[0312] 最大値 Mi lが非負値である場合には（S729)、全体平滑ィ匕画像データをそのまま 全体修正目標画像データとすると、映像投映装置の性能上、良好な画素値変換パラ メタが得られな 、可能性があるため、全体平滑ィ匕画像データの各画素の画素値に最 大値 Mi lを加えたものを全体修正目標画像データとする（S730)。他方、最大値 M 11が非負値でな！、場合には（S729)、全体平滑化画像データを全体修正目標画像 データとする（S731)。
[0313] 次に、全体修正目標画像データから最小入力レベル修正目標画像データを生成 して、修正目標データ記憶部 625sの最小入力レベル個別修正目標データ内に記憶 する（S732)。ここで、最小入力レベル修正目標画像データは、各面撮影座標対応 画像データと等 、解像度を有する画像データであり、補正処理装置 123A〜 123 Dの各々に対応して生成される。最小入力レベル修正目標画像データの各画素の 画素値は、既に生成されている各面撮影座標対応画像データの対応する画素の画 素値（2次元ベクトル値)を参照し、その参照した画素値（2次元ベクトル値）に対応す る全体修正目標画像データ上の座標位置での画素値を算出することにより、決定さ れる。 以上で、最小入力レベル目標画像データ生成処理を終了する。
[0314] このようにして最小入力レベル目標画像データを生成することで、以前に調整され た画素値変換パラメタの特性を生力した形で、各画素の目標値を調整可能な値に決 定することができる。
[0315] 図 28は、最大入力レベル目標画像データ生成処理（S704)の処理内容を示すフ ローチャートである。
[0316] 最大入力レベル目標画像データ生成処理が開始されると、まず、初期設定を行う ( S740)。この初期設定では、全ての補正処理装置 123A〜123Dに恒等変換幾何 補正パラメタと以前に調整された画素値変換パラメタを設定する。
[0317] 次に、映像出力装置 110の画像記憶部 112に記憶されている最大入力レベル、即 ち、全ての画素の画素値が（255、 255、 255)の画像データを補正処理装置 123A 〜 123D及び映像投映装置 130A〜 130Dを介してスクリーン 140に投映する（S 74 D o 次に、撮像装置 150の露出調整を行う（S742)。この露出調整は、全体映像表 示領域画像データを参照し、この全体映像表示領域画像データの画素値が「1」の 領域に対応する画素の画素値の平均値が 128〜 192程度の範囲に収まるように露 出値を調整する。なお、画素値の平均値力 Sこのような範囲内に収まれば、どの露出 値を用いてもよい。
[0318] このように調整された露出値は、最大入力レベル用露出値として、修正目標データ 記憶部 625sの最大入力レベル個別目標データ内に記憶される（S743)。
[0319] そして、この最大入力レベル用露出値を用いて撮像装置 150で撮影を行う（S744 )。このようにして撮影された撮影画像データは、全体撮影画像データとして撮像装 置 150から映像補正装置 120に送信される（S745)。 全体撮影画像データを受信 した映像補正装置 120では、補正制御部 624の修正目標画像データ生成部 624η で、全体撮影画像データから全体平滑化画像データを生成する（S 746)。この処理 は、全体撮影画像データを平滑ィ匕するものであって、例えば、全体撮影画像データ に平均値フィルタを掛けることにより生成される。なお、ここでは、全体として滑らかな 画像データを取得することが目的であるため、平均値フィルタのフィルタ半径は大き めの値とするのが望ましい。
[0320] なお、平滑ィ匕を行う場合には、全体重複投映度数画像データを参照して、この全 体重複投映度数画像データで「 1 Jの領域 (各映像投映装置 130A〜 130Dが単独 で投映している領域)の値だけを使って平滑ィ匕するのが望ましい。これは、以前に調 整された画素値変換パラメタによっては、各映像投映装置 130A〜130Dの投映領 域が重複して 、る部分の画素値が暗く沈み込むことがある力 それは調整が不十分 であるために発生する現象であり、実際には、複数の映像投映装置 130A〜130D 力 投映して 、る領域は単独の映像投映装置 130A〜 130D力 投映されて 、る領 域に比べて明るく調整することが可能であるためである。
[0321] 次に、全体差分画像データの生成を行う (S747)。この処理は、全体平滑化画像 データの各画素の画素値から、全体撮影画像データの対応する画素の画素値を減 じることにより全体差分画像データを生成するものである。
[0322] 次に、全体重複投映度数画像データの画素値が「1」の領域に対応する全体差分 画像データの領域の画素値の最大値 M21を求める（S748)。
[0323] そして、最大値 M21が非負値である場合には（S749)、全体平滑化画像データを そのまま全体修正目標画像データとすると、映像投映装置の性能上、良好な画素値 変換パラメタが得られな 、可能性があるため、全体平滑化画像データの各画素の画 素値力も最大値 M21を減じたものを全体修正目標画像データとする（S750)。他方 、最大値 Mi lが非負値でない場合には（S749)、全体平滑ィ匕画像データを全体修 正目標画像データとする（S751)。
[0324] 次に、全体修正目標画像データから最大入力レベル修正目標画像データを生成 して、修正目標データ記憶部 625sの最大入力レベル個別修正目標データ内に記憶 する（S752)。ここで、最大入力レベル修正目標画像データは、各面撮影座標対応 画像データと等 、解像度を有する画像データであり、補正処理装置 123A〜 123 Dの各々に対応して生成される。最大入力レベル修正目標画像データの各画素の 画素値は、既に生成されている各面撮影座標対応画像データの対応する画素の画 素値（2次元ベクトル値)を参照し、その参照した画素値（2次元ベクトル値）に対応す る全体修正目標画像データ上の座標位置での画素値を算出することにより、決定さ れる。 以上で、最大入力レベル目標画像データ生成処理を終了する。
[0325] このようにして最大入力レベル目標画像データを生成することで、以前に調整され た画素値変換パラメタの特性を生力した形で、各画素の目標値を調整可能な値に決 定することができる。
[0326] 図 29は、中間入力レベル目標画像データ生成処理（S705)の処理内容を示すフ ローチャートである。
[0327] 中間入力レベル目標画像データ生成処理が開始されると、まず、初期設定を行う（ S760)。この初期設定では、全ての補正処理装置 123A〜123Dに恒等変換幾何 補正パラメタと以前に調整された画素値変換パラメタを設定する。
[0328] 次に、処理対象となる中間入力レベルを特定するシリアル番号 Mを 0に初期化する
(S761)。
[0329] 次に、映像出力装置 110の画像記憶部 112に記憶されているシリアル番号で特定 される中間入力レベルの画像データを補正処理装置 123A〜 123D及び映像投映 装置 130A〜130Dを介してスクリーン 140に投映する（S762)。 次に、撮像装置 1 50の露出調整を行う（S763)。この露出調整は、全体重複投映度数画像データの画 素値が「 1」の領域に対応する領域の画素値の平均値が、 128〜 192程度の範囲に 収まるように露出値を調整する。なお、画素値の平均値がこのような範囲内に収まれ ば、どの露出値を用いてもよい。
[0330] このように調整された露出値は、シリアル番号で特定される中間入力レベル用露出 値として、修正目標データ記憶部 625sのシリアル番号で特定される中間入力レベル 個別目標データ内に記憶される（S764)。
[0331] そして、シリアル番号で特定される中間入力レベル用露出値を用いて撮像装置 15 0で撮影を行う（S765)。このようにして撮影された撮影画像データは、全体撮影画 像データとして撮像装置 150から映像補正装置 120に送信される（S766)。
[0332] 全体撮影画像データを受信した映像補正装置 120では、補正制御部 624の修正 目標画像データ生成部 624ηで、全体撮影画像データを平滑化し、全体修正目標画 像データを生成する（S767)。例えば、全体撮影画像データに平均値フィルタをかけ ることで全体修正目標画像データを生成することができる。なお、最大入力レベル目 標画像データ決定処理と同様の理由により、平滑化を行う場合には、全体重複投映 度数画像データを参照して、この全体重複投映度数画像データで「1」の領域 (各映 像投映装置 130A〜 130Dが単独で投映して 、る領域)の値だけを使って平滑化す るのが望ましい。
[0333] 次に、全体修正目標画像データからシリアル番号で特定される中間入力レベル修 正目標画像データを生成して、修正目標データ記憶部 625sの中間入力レベル個別 修正目標データ内に記憶する（S768)。ここで、シリアル番号で特定される中間入力 レベル修正目標画像データは、各面撮影座標対応画像データと等 ヽ解像度を有 する画像データであり、補正処理装置 123A〜123Dの各々に対応して生成される。 シリアル番号で特定される中間入力レベル修正目標画像データの各画素の画素値 は、既に生成されている各面撮影座標対応画像データの対応する画素の画素値（2 次元ベクトル値)を参照し、その参照した画素値（2次元ベクトル値）に対応する全体 修正目標画像データ上の座標位置での画素値を算出することにより、決定される。
[0334] 処理が終了していない中間入力レベルがある場合（S769)には、シリアル番号に「 1」を加算して (S770)、 S762〜S768の処理を繰り返す。
[0335] 全ての中間入力レベルについて処理が終了している場合（S769)には、中間入力 レベル目標画像データ生成処理を終了する。
[0336] 図 30は、修正フィードバック調整処理の処理内容を示すフローチャートである。図 2 5における修正フィードバック調整処理 S706は、図 30で示した修正フィードバック調 整処理を、最小入力レベル、最大入力レベル、第一の中間入力レベル、第二の中間 入力レベル、第三の中間入力レベル、の各々を修正の対象として、順次実施するも のである。 [0337] 修正フィードバック調整処理が開始されると、まず、初期化処理を行う（S780)。 この初期化処理は、振幅値データ記憶部 125mに記憶されている振幅値の現在値、 反復回数データ記憶部 125ηに記憶されている反復回数データ、及び、補正処理装 置 123Α〜 123Dの画素値変換パラメタ記憶部 123fに記憶されて 、る画素値変換 パラメタを初期値に設定し、映像出力装置 110の画像記憶部 112に記憶されて 、る 修正対象の入力レベルの画像データを補正処理装置 123 A〜 123D及び映像投映 装置 130A〜 130Dを介してスクリーン 140に投映する処理である。
[0338] ここで、画素値変換パラメタの初期化処理に関しては、補正処理装置制御部 124b を介して、現在画素値変換パラメタ記憶部 125gに記憶されている画素値変換パラメ タを各補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに記憶させる ことで実施する。
[0339] なお、本実施形態では、以前に調整された画素値変換パラメタを修正することが目 的であるため、修正後の画素値変換パラメタが以前に調整された画素値変換パラメ タカ 最大どれだけ変化し得るかが推定できる場合には、その変化量に合わせて探 索領域を狭ぐすなわち振幅値の初期値を小さめの値に設定し、それに合わせて反 復回数データを少な 、回数に設定してもよ 、。
[0340] 次に、修正する入力レベル用露出値の設定を行う（S781)。これは、それぞれの入 カレベルでの目標画像データを決定する際に既に決定され、修正目標データ記憶 部 625sに記憶されている露出値を撮像装置 150の露出値として設定するものである
[0341] 次に、反復回数 Xを 0に初期化する（S782)。
[0342] 次に、撮像装置 150で撮影を行う (S783)。ここで撮影された画像データは、全体 撮影画像データとして映像補正装置 120に送信される（S784)。
[0343] 全体撮影画像データを受信した映像補正装置 120では、修正フィードバック調整 部 624pにおいて、全体撮影画像データから各面撮影画像データを生成する（S785
) o
この処理は、最小入力レベルフィードバック調整処理（図 13)において説明した各面 撮影画像データ生成処理と同様に実施すればょ ヽ。 [0344] 次に、各面明暗画像データ生成処理を行う（S786)。この処理は、修正の対象とな つて 、る入力レベルの目標画像データ (修正目標データ記憶部 625sに記憶されて いる）の各画素における画素値と各面撮影画像データの対応する画素における画素 値とを比較して、各面撮影画像データの各画素における画素値が目標画像データ の画素値よりも小さい場合にはこの比較対象となった画素に対応する位置の画素の 画素値として「 + 1」を、各面撮影画像データの各画素における画素値が目標画像デ ータの画素値よりも大きい場合にはこの比較対象となった画素に対応する位置の画 素値として「一 1」を、各面撮影画像データの各画素における画素値が目標画像デー タの画素値と等しい場合にはこの比較対象となった画素に対応する位置の画素の画 素値として「0」を、それぞれ設定した、各面明暗画像データを生成する処理である。
[0345] 次に、画素値変換パラメタの更新処理を行う（S787)。この処理は、各面明暗画像 データに基づいて、画素値変換パラメタの画素値を更新する処理であり、第一の実 施形態と同様に実施すればよい。
[0346] 次に、このようにして更新された修正対象の画素値変換パラメタを含めた、画素値 変換パラメタ記憶部 125gに記憶されている画素値変換パラメタを、補正処理装置制 御部 124bを介して、各補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 1 23fに記憶させる（S788)。
[0347] そして、所定の反復回数が終わって 、な 、場合には（S789)、振幅値データの更 新を行 、（S790)、反復回数 X【こ 1をカロ算して（S791)、 S783〜S788の処理を繰り 返す。
[0348] 一方、所定の反復回数が終わった場合には（S789)、修正フィードバック調整処理 を終了する。
[0349] 図 25で示されたパラメタ設定処理（S707)は、映像補正装置 120の記憶部 125の 幾何補正パラメタ記憶部 125fに記憶されている幾何補正パラメタを補正処理装置制 御部 124bを介して各補正処理装置 123A〜 123Dの幾何補正パラメタ記憶部 123d に記憶させ、さらに、映像補正装置 120の記憶部 125の画素値変換パラメタ記憶部 1 25gに記憶されている、修正された画素値変換パラメタを、補正処理装置制御部 12 4bを介して、各補正処理装置 123A〜 123Dの画素値変換パラメタ記憶部 123fに 記憶させる処理である。
[0350] 以上のように、本実施形態によれば、以前に調整された画素値変換パラメタがある 場合に、それを改善する形での再調整を行うことができるため、調整前後での映像の 印象を大きく変えずに、調整前に比べて滑らかに繋がった映像を得ることができる。
[0351] 以上に記載したフィードバック調整の方法を、スタック投映を行う映像表示システム に適用する場合の例を、第五の実施形態として説明する。
[0352] ここで、スタック投映とは、複数の映像投映装置の映像をスクリーンの同じ領域に重 ね合わせて投映するものであり、例えば偏光板を利用することによりいわゆる立体映 像を投映する場合などに利用されて 、る。
[0353] 一方の映像投映装置から投映した A面映像と他方の映像投映装置から投映した B 面映像とをスクリーンで重ね合わせる場合を例にその調整方法を説明する。なお、本 実施形態にぉ 、ては、映像補正装置力 制御可能な電源制御機構を備えるような構 成（図面は省略する）として、 A面映像側と B面映像側の映像投映装置の電源の制御 を行うことにより、 A面映像と B面映像のいずれか一方のみがスクリーン上に表示され るようにしている力 同様の効果が得られる他の方法を用いてもよい。例えば、 A面映 像側と B面映像側の投射光をそれぞれ遮断できるようなシャッター機構を備え、それ を制御することによってこれに代えてもょ 、。
[0354] 調整処理が開始されると、各々の補正処理装置に恒等変換幾何補正パラメタを設 定した後、図 31に示されているように、まず、 A面映像側の映像投映装置に対して目 標値の候補を決定する（S800)。この目標値の候補としては、最小入力レベル及び 最大入力レベルについて求めればよい。この際には、 B面映像側の映像投映装置の 電源を OFFにする。なお、目標値の決定方法については、上述の第一から第四の 実施形態での目標値の決定と同様の処理を行う。
[0355] 次に、 B面映像側の映像投映装置に対して目標値の候補を決定する（S801)。こ の目標値の候補としては、やはり最小入力レベル及び最大入力レベルについて求め ればよい。この際には、 A面映像側の映像投映装置の電源を OFFにし、撮影時の露 出に関しては、それぞれ A面映像側の、最小入力レベルに対する目標値の候補、最 大入力レベルに対する目標値の候補、を算出した際の露出値と同一のものを使用す る。この場合にも、上述の第一から第四の実施形態での目標値の決定と同様の処理 を行う。
[0356] 次に、 A面映像側の映像投映装置と B面映像側の映像投映装置の共通の目標値 を設定する（S802)。基本的な考え方は第一の実施形態の場合と同様で、最小入力 レベルに対しては 2つの候補のうち大きい方、最大入力レベルに対しては 2つの候補 のうち小さい方を採用し、基準画素位置の決定と最小入力レベルに対するフィードバ ック調整処理を行った後に、中間入力レベルの目標値を決定するようにすればよ!、。 その際、 A面映像側と B面映像側の映像投映装置のうち、基準として選ばれた方の 電源だけを ONとし、他方の電源は OFFとした状態で処理を行う。
[0357] 次に、 A面映像側の映像投映装置の電源を ONにし、 B面映像側の映像投映装置 の電源を OFFにした上で A面映像側のフィードバック調整を行い（S803)、 A面映像 側の幾何補正パラメタ及び画素値変換パラメタの設定を行う (S804)。
[0358] 次に、 B面映像側の映像投映装置の電源を ONにし、 A面映像側の映像投映装置 の電源を OFFにした上で B面映像側のフィードバック処理を行い（S805)、 B面映像 側の幾何補正パラメタ及び画素値変換パラメタの設定を行う (S806)。
[0359] 以上で、スタック投映システム調整処理を終了する。
[0360] 以上のように、本実施形態によれば、スタック投映システムにおいて、 A面映像と B 面映像とが同一の表示特性を持つように調整することができる。
[0361] 以下、図 32〜図 41を用いて、第六の実施の形態について説明する。
[0362] 本実施形態は、前記第二の実施形態をもとに処理順序の変更等を施したものであ り、撮像装置の露出調整は可能であるが撮像装置力 調整後の露出値が取得でき な 、ような場合に好適な例である。
[0363] また、フィードバック調整における目標値の設定を、所与の基準位置と所与の表示 画像によって実施するような構成としたため、調整後の映像の色や明るさの特性を、 ユーザの希望に近!、特性に合わせた 、場合に好適な例である。
[0364] また、画素値変換パラメタの調整時に幾何補正パラメタを必要としな 、構成とし、幾 何補正パラメタを生成するための撮影処理と画素値変換パラメタを生成するための 撮影処理とを先に実施し、その後にオフラインでデータを解析して最終的な幾何補 正パラメタ及び画素値変換パラメタを生成することができる構成とした。そのため、調 整のために環境光を変動させな 、等の配慮が必要となる時間を短縮した 、場合にも 、好適な例である。
[0365] また、 Rと Gと Bとを同時に調整するような構成としたため、 Rと Gと Bの間に相関があ るようなシステムを調整する場合にも、好適な例である。
[0366] 本実施形態は第二の実施形態と比較して、映像補正装置 120の補正制御部 924 と記憶部 925が主に異なっているため、これらの異なっている点に関連する事項につ いて説明する。なお、本実施形態では、撮像装置 150の撮像対象となる領域には映 像投映装置 130A〜130Dの投映する映像よりも明るいものが含まれないように、撮 像装置 150を設置する。ただし、この条件を満たすように撮像装置 150を設置できな い状況などにおいては、本実施形態においても他の実施形態と同様に全体重複投 映度数画像データを生成して参照するような構成としてもよい。
[0367] 図 32は本実施形態における補正制御部 924の概略構成図である。
[0368] 本実施形態における補正制御部 924では、全体重複投映度数画像データ及び各 面ブレンド重み画像データ生成部 124eの代わりに、各面ブレンド重み画像データ生 成部 924qが設けられている。また、目標値決定部 124fとは動作の異なる目標値決 定部 924f、及び、フィードバック調整部 124gとは動作の異なるフィードバック調整部 924gが設けられている。さらに、撮像素子異常検出'修正部 124h及び映像表示領 域外パラメタ修正部 124iの代わりに、パラメタ画像修正部 924rが設けられている。ま た、新たに目標値決定用画像生成部 924sが設けられている。
[0369] 各面ブレンド重み画像データ生成部 924qは、設計値に基づ!/、て、各面ブレンド重 み画像データを算出する。本実施形態における各面ブレンド重み画像データの具体 的な算出方法は、図 34において説明する。
[0370] 目標値決定部 924fは、補正処理装置 123A〜123Dに入力される画像データの 全ての画素の画素値が、最小入力レベル (R, G, B共通に、画素値が 0)、最大入力 レベル ， G, B共通に、画素値が 255)、第一の中間入力レベル (R, G, B共通に、 画素値が 64)、第二の中間入力レベル (R, G, B共通に、画素値が 128)、及び第三 の中間入力レベル (R, G, B共通に、画素値が 192)である場合のそれぞれにおい て、フィードバック調整処理における露出値と目標値を決定する。なお、具体的な目 標値の決定方法は後述する。
[0371] フィードバック調整部 924gでは、フィードバック調整処理を行う。フィードバック調整 処理は、スクリーン 140上に投映された映像を、目標値決定部 924fが決定した露出 値を使って撮像装置 150で撮影した撮影画像データに基づいて、映像投映装置 13 OA〜130Dに入力する画像の画素値を画素毎に増減させ、撮影画像データ上で映 像が投映されて ヽる領域に対応する画素の画素値を目標値決定部 924fで決定した 目標値に一致させる処理である。本実施形態では、映像投映装置 130A〜130Dに 入力する画像の画素値の増減は、補正処理装置 123A〜 123Dに入力するパラメタ 画像を更新することによって行う。なお、具体的なフィードバック調整処理の方法は後 述する。
[0372] パラメタ画像修正部 924rは、後述するパラメタ変換部 924kの要求に応じ、パラメタ 画像に平滑化等の画像処理を施す。本実施形態では、映像のざらざら感を低減させ るための平滑ィ匕を実施する例で説明する力 その他の画像処理を施してもよい。例 えば、スクリーン 140の外枠がカーテン等で覆われており、映像の見える領域が変動 する可能性がある場合には、確実に変動しない領域のみに対してフィードバック調整 処理までを行って、ノ メタ画像修正部 924rにお 、て外挿処理を施すようにしてもよ い。そのような領域は、全体重複投映度数画像データの生成時と同様の方法によつ て各々の映像投映装置 130A〜130D毎にスクリーン 140内に投映されている部分 の映像表示領域を算出した 2値の全体画像データを生成した後、既に生成されてい る各面撮影座標対応画像データを用いてその各々の全体画像データから各々の画 素値変換パラメタと同じ解像度の 2値の各面画像データを生成し、その各々の各面 画像データに対して既存の 2値画像に対する収縮処理技術を用いて画素値が「 1」で ある領域 (すなわち投映領域に相当する領域)を所定の収縮幅だけ収縮させることに よって、生成すればよい。ここで、所定の収縮幅は、マージンを考慮した値をあらかじ め記憶部 925に記憶できるようにしておき、その値を使用する。
[0373] 目標値決定用画像生成部 924sは、目標値決定部 924fの要求に応じて、最小入 カレベル (R, G, B共通に、画素値が 0)、最大入力レベル (R, G, B共通に、画素値 力 S255)、第一の中間入力レベル (R, G, B共通に、画素値が 64)、第二の中間入力 レベル ， G, B共通に、画素値が 128)、及び第三の中間入力レベル (R, G, B共 通に、画素値が 192)である場合の、それぞれに対応する目標値を決定するために 映像出力装置 110から出力させる目標値決定用画像を生成する。
[0374] ノ ラメタ変換部 924kは、後述するパラメタ生成登録処理（図 41)を行う。ノ ラメタ生 成登録処理は、フィードバック調整処理が完了したパラメタ画像に対して平滑化等の 画像処理を施し、この処理後のパラメタ画像に基づ ヽて画素値変換パラメタを生成し 、生成した画素値変換パラメタと、既に生成されている幾何補正パラメタとを、補正処 理装置 123A〜 123Dに設定する処理である。
[0375] 図 33は本実施形態における記憶部 925の概略構成図である。本実施形態におけ る記憶部 925は、図 33に示されているように、中間入力レベルデータ記憶部 125a、 恒等変換幾何補正パラメタ記憶部 125d、恒等変換画素値変換パラメタ記憶部 125e 、幾何補正パラメタ記憶部 125f、画素値変換パラメタ記憶部 125g、各面撮影座標 対応画像データ記憶部 125h、各面ブレンド重み画像データ記憶部 125i、反復回数 データ記憶部 125n、シリアル番号記憶部 125p、パラメタ画像記憶部 425r、マージ ン記憶部 925u、振幅値データ記憶部 925m、平滑ィ匕パラメタ記憶部 925v、目標デ ータ記憶部 9251、及び目標値決定用画像記憶部 925wを備える。
[0376] マージン記憶部 925uには、各面ブレンド重み画像データ生成部 924qにおいて設 計値に基づ 、て各面ブレンド重み画像データを生成する際に使用する、拡張マージ ン幅と縮小マージン幅とが記憶されている。これらの値は、設計値として予め与えら れている値であり、各々の補正処理装置 123A〜123Dに固有の値として、画素値 変換部 123gに入力される画像データ上の画素数として表現されている値である。
[0377] 振幅値データ記憶部 925mには、フィードバック調整処理における反復回数と、振 幅値の数列との組が記憶されている。これらの値は、設計値として予め与えられてい る値であり、最小入力レベル (R, G, B共通に、画素値が 0)、最大入力レベル (R, G , B共通に、画素値が 255)、第一の中間入力レベル (R, G, B共通に、画素値が 64 )、第二の中間入力レベル (R, G, B共通に、画素値が 128)、及び第三の中間入力 レベル ， G, B共通に、画素値が 192)の各々に固有の値である。また、振幅値の 数列に関しては、各々の映像投映装置 130毎に固有の数列としてもよいし、 R, G, B の各々に固有の数列としてもよい。
[0378] これらの値は映像投映装置 130の光学特性やスクリーン 140の光学特性に依存し て決められる値であるが、それらの光学特性を厳密に反映させる必要はない。例え ば、第二の中間入力レベル「128」に対応するものであれば、反復回数を「11」とし、 振幅値の数歹 Uを「128、 30、 20、 14、 10、 8、 6、 4、 3、 2、 1」とすれば、、 128を中' と して上下 98 ( = 30 + 20+ 14+ 10 + 8 + 6+4 + 3 + 2+ 1)の範囲までは、画素値の 最小単位である「1」の精度で調整可能となり、通常の映像表示システムであれば十 分な調整範囲を確保することができる。なお、調整範囲がこれでは不十分であること が想定される場合には、反復回数及び振幅値の数列を、例えば次のように設定すれ ばよい。例えば、画素値「A0」を中心として上下「A1」の範囲の探索が必要である場 合、反復回数「0」に対応する振幅値として「A0」を設定し、反復回数「1」に対応する 振幅値として ΓΑ1/2 (端数は切り上げ)」を設定し、反復回数「2」以降に関しては、 反復回数「X+ 1」に対応する振幅値が反復回数「X」に対応する振幅値の「1Z2」倍 以上「1」倍以下であり（算出された振幅値において端数は切り上げる）、最後の要素 が振幅値「1」であるように設定する。このとき、反復回数「1」以降の振幅値を加えたも のが、上下に探索可能な範囲となる。この値は上記の方法では通常「A1」よりも大き な値となるため、例えば調整時間の短縮などを目的として、この値が「A1」以上であり 、かつ「A1」に近い値になるように、反復回数「1」に対応する振幅値を調整してもよ い（その一例が前述の例である)。なお、前記の例のように厳密に二分探索としない、 すなわち反復回数「X+ 1」に対応する振幅値を反復回数「X」に対応する振幅値の 半分よりも大きな値とすることで、諸々のノイズに対する耐性が向上し、安定した調整 を行うことができる。また、反復回数及び振幅値の数列の設定方法は、必要な探索範 囲が漏れなく探索できるものであれば、ここに挙げた例に限るものではない。
[0379] 平滑化パラメタ記憶部 925vには、パラメタ画像修正部 924rにおける画像処理で使 用するパラメタが記憶されている。本実施形態では中央値フィルタを用いた平滑ィ匕を 行うため、平滑ィ匕半径が記憶されている力 他の方法、例えば、重み付き平均値フィ ルタを用いた平滑ィ匕を行う場合には、フィルタ上の各位置における重みの情報を記 憶しておけばよい。なお、これらのパラメタは設計値として予め与えられているパラメ タである。
[0380] 目標データ記憶部 9251には、最小入力レベル (R, G, B共通に、画素値が 0)に対 応する目標値を決定するための最小入力レベル表示レベルと、最大入力レベル (R, G, B共通に、画素値が 255)に対応する目標値を決定するための最大入力レベル 表示レベルと、最大入力レベル目標値決定処理及び中間入力レベル目標値決定処 理において全体撮影画像データから目標値を抽出する際に使用される基準画素位 置が記憶されている。また、最小入力レベル (R, G, B共通に、画素値が 0)と最大入 カレベル (R, G, B共通に、画素値が 255)の各々に対して、フィードバック調整処理 で使用される目標値が記憶される。さらに、第一の中間入力レベル (R, G, B共通に 、画素値が 64)、第二の中間入力レベル (R, G, B共通に、画素値が 128)、及び第 三の中間入力レベル (R, G, B共通に、画素値が 192)の各々に対応する目標値を 決定するための表示レベル及びフィードバック調整処理で使用される目標値が記憶 される。なお、これらの目標値は R, G, Bの各々に固有の値である。
[0381] 最小入力レベル表示レベルは、設計値として予め与えられている値であり、例えば
(5, 5, 5)という値である。 R, G, Bのそれぞれについて（0, 0, 0)よりも大きな値とす ることで、最小入力レベルにおいても、映像投映装置 130A〜130Dのうちの 2っ以 上から映像が表示されている領域においてエッジブレンドが形成されることになるた め、各々の映像投映装置 130A〜130Dの投映領域の境界におけるエッジがユーザ に知覚されにくいような画素値変換パラメタを生成することができる。なお、この値を 大きな値とした場合には、コントラストの低下を伴うため、最小入力レベル表示レベル は、（0, 0, 0)以上かつコントラスト低下の許容範囲内という条件下で、できるだけ大 きな値を設定するのがよい。
[0382] 最大入力レベル表示レベルは、設計値として予め与えられている値であり、例えば
(240、 250、 245)という値である。本実施形態では、最大入力レベル表示レベルと 後述の基準画素位置とを設計値として備える構成としたため、調整結果がユーザの 意図したものに近くなるようにすることができる。例えば前記の例は、スクリーン 140の 光学特性 (投映光の拡散時の指向性等)や映像投映装置 130A〜130Dの配置に 依存して、全体映像表示領域の境界付近では映像投映装置 130の性能限界から目 標値に収束できずに映像品質の劣化が発生する力も知れないが、その領域の映像 品質を犠牲にしてでも映像全体としてのコントラストをできるだけ低下させたくない場 合、かつ、基準画素位置における「白」を、調整前に比べて「やや青みが力つた緑つ ぼい白」に調整した 、場合に有効な例である。
[0383] 基準画素位置は、設計値として予め与えられている値であり、基準とする映像投映 装置 130のシリアル番号と、それに対応する画素値変換部 123gに入力される画像 データ上の座標値との組として表現されている値である。
[0384] 目標値決定用画像記憶部 925wには、目標値決定用画像生成部 924sで生成した 目標値決定用画像を一時的に記憶する。
[0385] なお、パラメタ画像は、最小入力レベル (R, G, B共通に、画素値が 0)、最大入力 レベル ， G, B共通に、画素値が 255)、第一の中間入力レベル (R, G, B共通に、 画素値が 64)、第二の中間入力レベル (R, G, B共通に、画素値が 128)、及び第三 の中間入力レベル (R, G, B共通に、画素値が 192)の各々に固有の画像であり、ま た、各々の映像投映装置 130A〜130Dに固有の画像である。また、パラメタ画像の 各画素の画素値は、 R, G, Bのそれぞれの値が異なる値を取り得る。
[0386] 図 34は本実施形態における各面ブレンド重み画像データの生成方法を説明する ための図である。本実施形態でも、各面ブレンド重み画像データは、補正処理装置 1 23 A〜 123D毎に作成し各面ブレンド重み画像データ記憶部 125iに記憶されるが、 本実施形態では、設計値に基づいて、幾何補正パラメタを生成しない段階で各面ブ レンド重み画像データを生成する。なお、本実施形態において、これまでの実施形 態と同様の方法で生成した各面ブレンド重み画像データを使用してもょ 、。
[0387] 図 34 (A)において、画像領域 972aは補正処理装置 123の画素値変換部 123gが 担当する画像領域である（図 34はスクリーン 140に向力つて左上方の映像を担当す る補正処理装置 123Aに対応するものを表して 、る）。
[0388] 画像領域 972bは、映像投映領域のうち、設計上、スクリーン 140の内部に投映さ れる領域である。また、画像領域 972cは、設計上の映像表示領域である。
[0389] 画像領域 972dは、設計上、全体映像表示領域の内部に位置する担当外投映領 域であり、画素値として (0, 0, 0)を出力することが必須である領域である。
[0390] 画像領域 972eは、設計上、画像領域 972aに含まれ、かつ、画像領域 972bに含 まれない領域であり、設計上はスクリーン 140の外側に投映される領域である。担当 外投映領域であり、画像領域 972eに含まれる画素の画素値としては、 (0, 0, 0)を 出力することが望ましい。
[0391] 画像領域 972bに含まれる領域のうち、画像領域 972cにも画像領域 972dにも含ま れない領域は、担当外投映領域であるが、必ずしも（0, 0, 0)を出力することが望ま しくない領域である。この画像領域に含まれる画素は、各面ブレンド重み画像データ の画素値を計算する際には、画像領域 972cに含まれる画素と同等に扱われる。
[0392] また、画像領域 972fは、設計上、スクリーン 140上で他の補正処理装置の担当す る映像と重複して投映される領域である。
[0393] 図 34 (B)において、画像領域 972gは画像領域 972dをマージン記憶部 925uに記 憶されている拡張マージン幅だけ拡張した領域であり、想定される誤差を考慮した場 合に、「全体映像表示領域の内部に位置する担当外投映領域」となり得る領域である なお、画像領域 972dを拡張マージン幅だけ拡張する処理においては、近傍として 8 近傍を用いる。
[0394] 画像領域 972hは画像領域 972eをマージン記憶部 925uに記憶されて!、る縮小マ 一ジン幅だけ縮小した領域であり、想定される誤差を考慮した場合でもスクリーン 14 0の外側に投映される領域である。なお、画像領域 972eを縮小マージン幅だけ縮小 する処理においては、近傍として 8近傍を用いる。
[0395] このとき、各面ブレンド重み画像データの画素位置 973の画素値は次のように計算 される。
[0396] まず、画素位置 973が画像領域 972gの内部または画像領域 972hの内部に含ま れる場合には、画素値として「0」を設定する。
[0397] 画素位置 973が画像領域 972gにも画像領域 972hにも含まれない場合には、 0よ り大きく 1以下であるような任意の値を設定することができるが、ここで生成した各面ブ レンド重み画像データに基づ 、てフィードバック調整を行った際に、エッジブレンドが 為されることが望ましいため、本実施形態では、次のような値を設定する。距離 D1を 画素位置 973から「画像領域 972aの内部かつ画像領域 972fの外部」までの距離と し、距離 D2を画素位置 973から「画像領域 972aの外部または画像領域 972gの内 部」までの距離としたとき、画素位置 973の画素値を「D2Z (D1 + D2)」とする。
[0398] なお、補正処理装置 123A〜123D毎に作成した各面ブレンド重み画像データの それぞれから、スクリーン上のある 1点に対応する画素位置の画素値を抽出して足し 合わせた結果は、設計上も実際上も、必ずしも「0」または「1」に等しくなる必要はな い。
[0399] 図 35は本実施形態における調整処理の全体的な流れを示すフローチャートである
[0400] 本実施形態においては、各面ブレンド重み画像データの生成は図 34で説明した 方法によって設計値に基づいて実施することができる。そのため、各面ブレンド重み 画像データは、図 35の調整処理を実施する前に予め生成しておく。
[0401] 調整処理を開始すると、まず、初期設定処理を行う (S1000) o S 1000は、具体的 には、補正処理装置 123A〜123Dに恒等変換幾何補正パラメタと恒等変換画素値 変換パラメタを設定する処理である。
[0402] 次に、最小入力レベル目標値決定処理を行い（S 1001)、露出を変更せずに、最 小入力レベルに対するフィードバック調整処理を行う（S1002)。 S1001と S1002の 処理は、それぞれ図 36と図 37で説明する。
[0403] 次に、最大入力レベル目標値決定処理を行い（S 1003)、露出を変更せずに、最 大入力レベルに対するフィードバック調整処理を行う（S1004)。 S1003と S1004の 処理は、それぞれ図 38と図 37で説明する。
[0404] 次に、図 39で説明する中間入力レベル調整処理を行う（S 1005)。
[0405] 次に、図 41で説明するパラメタ生成登録処理を行った後（S1006)、調整処理を終 了する。なお、 S 1006の処理は撮影を伴わない処理であり、オフラインで実施可能な 処理である。
[0406] なお、本発明においては、最小入力レベル、最大入力レベル、及び、各々の中間 入力レベルに対して、それぞれ異なる露出で撮影を行うことから、撮像装置 150の絞 りの形状等が及ぼす調整結果への影響を低減するために、露出の調整は、絞り値で はなくシャッタースピードによって為される。ただし、撮像装置 150の性能や調整結果 に要求される品質によっては、絞り値を変更することで露出を調整してもよい。
[0407] 図 36は本実施形態における最小入力レベル目標値決定処理の処理内容を示す フローチャートである。
[0408] 最小入力レベル目標値決定処理を開始すると、まず、すべての画素の画素値が目 標データ記憶部 9251に記憶されている最小入力レベル表示レベルと等しいような目 標値決定用画像を目標値決定用画像生成部 924sで生成し、生成された目標値決 定用画像を映像出力装置 110の画像記憶部 112に記憶させて、この目標値決定用 画像を出力させる（S1010)。
[0409] 次に、撮像装置 150の露出調整を行う（S1011)。この露出調整は、撮像装置 150 で撮影した撮影画像データの画素値の最大値が 128〜 192程度の範囲に収まるよう に露出値を調整する。なお、画素値の最大値がこのような範囲内に収まれば、どの露 出値を用いてもよい。
[0410] 次に、撮像装置 150で撮影を行う（S1012)。ここで撮影された撮影画像データは、 全体撮影画像データとして、撮像装置 150から映像補正装置 120に送信される (S1 013)。
[0411] 全体撮影画像データを受信した映像補正装置 120では、補正制御部 124の目標 値決定部 924fで有効最大画素値の選出処理を行う（S1014)。この処理は、各面撮 影座標対応画像データを参照し、個々の補正処理装置 123A〜123Dに入力される 画像データの画素位置の少なくとも 1つと対応付けられている全体撮影画像データ 上の位置に対応する全体撮影画像データの画素値のうちから、値が最大の画素値 を選出する処理である。本実施形態では、 R, G, Bについて独立に最大値を選出す る処理とするが、例えば Gの最大値に対応する位置に基づいて Rと Bの画素値を選 出する（この場合 Rと Bに関しては最大値となるとは限らない）処理としてもよい。
[0412] 選出された画素値は、最小入力レベル目標値として目標データ記憶部 9251の最 小入力レベル個別目標データ内に記憶される（S1015)。
[0413] S1015の終了後、最小入力レベル目標値決定処理を終了する。 [0414] 図 37は本実施形態におけるフィードバック調整処理の処理内容を示すフローチヤ ートである。本実施形態では、全ての入力レベルに対して共通に、図 37に示す処理 でフィードバック調整を行う。
[0415] フィードバック調整処理を開始すると、まず、初期化処理を行う（S1020)。この初期 化処理は、処理対象の入力レベルに対応するパラメタ画像のすべての画素値を (0,
0, 0)にする処理である。
[0416] 次に、反復回数 Xを 0にする（S1021)。
[0417] 次に、処理対象の入力レベルに対応するパラメタ画像を映像出力装置 110の画像 記憶部 112に記憶させて、このパラメタ画像を出力させる（S1022)。
[0418] 次に、撮像装置 150で撮影を行う（S1023)。ここで撮影された撮影画像データは、 全体撮影画像データとして、撮像装置 150から映像補正装置 120に送信される (S1 024)。
[0419] 全体撮影画像データを受信した映像補正装置 120では、フィードバック調整部 924 gにおいて、全体明暗画像データ生成処理を行う（S 1025)。この処理は、処理対象 の入力レベルに対応する目標値と全体撮影画像データの各画素における画素値と を比較して、全体撮影画像データの各画素における画素値が処理対象の入カレべ ルに対応する目標値よりも小さい場合にはこの比較対象となった画素の画素値として 「 + 1」を、全体撮影画像データの各画素における画素値が処理対象の入力レベル に対応する目標値よりも大き!、場合にはこの比較対象となった画素の画素値として「 1」を、全体撮影画像データの各画素における画素値が処理対象の入力レベルに 対応する目標値と等し 、場合にはこの比較対象となった画素の画素値として「0」を、 それぞれ設定した全体明暗画像データを生成する処理である。
[0420] 次に、各面明暗画像データ生成処理を行う（S1026)。この処理は、既に生成され ている各面撮影座標対応画像データを参照することにより、全体明暗画像データか ら、各面明暗画像データを生成するものである。なお、補間計算の結果、画素値が「 - U「0」「 + 1」以外の値となる場合には、補間結果が「ー0. 5」以下の場合には「一 1」を、補間結果が「 + 0. 5」以上の場合には「 + 1」を、それ以外の場合には「0」を、 各面明暗画像データの画素値とする。 [0421] 次に、パラメタ画像更新処理を行う（S1027)。この処理は、各面明暗画像データに 基づ 、て、処理対象の入力レベルに対応するパラメタ画像を更新する処理である。
[0422] 具体的には、対応する画素位置におけるパラメタ画像の画素値を p、各面明暗画像 データの明暗値を s、各面ブレンド重み画像データの重み値を w、とし、処理対象の 入力レベルの反復回数 Xに対応する振幅値データの値を a、とすると、そのパラメタ画 像の画素値を「p + s X w X a」に更新する処理である。
[0423] 次に、所定回数の反復を完了したか否かを判定する（S1028)。必要な反復回数 は処理対象の入力レベルによって異なるため、振幅値データ記憶部 925mに記憶さ れて ヽる処理対象の入力レベルに対応する必要反復回数を参照して、判定を行う。 S 1028にお 、て反復が完了して 、な 、場合には、反復回数 Xに 1を加算した上で (S 1029)、 S1022〜S1028の処理を繰り返す。
[0424] 一方、所定の反復回数が終わった場合には（S 1028)、フィードバック調整処理を 終了する。
[0425] なお、 S1025〜S1027の処理は、 R, G, Bのそれぞれに独立な処理である。
[0426] また、本フロー図のように、各面撮影画像データでなく全体明暗画像データを経由 して各面明暗画像データを生成するようにすることで、フィードバック調整処理全体で 処理するデータ量を削減することができ、調整時間を短縮することができる。
[0427] 図 38は本実施形態における最大入力レベル目標値決定処理の処理内容を示す フローチャートである。
[0428] 最大入力レベル目標値決定処理を開始すると、まず、目標データ記憶部 9251に記 憶されている基準画素位置を参照し、この基準画素位置に対応する映像投映装置 1 30に対してはすべての画素の画素値が目標データ記憶部 9251に記憶されている最 大入力レベル表示レベルと等しぐその他の映像投映装置 130に対してはすべての 画素の画素値が (0, 0, 0)であるような露出調整用画像を目標値決定用画像生成部 924sで生成し、生成された露出調整用画像を映像出力装置 110の画像記憶部 112 に記憶させて、この露出調整用画像を出力させる（S 1030)。最大入力レベルに対 応するフィードバック調整にお ヽて収束する明るさは、映像投映装置 130A〜 130D のうちの 1つだけカも投映されている部分の明るさに近くなるため、露出調整にこのよ うな画像を使用することで、映像投映装置 130A〜 130Dのすベて力も重複して投映 されている部分の明るさに影響されることなぐフィードバック調整に望ましい露出値 を設定することができる。
[0429] 次に、撮像装置 150の露出調整を行う（S1031)。この露出調整は、撮像装置 150 で撮影した撮影画像データの画素値の最大値が 128〜 192程度の範囲に収まるよう に露出値を調整する。なお、画素値の最大値がこのような範囲内に収まれば、どの露 出値を用いてもよい。
[0430] 次に、すべての画素の画素値が目標データ記憶部 9251に記憶されている最大入 カレベル表示レベルと等 ヽような目標値決定用画像を目標値決定用画像生成部 9 24sで生成し、生成された目標値決定用画像を映像出力装置 110の画像記憶部 11 2に記憶させて、この目標値決定用画像を出力させる（S 1032)。なお、 S 1032の処 理は、基準画素位置に対応する映像投映装置 130以外の映像投映装置 130から投 映される映像の照り返しの影響まで考慮して良好な目標値を求めるための処理であ り、照り返しの影響が十分小さいと考えられる場合には、省略してもよい。
[0431] 次に、撮像装置 150で撮影を行う（S1033)。ここで撮影された撮影画像データは、 全体撮影画像データとして、撮像装置 150から映像補正装置 120に送信される (S1 034)。
[0432] 全体撮影画像データを受信した映像補正装置 120では、補正制御部 124の目標 値決定部 924fで最大入力レベル目標値の選出処理を行う（S1035)。この処理は、 各面撮影座標対応画像データを参照し、目標データ記憶部 9251に記憶されて ヽる 基準画素位置に対応する画素値を抽出する処理であり、 R, G, Bのそれぞれについ て独立に行う。
[0433] 選出された画素値は、最大入力レベル目標値として目標データ記憶部 9251の最 大入力レベル個別目標データ内に記憶される（S 1036)。
[0434] S1036の終了後、最小入力レベル目標値決定処理を終了する。
[0435] 図 39は本実施形態における中間入力レベル調整処理の処理内容を示すフローチ ヤートである。
[0436] 中間入力レベル調整処理が開始されると、まず、処理対象となる中間入力レベルを 特定するシリアル番号 Mを 0にする（S 1040)。
[0437] 次に、シリアル番号によって特定される中間入力レベルに対して図 40で説明する 中間入力レベル目標値決定処理を行う（S1041)。
[0438] 次に、シリアル番号によって特定される中間入力レベルに対して図 37で説明したフ イードバック調整処理を行う（S1042)。
[0439] 次に、全ての中間入力レベルについて処理が完了しているか否かを判定し（S104 3)、処理が完了していない場合には、シリアル番号に「1」を加算して（S1044)、 S1 041〜S1043の処理を繰り返す。
[0440] また、全ての中間入力レベルについて処理が完了している場合には（S 1043)、中 間入力レベル調整処理を終了する。
[0441] 図 40は本実施形態における中間入力レベル目標値決定処理の処理内容を示す フローチャートである。本処理において、処理対象となる中間入力レベルは、シリアル 番号によって特定されて！ヽる。
[0442] 中間入力レベル目標値決定処理を開始すると、まず、表示レベル決定処理を行う ( S1050)。この処理は、シリアル番号で特定される中間入力レベルに対応する目標 値を決定するために使用する表示レベルを決定する処理である。具体的には、目標 データ記憶部 9251に記憶されて 、る基準画素位置を参照し、フィードバック調整後 の最小入力レベルに対応するパラメタ画像の基準画素位置での画素値力 SPL、フィ ードバック調整後の最大入力レベルに対応するパラメタ画像の基準画素位置での画 素値が PH、であるとき、最小入力レベル LLと最大入力レベル LHとシリアル番号で 特定される中間入力レベル LMを用いて、表示レベルを「PL+ (PH-PL) X (LM — LL)Z(LH— LL)」と算出する。結果が整数にならない場合には、小数点以下を 四捨五入とする。なお、本実施形態では、最小入力レベル LL = 0であり、最大入力 レベル LH = 255である。 S 1050で決定した表示レベルは目標データ記憶部 9251の シリアル番号で特定される中間入力レベル個別目標データ内に記憶される (S1051
) o
[0443] 次に、 S1030と同様にして、 S 1051で記憶した表示レベルに対応する露出調整用 画像を生成し、生成された露出調整用画像を映像出力装置 110の画像記憶部 112 に記憶させて、該露出調整用画像を出力させる（S1052)。
[0444] 次に、撮像装置 150の露出調整を行う（S1053)。この露出調整は、撮像装置 150 で撮影した撮影画像データの画素値の最大値が 128〜 192程度の範囲に収まるよう に露出値を調整する。なお、画素値の最大値がこのような範囲内に収まれば、どの露 出値を用いてもよい。
[0445] 次に、すべての画素の画素値が S1051で記憶した表示レベルと等しいような目標 値決定用画像を目標値決定用画像生成部 924sで生成し、生成された目標値決定 用画像を映像出力装置 110の画像記憶部 112に記憶させて、この目標値決定用画 像を出力させる（S1054)。なお、 S1054の処理が省略可能であることは、 S1032の 処理と同様である。
[0446] 次に、撮像装置 150で撮影を行う（S1055)。ここで撮影された撮影画像データは、 全体撮影画像データとして、撮像装置 150から映像補正装置 120に送信される (S1 056)。
[0447] 全体撮影画像データを受信した映像補正装置 120では、補正制御部 124の目標 値決定部 924fで、シリアル番号で特定される中間入力レベルに対応する目標値の 抽出処理を行う（S1057)。この処理は、各面撮影座標対応画像データを参照し、全 体撮影画像データから目標データ記憶部 9251に記憶されて 、る基準画素位置に対 応する画素値を抽出する処理であり、 R, G, Bのそれぞれについて独立に行う。
[0448] 選出された画素値は、シリアル番号で特定される中間入力レベル目標値として、目 標データ記憶部 9251のシリアル番号で特定される中間入力レベル個別目標データ 内に記憶される（S 1058)。
[0449] S1058の終了後、中間入力レベル目標値決定処理を終了する。
[0450] 図 41は本実施形態におけるパラメタ生成登録処理の処理内容を示すフローチヤ一 トである。
[0451] パラメタ生成登録処理を開始すると、まず、パラメタ画像修正部 924rにお 、て、ノ ラメタ画像平滑化処理を行う（S 1060)。この処理は、最小入力レベル、最大入カレ ベル、及び、各々の中間入力レベル毎、また、各々の補正処理装置 123A〜123D に対応する、フィードバック処理完了後のパラメタ画像に対して、画像フィルタとして 平滑化を施す処理であり、 R, G, Bの各々で独立に処理を行う。画素値が 0の画素 に関しては平滑ィ匕処理後も画素値が 0であるようにし、その他の部分に関しては、例 えば中央値フィルタによって平滑ィ匕を行う。
[0452] なお、この平滑ィ匕処理で使用する平滑ィ匕フィルタは中央値フィルタに限るものでは なぐ平均値フィルタ等、他の平滑ィ匕フィルタを使用してもよい。また、エッジブレンド 部分に及ぼす影響を軽減するため、 2次元の中央値フィルタを使用するのではなぐ 分散値の小さな方向のみに対する 1次元の中央値フィルタを使用するようにしてもよ い。
[0453] また、他の実施形態のように各面重複投映度数画像データを生成する場合には、 生成した各面重複投映度数画像データを参照して、重複投映度数が同じ領域毎に 平滑ィ匕処理を行うようにしてもよいし、さらに、重複投映度数が異なる領域との間の境 界付近の画素値を保存するような処理としてもよい。そのような処理とすることにより、 特に低い入力レベルにおいて、良好な処理結果を得ることができる。また、平滑化処 理の対象を、重複投映度数力 S「l」である領域だけに限定するような処理としてもよい 。そのような処理とすることにより、 S1060の処理がエッジブレンド部分に影響を及ぼ さな 、ようにすることができる。
[0454] 撮像装置 150の有する撮像素子の画素数がスクリーン 140上に投映される映像全 体の画素数に比べて少ない場合、映像投映装置 130A〜130Dに入力される画像 上の複数の画素が、撮影画像データ上の 1画素として撮影されるため、明暗判定の 結果を適切な補間演算によって反映させた場合でも、近似誤差等の影響により、フィ ードバック調整後のパラメタ画像は、通常、画素値の分散の大きい、ざらざらした印象 を与えるものとなる。 S 1060の処理は、そのようなパラメタ画像を平滑ィ匕することにより 、映像品質を改善するための処理である。
[0455] 次に、画素値変換パラメタ生成処理を行う（S1061)。この処理は、パラメタ画像記 憶部 425rに記憶されたパラメタ画像から、補正処理装置 123A〜123Dの仕様に対 応するように、必要に応じて近似や補間を含めたデータ形式の変換を行って画素値 変換パラメタを生成し、画素値変換パラメタ記憶部 125gに記憶する処理である。
[0456] 次に、パラメタ登録処理を行う（S1062)。この処理は、 S1061で生成した画素値変 換パラメタと、既に生成されている幾何補正パラメタを、補正処理装置 123A〜123 Dに設定する処理である。本処理の終了後、映像投映装置 130A〜130D力も投映 される映像は、スクリーン上で滑らかに繋がった 1つの映像を形成する。
[0457] S1062の処理の終了後、パラメタ生成登録処理を終了する。
[0458] なお、映像投映装置 130等の経年変化が軽微であり、図 35で説明した調整処理を 再度実施する必要がない場合には、映像表示装置の起動時に、 S1062の処理を実 施すればよい。
[0459] 以上、本実施形態によれば、各々の入力レベルごとに目標値を決定した直後に、 露出を変更せずにフィードバック調整処理を実施する構成としたため、撮像装置から 露出値が取得できないような場合であっても、各々の入力レベルごとに適切な露出 値を用いて調整を行うことができる。
[0460] また、本実施形態によれば、目標値の決定を予め定められた画素位置を用いて実 施しているため、ユーザの意図した特性に近い映像特性を得ることが容易である。例 えば、映像投映装置として液晶プロジェクタを使用した場合、全面が一様に白である ような画像データを投映しても各プロジェクタ力 投映される映像が左上の緑から右 下のマゼンタに至るグラデーションを形成する場合があるが、そのような場合にも、予 め中央付近の白色に近く表示される部分の座標値を目標値決定の際の画素位置と して与えておくことにより、他の部分の特性を、その品質の良い画素位置の特性に揃 えることができる。
[0461] なお、以上で説明した各々の実施形態における各処理、例えば、各面ブレンド重 み画像データの生成方法、目標値の決定方法、フィードバック調整後の処理等は、 その要旨を逸脱しない範囲で実際の実施の形態に合わせ種々変更し組み合わせて 使用することができることは言うまでもな 、。

Claims

請求の範囲
[1] 画像供給部から出力した画像データを画像補正部において補正した後に画像表 示部で表示することで所望の映像を映し出すことができるようにした映像表示システ ムを撮像装置を用いて調整する調整方法であって、
特定の複数の入力レベル毎に、
前記撮像装置の露出を前記入力レベルの調整に適するように決定する露出決定 過程と、
前記入力レベルに対応する目標画素値決定用被写体を、前記露出決定過程で決 定された露出で前記撮像装置により撮影した撮影画像データから目標画素値を決 定する目標画素値決定過程と、
前記画像表示部において表示された映像を前記露出決定過程で決定された露出 で前記撮像装置により撮影した撮影画像データの画素値を、前記目標画素値に合 わせるように、前記画像表示部に供給する画像データの画素値を画素毎に変更する 調整過程と、
を備えることを特徴とする調整方法。
[2] 請求項 1に記載の調整方法であって、
前記露出決定過程は、前記入力レベルの調整に適した前記撮像装置の露出を決 定するための被写体である露出決定用被写体を撮影した撮影画像データの画素値 が予め定められた範囲に収まるように露出を決定するものであること、
を特徴とする調整方法。
[3] 請求項 2に記載の調整方法であって、
前記露出決定用被写体は前記画像表示部で表示した露出決定用表示映像であり 前記目標画素値決定用被写体は前記画像表示部で表示した目標画素値決定用 表示映像であり、
前記露出決定過程は前記画像表示部で前記入力レベルに対応する露出決定用 表示映像を表示する露出決定用映像表示過程を備え、
前記調整過程は前記画像表示部で前記入力レベルに対応する目標画素値決定 用表示映像を表示する目標画素値決定用映像表示過程を備えたこと、 を特徴とする調整方法。
[4] 請求項 3に記載の調整方法であって、
前記特定の入力レベルは、最小入力レベルと、最大入力レベルと、最小入カレべ ル及び最大入力レベルの間の少なくとも一つの中間入力レべノレと、であり、
前記最小入力レベルに対応する調整結果と前記最大入力レベルに対応する調整 結果に基づいて、前記中間入力レベルに対応する露出決定用表示映像及び目標 画素値決定用表示映像を決定する表示映像決定過程を備えたこと、
を特徴とする調整方法。
[5] 請求項 4に記載の調整方法であって、
前記目標画素値決定過程は、前記特定の入力レベルに該当するすべての中間入 カレベルの目標画素値を、撮影画像データにおける同 Cf立置の画素値力 決定する こと、
を特徴とする調整方法。
[6] 請求項 5に記載の調整方法であって、
前記調整過程は、前記画像表示部で表示した映像を撮影した撮影画像データの 画素値を前記目標画素値と比較し、これらが一致しないと判断された場合には、前 記画像表示部に入力される画像データの画素値を画素毎に変更する処理を繰り返 すフィードバック処理を行うものであること、
を特徴とする調整方法。
[7] 請求項 6に記載の調整方法であって、
前記調整過程は、前記画像表示部に入力される画像データの画素値を画素毎に 変更する処理が所定の回数となった場合には、処理を終了すること、
を特徴とする調整方法。
[8] 請求項 6に記載の調整方法であって、
前記調整過程は、前記画像データの各々の画素の画素値を、前記画素値を変更 する処理を実施した回数に対応する所定の数値で変更するようにされており、 前記所定の数値で構成される数列は、加減算及び零の乗算の組み合わせによつ て、前記画素値の取り得る値のすべてを表現することができるようにされて 、ること、 を特徴とする調整方法。
[9] 画像供給部カゝら出力した画像データを画像補正部で画像補正パラメタに基づいて 補正した後に画像表示部で表示することで所望の映像を映し出すことができるように した映像表示システムを撮像装置を用いて調整する調整方法であって、
特定の複数の入力レベルの各々に対して前記撮像装置を用いて前記画像補正パ ラメタを調整する個別調整過程と、
前記個別調整過程において調整された特定の複数の入力レベルに対する画像補 正パラメタ力 その他の入力レベルを含めて補正するための最終的な画像補正パラ メタを算出するパラメタ統合過程と、
を備えることを特徴とする調整方法。
[10] 請求項 9に記載の調整方法であって、
前記個別調整過程は、各々の前記特定の入力レベルの調整において、前記撮像 装置の露出を前記特定の入力レベルの調整に適した露出に設定する過程を備えた こと、
を特徴とする調整方法。
[11] 画像供給部カゝら出力した画像データを画像補正部で画像補正パラメタに基づいて 補正した後に画像表示部で表示することで所望の映像を映し出すことができるように した映像表示システムを撮像装置を用いて調整する調整方法であって、
前記撮像装置を用いて前記画像補正パラメタを調整する計測過程と、 前記計測過程おいて調整された前記画像補正パラメタを画像処理によって改善す るパラメタ改善過程と、
を備えることを特徴とする調整方法。
[12] 請求項 3に記載の調整方法であって、
前記画像表示部は複数の画像投映部を含むように構成されており、
前記特定の入力レベルは少なくとも最大入力レベルを含むように構成し、 前記最大入力レベルに対応する前記目標画素値を、前記撮影画像データのうち、 前記複数の画像投映部の 、ずれか一つだけ力 の投映光が投射されて 、る領域に 対応するデータだけから決定するようにしたこと、
を特徴とする調整方法。
[13] 請求項 3に記載の調整方法であって、
前記画像表示部は複数の画像投映部を含むように構成されており、
前記特定の入力レベルは少なくとも最大入力レベルを含むように構成し、 前記最大入力レベルに対応する前記目標画素値を、撮影画像データ上で滑らか に変化するような画素毎に個別の値とし、
前記目標画素値決定過程は、前記画素毎の目標画素値が必ずしも達成可能な値 でない値として算出された場合には、必ず達成可能な値となるように、目標画素値を 修正する過程を備えたこと、
を特徴とする調整方法。
[14] 画像供給部から出力した画像データを、幾何補正パラメタと画素値変換パラメタと を含むように構成された画像補正パラメタに基づ ヽて画像補正部で補正した後に、 複数の画像投映部を含むように構成された画像表示部で表示することで、所望の映 像を映し出すことができるようにした映像表示システムを、撮像装置を用いて、フィー ドバック方式で調整する映像表示システムの調整方法であって、
フィードバック調整中は、恒等変換幾何補正パラメタを用いて幾何補正を行うように したこと、
を特徴とする調整方法。
[15] 請求項 5に記載の調整方法であって、
前記映像表示システムは、画像供給部から出力した画像データを画像補正部で画 像補正パラメタに基づいて補正した後に、スクリーン上の同一領域に映像を投映する 二つの画像投映部を含むように構成された画像表示部で表示することで、所望の映 像を映し出すことができるようにされており、
前記目標画素値決定過程は、前記二つの画像投映部の各々の映像に共通の調 整目標となる目標画素値を決定し、
前記調整過程は、前記二つの画像投映部の各々に対して個別に、前記各々の画 像投映部で表示した映像を前記撮像装置で前記露出で撮影した撮影画像データの 画素値を、前記目標画素値に合わせるように、前記各々の画像投映部に供給する画 像データの画素値を画素毎に変更して調整すること、
を特徴とする調整方法。
[16] 画像供給部から出力した画像データを画像補正部において補正した後に画像表 示部で表示するようにした映像表示システムにおいて所望の映像を映し出すことが できるように、前記画像補正部で使用する補正パラメタを調整する、撮像部を備えた 映像補正装置であって、
前記撮像部の露出を特定の入力レベルの調整に適するように決定する露出決定 部と、
前記入力レベルに対応する目標画素値決定用被写体を、前記露出決定部で決定 された露出で前記撮像部により撮影した撮影画像データから目標画素値を決定する 目標画素値決定部と、
前記画像表示部において表示された映像を前記露出決定部で決定された露出で 前記撮像部により撮影した撮影画像データの画素値を、前記目標画素値に合わせ るように、前記画像表示部に供給する画像データの画素値を画素毎に変更する調整 部と、
を備えることを特徴とする映像補正装置。
[17] 請求項 16に記載の映像補正装置であって、
前記露出決定部は、前記入力レベルの調整に適した前記撮像部の露出を決定す るための被写体である露出決定用被写体を撮影した撮影画像データの画素値が予 め定められた範囲に収まるように露出を決定するものであること、
を特徴とする映像補正装置。
[18] 請求項 17に記載の映像補正装置であって、
前記露出決定用被写体は前記画像表示部で表示した露出決定用表示映像であり 前記目標画素値決定用被写体は前記画像表示部で表示した目標画素値決定用 表示映像であり、
前記露出決定部は前記画像表示部で前記入力レベルに対応する露出決定用表 示映像を表示する露出決定用映像表示部を備え、
前記調整部は前記画像表示部で前記入力レベルに対応する目標画素値決定用 表示映像を表示する目標画素値決定用映像表示部を備えたこと、
を特徴とする映像補正装置。
[19] 請求項 18に記載の映像補正装置であって、
前記特定の入力レベルは、最小入力レベルと、最大入力レベルと、最小入カレべ ル及び最大入力レベルの間の少なくとも一つの中間入力レべノレと、であり、
前記最小入力レベルに対応する調整結果と前記最大入力レベルに対応する調整 結果に基づいて、前記中間入力レベルに対応する露出決定用表示映像及び目標 画素値決定用表示映像を決定する表示映像決定部を備えたこと、
を特徴とする映像補正装置。
[20] 請求項 19に記載の映像補正装置であって、
前記目標画素値決定部は、前記特定の入力レベルに該当するすべての中間入力 レベルの目標画素値を、撮影画像データにおける同 Cf立置の画素値力 決定するこ と、
を特徴とする映像補正装置。
[21] 請求項 20に記載の映像補正装置であって、
前記調整部は、前記画像表示部で表示した映像を撮影した撮影画像データの画 素値を前記目標画素値と比較し、これらが一致しないと判断された場合には、前記 画像表示部に入力される画像データの画素値を画素毎に変更する処理を繰り返す フィードバック処理を行うものであること、
を特徴とする映像補正装置。
[22] 請求項 21に記載の映像補正装置であって、
前記調整部は、前記画像表示部に入力される画像データの画素値を画素毎に変 更する処理が所定の回数となった場合には、処理を終了すること、
を特徴とする映像補正装置。
[23] 請求項 21に記載の映像補正装置であって、
前記調整部は、前記画像データの各々の画素の画素値を、前記画素値を変更す る処理を実施した回数に対応する所定の数値で変更するようにされており、 前記所定の数値で構成される数列は、加減算及び零の乗算の組み合わせによつ て、前記画素値の取り得る値のすべてを表現することができるようにされて 、ること、 を特徴とする映像補正装置。
[24] 画像供給部から出力した画像データを画像補正部において補正した後に画像表 示部で表示するようにした映像表示システムにおいて所望の映像を映し出すことが できるように、前記画像補正部で使用する補正パラメタを調整する、撮像部を備えた 映像補正装置であって、
特定の複数の入力レベルの各々に対して前記撮像部を用いて前記画像補正パラ メタを調整する個別調整部と、
前記個別調整部において調整された特定の複数の入力レベルに対する画像補正 ノラメタカもその他の入力レベルを含めて補正するための最終的な画像補正パラメタ を算出するパラメタ統合部と、
を備えることを特徴とする映像補正装置。
[25] 請求項 24に記載の映像補正装置であって、
前記個別調整部は、各々の前記特定の入力レベルの調整において、前記撮像装 置の露出を前記特定の入力レベルの調整に適した露出に設定する露出設定部を備 えたこと、
を特徴とする映像補正装置。
[26] 画像供給部から出力した画像データを画像補正部において補正した後に画像表 示部で表示するようにした映像表示システムにおいて所望の映像を映し出すことが できるように、前記画像補正部で使用する補正パラメタを調整する、撮像部を備えた 映像補正装置であって、
前記撮像部を用いて前記画像補正パラメタを調整する計測部と、
前記計測部において調整された前記画像補正パラメタを画像処理によって改善す るパラメタ改善部と、
を備えることを特徴とする映像補正装置。
[27] 請求項 18に記載の映像補正装置であって、 前記画像表示部は複数の画像投映部を含むように構成されており、 前記特定の入力レベルは少なくとも最大入力レベルを含むように構成されており、 前記最大入力レベルに対応する前記目標画素値を、前記撮影画像データのうち、 前記複数の画像投映部の 、ずれか一つだけ力 の投映光が投射されて 、る領域に 対応するデータだけから決定するようにしたこと、
を特徴とする映像補正装置。
[28] 請求項 18に記載の映像補正装置であって、
前記画像表示部は複数の画像投映部を含むように構成されており、
前記特定の入力レベルは少なくとも最大入力レベルを含むように構成されており、 前記最大入力レベルに対応する前記目標画素値は、撮影画像データ上で滑らか に変化するような画素毎に個別の値であり、
前記目標画素値決定部は、前記画素毎の目標画素値が必ずしも達成可能な値で ない値として算出された場合には、必ず達成可能な値となるように、目標画素値を修 正する目標画素値修正部を備えたこと、
を特徴とする映像補正装置。
[29] 請求項 26に記載の映像補正装置であって、
画像表示部に入力する画像データを幾何的に補正する幾何補正部と、 画像表示部に入力する画像データの画素値を補正する画素値変換部とを備え、 前記計測部は、前記幾何補正部で恒等変換を行うように設定した後に調整を行うよ うにしたこと、
を特徴とする映像補正装置。
[30] 請求項 20に記載の映像補正装置であって、
前記画像表示部はスクリーン上の同一領域に映像を投映する二つの画像投映部 を含むように構成されており、
前記目標画素値決定部は、前記二つの画像投映部の各々の映像に共通の調整 目標となる目標画素値を決定し、
前記調整部は、前記二つの画像投映部の各々に対して個別に、前記各々の画像 投映部で表示した映像を前記撮像部で前記露出で撮影した撮影画像データの画素 値を、前記目標画素値に合わせるように、前記各々の画像投映部に供給する画像デ ータの画素値を画素毎に変更して調整すること、
を特徴とする映像補正装置。
[31] 映像出力装置と、該映像出力装置力 出力される画像データの画素値を補正する ことができる映像補正装置と、該映像補正装置力 出力される画像データを表示す る画像表示装置と、前記画像表示装置で表示された映像を撮影する撮像装置と、前 記映像補正装置で使用する補正パラメタを調整する映像調整装置と、を備え、前記 画像表示装置において所望の映像を表示できるようにした映像表示システムであつ て、
前記映像調整装置は、
前記撮像装置の露出を特定の入力レベルの調整に適するように決定する露出決 定部と、
前記入力レベルに対応する目標画素値決定用被写体を、前記露出決定部で決定 された露出で前記撮像装置により撮影した撮影画像データから目標画素値を決定 する目標画素値決定部と、
前記画像表示装置において表示された映像を前記露出決定部で決定された露出 で前記撮像装置により撮影した撮影画像データの画素値を、前記目標画素値に合 わせるように、前記画像表示装置に供給する画像データの画素値を画素毎に変更 する調整部と、
を備えることを特徴とする映像表示システム。
[32] 請求項 31に記載の映像表示システムであって、
前記露出決定部は、前記入力レベルの調整に適した前記撮像装置の露出を決定 するための被写体である露出決定用被写体を撮影した撮影画像データの画素値が 予め定められた範囲に収まるように露出を決定するものであること、
を特徴とする映像表示システム。
[33] 請求項 32に記載の映像表示システムであって、
前記露出決定用被写体は前記画像表示装置で表示した露出決定用表示映像で あり、 前記目標画素値決定用被写体は前記画像表示装置で表示した目標画素値決定 用表示映像であり、
前記露出決定部は前記画像表示装置で前記入力レベルに対応する露出決定用 表示映像を表示する露出決定用映像表示部を備え、
前記調整部は前記画像表示装置で前記入力レベルに対応する目標画素値決定 用表示映像を表示する目標画素値決定用映像表示部を備えたこと、
を特徴とする映像表示システム。
[34] 請求項 33に記載の映像表示システムであって、
前記特定の入力レベルは、最小入力レベルと、最大入力レベルと、最小入カレべ ル及び最大入力レベルの間の少なくとも一つの中間入力レべノレと、であり、
前記映像調整装置は、前記最小入力レベルに対応する調整結果と前記最大入力 レベルに対応する調整結果に基づいて、前記中間入力レベルに対応する露出決定 用表示映像及び目標画素値決定用表示映像を決定する表示映像決定部を備えた こと、
を特徴とする映像表示システム。
[35] 請求項 34に記載の映像表示システムであって、
前記目標画素値決定部は、前記特定の入力レベルに該当するすべての中間入力 レベルの目標画素値を、撮影画像データにおける同 Cf立置の画素値力 決定するこ と、
を特徴とする映像表示システム。
[36] 請求項 35に記載の映像表示システムであって、
前記調整部は、前記画像表示装置で表示した映像を撮影した撮影画像データの 画素値を前記目標画素値と比較し、これらが一致しないと判断された場合には、前 記画像表示装置に入力される画像データの画素値を画素毎に変更する処理を繰り 返すフィードバック処理を行うものであること、
を特徴とする映像表示システム。
[37] 請求項 36に記載の映像表示システムであって、
前記調整部は、前記画像表示装置に入力される画像データの画素値を画素毎に 変更する処理が所定の回数となった場合には、処理を終了すること、 を特徴とする映像表示システム。
[38] 請求項 36に記載の映像表示システムであって、
前記調整部は、前記画像データの各々の画素の画素値を、前記画素値を変更す る処理を実施した回数に対応する所定の数値で変更するようにされており、
前記所定の数値で構成される数列は、加減算及び零の乗算の組み合わせによつ て、前記画素値の取り得る値のすべてを表現することができるようにされて 、ること、 を特徴とする映像表示システム。
[39] 映像出力装置と、該映像出力装置力 出力される画像データの画素値を補正する ことができる映像補正装置と、該映像補正装置力 出力される画像データを表示す る画像表示装置と、前記画像表示装置で表示された映像を撮影する撮像装置と、前 記映像補正装置で使用する補正パラメタを調整する映像調整装置と、を備え、前記 画像表示装置において所望の映像を表示できるようにした映像表示システムであつ て、
前記映像調整装置は、
特定の複数の入力レベルの各々に対して前記撮像装置を用いて前記画像補正パ ラメタを調整する個別調整部と、
前記個別調整部において調整された特定の複数の入力レベルに対する画像補正 ノラメタカもその他の入力レベルを含めて補正するための最終的な画像補正パラメタ を算出するパラメタ統合部と、
を備えることを特徴とする映像表示システム。
[40] 請求項 39に記載の映像表示システムであって、
前記個別調整部は、各々の前記特定の入力レベルの調整において、前記撮像装 置の露出を前記特定の入力レベルの調整に適した露出に設定する露出設定部を備 えたこと、
を特徴とする映像表示システム。
[41] 映像出力装置と、該映像出力装置力 出力される画像データの画素値を補正する ことができる映像補正装置と、該映像補正装置力 出力される画像データを表示す る画像表示装置と、前記画像表示装置で表示された映像を撮影する撮像装置と、前 記映像補正装置で使用する補正パラメタを調整する映像調整装置と、を備え、前記 画像表示装置において所望の映像を表示できるようにした映像表示システムであつ て、
前記映像調整装置は、
前記撮像装置を用いて前記画像補正パラメタを調整する計測部と、
前記計測部おいて調整された前記画像補正パラメタを画像処理によって改善する パラメタ改善部と、
を備えることを特徴とする映像表示システム。
[42] 請求項 33に記載の映像表示システムであって、
前記画像表示装置は複数の画像投映部を含むように構成されており、 前記特定の入力レベルは少なくとも最大入力レベルを含むように構成されており、 前記最大入力レベルに対応する前記目標画素値を、前記撮影画像データのうち、 前記複数の画像投映部の 、ずれか一つだけ力 の投映光が投射されて 、る領域に 対応するデータだけから決定するようにしたこと、
を特徴とする映像表示システム。
[43] 請求項 33に記載の映像表示システムであって、
前記画像表示装置は複数の画像投映部を含むように構成されており、 前記特定の入力レベルは少なくとも最大入力レベルを含むように構成されており、 前記最大入力レベルに対応する前記目標画素値は、撮影画像データ上で滑らか に変化するような画素毎に個別の値であり、
前記目標画素値決定部は、前記画素毎の目標画素値が必ずしも達成可能な値で ない値として算出された場合には、必ず達成可能な値となるように、目標画素値を修 正する目標画素値修正部を備えたこと、
を特徴とする映像表示システム。
[44] 請求項 41に記載の映像表示システムであって、
画像表示装置に入力する画像データを幾何的に補正する幾何補正部と、 画像表示装置に入力する画像データの画素値を補正する画素値変換部とを備え、 前記計測部は、前記幾何補正部で恒等変換を行うように設定した後に調整を行うよ うにしたこと、
を特徴とする映像表示システム。
請求項 35に記載の映像表示システムであって、
前記画像表示装置はスクリーン上の同一領域に映像を投映する二つの画像投映 部を含むように構成されており、
前記目標画素値決定部は、前記二つの画像投映部の各々の映像に共通の調整 目標となる目標画素値を決定し、
前記調整部は、前記二つの画像投映部の各々に対して個別に、前記各々の画像 投映部で表示した映像を前記撮像装置で前記露出で撮影した撮影画像データの画 素値を、前記目標画素値に合わせるように、前記各々の画像投映部に供給する画像 データの画素値を画素毎に変更して調整すること、
を特徴とする映像表示システム。
PCT/JP2007/051727 2006-02-01 2007-02-01 調整方法、映像補正装置及び映像表示システム WO2007088943A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007556918A JP5047813B2 (ja) 2006-02-01 2007-02-01 調整方法、映像補正装置及び映像表示システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-024627 2006-02-01
JP2006024627 2006-02-01

Publications (1)

Publication Number Publication Date
WO2007088943A1 true WO2007088943A1 (ja) 2007-08-09

Family

ID=38327512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/051727 WO2007088943A1 (ja) 2006-02-01 2007-02-01 調整方法、映像補正装置及び映像表示システム

Country Status (2)

Country Link
JP (1) JP5047813B2 (ja)
WO (1) WO2007088943A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014526058A (ja) * 2011-06-15 2014-10-02 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 実用のための、ディスプレイシステムの色及び彩度を較正するためのシステム及び方法
WO2018116381A1 (ja) * 2016-12-20 2018-06-28 堺ディスプレイプロダクト株式会社 制御回路、表示装置、補正システム、制御方法及び補正方法
CN113852798A (zh) * 2020-06-23 2021-12-28 精工爱普生株式会社 图像投射系统及其调整要否判定方法、图像投射控制装置
CN113870756A (zh) * 2020-06-30 2021-12-31 京东方科技集团股份有限公司 显示设备的校正方法、系统和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815236B (zh) * 2015-11-30 2020-07-03 北京睿创投资管理中心（有限合伙） 搜索方法、搜索装置、用户终端及搜索服务器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003071794A1 (fr) * 2002-02-19 2003-08-28 Olympus Corporation Procede et dispositif de calcul de donnees de correction d'image et systeme de projection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003071794A1 (fr) * 2002-02-19 2003-08-28 Olympus Corporation Procede et dispositif de calcul de donnees de correction d'image et systeme de projection

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014526058A (ja) * 2011-06-15 2014-10-02 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 実用のための、ディスプレイシステムの色及び彩度を較正するためのシステム及び方法
JP2019032516A (ja) * 2011-06-15 2019-02-28 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 実用のための、ディスプレイシステムの色及び彩度を較正するためのシステム及び方法
WO2018116381A1 (ja) * 2016-12-20 2018-06-28 堺ディスプレイプロダクト株式会社 制御回路、表示装置、補正システム、制御方法及び補正方法
CN113852798A (zh) * 2020-06-23 2021-12-28 精工爱普生株式会社 图像投射系统及其调整要否判定方法、图像投射控制装置
JP2022003749A (ja) * 2020-06-23 2022-01-11 セイコーエプソン株式会社 画像投射システムの調整要否判定方法、画像投射システム、及び画像投射制御装置
JP7200978B2 (ja) 2020-06-23 2023-01-10 セイコーエプソン株式会社 画像投射システムの調整要否判定方法、画像投射システム、及び画像投射制御装置
CN113852798B (zh) * 2020-06-23 2023-06-13 精工爱普生株式会社 图像投射系统及其调整要否判定方法、图像投射控制装置
CN113870756A (zh) * 2020-06-30 2021-12-31 京东方科技集团股份有限公司 显示设备的校正方法、系统和装置
CN113870756B (zh) * 2020-06-30 2023-12-08 京东方科技集团股份有限公司 显示设备的校正方法、系统和装置

Also Published As

Publication number Publication date
JPWO2007088943A1 (ja) 2009-06-25
JP5047813B2 (ja) 2012-10-10

Similar Documents

Publication Publication Date Title
JP4018310B2 (ja) 画像二値化装置、画像撮像装置、画像二値化方法、画像撮像方法およびその方法の各工程としてコンピュータを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体
US7215364B2 (en) Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
WO2017101572A1 (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
US20050276481A1 (en) Particular-region detection method and apparatus, and program therefor
US10360313B2 (en) Apparatus and method for generating 3D printing model using multiple textures
JP5047813B2 (ja) 調整方法、映像補正装置及び映像表示システム
JPH03203465A (ja) 描画制御方法
JP2001008032A5 (ja)
US20180342044A1 (en) Image resolution enhancement
US6996290B2 (en) Binding curvature correction
WO2018098981A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
US20010014180A1 (en) Method and a system for correcting distorted aberrations in high-resolution images
JP2023540930A (ja) ニューラル埋め込みを用いたカメラ画像又はビデオ処理パイプライン
CN102447833B (zh) 图像处理设备和用于控制图像处理设备的方法
JPH06149898A (ja) 画像記憶検索装置
KR102389284B1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
JP2004199200A (ja) パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム
KR20140071519A (ko) 필름 스캐너의 프로파일링 및 교정을 위한 시스템 및 방법
US8488138B2 (en) Method for composing a reflectivity histogram and reprographic apparatus using this method
WO2024048262A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
US20210185214A1 (en) Trans-spectral feature detection for volumetric image alignment and colorization
JP4154102B2 (ja) 画像処理装置及び画像処理方法
JP2004236200A (ja) 色処理パラメータ編集方法及び色処理パラメータ編集装置
JP2007072530A (ja) 画像処理装置、画像処理方法、及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007556918

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07707913

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)