WO2011086616A1 - 映像評価方法および映像評価システム - Google Patents

映像評価方法および映像評価システム Download PDF

Info

Publication number
WO2011086616A1
WO2011086616A1 PCT/JP2010/005420 JP2010005420W WO2011086616A1 WO 2011086616 A1 WO2011086616 A1 WO 2011086616A1 JP 2010005420 W JP2010005420 W JP 2010005420W WO 2011086616 A1 WO2011086616 A1 WO 2011086616A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
video
measurement
evaluation method
Prior art date
Application number
PCT/JP2010/005420
Other languages
English (en)
French (fr)
Inventor
坂井秀行
小池崇文
加藤千昭
宇都木契
及川道雄
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2011086616A1 publication Critical patent/WO2011086616A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Definitions

  • the present invention relates to a video evaluation method and a video evaluation system, and particularly to a video evaluation technique for a stereoscopic display.
  • Patent Document 1 discloses a method of measuring luminance unevenness and color unevenness of a display using a normal digital camera.
  • Non-Patent Document 1 discloses a luminance meter that can measure the luminance of the display in units of planes, whereas the conventional luminance meter can measure only the luminance of one point of the display.
  • Non-Patent Document 2 discloses an apparatus capable of measuring the state of light emitted from one point of the display around.
  • Non-Patent Document 4 discloses a method of displaying a sine wave pattern with various periods at various heights as a stereoscopic image and measuring the resolution of the stereoscopic image from the appearance of the sine wave pattern.
  • Patent Document 1 The technique described in Patent Document 1 is for photographing a display surface after correcting individual differences of a normal digital camera in order to evaluate luminance unevenness and color unevenness of the entire screen (FIG. 1).
  • the evaluation image of the entire screen can be acquired at once, in order to measure the state of the screen viewed from a plurality of directions, it is necessary to move the camera position each time. Such movement not only causes the cost of movement, but also causes movement errors. Therefore, the measurement environment differs depending on the display, which is not preferable when evaluating a product image. It is also possible to prepare cameras for the number of required viewpoints and measure them side by side (Fig. 2). However, if the number of required viewpoints is large, the cost of preparing the apparatus increases, and the camera Each individual difference is affected by the measurement date and environment and the environment, so it is necessary to correct all the cameras every time the measurement operation is performed, which also increases the cost.
  • Non-Patent Document 1 is a technique that can measure the entire screen of the display at once from the installation position of the measuring device, as in Patent Document 1.
  • An optical filter for color separation and an ND filter for light amount adjustment are installed between the objective lens and the CCD sensor, and the two-dimensional luminance distribution and chromaticity distribution are the same as when an image is acquired by a camera. Can be obtained.
  • Patent Document 1 in order to measure the state of the screen viewed from a plurality of directions, it is necessary to use a plurality of measuring devices or to move the installation position. Further, since it is a color luminance meter, it is difficult to use it for measuring a geometric stereoscopic effect when the display is a stereoscopic display instead of a planar display.
  • Non-Patent Document 2 is a technique that can measure light rays emitted from one point on the display to the surroundings at a time from the measurement device installation position (FIG. 3).
  • FIG. 3 it is possible to measure the state of the point 303 viewed from a plurality of directions at a time.
  • Information corresponding to the angle of light rays emitted from the display can be acquired as a two-dimensional image using a combination of different lenses without chromatic aberration and a CCD sensor.
  • the apparatus is installed at a position 15 mm away from the display surface, and rays emitted within a range of ⁇ 50 ° from the portion having a diameter of 4 mm have an angular resolution of 0.03 ° or less. It can be measured with accuracy.
  • Non-Patent Document 2 can measure only a part of the display surface at a time, in order to measure the entire display screen, a plurality of measuring devices are used or the installation position is moved. Required (Fig. 4).
  • Non-Patent Documents 3 and 4 have the following problems.
  • Non-Patent Document 3 is a technique for evaluating the resolution of the stereoscopic display 100. As shown in FIG. 14, striped images 1406 of various thicknesses are displayed at various heights, and the stereoscopic images 1401 to 1405 can be expressed for each height of the stereoscopic images by the observer 1400 viewing the images. This is a technique for measuring resolution (FIG. 14).
  • Non-Patent Document 3 does not mention resolution measurement at various viewpoint positions.
  • an appropriate stereoscopic video content 1500 as shown in FIG. 15 is displayed and the viewer 1400 only looks at it, which is not a systematic technique (FIG. 15).
  • Non-Patent Document 4 is a technique for evaluating the resolution of the stereoscopic display 100, displays images 1601 with various periods of sinusoidal patterns at various heights, and displays the stereoscopic video as a digital camera 1600. This is a technique for measuring a resolution that can be expressed for each height of a stereoscopic video by photographing and analyzing images (FIG. 16).
  • Non-Patent Document 3 no reference is made to measurement of resolution at various viewpoint positions. Moreover, it does not mention measurement methods of other evaluation criteria.
  • the prior art does not mention a method for systematically evaluating various criteria representing the performance of a stereoscopic display.
  • a method for systematically evaluating various criteria representing the performance of a stereoscopic display When commercializing a 3D display, it is important to evaluate the actual device for quality assurance as well as performance criteria based on design values.
  • One embodiment of the present invention has the following configuration in order to solve the above problems.
  • an image evaluation method in a system including a display device, a measurement device that measures a display image of the display device, and a lens array that includes a plurality of lenses disposed between the display device and the measurement device.
  • the apparatus performs video evaluation of a plurality of display videos obtained through the lens array.
  • a video evaluation method in a system including a display device and a measurement device that measures a stereoscopic video displayed by the display device, wherein the measurement device measures a viewing zone that is a range in which the stereoscopic video can be observed.
  • a second step in which the measuring device measures the resolution of the stereoscopic video a third step in which the measuring device measures the distortion of the stereoscopic video, and a second step in which the measuring device measures color unevenness or luminance of the stereoscopic video. 4 steps.
  • the stereoscopic image in the order of the first step, the second step, the third step, the fourth step, or the order of the first step, the second step, the fourth step, and the third step. Measure.
  • the present invention it is possible to easily perform image evaluation of a display, particularly image evaluation of a stereoscopic display.
  • the figure explaining the technique of patent document 1 and nonpatent literature 1 The figure explaining the technique of patent document 1 and nonpatent literature 1 The figure explaining the technique of nonpatent literature 2.
  • Overview of the embodiment Schematic diagram explaining the setting criteria of the measuring device Diagram explaining the lens array Illustration explaining how to install the display
  • FIG. 5 is an overview of this embodiment.
  • a lens array 502 is installed between the camera 501 and the display 100, and a real image group 503 of the display 100 formed on the camera side of the lens array 502 is photographed by the camera 501.
  • each lens constituting the lens array 502 is a convex lens
  • a real image of the display 100 is formed on the opposite side of the display 100 and the lens by the effect of the convex lens.
  • the actual image groups 503 are formed by the number of convex lenses constituting the lens array 502.
  • the light ray groups entering the lenses from the display 100 are also different, and each real image represents light ray information of the display 100 viewed from the position of the corresponding lens. It becomes.
  • each real image of the display surface formed by each lens constituting the lens array 502 is in a state where the display 100 is observed from different directions because the position of each lens with respect to the display 100 is different. With one camera from one place, it is possible to take a picture of the display surface viewed from multiple directions.
  • FIG. 10 is a block diagram of the measuring device.
  • a block diagram of a digital camera 501 is shown as an example of a measurement device, since there are various methods for digital cameras, each component and its operation will be described as an example.
  • Reference numeral 1000 denotes an imaging lens for a digital camera, which refracts light rays emitted from a subject and forms an image.
  • Reference numeral 1001 denotes a CCD (Charge Coupled Device) image sensor, which is an image sensor that converts light beam information into an electrical signal.
  • Reference numeral 1002 denotes an analog / digital conversion circuit which converts an analog image signal generated by the CCD 1001 into a digital image signal.
  • CCD Charge Coupled Device
  • a signal processing unit 1003 performs image processing such as color correction, resolution conversion, and compression processing on the image data acquired from the CCD 1001, and outputs image data from various interfaces as necessary.
  • the imaging lens 1000 and the CCD 1001 are controlled.
  • Reference numeral 1004 denotes a signal input unit which inputs shooting environment and image quality settings to the signal processing unit 1003 and inputs shooting timing by pressing the shutter.
  • Reference numeral 1005 denotes a DRAM (Dynamic Random Access Memory), which stores image data captured from the CCD 1001 and stores data as needed during image processing.
  • Reference numeral 1006 denotes a flash memory, which stores an image processing program.
  • a CCD control unit 1007 drives the CCD 1001 when a shooting command is issued from the signal input unit 1004 to the signal processing unit 1003.
  • Reference numeral 1008 denotes a lens control unit which controls the imaging lens 1000 according to the setting of the shooting environment input from the signal input unit 1004 to the signal processing unit 1003.
  • Reference numeral 1009 denotes a CPU (Central Processing Unit), and the signal processing unit 1003 controls the entire apparatus such as program execution and interface control.
  • An image processing unit 1010 performs color tone correction and image quality adjustment on the image data stored in the DRAM 1005, and also performs image compression as necessary.
  • Reference numeral 1011 denotes a USB (Universal Serial Bus) interface, which outputs image data to a PC and performs mutual communication between the PC and a measuring device.
  • USB Universal Serial Bus
  • a control signal similar to that of the signal input unit 1004 can also be input from the PC.
  • Reference numeral 1012 denotes a media interface, which outputs image data subjected to image processing to a recording medium, and takes image data from the recording medium into a measuring device.
  • Reference numeral 1013 denotes an image output unit that outputs image data subjected to image processing to a video display monitor such as an LCD (Liquid Crystal Display) mounted on the measurement apparatus. If necessary, setting information such as the shooting environment is also output to the video display monitor.
  • FIG. 11 is an operation flowchart of the measuring apparatus. An operation relating to a process of capturing an image using the measurement device will be described.
  • Step S1100 is an image signal acquisition process.
  • the signal input unit 1004 inputs a shooting start signal and shooting environment settings and image quality settings set by the photographer to the signal processing unit 1003.
  • the signal processing unit 1003 controls the imaging lens 1000 through the lens control unit 1008 according to the shooting environment setting.
  • the signal processing unit 1003 drives the CCD 1001 through the CCD control unit 1007, and the CCD 1001 converts the light beam information obtained through the imaging lens 1000 into an image signal.
  • This image signal is converted into a digital image signal by the analog / digital conversion circuit 1002 and stored in the DRAM 1005 by the signal processing unit 1003.
  • Step S1101 is image processing.
  • the signal processing unit 1003 performs image processing on the image data stored in the DRAM 1005 based on the image quality setting input from the signal input unit 1004. Examples include color tone correction, resolution conversion, and noise removal.
  • the image processing is performed by the CPU 1009 executing a program stored in the flash memory 1006, and the image data after the image processing is stored in the DRAM 1005.
  • Step S1102 is compression processing, and the signal processing unit 1003 performs image compression processing on the image data stored in the DRAM 1005 based on the image quality setting input from the signal input unit 1004.
  • the image data may be a still image or a moving image.
  • These image compression processes are performed by the CPU 1009 executing a program stored in the flash memory 1006, and the image data after the image compression process is stored in the DRAM 1005. Depending on the image quality setting, the compression process may not be performed.
  • Step S1103 is image output processing, and the signal processing unit 1003 outputs the image data stored in the DRAM 1005 to the designated output destination based on the image quality setting input from the signal input unit 1004.
  • the data is output from the USB interface 1011 to an external device such as a PC, output from the media interface 1012 to an external recording medium, or output from the image output unit 1013 to an LCD attached to the measurement device.
  • the measuring device has a storage device such as an HDD (Hard Disk Disk Drive)
  • the data may be output to the HDD.
  • FIG. 12 is a block diagram of the entire measurement system.
  • a lens array 502 is installed between a measurement device 501 such as a digital camera and the display 100 to be measured, the measurement device 501 and the display 100 are controlled using the arithmetic device 1200, a desired image is taken, and the arithmetic device 1200. Is used to evaluate the image quality of the display 100. It is desirable that the optical axis of the imaging lens of the measuring device 501 passes through the center of the lens array 502 and the display 100. In order to realize this, for example, a reference axis display device 1201 such as a marking machine that emits laser light 1202 is used. good.
  • the computing device 1200 may be a PC, for example, and preferably includes an image output unit 1203, a signal processing unit 1204, a RAM 1205, an HDD 1206, a USB interface 1207, a CPU 1208, and the like.
  • the image output unit 1203 outputs a measurement image to the display 100 in accordance with an instruction from the signal input unit 1204. Examples of measurement images include uniform images such as white when evaluating unevenness of brightness and color, and white, black, red, blue, red, and cyan when evaluating geometrically. It is conceivable to display an image having a stripe pattern of various thicknesses according to the video display format of the display 100 to be measured.
  • the measurement image may be generated by a program or may be stored in advance in the HDD 1206.
  • the signal input unit 1204 gives an instruction to start measurement or gives an instruction for measurement contents.
  • a measurement script stored in the HDD 1206 may be activated by operating a mouse or a keyboard.
  • the RAM 1205 holds data at the time of calculation such as image analysis.
  • the HDD 1206 stores measurement images, images captured from the measurement device 501, analysis programs, and measurement scripts.
  • the USB interface 1207 transmits a control signal to the measurement device 501 and receives captured image data from the measurement device 501.
  • the CPU 1208 controls the entire apparatus such as program execution and interface control.
  • FIG. 13 is an operation flowchart of the measurement system. The operation of the measurement processing for installing each element of the measurement system, acquiring an image, and analyzing the image will be described.
  • Step S1300 is an installation position determination process in which the display 100, the lens array 502, and the measurement device 501 are fixed for measurement. Although the lens array 502 is installed between the display 100 and the measurement apparatus 501, it is desirable that the center of the display 100 and the center of the lens array 502 be aligned with the optical axis of the imaging lens of the measurement apparatus 501 although strictness is not necessary.
  • a reference axis display device 1201 such as a marking machine is used to indicate a reference axis with the laser beam 1202, and the display 100, the lens array 502, and the measuring device 501 are installed. Moreover, each installation space
  • the reference axis display device 1201 may be excluded from the system after the end of this step.
  • the display 100, the lens array 502, and the measuring device 501 may be fixed manually using, for example, a tripod or a display stand.
  • Step S ⁇ b> 1301 is an image capturing process.
  • the arithmetic device 1200 is used to control the measurement device 501 and the display 100, acquire an image necessary for image evaluation, and store it in the HDD 1206.
  • a specific operation flow of the measuring apparatus 501 is described with reference to FIG.
  • a measurement image stored in the HDD 1206 may be output from the image output unit 1203, or an image generated by the CPU 1208 executing an image generation program stored in the HDD 1206 is output as an image.
  • the data may be output from the unit 1203.
  • Step S1302 is an image analysis process.
  • the CPU 1208 executes an image quality evaluation program for the image acquired in step S1301 and stored in the HDD 1206, and the luminance unevenness, color unevenness, geometric distortion, and stereoscopic video viewpoint of the display 100 are displayed. Image analysis is performed from the viewpoint of how to switch.
  • the image stored in the HDD 1206 includes the lens array 502 and the screen of the display 100 viewed through each lens.
  • the lens area and the display area in the image can be calculated and image processing can be performed. It is also possible to extract each region by applying. In addition, by displaying an image showing display coordinates, such as a specific pattern image, as an image for measurement, the coordinates of the display area corresponding to each lens area in the image for image analysis can be used. You can also get Based on such information, it is possible to analyze how phenomena such as luminance unevenness, color unevenness, and geometric distortion of the display 100 viewed through each lens are distributed in the display coordinates. Here, regarding the distance between the display 100 and the lens array 502 in FIG.
  • the distance between the lens array 502 and the camera 501, the focal length, size, and number of lenses of the lens array 502, and the size of the imaging lens of the camera 501 give conditions with enough information to make an assessment.
  • For the evaluation of luminance unevenness and color unevenness even if a part of the captured display screen is missing, it may be sufficient depending on the analysis method, but geometric evaluation is especially required for the evaluation of the stereoscopic effect of a stereoscopic display. Since it may be accompanied, it is preferable that it is possible to acquire images that are not missing with respect to all the display screens that are captured in a plurality of directions. It is assumed that the camera can be focused.
  • FIG. 6 is a schematic view of the state of FIG. 5 viewed from the side.
  • the display surface of the display 100 is installed so that the lens array 502 and the film surface of the camera 501 are parallel to each other.
  • the camera is installed so that the optical axis 603 of the camera passes through the center of the display surface of the display 100 and the center of the lens array 502.
  • the lens shape of the lens array 502 may be a square or a hexagon.
  • the display 100 connects the real image 503a with the lens 502a, connects the real image 503b with the lens 502b, and connects the real image 503c with the lens 503c.
  • the size of the display 100 is D
  • the distance between the display 100 and the lens array 502 is A
  • the distance between the lens array 502 and the imaging lens of the camera 501 is C
  • the distance between real images is G.
  • Size D of the display 100 may be set according to Equation 1 the distance A of the lens array 100 and the display 100 on which to set the radius r and the focal length f L of the lens.
  • the direction of the light beam emitted by the real image is limited. Depending on the conditions, a part of the light beam of the real image travels in the direction of the camera 501 regardless of the distance C between the camera 501 and the lens array 502. As a result, a part of the captured display image is lost. Therefore, next, a condition is considered in which light rays of all parts of all real images are directed to the camera 501.
  • This condition is that the angle ⁇ formed by the ray 601 which is the lower ray in the ray group emitted from the upper end portion of the real image 503a by the lens 502a farthest from the optical axis 603 is larger than 90 °, and so on. This condition is given by the following equation.
  • Equation 2 depending on the position of the camera 501, the light beam of the real image does not enter the imaging lens of the camera 501, and as a result, a part of the captured display image is lost. Therefore, next, let us consider a condition in which all light rays of the real image are incident on the imaging lens of the camera 501. For this condition, it is sufficient that the light beam 601 is incident below the upper end of the imaging lens of the camera 501, and such a condition is first given by
  • the lens radius should be large, the distance between the lens array and the display should not be too close, and the lens should have a wide angle, that is, a focal length that is small.
  • the lens array 502 uses a matrix in which three vertical elements and three horizontal elements are arranged in a grid pattern.
  • the conditions can be set in the same manner. it can.
  • the number is different in the vertical and horizontal directions, such as 3 in the vertical direction and 4 in the horizontal direction, the conditions may be set in the same manner for the lens farthest from the optical axis 603.
  • the arrangement of the lenses is not limited to the lattice shape, and a delta arrangement as shown in FIG. 9 can be used.
  • an image suitable for image quality evaluation can be acquired by setting the camera, lens array, display installation position, and lens array specifications in a suitable state.
  • Equation 4 the lower limit of Equation 4 is defined as A min as shown in Equation 5.
  • Example 2 basically includes the configuration and functions of the first embodiment, and further configurations and functions are added thereto.
  • FIG. 17 is an overview of this embodiment.
  • a stereoscopic image and a pattern image are appropriately displayed on the stereoscopic display 100, and these are photographed by the measuring device 1700.
  • the measuring device 1700 may be a digital camera or a digital video camera. Since the appearance of the stereoscopic image changes depending on the position of the observer, the display performance of the stereoscopic display 100 can be evaluated in detail by moving the measuring device 1700 around the stereoscopic display 100 and shooting from various directions.
  • the stereoscopic video and pattern image displayed on the stereoscopic display 100 differ depending on the performance criteria to be evaluated, and details will be described later. Further, as will be described later, the image data captured by the measuring device 1700 is taken into a computing device such as a PC and analyzed.
  • a plurality of measuring devices can be installed and photographed at different positions at the same time, or a lens array can be installed between the measuring device 1700 and the stereoscopic display 100 and photographed through the lens array.
  • the measurement work can be simplified by simultaneously acquiring images of the stereoscopic display 100 viewed from a plurality of different viewpoints.
  • FIG. 18 is a block diagram of the measuring device.
  • a block diagram of a digital camera 1700 is shown as an example of a measurement device, since there are various methods for digital cameras, each component and its operation will be described as an example.
  • Reference numeral 1800 denotes an imaging lens for a digital camera, which refracts light rays emitted from a subject and forms an image.
  • Reference numeral 1801 denotes a CCD (Charge-Coupled Device) image sensor, which is an image sensor that converts light information into an electrical signal.
  • Reference numeral 1802 denotes an analog / digital conversion circuit which converts an analog image signal generated by the CCD 1801 into a digital image signal.
  • CCD Charge-Coupled Device
  • a signal processing unit 1803 performs image processing such as color tone correction, resolution conversion, and compression processing on the image data acquired from the CCD 1801, and outputs image data from various interfaces as necessary.
  • the imaging lens 1800 and the CCD 1801 are controlled.
  • Reference numeral 1804 denotes a signal input unit which inputs shooting environment and image quality settings to the signal processing unit 1803 and inputs shooting timing by pressing the shutter.
  • Reference numeral 1805 denotes a DRAM (Dynamic Random Access Memory) that stores image data captured from the CCD 1801 and stores the data as needed during image processing.
  • a flash memory 1806 stores an image processing program.
  • Reference numeral 1807 denotes a CCD control unit which drives the CCD 1801 when a shooting command is issued from the signal input unit 1804 to the signal processing unit 1803.
  • Reference numeral 1808 denotes a lens control unit which controls the imaging lens 1800 according to the setting of the imaging environment input from the signal input unit 1804 to the signal processing unit 1803.
  • Reference numeral 1809 denotes a CPU (Central Processing Unit), and the signal processor 1803 controls the entire apparatus such as program execution and interface control.
  • An image processing unit 1810 performs color tone correction and image quality adjustment on the image data stored in the DRAM 1805 and also performs image compression as necessary.
  • Reference numeral 1811 denotes a USB (Universal Serial Bus) interface, which outputs image data to a PC and performs mutual communication between the PC and a measuring device. A control signal similar to that of the signal input unit 1804 can also be input from the PC.
  • Reference numeral 1812 denotes a media interface, which outputs image data subjected to image processing to a recording medium and takes image data from the recording medium into a measuring device.
  • An image output unit 1813 outputs image data subjected to image processing to a video display monitor such as an LCD (Liquid Crystal Display) mounted on the measurement apparatus. If necessary, setting information such as the shooting environment is also output to the video display monitor.
  • a video display monitor such as an LCD (Liquid Crystal Display) mounted on the measurement apparatus. If necessary, setting information such as the shooting environment is also output to the video display monitor.
  • FIG. 19 is an operation flowchart of the measuring apparatus. An operation relating to a process of capturing an image using the measurement device will be described.
  • Step S1900 is an image signal acquisition process.
  • the signal input unit 1804 inputs a shooting start signal and shooting environment settings and image quality settings set by the photographer to the signal processing unit 1803.
  • the signal processing unit 1803 controls the imaging lens 1800 through the lens control unit 1808 according to the shooting environment setting.
  • the signal processing unit 1803 drives the CCD 1801 through the CCD control unit 1807, and the CCD 1801 converts the light beam information obtained through the imaging lens 1800 into an image signal.
  • This image signal is converted into a digital image signal by an analog / digital conversion circuit 1802 and stored in a DRAM 1805 by a signal processing unit 1803.
  • Step S1901 is image processing, and the signal processing unit 1803 performs image processing on the image data stored in the DRAM 1805 based on the image quality setting input from the signal input unit 1804. Examples include color tone correction, resolution conversion, and noise removal.
  • the image processing is performed by the CPU 1809 executing a program stored in the flash memory 1806, and the image data after the image processing is stored in the DRAM 1805.
  • Step S1902 is compression processing, and the signal processing unit 1803 performs image compression processing on the image data stored in the DRAM 1805 based on the image quality setting input from the signal input unit 1804.
  • the image data may be a still image or a moving image.
  • These image compression processes are performed by the CPU 1809 executing a program stored in the flash memory 1806, and the image data after the image compression process is stored in the DRAM 1805. Depending on the image quality setting, the compression process may not be performed.
  • Step S1903 is image output processing, and the signal processing unit 1803 outputs the image data stored in the DRAM 1805 to the designated output destination based on the image quality setting input from the signal input unit 1804.
  • the data is output from the USB interface 1811 to an external device such as a PC, output from the media interface 1812 to an external recording medium, or output from the image output unit 1813 to the LCD attached to the measurement device.
  • an external device such as a PC
  • the media interface 1812 to an external recording medium
  • the image output unit 1813 to the LCD attached to the measurement device.
  • the measuring device has a storage device such as an HDD (Hard Disk Disk Drive)
  • the data may be output to the HDD.
  • FIG. 20 is a block diagram of the entire measurement system.
  • a measuring device 1700 such as a digital camera and a display 100 to be measured are installed, the measuring device 1700 and the display 100 are controlled using a computing device 2000, a desired image is taken, and the computing device 2000 is used to display the display 100. Perform image quality evaluation.
  • the measuring device 1700 automatically changes the shooting position manually or using a robot or the like in order to shoot the display 100 from various directions.
  • the distance between the measurement apparatus 1700 and the display 100 is preferably set such that the display surface or the pattern image to be measured is not missing in the captured image.
  • the arithmetic device 2000 may use a PC, for example, and is preferably configured of an image output unit 2001, a signal processing unit 2002, a RAM 2003, an HDD 2004, a USB interface 2005, a CPU 2006, and the like.
  • the image output unit 2001 outputs a measurement image to the display 100 in accordance with an instruction from the signal input unit 2002.
  • measurement images include uniform images such as full white when evaluating brightness unevenness and color unevenness, and white / black, red / blue, red / cyan, etc. when performing geometric evaluation. It is conceivable to display an image having a striped pattern of various thicknesses, a polyhedron image having different colors on each surface, and the like according to the video display format of the display 100 to be measured.
  • the measurement image may be generated by a program or may be stored in advance in the HDD 2004.
  • the signal input unit 2002 instructs the start of measurement or instructs the measurement contents.
  • a measurement script stored in the HDD 2004 may be activated by operating a mouse or a keyboard.
  • the RAM 2003 holds data during calculations such as image analysis.
  • the HDD 2004 stores measurement images, images captured from the measurement apparatus 1700, analysis programs, measurement scripts, and analyzed display evaluation reference data.
  • the USB interface 2005 transmits a control signal to the measurement device 1700 and receives captured image data from the measurement device 1700.
  • the CPU 2006 controls the entire apparatus such as program execution and interface control.
  • FIG. 21 is an operation flowchart of the measurement system. The operation of the measurement process in which the measurement system acquires an image and analyzes the image will be described.
  • Step S2100 is an image capturing process, where the arithmetic device 2000 is used to control the measuring device 1700 and the display 100 to acquire an image necessary for image evaluation and store it in the HDD 2004.
  • a specific operation flow of the measuring apparatus 1700 is described with reference to FIG.
  • a measurement image stored in the HDD 2004 may be output from the image output unit 2001, or an image generated by the CPU 2006 executing an image generation program stored in the HDD 2004 is output as an image.
  • the data may be output from the unit 2001.
  • Step S2101 is an image analysis process.
  • the CPU 2006 executes an image quality evaluation program for the image acquired in step S2100 and stored in the HDD 2004, and the luminance unevenness and color unevenness of the display 100, geometric distortion, and the resolution of the stereoscopic video are displayed. And image analysis from the viewpoint of visual field.
  • the image stored on the HDD 2004 includes a video displayed on the display 100.
  • the video display area in the captured image can be calculated by existing technology, and a display such as a specific pattern image can be used as a measurement image.
  • the resolution and viewing zone of a stereoscopic video can be calculated by analyzing an image obtained by capturing a specific pattern image. The luminance unevenness, color unevenness, distortion, resolution, viewing zone measurement and analysis method will be described later.
  • the viewing area which is the range in which a stereoscopic image can be observed
  • the resolution of the stereoscopic image the distortion of the stereoscopic image
  • the color unevenness of the stereoscopic image A method for measuring and evaluating luminance unevenness will be described. It is assumed that the measurement apparatus used in the following can obtain an internal parameter representing the individual difference of the measurement apparatus and an external parameter representing the position and orientation of the measurement apparatus by an existing calibration method.
  • the measurement and evaluation methods for the viewing zone will be described with reference to FIGS. First, the viewing zone will be described.
  • the range in which the stereoscopic video can be observed is the viewing area, and the parallax is a factor that makes the stereoscopic video look stereoscopic, and the parallax is classified into binocular parallax and motion parallax.
  • Binocular parallax occurs when light rays originating from different pixels enter the right eye and the left eye, and the human brain perceives the image as if it pops out.
  • Motion parallax occurs when light rays originating from pixels different from the eyes enter sequentially by moving the viewpoint position, and makes the user perceive that the image changes according to the viewpoint position.
  • the parallax produces an effect that the side of the object that was not seen before moving can be seen by moving the viewpoint as if the object was actually viewed in front of the eyes.
  • the viewing zone to be measured later is a range in which the video changes due to motion parallax.
  • FIG. 22 is a schematic diagram of viewing zone measurement.
  • a cubic or cuboid stereoscopic image 2200 is displayed on the display 100.
  • the width is 22W
  • the height is 22H
  • the depth is 22D.
  • the display position in the display area is the center.
  • the performance may differ depending on the position of the center and the periphery of the display area, and the display may be displayed at other than the center.
  • the height 22H may be set within the height after evaluating the resolution of a stereoscopic video, which will be described later, that is, the display limit in the height direction, and can be estimated from the design value before the resolution is evaluated. What is necessary is just to make it lower than a value. Further, if the height 22H is too high, the upper surface of the stereoscopic image is blurred.
  • the position of the measuring device 1700 does not need to be precise as long as the stereoscopic video 2200 is a distance that does not become too small in the captured image.
  • the stereoscopic video 2200 has different colors on the upper surface 2201 and the side surface 2202. For example, blue and yellow, cyan and red, which are complementary colors, are preferable.
  • the stereoscopic image 2200 may have a structure including a surface parallel to the display surface, such as a cylinder or a hexagonal column, and a surface perpendicular thereto. In this case also, the color of the upper surface parallel to the display surface and the color of the side surface perpendicular thereto are different. Further, the side surfaces need not be the same color as long as the color is different from the upper surface.
  • the stereoscopic video 2200 set as described above is displayed on the display 100, and the stereoscopic video is photographed while moving the measuring device 1700 along the path 2204.
  • the path 2204 has a 180 ° arc shape passing through the center 2203 directly above the stereoscopic image 2200, but is not strictly required.
  • the measuring apparatus 1700 can capture only a still image, it captures a plurality of images while moving, and when it can capture a moving image, it continues to capture while moving the path 2204. In this case, it is preferable to take a picture while moving the path 2204 at the same speed as possible without going back and forth.
  • a path 2205 obtained by rotating the path 2204 through 90 ° about the line perpendicular to the display surface through the point 2203 can be photographed in the same manner, so that it can pass through the space above the display 100.
  • FIG. 23 is a diagram for explaining a viewing zone evaluation method.
  • a stereoscopic video image corresponding to the shooting position can be taken as in S2300 to S2303.
  • S2300 is an image obtained by photographing the stereoscopic video 2200 from directly above 2203, and only the upper surface 2201 is visible.
  • S2301 is an image taken by moving the measuring device 1700 slightly along the path 2204 to the display surface side, and not only the upper surface 2201 but also the side surface 2202 can be seen.
  • S2302 is an image captured by moving the measuring device 1700 to the display surface side more than S2301, and the area where the upper surface 2201 is visible is reduced and the area where the side surface 2202 is visible is increased.
  • S2303 is an image in which only the side surface 2202 is visible, but the viewing area of the stereoscopic display is 180 °, that is, the viewing area is up to the position 2206 (2207) on the plane including the display surface. Realizing a 3D display is difficult.
  • the captured image changes smoothly from S2300 to S2301 to S2302 while moving from point 2203 to point 2207. Before the point 2207 is reached, there is a position where the appearance of the upper surface 2201 and the side surface 2202 does not change, the image is disturbed, and the image becomes invisible, and that position becomes the limit of the viewing zone. Such a position can be obtained by analyzing the captured image.
  • the area ratio in the captured image of the upper surface 2201 and the side surface 2202 having different colors may be analyzed.
  • the appearance does not change after repeating the same appearance as in S2300 ⁇ S2301 ⁇ S2300, the image is distorted, and the image becomes invisible. May define only the range changing from S2300 to S2301 centering on the top 2203 as the viewing area, or may define a position where no repetition occurs as the viewing area, and may be properly used depending on the application.
  • a substantially conical viewing zone 2400 as shown in FIG. 24 is obtained.
  • the limit value above the display is not shown, but from the evaluation result of the resolution of the stereoscopic display described later, for example, a line of a certain thickness is The visible position may be the upper limit.
  • the viewing zone may vary depending on the position of the display surface depending on the 3D display method.
  • the above-described measurement method may be executed after changing the position of the stereoscopic image 2200 to various positions.
  • a plurality of stereoscopic images 2200a are collected at positions where the side surfaces do not overlap each other.
  • the above measurement method may be executed after displaying ⁇ 2200e.
  • the analysis is facilitated by making the colors of the three-dimensional images different.
  • the viewing area may be defined for each position, or the union of all viewing areas may be defined as the viewing area of the stereoscopic display. Good. Note that if the stereoscopic video has already been evaluated for distortion and color unevenness, the accuracy of the evaluation can be increased by correcting the stereoscopic video to be measured based on the information.
  • the striped surface is displayed so as to be parallel to the display surface, and evaluation is performed from directly above.
  • the resolution of the stereoscopic image may depend on the viewpoint position. Therefore, it is desirable to evaluate not only from directly above, but also from surrounding viewpoints.
  • a striped surface 2600 is installed so as to intersect the optical axis 2601 of the measuring device 1700 perpendicularly. The position of the surface 2600 may be moved along. If the photographing position is determined in advance, it is easy to prepare the striped surface 2600.
  • the position and orientation of the measuring device 1700 are acquired by an existing calibration method. Then, a striped surface 2600 may be generated based on the information.
  • the movement range can be limited to the range of the viewing zone if the viewing zone has already been evaluated, and the efficiency is improved. Further, if the distortion of the stereoscopic image has already been evaluated, the evaluation accuracy can be improved by correcting the distortion of the striped pattern in advance.
  • a distortion measurement and evaluation method will be described.
  • the geometric distortion of the stereoscopic video not only depends on the method of the stereoscopic display, but also occurs when there is an error in rendering the stereoscopic video.
  • An example of a distortion evaluation method will be described with reference to FIG.
  • the fact that the correspondence between the coordinate system of the photographed image and the coordinate system of the video display area can be obtained by existing technology is utilized.
  • this method is referred to as a spatial coding method.
  • the spatial coding method is executed on the stereoscopic image 2700 representing the display surface of the display 100, that is, the position of height 0, and the surface having the same size as the display 100.
  • the geometric distortion at the position of the height 0 can be known.
  • the geometric distortion of each height can be found by repeating the same operation while moving the stereoscopic image 2700 parallel to the display surface.
  • the geometric distortion of the stereoscopic video displayed in the space above and below the display 100 can be evaluated.
  • the accuracy is improved by making the movement width of the parallel movement finer and increasing the number of times of distortion evaluation for the plane. Since the geometric distortion in the stereoscopic display strongly depends on the distribution of light beams emitted from the stereoscopic display and the pixel assignment, the distortion can be evaluated by the measurement so far.
  • the measurement apparatus 1700 is used for the same stereoscopic video 2700.
  • the accuracy is further improved by tilting or tilting the stereoscopic image 2700 and performing the same measurement.
  • the viewing area of the stereoscopic image has already been evaluated, the viewing area can be limited to the range of the viewing area, and the efficiency is improved.
  • the fineness of the code image used in the spatial coding method can be optimized, and the upper and lower limits for moving the stereoscopic video 2700 can be determined, thereby improving accuracy and efficiency. Connected.
  • 3D image color unevenness and brightness unevenness not only depend on the 3D display method, but also due to errors in rendering 3D images, individual differences in optical systems such as lenses, chromatic aberration, individual differences and deterioration of the video display unit, etc. to cause.
  • color unevenness and luminance unevenness for flat displays are measured using the technology described in Non-Patent Document 1 or by displaying only white, red, green, and blue images on the entire display screen.
  • each evaluation standard of the stereoscopic display can be measured.
  • the evaluation of other standards can be made more efficient by measuring the visual field first in each standard.
  • Step S2900 is a viewing zone measurement / evaluation process.
  • the measuring stereoscopic video 2200 on the stereoscopic display is measured by the method described in FIGS. 22 to 25, and the viewing manner is analyzed to obtain viewing zone data.
  • the resolution of the stereoscopic display has not yet been grasped at this time, it is not known how much the measurement stereoscopic video 2200 having the height 22H should be displayed.
  • the video is blurred and analysis becomes difficult. Therefore, by adopting a height that is slightly smaller than the height assumed from the design value, or by adopting a relatively small height within a range where the upper surface 2201 and the side surface 2202 of the measurement stereoscopic image 2200 can be distinguished, Devised so as not to cause difficulty in analyzing the image.
  • the measurement device 1700 may be brought close to the stereoscopic display so that the measurement stereoscopic video in the captured image is enlarged.
  • the positioning of the measuring device 1700 becomes difficult when the display surface of the three-dimensional display is wide, and the influence of noise related to movement of the measuring device 1700 such as camera shake increases.
  • the measurement stereoscopic video 2200 has a deviation from an assumed shape due to the influence of distortion and color unevenness of the stereoscopic video. From the above, it cannot be said that the viewing zone obtained in step S2900 has high accuracy.
  • Step S2901 is resolution measurement / evaluation processing.
  • the measurement stereoscopic video 2600 on the stereoscopic display is measured by the method shown in FIG. 26, and the appearance is analyzed to obtain resolution data for each height of the stereoscopic video. That is, it can be seen how high a 3D image without blur can be displayed.
  • the range in which the measuring device 1700 should be moved can be limited based on the viewing zone data obtained in step S2900, and the measurement time can be shortened. .
  • Step S2902 is distortion measurement / evaluation processing.
  • the measurement stereoscopic image 2700 on the stereoscopic display is measured by the method shown in FIG. 27, and the appearance is analyzed to obtain distortion data for each height of the stereoscopic image.
  • the range in which the measuring device 1700 should be moved can be limited based on the viewing zone data obtained in step S2900. It can be shortened.
  • the fineness of the pattern of the measurement stereoscopic video 2700 based on the pattern image such as a stripe pattern based on the resolution data obtained in step S2901 can be made more suitable, and the accuracy of the distortion data is improved. To do.
  • Step S 2903 is unevenness measurement / evaluation processing.
  • the measurement stereoscopic image 2800 on the stereoscopic display is measured by the method shown in FIG. 28, and the appearance is analyzed to analyze color unevenness and luminance unevenness at each height of the stereoscopic image. Get the data.
  • step S2901 there is no need to measure outside the viewing zone, so the range in which the measuring device 1700 should be moved can be limited based on the viewing zone data obtained in step S2900. It can be shortened. Further, since geometric distortion can be corrected based on the distortion data obtained in step S2902, the accuracy of distribution of color unevenness and luminance unevenness is improved.
  • step S2902 and step S2903 may be reversed.
  • the range in which the measurement stereoscopic video 2800 shown in FIG. 28 is moved can be limited to an effective range, and the evaluation time in step S2903 can be shortened. Even if it is moved up and down too much, if it is moved to a height at which the resolution is not sufficient, the measurement stereoscopic video 2800 is blurred, and sufficient unevenness evaluation cannot be performed.
  • distortion measurement / evaluation corresponding to step S2902 is performed. At this time, the accuracy of evaluation can be improved by correcting the measurement stereoscopic video using color unevenness / luminance unevenness data.
  • step S2900 data on the viewing zone, resolution, distortion, color unevenness / luminance unevenness could be obtained.
  • the viewing zone data is not highly accurate, so in steps S2901 to S2903.
  • step S2904 the viewing zone is remeasured and re-evaluated based on the obtained data. This step may be omitted when high accuracy is not required, but is preferably highly accurate data when used as a spec display of a stereoscopic display.
  • the re-measurement / re-evaluation of the viewing zone also uses the method shown in FIGS. 22 to 25, but the height 22H of the measurement stereoscopic video 2200 can be made as large as possible based on the resolution data obtained in step S2901.
  • the shape of the measurement stereoscopic video 2200 can be corrected to an accurate one based on the distortion data obtained in step S2902. Further, by correcting the color tone of the measurement stereoscopic video 2200 based on the color unevenness / luminance unevenness data obtained in step S2903, it becomes easier to determine the change in the appearance of the upper surface 2201 and the side surface 2202. In addition, since the viewing zone 2400 shown in FIG. 24 is roughly obtained in step S2900, the measuring device 1700 is set so as to follow the predicted range of the viewing zone as indicated by the path 3000 in FIG. In this way, a large amount of viewing area data can be acquired more efficiently.
  • step S2901 and step S2902 may be performed again based on data obtained after that, and then the accuracy may be improved to proceed to the subsequent step.
  • step S2902 resolution measurement / evaluation processing is performed again in step S2901 according to the flow 2905.
  • more accurate resolution data can be obtained by correcting the stripe pattern of the measurement stereoscopic video 2600 for measuring and evaluating the resolution data using the distortion data obtained in step S2902.
  • step S2903 resolution measurement / evaluation processing is performed again in step S2901 in accordance with the flow 2906.
  • step S2902 more accurate resolution data can be obtained by correcting the image quality such as the density of the stripe pattern in the measurement stereoscopic video 2600 using the color unevenness / brightness unevenness data.
  • the resolution data with improved accuracy can be used, and the image quality of the measurement stereoscopic video 2700 is also improved by the correction using the color unevenness / brightness unevenness data.
  • Accurate distortion data can be obtained.
  • Step S2901 to S2903 again based on the highly accurate viewing zone data obtained in Step S2904, the accuracy near the boundary portion of the resolution, distortion, and uneven viewing zone is improved. To do.
  • step S2900 when the rough viewing zone obtained in step S2900 is used, there is a possibility that a bad portion outside the viewing zone is also measured and evaluated, which also affects the evaluation in the viewing zone. There is a possibility of coming out. Conversely, even inside the viewing zone, there is a possibility of proceeding without measuring to that extent. Such measurement errors can be reduced by using more accurate viewing zone data. Further, according to the flow 2908, it is possible to improve the accuracy of the visual field measurement / evaluation in step S2900 by first performing resolution measurement / evaluation only in the normal direction of the display in step S2909.
  • the normal direction here is a direction directly above the display 100 as indicated by a point 2203 in FIG.
  • the three-dimensional display can be evaluated by (1) viewing zone measurement / evaluation, (2) resolution measurement / evaluation, (3) distortion measurement / evaluation, (4) unevenness measurement / evaluation, or (1) viewing It is desirable to perform in the order of area measurement / evaluation, (2) resolution measurement / evaluation, (3) unevenness measurement / evaluation, and (4) distortion measurement / evaluation.
  • the lens array camera described in Example 1 can be used for the measuring device 1700 in each of the above evaluation methods. Especially in the measurement of resolution, distortion, color unevenness and brightness unevenness, it is necessary to evaluate the image quality from various observation positions of the 3D display, so reducing the number of shots using a lens array camera can simplify the evaluation process. Is important for. Also, when measuring the viewing area of a stereoscopic display, a video camera is used as the measuring device 1700, and a detailed viewing area evaluation can be performed by shooting and analyzing a moving image. However, since the amount of data is very large, Analysis costs increase.
  • a technique of using a digital camera as the measuring device 1700 and shooting a large number of still images while moving the shooting position and analyzing those multi-viewpoint images is also significant from the viewpoint of reducing analysis costs.
  • the number of photographing can be reduced by using a lens array camera.
  • the limit position of the viewing zone can be roughly estimated. For example, as shown in FIG. 31, in the captured image 3107 at the imaging position 3106 on the path 3105, the lens array 3100 along the path 3105 in the lens array 502 is displayed.
  • the lens array 3100 along the path 3105 in the lens array 502 is displayed.
  • an image group 3102 having the same appearance is included in an image group 3101 corresponding to the measurement stereoscopic video 2200 photographed through the lens group.
  • the appearance of the top and side surfaces of the object changes smoothly, so the image group corresponding to each lens corresponding to a different viewpoint is Although all the appearances should be different, the presence of the image group 3102 having the same appearance means that there is a viewpoint taken from a part outside the definition as the viewing area of the stereoscopic display.
  • the image becomes invisible in the part outside the definition of the viewing zone due to the method of the stereoscopic display, when the image is disturbed, when the image that has gradually changed its appearance changes back to the reverse, etc. Can also happen.
  • the rotation position of the photographing position 3106 along the path 3105 is ⁇
  • the position of the lens 3104 that is not the end of the lens array in the lens group corresponding to the image group 3102 is ⁇ + ⁇ A + ⁇ B , which is adjacent to the lens.
  • the limit position ⁇ of the viewing zone along the path 3105 can be estimated as ⁇ + ⁇ A ⁇ ⁇ ⁇ ⁇ + ⁇ A + ⁇ B.
  • ⁇ is obtained from the existing camera position estimation technology
  • ⁇ A and ⁇ B are obtained from the installation position of the lens array 502 and the size of the lens.
  • step S2900 in the flowchart of FIG. 29 approximate viewing zone data is acquired in a short time using the lens array camera in this way, and the viewing zone re-starting shown in step S2904 is performed.
  • detailed data can be obtained by using a video camera.
  • 100 Display, 101, 102, 301, 302, 1600, 1700: Measuring device, 303, 304: Points on the display, 502: Lens array, 502a, 502b, 502c, 900, 3103, 3104: Lens, 503, 503a 503b, 503c: real image, 601: light beam, 602: axis perpendicular to the optical axis of the camera, 603: optical axis of the camera, 800: circular area, 1000, 1800: imaging lens, 1001, 1801: CCD, 1002, 1802 : Analog / digital converter, 1003, 1803: Signal processing unit, 1004, 1204, 1804, 2002: Signal input unit, 1005, 1805: DRAM, 1006, 1806: Flash memory, 1007, 1807: CCD control unit, 1008, 1808 : Lens control , 1009, 1208, 1809, 2006: CPU, 1010, 1810: Image processing unit, 1011, 1207, 1811, 2005: USB interface, 1012, 1812: Media interface,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

　立体ディスプレイの視域、解像度、歪み、色ムラや輝度ムラを効率良く評価する。　計測装置が立体映像を観察可能な範囲である視域を計測する第１のステップと、計測装置が立体映像の解像度を計測する第２のステップと、計測装置が立体映像の歪みを計測する第３のステップと、計測装置が立体映像の色ムラまたは輝度を計測する第４のステップと、を備える。第１のステップ、第２のステップ、第３のステップ、第４のステップの順序、または、第１のステップ、第２のステップ、第４のステップ、第３のステップの順序で立体映像を計測する。

Description

映像評価方法および映像評価システム 参照による取込
　本出願は、平成２２年（２０１０年）３月２６日に出願された日本出願　特願２０１０－０７１６７１号の優先権を主張し、その内容を参照することにより、本出願を取り込む。
　本発明は、映像評価方法および映像評価システムに関し、特に、立体ディスプレイの映像評価の技術に関する。
　ディスプレイの映像評価には様々な方法がある。例えば、特許文献１では、通常のデジタルカメラを用いてディスプレイの輝度ムラや色ムラを計測する方法が開示されている。
また、非特許文献１では、従来の輝度計ではディスプレイの１点の輝度しか計測できなったことに対して、ディスプレイの輝度を面単位で計測できる輝度計が開示されている。また、非特許文献２では、ディスプレイの１点が周囲に発する光線状態を計測できる装置が開示されている。
　立体ディスプレイを明確に対象とした映像評価方法は立体ディスプレイ分野自体が発展途上であるためにまだ少ないのが現状であるが、非特許文献３では、様々な高さに様々な太さの縞模様を立体映像として表示し、その縞模様の見え方から立体映像の解像度を計測する方法が開示されている。また、非特許文献４では、様々な高さに様々な周期の正弦波模様を立体映像として表示し、その正弦波模様の見え方から立体映像の解像度を計測する方法が開示されている。
特開平１０－２８００号公報
上松 幹夫, 後藤泰史, 門脇 豊, "2次元色彩輝度計CA-2000のインパルス表示型ディスプレイ測定技術", コニカミノルタテクノロジーレポート, Vol.4, pp. 65-68, 2007. T. Leroux, P. Boher, T. Bignon, D. Glinel and S. Uehara, "VCMaster3D: A New Fourier Optics Viewing Angle Instrument for Characterization of Autostereoscopic 3D Displays," SID 09 DIGEST, pp. 115-118, June 2009. H. Liao, M. Iwahara, T. Koike, N. Hata, I. Sakuma and T. Dohi, "Scalable High-resolution Integral Videography Autostereoscopic Display with a Seamless Multiprojection System," Applied Optics, Vol. 44, No. 3, pp. 305-315, 2005. T. Saishu, K. Taira, Y. Momonoi, R. Fukushima and Y. Hirayama, "Resolution Measurement of Autostereoscopic 3-D Displays with Lenticular Sheet," Proc. of IDRC 2008, pp. 233-236, 2008.
　特許文献１に記載の技術は、画面全体の輝度ムラや色ムラを評価するために、通常のデジタルカメラの個体差を補正した上でディスプレイ面を撮影するものである（図１）。
　しかし、この技術では、画面全体の評価画像は一度に取得できるものの、複数の方向から見た画面の状態を計測するためには、カメラの位置をその都度移動する必要がある。そのような移動をすると、移動のコストが発生するだけでなく、移動の誤差も発生するため、ディスプレイごとに計測環境が異なってしまい、製品の映像評価を行う場合には好ましくない。また、必要な視点分の台数のカメラを用意し、それらを並べて計測することも可能であるが（図２）、必要な視点数が多い場合には装置を用意するコストが増大する他、カメラの個体差は計測する日時や環境にも影響を受けるため、計測作業のたびに全台数のカメラの補正を行う必要があり、やはりコストが増大してしまう。
　非特許文献１に記載の技術は、特許文献１と同様に、計測装置の設置位置からディスプレイの画面全体を一度に計測することができる技術である。対物レンズとＣＣＤセンサの間に色分解用の光学フィルタと光量調節用のＮＤフィルタを設置した構成となっており、カメラで画像を取得するのと同様に２次元的な輝度分布や色度分布を取得することができる。
　しかし、特許文献１と同様に、複数の方向から見た画面の状態を計測するためには複数台の計測装置を用いるか、設置位置の移動が必要となる。また、色彩輝度計であるため、ディスプレイが平面視ディスプレイではなく立体視ディスプレイである場合には幾何学的な立体感の計測に用いることは難しい。
　非特許文献２に記載の技術は、計測装置設置位置からディスプレイのある１点から周囲に発せられる光線を一度に計測することができる技術である（図３）。図３の例では点３０３を複数の方向から見た状態を一度に計測することができることになる。色収差のない異なるレンズの組み合わせとＣＣＤセンサを用いて、ディスプレイから発せられる光線の角度に応じた情報を２次元画像として取得することができる。例えば、非特許文献２に記載の装置は、ディスプレイ面から１５ｍｍ離れた位置に装置を設置し、直径４ｍｍの部分から周囲±５０°の範囲内に発せられる光線を角度分解能０．０３°以下の精度で計測することができる。
　しかし、非特許文献２に記載の技術ではディスプレイ面の一部分に対してしか一度に計測できないため、ディスプレイの画面全体を計測するためには、複数台の計測装置を用いるか、設置位置の移動が必要となる（図４）。
　以上に述べた課題は、通常の平面ディスプレイにも当てはまるが、とりわけ立体ディスプレイにおいて重要である。何故ならば、立体ディスプレイでは視点に応じて異なる角度から見た画像が得られるため、複数の箇所から一度に計測することが特に求められるからである。
　さらに、非特許文献３および４については以下に述べる課題がある。
　非特許文献３に記載の技術は、立体ディスプレイ１００の解像度を評価するための技術である。図１４のように、様々な高さに様々な太さの縞模様の画像１４０６を表示し、その立体映像１４０１～１４０５を観察者１４００が目視することで立体映像の高さごとに表現可能な解像度を計測する技術である（図１４）。
　しかし、非特許文献３は、様々な視点位置における解像度の計測には言及していない。
また、図１５に示すような適当な立体映像コンテンツ１５００を表示して観察者１４００が目視しているだけであり、系統的な技術とはなっていない（図１５）。
　非特許文献４に記載の技術は、立体ディスプレイ１００の解像度を評価するための技術であり、様々な高さに様々な周期の正弦波模様の画像１６０１を表示し、その立体映像をデジタルカメラ１６００で撮影して画像解析をすることで立体映像の高さごとに表現可能な解像度を計測する技術である（図１６）。
　しかし、非特許文献３と同様に、様々な視点位置における解像度の計測には言及していない。また、他の評価基準の計測方法には言及していない。
　以上のように、従来技術では立体ディスプレイの性能を表す様々な基準を系統的に評価する方法は言及されていない。立体ディスプレイを製品化する際には設計値による性能基準だけでなく、品質保証のためにも実機の実測評価が重要である。
　本発明の一実施態様は、上記課題を解決するため、以下の構成を備える。
　即ち、表示装置と、表示装置の表示映像を計測する計測装置と、表示装置と計測装置の間に配置された複数のレンズを有するレンズアレイと、を備えるシステムにおける映像評価方法であって、計測装置は、レンズアレイを通して得られる複数の表示映像の映像評価を行う。
　また、本発明の別の一実施態様は、以下の構成を備える。即ち、表示装置と、表示装置が表示する立体映像を計測する計測装置と、を備えるシステムにおける映像評価方法であって、計測装置が立体映像を観察可能な範囲である視域を計測する第１のステップと、計測装置が立体映像の解像度を計測する第２のステップと、計測装置が立体映像の歪みを計測する第３のステップと、計測装置が立体映像の色ムラまたは輝度を計測する第４のステップと、を備える。また、第１のステップ、第２のステップ、第３のステップ、第４のステップの順序、または、第１のステップ、第２のステップ、第４のステップ、第３のステップの順序で立体映像を計測する。
　本発明によれば、ディスプレイの画像評価、特に立体視ディスプレイの画像評価を簡易に行うことが可能になる。
特許文献１および非特許文献１の技術を説明する図 特許文献１および非特許文献１の技術を説明する図 非特許文献２の技術を説明する図 非特許文献２の技術を説明する図 実施形態の概観図 計測装置の設定基準を説明する模式図 レンズアレイを説明する図 ディスプレイの設置方法を説明する図 レンズアレイのレンズ配置の例を示す図 計測装置のブロック図 計測装置の動作フロー図 計測システムのブロック図 計測システムの動作フロー図 非特許文献３の技術を説明する図 非特許文献３の技術を説明する図 非特許文献４の技術を説明する図 実施形態の概観図 計測装置のブロック図 計測装置の動作フロー図 計測システムのブロック図 計測システムの動作フロー図 視域計測の模式図 視域評価方法を説明する図 視域の模式図 視域計測の模式図 解像度計測の模式図 歪み計測の模式図 色ムラ、輝度ムラ計測の模式図 立体ディスプレイ各種評価基準の評価フロー図 視域再計測の模式図 レンズアレイカメラを用いた視域計測の模式図
　以下、本発明の実施の形態を説明する。それぞれの図において同じ符号は同じものを示す。
　図５は本実施例の概観図である。カメラ５０１とディスプレイ１００の間にレンズアレイ５０２を設置し、レンズアレイ５０２のカメラ側に結像されるディスプレイ１００の実像群５０３をカメラ５０１によって撮影する。レンズアレイ５０２を構成する各レンズを凸レンズとすると、凸レンズの効果によりディスプレイ１００とレンズを挟んで反対側にディスプレイ１００の実像が結像される。ディスプレイ１００の表示面をレンズ側に向けて設置することで、ディスプレイ面全体の実像を結像させることができる。レンズアレイ５０２の各レンズに関して同様の現象が成り立つため、レンズアレイ５０２を構成する凸レンズの個数分だけ実像群５０３が結像されることになる。また、各レンズとディスプレイ１００の相対位置がそれぞれ異なるため、ディスプレイ１００から各レンズに入る光線群もそれぞれ異なるものとなり、各実像は対応するレンズの位置から見たディスプレイ１００の光線情報を表したものとなる。
　以上をまとめると、レンズアレイ５０２を構成する各レンズによって結像されたディスプレイ面の各実像は、各レンズのディスプレイ１００に対する位置が異なるため、それぞれ異なる方向からディスプレイ１００を観察した状態となっており、一ヶ所から一台のカメラによって、複数の方向からディスプレイ面を見た状態を撮影できるようになる。
　次に、図１０～図１３を用いて計測システムの具体的な構成や動作について説明する。
　図１０は計測装置のブロック図である。計測装置の一例としてデジタルカメラ５０１のブロック図を示しているが、デジタルカメラには多様な方式があるため、各構成要素やその動作も一例として説明する。１０００はデジタルカメラの撮像レンズであり、被写体から射出される光線を屈折させ、像を結ぶ働きをする。１００１はＣＣＤ（Charge Coupled Device）イメージセンサであり、光線情報を電気信号に変換する撮像素子である。１００２はアナログ・デジタル変換回路であり、ＣＣＤ１００１で生成されたアナログ画像信号をデジタル画像信号に変換する。１００３は信号処理部であり、ＣＣＤ１００１から取り込んだ画像データに色調補正や解像度変換、圧縮処理などの画像処理を加え、必要に応じて各種インターフェースから画像データを出力する。また、撮像レンズ１０００やＣＣＤ１００１の制御を行う。１００４は信号入力部であり、撮影環境や画質の設定を信号処理部１００３に入力する他、シャッターを押すことによる撮影タイミングの入力も行う。
１００５はＤＲＡＭ（Dynamic Random Access Memory）であり、ＣＣＤ１００１から取り込んだ画像データを記憶し、画像処理の際にも必要に応じてデータを記憶する。１００６はフラッシュメモリであり、画像処理のプログラムを記憶しておく。１００７はＣＣＤ制御部であり、信号入力部１００４から信号処理部１００３に撮影命令がなされると、ＣＣＤ１００１を駆動する。１００８はレンズ制御部であり、信号入力部１００４から信号処理部１００３に入力された撮影環境の設定に従って撮像レンズ１０００を制御する。１００９はＣＰＵ（Central Processing Unit）であり、信号処理部１００３において、プログラムの実行、インターフェースの制御など装置全体の制御を行う。１０１０は画像処理部であり、ＤＲＡＭ１００５に記憶した画像データに対して色調補正や画質の調整を行う他、必要に応じて画像圧縮も行う。１０１１はＵＳＢ（Universal Serial Bus）インターフェースであり、ＰＣに画像データを出力したり、ＰＣと計測装置の間で相互通信を行ったりする。ＰＣからも信号入力部１００４と同様の制御信号を入力することも可能である。１０１２はメディアインターフェースであり、画像処理を施した画像データを記録メディアへ出力したり、記録メディアから画像データを計測装置に取り込んだりする。１０１３は画像出力部であり、画像処理を施した画像データを計測装置に搭載されたＬＣＤ（Liquid Crystal Display）などの映像表示モニタに出力する。必要に応じて、撮影環境などの設定情報も映像表示モニタに出力する。
　図１１は計測装置の動作フロー図である。計測装置を用いて画像を撮影する処理に関して動作を説明する。ステップＳ１１００は画像信号取得処理であり、信号入力部１００４は撮影開始信号と、撮影者が設定した撮影環境設定や画質設定を信号処理部１００３に入力する。信号処理部１００３は撮影環境設定に従ってレンズ制御部１００８を通して撮像レンズ１０００を制御する。また、信号処理部１００３はＣＣＤ制御部１００７を通してＣＣＤ１００１を駆動し、ＣＣＤ１００１は撮像レンズ１０００を通して得られた光線情報を画像信号に変換する。この画像信号はアナログ・デジタル変換回路１００２によってデジタル画像信号に変換され、信号処理部１００３によってＤＲＡＭ１００５に記憶される。尚、信号入力部１００４から入力される信号は、ＰＣなどの外部装置よりＵＳＢインターフェース１０１１などを介して信号処理部１００３に入力されることもあり、以降のステップでも同様とする。ステップＳ１１０１は画像処理であり、信号処理部１００３は信号入力部１００４から入力された画質設定に基づいて、ＤＲＡＭ１００５に記憶された画像データに対して画像処理を施す。例えば色調補正、解像度変換、ノイズ除去などが挙げられる。これらの画像処理はフラッシュメモリ１００６に記憶されているプログラムをＣＰＵ１００９が実行することによって施され、画像処理後の画像データはＤＲＡＭ１００５に記憶される。ステップＳ１１０２は圧縮処理であり、信号処理部１００３は信号入力部１００４から入力された画質設定に基づいて、ＤＲＡＭ１００５に記憶された画像データに画像圧縮処理を施す。画像データは静止画であっても動画であっても良い。これらの画像圧縮処理はフラッシュメモリ１００６に記憶されているプログラムをＣＰＵ１００９が実行することによって施され、画像圧縮処理後の画像データはＤＲＡＭ１００５に記憶される。また、画質設定によっては圧縮処理を行わない場合もある。ステップＳ１１０３は画像出力処理であり、信号処理部１００３は信号入力部１００４から入力された画質設定に基づいて、ＤＲＡＭ１００５に記憶された画像データを指定出力先に出力する。例えば、ＵＳＢインターフェース１０１１よりＰＣなどの外部装置に出力したり、メディアインターフェース１０１２より外部記録媒体に出力したり、画像出力部１０１３より計測装置に装着されたＬＣＤに出力したりする。また、計測装置内部にＨＤＤ(Hard Disk Drive)などの記憶装置を持つ場合には、ＨＤＤに出力することもある。
　図１２は計測システム全体のブロック図である。デジタルカメラなどの計測装置５０１と計測対象のディスプレイ１００の間にレンズアレイ５０２を設置し、計測装置５０１とディスプレイ１００を、演算装置１２００を用いて制御し、所望の画像を撮影し、演算装置１２００を用いてディスプレイ１００の画質評価を行う。計測装置５０１の撮像レンズの光軸がレンズアレイ５０２、ディスプレイ１００の中心を通過することが望ましく、それを実現するために例えばレーザー光１２０２を発する墨出し機などの基準軸表示装置１２０１を用いると良い。また、演算装置１２００は例えばＰＣを用いれば良く、画像出力部１２０３、信号処理部１２０４、ＲＡＭ１２０５、ＨＤＤ１２０６、ＵＳＢインターフェース１２０７、ＣＰＵ１２０８などから構成されることが望ましい。画像出力部１２０３は、信号入力部１２０４からの指示に従い、計測用画像をディスプレイ１００に出力する。計測用画像の例としては、輝度ムラや色ムラの評価を行う場合は全面白などの一様な画像を、幾何的な評価を行う場合は白・黒や赤・青や赤・シアンなどの色からなる、様々な太さの縞模様を成す画像を、計測対象のディスプレイ１００の映像表示形式に応じて表示することが考えられる。計測用画像は、プログラムで生成しても良いし、ＨＤＤ１２０６にあらかじめ記憶しておいても良い。信号入力部１２０４は、計測開始を指示したり、計測内容の指示をしたりする。例えば、ＨＤＤ１２０６に格納されている計測用のスクリプトをマウスやキーボードを操作して起動させると良い。ＲＡＭ１２０５は、画像解析などの演算時にデータを保持する。ＨＤＤ１２０６は、計測用画像や、計測装置５０１から取り込んだ画像や、解析用プログラムや計測用スクリプトを記憶する。ＵＳＢインターフェース１２０７は、計測装置５０１に制御信号を送信したり、計測装置５０１から撮影画像データを受信したりする。ＣＰＵ１２０８は、プログラムの実行、インターフェースの制御など装置全体の制御を行う。
　図１３は計測システムの動作フロー図である。計測システムの各要素の設置を行い、画像を取得し、画像の解析をする計測処理に関して動作を説明する。ステップＳ１３００は設置位置決定処理であり、ディスプレイ１００とレンズアレイ５０２と計測装置５０１を計測のために固定する処理である。ディスプレイ１００と計測装置５０１の間にレンズアレイ５０２を設置するが、厳密性は必要ないものの、計測装置５０１の撮像レンズの光軸上にディスプレイ１００の中心とレンズアレイ５０２の中心を合わせることが望ましく、そのためには例えば墨出し機などの基準軸表示装置１２０１を用いてレーザー光１２０２で基準となる軸を示した上で、ディスプレイ１００、レンズアレイ５０２、計測装置５０１を設置すると良い。また、それぞれの設置間隔は、後述する基準に基づいて決定する。
基準軸表示装置１２０１は、本ステップ終了後にはシステムから除外しても構わない。また、ディスプレイ１００、レンズアレイ５０２、計測装置５０１は例えば三脚やディスプレイスタンドなどを用いて手動で固定すれば良い。ステップＳ１３０１は画像撮影処理であり、演算装置１２００を用いて計測装置５０１とディスプレイ１００を制御し、画像評価に必要な画像を取得し、ＨＤＤ１２０６に保存する。計測装置５０１の具体的な動作フローは図１１にて説明している。計測用の画像はＨＤＤ１２０６に保存しておいたものを画像出力部１２０３から出力しても良いし、ＨＤＤ１２０６に保存しておいた画像生成プログラムをＣＰＵ１２０８が実行することによって生成されたものを画像出力部１２０３から出力しても良い。ステップＳ１３０２は画像解析処理であり、ステップＳ１３０１で取得してＨＤＤ１２０６に保存した画像に対して画質評価プログラムをＣＰＵ１２０８が実行し、ディスプレイ１００の輝度ムラや色ムラ、幾何的な歪みや立体映像の視点の切り替わり方などの観点で画像解析を行う。ＨＤＤ１２０６に保存した画像には、レンズアレイ５０２と各レンズを通して見たディスプレイ１００の画面が含まれている。ディスプレイ１００、レンズアレイ５０２、計測装置５０１の設置位置や大きさやレンズスペック、そして計測装置５０１の撮影環境が既知であれば、画像内のレンズ領域およびディスプレイ領域は算出が可能である他、画像処理を施して各領域を抽出することも可能である。また、計測用の画像として特定のパターン画像などディスプレイ座標を示す画像を表示して撮影しておくことで、その撮影画像を用いて、画像解析用画像における各レンズ領域に対応するディスプレイ領域の座標を得ることもできる。それらの情報を元に、各レンズを通して見たディスプレイ１００の輝度ムラや色ムラ、幾何学的な歪みなどの現象がディスプレイ座標においてどのように分布しているのかを解析することができる。　ここで、図５におけるディスプレイ１００とレンズアレイ５０２の距離、およびレンズアレイ５０２とカメラ５０１の距離、そしてレンズアレイ５０２のレンズの焦点距離や大きさや個数、カメラ５０１の撮像レンズの大きさに関して、画質評価をするために十分な情報量を持つ条件を与える。輝度ムラや色ムラの評価に関しては撮影されたディスプレイ画面の一部が欠けていても解析方法によっては十分な場合があるが、特に立体視ディスプレイの立体感の評価に関しては幾何学的な評価を伴う場合もあることから、複数方向分まとめて撮像した全てのディスプレイ画面に関して欠けのない画像を取得できることが好ましい。尚、カメラのピントは合わせることができるものとする。
　以降、図６～図８を用いて計測装置の設定基準について例を挙げて説明する。図６は図５の様子を側面から見た模式図である。まず、ディスプレイ１００の表示面とレンズアレイ５０２とカメラ５０１のフィルム面がそれぞれ平行になるように設置する。また、ディスプレイ１００の表示面の中心およびレンズアレイ５０２の中心をカメラの光軸６０３が通るように設置する。レンズアレイは本実施例では図７に示すような、同じ半径、同じ焦点距離のレンズを縦３個、横３個、格子状に並べたものを例に採る。また、レンズアレイ５０２のレンズ形状は正方形や六角形などを用いても構わない。レンズアレイ５０２は図７に示すようにレンズ５０２ａ、レンズ５０２ｂ、レンズ５０２ｃの中心を通過する軸６０２を図６の軸６０２に一致させるように設置されているとする。図６ではレンズアレイ５０２のレンズ５０２ａ、レンズ５０２ｂ、レンズ５０２ｃのみが図示されている。ディスプレイ１００はレンズ５０２ａによって実像５０３ａを結び、レンズ５０２ｂによって実像５０３ｂを結び、レンズ５０３ｃによって実像５０３ｃを結ぶ。
　図６においてディスプレイ１００の大きさをＤ、ディスプレイ１００とレンズアレイ５０２の距離をＡ、レンズアレイ５０２とカメラ５０１の撮像レンズの距離をＣ、実像同士の間隔をＧとする。レンズアレイ５０２とディスプレイ１００の、カメラの光軸６０３を中心とする回転方向の配置関係は任意とする。その配置関係を任意とすると、ディスプレイの存在する領域は、ディスプレイ１００の表示面の中心すなわちカメラの光軸６０３を軸として回転した時にディスプレイ１００が通過する領域となり、図８に示すような円形領域８００となる。以降は、ディスプレイ１００の平面的な大きさを円形領域８００として考えると、ディスプレイ１００の図６における大きさＤは、ディスプレイ１００の幅をＷＤ、高さをＨＤとすると、対角線の長さＤ＝√（ＷＤ２＋ＨＤ２）となる。
　また、レンズアレイ５０２の大きさをＬ、各レンズの直径を２ｒ、レンズアレイの一辺に並ぶレンズの個数をＮとする。すなわちＬ＝２Ｎｒである。また、レンズアレイ５０２の各レンズの焦点距離をｆＬ、カメラの撮像レンズの半径をｒＣとする。実像を結像させることからＡ＞ｆＬを前提とする。
　まず、撮影条件の一つとして、全ての実像同士が重複部を持たないようにすることを考える。輝度ムラ、色ムラ、立体感のどれを評価する場合にも、実像同士が重なった状態で撮影されてしまうと、画質評価が困難になるためである。この条件は、図６の隣り合う実像同士の距離Ｇが０以上であればよく、そのような条件は次式で与えられる。
Figure JPOXMLDOC01-appb-M000001
ディスプレイ１００のサイズＤ、レンズの半径ｒと焦点距離ｆＬを設定した上でレンズアレイ１００とディスプレイ１００の距離Ａを数１に従って設定すれば良い。
　しかし、実像の発する光線は物体の場合とは異なり方向が限られており、条件次第では、カメラ５０１とレンズアレイ５０２の距離Ｃによらずに実像の一部分の光線がカメラ５０１の方向に全く行かない状態となり、結果として撮影されたディスプレイ画像の一部が欠けてしまうことになる。そこで次は、全ての実像の全ての部分の光線がカメラ５０１に向かう条件を考える。この条件は、光軸６０３から一番遠いレンズ５０２ａによる実像５０３ａの上端の部分が発する光線群のうち下端の光線である光線６０１が軸６０２となす角θが９０°より大きければよく、そのような条件は次式で与えられる。
Figure JPOXMLDOC01-appb-M000002
この条件は数１の条件よりも厳しいものとなっているため、数２の条件を満たせば、数１の条件も自動的に満たすことになる。
　しかし、数２の条件はカメラ５０１の位置によっては実像の光線がカメラ５０１の撮像レンズに入射せず、結果としてやはり撮影されたディスプレイ画像の一部が欠けてしまうことになる。そこで次は、全ての実像の光線がカメラ５０１の撮像レンズに入射する条件を考える。この条件は、光線６０１がカメラ５０１の撮像レンズの上端以下に入射すればよく、そのような条件はまずカメラ５０１とレンズアレイ５０２の距離Ｃに関して次式で与えられ、
Figure JPOXMLDOC01-appb-M000003
この式を満たした上で、次式で与えられる。
Figure JPOXMLDOC01-appb-M000004
この条件は数２の条件よりも厳しいものとなっているため、数４の条件を満たせば、数２の条件も、数１の条件も自動的に満たすことになる。
　定性的には、レンズ半径は大きく、レンズアレイとディスプレイの距離は近づけすぎず、レンズは広角のもの、すなわち焦点距離の小さなもの、とすると良い。
　本実施例では、レンズアレイ５０２は縦３個、横３個を格子状に並べたものを用いているが、縦４個、横４個などの場合でも同様の方針で条件を設定することができる。また、縦３個、横４個などの縦横で個数が違う場合でも、光軸６０３から一番遠いレンズに関して同様の方針で条件を設定すれば良い。また、レンズの配置も格子状だけでなく、図９に示すようなデルタ配置などを用いることができる。
　また、設置誤差やレンズスペックの誤差に関しては、既述した条件式を、余裕を持って満たすような設定とすれば吸収できる他、設置後に実像上の座標とカメラ撮像画像上の座標の対応関係を取るような手順を踏むことでも吸収できる。
　本実施形態によれば、レンズアレイカメラを用いることでディスプレイを複数の方向から見た状態の画像を、一ヶ所から一度に撮影することができる。また、カメラ、レンズアレイ、ディスプレイの設置位置やレンズアレイのスペックを適した状態とすることで画質評価に適した画像を取得することができる。
　尚、Ａ、Ｃを大きくするほどディスプレイ領域が欠けることなく撮影することができるが、Ａ、Ｃが大きくなるとカメラ撮像画像上のディスプレイ領域が小さくなり過ぎ、画像解析が困難となる。数４の条件では、Ｃを大きくするほどＡの下限は小さくなるが、Ｃを大きくすることで広い撮影環境を必要となる他、カメラ撮像画像上のディスプレイ領域が小さくなることにもつながる。そこで、ＡとＣの設定バランスについて例を挙げる。まず、数４の下限を数５に示すようにＡｍｉｎとして定義する。
Figure JPOXMLDOC01-appb-M000005
この時、例えば撮影距離を小さくするならば、距離Ａと距離Ｃの和、すなわち数６に示すＦ（Ｃ）を最小にするＣを求めた上でＡを設定すると良い。
Figure JPOXMLDOC01-appb-M000006
また、撮像画像上のディスプレイ領域を大きくするならば、実像の大きさと距離Ｃとの比、すなわち数７に示すＧ（Ｃ）を最大にするＣを求めた上でＡを設定すると良い。
Figure JPOXMLDOC01-appb-M000007
　次に、実施例２について説明する。本実施例は、基本的に実施例１の構成、機能を備えるものであり、これに更なる構成、機能を付加したものである。
　図１７は本実施例の概観図である。立体ディスプレイ１００に適宜立体映像やパターン画像を表示し、それらを計測装置１７００によって撮影する。計測装置１７００はデジタルカメラやデジタルビデオカメラを用いればよい。立体映像は観察者の位置によって見え方が変わるため、計測装置１７００を立体ディスプレイ１００の周囲で動かして様々な方向から撮影することで立体ディスプレイ１００の表示性能を詳細に評価することができる。立体ディスプレイ１００に表示される立体映像やパターン画像は評価する性能基準によって異なり、詳細は後述する。また、後述するように、計測装置１７００で撮影した画像データはＰＣなどの演算装置に取り込まれ、解析される。
　尚、１台の計測装置１７００の代わりに複数台の計測装置を同時に別の位置に設置、撮影したり、計測装置１７００と立体ディスプレイ１００の間にレンズアレイを設置してレンズアレイ越しに撮影したりして、複数の異なる視点から立体ディスプレイ１００を見た画像を同時に取得して計測作業を簡略化することもできる。
　次に、図１８～図２１を用いて計測システムの具体的な構成や動作について説明する。
　図１８は計測装置のブロック図である。計測装置の一例としてデジタルカメラ１７００のブロック図を示しているが、デジタルカメラには多様な方式があるため、各構成要素やその動作も一例として説明する。１８００はデジタルカメラの撮像レンズであり、被写体から射出される光線を屈折させ、像を結ぶ働きをする。１８０１はＣＣＤ（Charge Coupled Device）イメージセンサであり、光線情報を電気信号に変換する撮像素子である。１８０２はアナログ・デジタル変換回路であり、ＣＣＤ１８０１で生成されたアナログ画像信号をデジタル画像信号に変換する。１８０３は信号処理部であり、ＣＣＤ１８０１から取り込んだ画像データに色調補正や解像度変換、圧縮処理などの画像処理を加え、必要に応じて各種インターフェースから画像データを出力する。また、撮像レンズ１８００やＣＣＤ１８０１の制御を行う。１８０４は信号入力部であり、撮影環境や画質の設定を信号処理部１８０３に入力する他、シャッターを押すことによる撮影タイミングの入力も行う。１８０５はＤＲＡＭ（Dynamic Random Access Memory）であり、ＣＣＤ１８０１から取り込んだ画像データを記憶し、画像処理の際にも必要に応じてデータを記憶する。１８０６はフラッシュメモリであり、画像処理のプログラムを記憶しておく。１８０７はＣＣＤ制御部であり、信号入力部１８０４から信号処理部１８０３に撮影命令がなされると、ＣＣＤ１８０１を駆動する。１８０８はレンズ制御部であり、信号入力部１８０４から信号処理部１８０３に入力された撮影環境の設定に従って撮像レンズ１８００を制御する。１８０９はＣＰＵ（Central Processing Unit）であり、信号処理部１８０３において、プログラムの実行、インターフェースの制御など装置全体の制御を行う。１８１０は画像処理部であり、ＤＲＡＭ１８０５に記憶した画像データに対して色調補正や画質の調整を行う他、必要に応じて画像圧縮も行う。１８１１はＵＳＢ（Universal Serial Bus）インターフェースであり、ＰＣに画像データを出力したり、ＰＣと計測装置の間で相互通信を行ったりする。ＰＣからも信号入力部１８０４と同様の制御信号を入力することも可能である。１８１２はメディアインターフェースであり、画像処理を施した画像データを記録メディアへ出力したり、記録メディアから画像データを計測装置に取り込んだりする。１８１３は画像出力部であり、画像処理を施した画像データを計測装置に搭載されたＬＣＤ（Liquid Crystal Display）などの映像表示モニタに出力する。必要に応じて、撮影環境などの設定情報も映像表示モニタに出力する。
　図１９は計測装置の動作フロー図である。計測装置を用いて画像を撮影する処理に関して動作を説明する。ステップＳ１９００は画像信号取得処理であり、信号入力部１８０４は撮影開始信号と、撮影者が設定した撮影環境設定や画質設定を信号処理部１８０３に入力する。信号処理部１８０３は撮影環境設定に従ってレンズ制御部１８０８を通して撮像レンズ１８００を制御する。また、信号処理部１８０３はＣＣＤ制御部１８０７を通してＣＣＤ１８０１を駆動し、ＣＣＤ１８０１は撮像レンズ１８００を通して得られた光線情報を画像信号に変換する。この画像信号はアナログ・デジタル変換回路１８０２によってデジタル画像信号に変換され、信号処理部１８０３によってＤＲＡＭ１８０５に記憶される。尚、信号入力部１８０４から入力される信号は、ＰＣなどの外部装置よりＵＳＢインターフェース１８１１などを介して信号処理部１８０３に入力されることもあり、以降のステップでも同様とする。ステップＳ１９０１は画像処理であり、信号処理部１８０３は信号入力部１８０４から入力された画質設定に基づいて、ＤＲＡＭ１８０５に記憶された画像データに対して画像処理を施す。例えば色調補正、解像度変換、ノイズ除去などが挙げられる。これらの画像処理はフラッシュメモリ１８０６に記憶されているプログラムをＣＰＵ１８０９が実行することによって施され、画像処理後の画像データはＤＲＡＭ１８０５に記憶される。ステップＳ１９０２は圧縮処理であり、信号処理部１８０３は信号入力部１８０４から入力された画質設定に基づいて、ＤＲＡＭ１８０５に記憶された画像データに画像圧縮処理を施す。画像データは静止画であっても動画であっても良い。これらの画像圧縮処理はフラッシュメモリ１８０６に記憶されているプログラムをＣＰＵ１８０９が実行することによって施され、画像圧縮処理後の画像データはＤＲＡＭ１８０５に記憶される。また、画質設定によっては圧縮処理を行わない場合もある。ステップＳ１９０３は画像出力処理であり、信号処理部１８０３は信号入力部１８０４から入力された画質設定に基づいて、ＤＲＡＭ１８０５に記憶された画像データを指定出力先に出力する。例えば、ＵＳＢインターフェース１８１１よりＰＣなどの外部装置に出力したり、メディアインターフェース１８１２より外部記録媒体に出力したり、画像出力部１８１３より計測装置に装着されたＬＣＤに出力したりする。また、計測装置内部にＨＤＤ(Hard Disk Drive)などの記憶装置を持つ場合には、ＨＤＤに出力することもある。
　図２０は計測システム全体のブロック図である。デジタルカメラなどの計測装置１７００と計測対象のディスプレイ１００を設置し、計測装置１７００とディスプレイ１００を、演算装置２０００を用いて制御し、所望の画像を撮影し、演算装置２０００を用いてディスプレイ１００の画質評価を行う。計測装置１７００はディスプレイ１００を様々な方向から撮影するために手動またはロボットなどを用いて自動で撮影位置を変更する。計測装置１７００とディスプレイ１００の距離は、ディスプレイ面または計測対象のパターン画像が撮影画像内で欠けないような距離とすることが望ましい。また、演算装置２０００は例えばＰＣを用いれば良く、画像出力部２００１、信号処理部２００２、ＲＡＭ２００３、ＨＤＤ２００４、ＵＳＢインターフェース２００５、ＣＰＵ２００６などから構成されることが望ましい。画像出力部２００１は、信号入力部２００２からの指示に従い、計測用画像をディスプレイ１００に出力する。計測用画像の例としては、輝度ムラや色ムラの評価を行う場合は全面白などの一様な画像などを、幾何的な評価を行う場合は白・黒や赤・青や赤・シアンなどの色からなる、様々な太さの縞模様を成す画像や、各面の色が異なる多面体画像などを、計測対象のディスプレイ１００の映像表示形式に応じて表示することが考えられる。計測用画像は、プログラムで生成しても良いし、ＨＤＤ２００４にあらかじめ記憶しておいても良い。信号入力部２００２は、計測開始を指示したり、計測内容の指示をしたりする。例えば、ＨＤＤ２００４に格納されている計測用のスクリプトをマウスやキーボードを操作して起動させると良い。ＲＡＭ２００３は、画像解析などの演算時にデータを保持する。ＨＤＤ２００４は、計測用画像や、計測装置１７００から取り込んだ画像や、解析用プログラムや、計測用スクリプトや、解析済みのディスプレイ評価基準データを記憶する。ＵＳＢインターフェース２００５は、計測装置１７００に制御信号を送信したり、計測装置１７００から撮影画像データを受信したりする。ＣＰＵ２００６は、プログラムの実行、インターフェースの制御など装置全体の制御を行う。
　図２１は計測システムの動作フロー図である。計測システムが画像を取得し、画像の解析をする計測処理に関して動作を説明する。ステップＳ２１００は画像撮影処理であり、演算装置２０００を用いて計測装置１７００とディスプレイ１００を制御し、画像評価に必要な画像を取得し、ＨＤＤ２００４に保存する。計測装置１７００の具体的な動作フローは図１９にて説明している。計測用の画像はＨＤＤ２００４に保存しておいたものを画像出力部２００１から出力しても良いし、ＨＤＤ２００４に保存しておいた画像生成プログラムをＣＰＵ２００６が実行することによって生成されたものを画像出力部２００１から出力しても良い。また、計測用の画像は、ＨＤＤ２００４に保存しておいた解析済みのディスプレイ評価基準データを元に画像生成プログラムを用いて生成することでより精度や効率の良い評価ができるようになる。ステップＳ２１０１は画像解析処理であり、ステップＳ２１００で取得してＨＤＤ２００４に保存した画像に対して画質評価プログラムをＣＰＵ２００６が実行し、ディスプレイ１００の輝度ムラや色ムラ、幾何的な歪みや立体映像の解像度や視域という観点で画像解析を行う。ＨＤＤ２００４に保存した画像には、ディスプレイ１００の表示する映像が映っており、既存の技術によって撮影画像内の映像表示領域の算出が可能である他、計測用の画像として特定のパターン画像などのディスプレイ座標を示す画像を表示して撮影しておくことで、その撮影画像を用いて、撮影画像の座標系と映像表示領域の座標系の対応関係を得ることもできる。それらの情報を元に、ディスプレイ１００の輝度ムラや色ムラ、幾何学的な歪みなどの現象がディスプレイ座標においてどのように分布しているのかを解析することができる。また、立体映像の解像度や視域に関しても、特定のパターン画像を撮影した画像を解析することで算出することができる。これらの輝度ムラ、色ムラ、歪み、解像度、視域の計測、解析方法は更に後述する。
　以下、図２２～図２７を用いて立体ディスプレイの性能を表す基準である、立体映像を観察することができる範囲である視域、立体映像の解像度、立体映像の歪み、立体映像の色ムラや輝度ムラの計測、評価方法に関してそれぞれ説明する。尚、以降で用いる計測装置は既存のキャリブレーション手法により計測装置の個体差を表す内部パラメタと計測装置の位置と向きを表す外部パラメタは得られるものとする。
　図２２～図２５を用いて、視域の計測、評価方法に関して説明する。まず視域について説明する。立体映像を観察することができる範囲が視域であり、立体映像が立体に見える要因として視差があり、視差は両眼視差と運動視差に分類される。両眼視差は右目と左目に違う画素から起因する光線が入ることによって発生し、映像が飛び出して見えるように人間の脳が知覚する。運動視差は視点位置を動かすことで目に違う画素から起因する光線が順次入ることによって発生し、映像が視点位置に応じて変化する様子を知覚させる。つまり、実際に目の前で物体を見ているように、視点を動かすことで動かす前には見えなかった物体の側面が見えるようになるような効果を生じる視差である。以降で計測する視域は、運動視差によって映像が変化する範囲とする。
　図２２は視域計測の模式図である。ディスプレイ１００に立方体または直方体の立体映像２２００を表示する。幅を２２Ｗ、高さを２２Ｈ、奥行きを２２Ｄとする。高さ２２Ｈ＞０とする。底面の大きさに関して、幅２２Ｗ、奥行き２２Ｄは任意でもよいが、正方形２２Ｗ＝２２Ｄとすると評価が容易となる。また、幅２２Ｗ、奥行き２２Ｄは小さくするほどディスプレイ１００の詳細な範囲を評価することになるが、小さすぎると計測装置１７００で撮影することが困難になる。また、ディスプレイ領域における表示位置は中央とする。但し、後述するように立体ディスプレイ方式によってはディスプレイ領域の中央と周辺部など位置によって性能が異なる場合もあり、中央以外に表示しても構わない。高さ２２Ｈに関しては、後述する立体映像の解像度、すなわち高さ方向の表示限界を評価した後であればその高さ以内に設定すればよく、解像度を評価する前であれば設計値から推定できる値より低くすればよい。また、この高さ２２Ｈが高すぎると立体映像の上面がぼやけてしまうが、わずかなぼやけであれば以降の解析に影響はないため、厳密性は必要ない。計測装置１７００の位置は立体映像２２００が撮影画像内で小さくなり過ぎない程度の距離であれば厳密性は必要ない。立体映像２２００は、上面２２０１と側面２２０２の色を違うものとする。例えば互いに補色である青と黄、シアンと赤、などがよい。尚、立体映像２２００は円柱、六角柱など、ディスプレイ面に平行な面とそれに垂直な面からなる構造を用いてもよい。その場合も、ディスプレイ面に平行な上面とそれに垂直な側面の色を違うものとする。また、上面と異なる色であれば側面は全て同じ色である必要はない。
以上のように設定した立体映像２２００をディスプレイ１００に表示し、計測装置１７００を経路２２０４のように動かしながら立体映像を撮影する。経路２２０４は立体映像２２００の真上２２０３を中央として通過する１８０°の円弧状とするが、厳密性は必要ない。計測装置１７００が静止画のみ撮影可能である場合は、動かしながら複数枚の画像を撮影し、動画を撮影可能である場合は、経路２２０４を移動している間、撮影し続ける。
また、その際には経路２２０４を行ったり来たりせずに、またできるだけ等速度で移動しながら撮影することが好ましい。この経路２２０４だけでなく、点２２０３を通りディスプレイ面に垂直な線を中心として経路２２０４を９０°回転した経路２２０５に対しても同様の撮影をするなど、ディスプレイ１００の上方の空間を通過するできるだけ多くの経路から撮影をする。立体ディスプレイの方式が左右のみの視差を持つ場合にはその視差に沿った左右方向の経路のみでもよいが、左右だけでなく上下や斜めなど全ての方向に視差を持つフルパララックス方式の場合には少なくとも経路２２０４と経路２２０５からの撮影は行う。
　図２３は視域評価方法を説明する図である。図２２を用いて説明したような計測を行うと、Ｓ２３００～Ｓ２３０３のように撮影位置に応じた立体映像の画像を撮影することができる。Ｓ２３００は立体映像２２００を真上２２０３から撮影した画像であり、上面２２０１だけが見えている。Ｓ２３０１は経路２２０４に沿ってややディスプレイ面側に計測装置１７００を移動して撮影した画像であり、上面２２０１だけでなく側面２２０２も見えている。Ｓ２３０２はＳ２３０１よりも更に計測装置１７００をディスプレイ面側に移動して撮影した画像であり、上面２２０１の見えている面積が減り、側面２２０２の見えている面積が増えている。Ｓ２３０３は側面２２０２しか見えてない画像であるが、立体ディスプレイの視域が１８０°、すなわちディスプレイ面を含む平面上の位置２２０６（２２０７）まで視域があることになり、現実的にはそのような立体ディスプレイの実現は難しい。視差が滑らかに設定できている立体ディスプレイならば、点２２０３から点２２０７まで移動する間にＳ２３００→Ｓ２３０１→Ｓ２３０２と滑らかに撮影画像が変化する。そして、点２２０７に到達する前に上面２２０１と側面２２０２の見え方が変化しなくなる、映像が乱れる、映像が見えなくなる、という位置が存在し、その位置が視域の限界となる。そのような位置は撮影画像の解析により得られる。例えば色の異なる上面２２０１と側面２２０２の撮影画像中での面積比を解析するとよい。また、立体ディスプレイの方式によってはＳ２３００→Ｓ２３０１→Ｓ２３００のように同じ見え方を繰り返した後に見え方が変化しなくなる、映像が乱れる、映像が見えなくなる、という位置に到達するものもあり、その場合は真上２２０３を中心としてＳ２３００→Ｓ２３０１と変化する範囲だけを視域と定義してもよいし、繰り返しがなくなる位置を視域と定義してもよく、用途によって使い分ければよい。このように視域の限界点を多数の撮影経路に対して得ることにより、図２４に示すような概円錐状の視域２４００が得られる。運動視差に関しては遠距離であっても認識できることが知られているため、ディスプレイ上方の限界値は示していないが、後述する立体ディスプレイの解像度の評価結果から、例えばある特定の太さの線が見える位置を上限としてもよい。
　上述したように、立体ディスプレイの方式によってはディスプレイ面の位置によって視域が異なる場合がある。その場合は立体映像２２００の位置を様々な位置に変更した上で上記の計測方法を実行すればよいが、図２５に例示するように互いに側面が重ならない位置にまとめて複数個の立体映像２２００ａ～２２００ｅを表示した上で上記の計測方法を実行してもよい。また、その場合は各立体映像の色が異なるようにすると解析が容易になる。また、このように複数か所の評価を行った場合は、それぞれの位置に対して視域を定義してもよいし、全ての視域の和集合を立体ディスプレイの視域と定義してもよい。尚、既に立体映像の歪みや色ムラを評価した後であれば、その情報を元に計測対象の立体映像を補正することで評価の精度を上げることができる。
　解像度の計測、評価方法に関して説明する。既存の評価手法では縞模様の面をディスプレイ面に平行となるように表示し、真上からのみ評価をしていたが、立体ディスプレイの方式によっては立体映像の解像度は視点位置に依存する場合があるため、真上からだけでなく周囲の視点からも評価することが望ましい。視点、すなわち計測装置１７００の位置を斜めに移動した場合の計測では、図２６に示すように縞模様の面２６００を計測装置１７００の光軸２６０１と垂直に交わるように設置し、光軸２６０１に沿って面２６００の位置を動かせばよい。撮影位置をあらかじめ決めておけばその縞模様の面２６００の準備は容易であるが、もし任意の移動位置で撮影をするのであれば、計測装置１７００の位置や向きを既存のキャリブレーション手法で取得した上で、その情報に基づいて縞模様の面２６００を生成すればよい。また、移動範囲は、既に視域を評価した後であれば、その視域の範囲に限定することができ、効率が良くなる。また、既に立体映像の歪みを評価した後であれば、縞模様の歪みをあらかじめ補正しておくことで評価の精度を上げることができる。
　歪みの計測、評価方法に関して説明する。立体映像の幾何的な歪みは立体ディスプレイの方式に依存するだけでなく、立体映像のレンダリングに誤りがある場合にも発生する。
歪みの評価方法の例を、図２７を用いて説明する。既存の技術により撮影画像の座標系と映像表示領域の座標系の対応関係を得ることができることを利用する。以降、この手法を空間コード化法と呼ぶ。まずディスプレイ１００の表示面すなわち高さ０の位置、そしてディスプレイ１００の大きさと等しい大きさの面を表す立体映像２７００に対して空間コード化法を実行する。それにより、高さ０の位置の幾何的な歪みがわかる。以降は、立体映像２７００をディスプレイ面に対して平行移動しながら同様の操作を繰り返すことで各高さの幾何的な歪みがわかる。それぞれの高さにおいて得られた歪みを組み合わせることでディスプレイ１００の上下の空間に表示する立体映像の幾何的な歪みを評価することができる。この平行移動の移動幅を細かくし、平面に対する歪み評価の回数を増やすことで精度は向上する。立体ディスプレイにおける幾何的な歪みは立体ディスプレイの発する光線群の分布や画素割り当てに強く依存するため、ここまでの計測でも歪みの評価は可能であるが、同じ立体映像２７００に対して計測装置１７００を傾けるか、立体映像２７００を傾けて同様の計測を行うことで更に精度は向上する。尚、既に立体映像の視域を評価した後であれば、その視域の範囲に限定することができ、効率が良くなる。また、立体映像の解像度を評価した後であれば、空間コード化法に用いるコード画像の細かさを最適化できる他、立体映像２７００を動かす上限下限も決めることができ、精度向上、効率化に繋がる。
　色ムラや輝度ムラの計測、評価方法に関して説明する。立体映像の色ムラや輝度ムラは立体ディスプレイの方式に依存するだけでなく、立体映像のレンダリングの誤りや、レンズなどの光学系の個体差や色収差、映像表示部の個体差や劣化などにも起因する。一般に平面ディスプレイに対する色ムラや輝度ムラの計測は非特許文献１に記載の技術を用いたり、ディスプレイ画面全体に白だけの画像や赤だけ、緑だけ、青だけの画像を表示し、目視や計測装置によって色の変化を評価したりする方法がある。立体ディスプレイに対しても、図２７で説明したような計測方法において立体画像２７００を図２８のような白だけの画像２８００などに置き換えて高さごとに色ムラや輝度ムラを評価することでディスプレイ１００の上下の空間に表示する立体映像の色ムラや輝度ムラを評価することができる。また、図２７で説明したような計測方法と同様に、立体映像２８００に対して計測装置１７００を傾けるか、立体映像２８００を傾けて同様の計測を行うことで更に精度は向上する。尚、既に立体映像の視域を評価した後であれば、その視域の範囲に限定することができ、効率が良くなる。また、既に立体映像の歪みを評価した後であれば、ムラ分布の評価精度を上げることができる。
　以上のようにして立体ディスプレイの各評価基準を計測することができる。また、各基準の中で視域を最初に計測することで他の基準の評価を効率化することができる。更に、解像度、歪み、色ムラや輝度ムラを評価した後にそれらの情報を用いて視域を再計測することで視域の評価精度を上げることができる。
　以下では上記したような各評価基準の評価順序例を、動作フロー図２９を用いて説明する。
　ステップＳ２９００は視域計測・評価処理であり、図２２～図２５に記載の方法で立体ディスプレイ上の計測用立体映像２２００を計測し、その見え方を解析して視域データを得る。しかし、この際にはまだ立体ディスプレイの解像度が把握できていないことから、どのくらいの高さ２２Ｈを持つ計測用立体映像２２００を表示すれば良いかはわかっておらず、あまり高いものを表示すると立体映像がぼやけてしまって解析が困難になってしまう。従って、設計値から想定される高さよりやや小さい高さを採用したり、計測用立体映像２２００の上面２２０１と側面２２０２の判別が付く範囲で比較的小さい高さを採用したりすることで、撮影した画像の解析に困難を来たさないような工夫をする。また、小さめの高さを採用した場合は、計測装置１７００を立体ディスプレイに近づけて撮影画像内の計測用立体映像が大きくなるようにするとよい。但し、計測装置１７００を立体ディスプレイに近づけると、立体ディスプレイ表示面が広い場合には計測装置１７００の位置取りが難しくなる他、手ぶれなど計測装置１７００の移動に関するノイズの影響が大きくなる。また、立体映像の歪みや色ムラの影響によって計測用立体映像２２００が想定の形状に対してズレを持っている可能性もある。以上より、本ステップＳ２９００で得られる視域は精度が高いものとは言えない。しかし、視域の限界位置では計測用立体映像２２００の上面２２０１と側面２２０２の見え方の変化が特徴的であることは低精度であっても把握は可能であるため、以降の計測時の評価範囲（＝計測装置を動かす範囲）の目安として使うことは可能である。
　ステップＳ２９０１は解像度計測・評価処理であり、図２６に記載の方法で立体ディスプレイ上の計測用立体映像２６００を計測し、その見え方を解析して立体映像の高さごとの解像度データを得る。すなわち、どのくらいの高さまでならぼやけのない立体映像を表示できるかがわかる。この際には、視域外を計測する必要はないことからステップＳ２９００で得られた視域データを元に計測装置１７００を動かすべき範囲を制限することができ、計測時間の短縮をすることができる。
　ステップＳ２９０２は歪み計測・評価処理であり、図２７に記載の方法で立体ディスプレイ上の計測用立体映像２７００を計測し、その見え方を解析して立体映像の高さごとの歪みデータを得る。この際には、ステップＳ２９０１と同様に、視域外を計測する必要はないことからステップＳ２９００で得られた視域データを元に計測装置１７００を動かすべき範囲を制限することができ、計測時間の短縮をすることができる。また、ステップＳ２９０１で得られた解像度データを元に縞模様などのパターン画像をベースとした計測用立体映像２７００の模様の細かさをより適したものにすることができ、歪みデータの精度が向上する。
　ステップＳ２９０３はムラ計測・評価処理であり、図２８に記載の方法で立体ディスプレイ上の計測用立体映像２８００を計測し、その見え方を解析して立体映像の高さごとの色ムラや輝度ムラのデータを得る。この際には、ステップＳ２９０１と同様に、視域外を計測する必要はないことからステップＳ２９００で得られた視域データを元に計測装置１７００を動かすべき範囲を制限することができ、計測時間の短縮をすることができる。また、ステップＳ２９０２で得られた歪みデータを元に幾何学的な歪みを補正することができるため、色ムラや輝度ムラの分布の精度が向上する。
　尚、ステップＳ２９０２とステップＳ２９０３の順序は逆にしても構わない。その場合は、ステップＳ２９０１で得られた解像度データを元に、図２８に記載の計測用立体映像２８００を動かす範囲を効果的な範囲に限定し、ステップＳ２９０３における評価時間を短縮することができる。あまり多く上下に動かしたとしても、解像度が十分にない高さまで動かしてしまうと計測用立体映像２８００がぼやけてしまい、十分なムラ評価をすることができない。その次にステップＳ２９０２に対応した歪み計測・評価を行うが、その際には色ムラ・輝度ムラデータを用いて計測用立体映像を補正することで評価の精度を向上できる。
　ここまでで視域、解像度、歪み、色ムラ・輝度ムラのデータを得ることができたが、ステップＳ２９００で説明したように視域データは高精度とは言えないため、ステップＳ２９０１～ステップＳ２９０３で得られたデータを元にステップＳ２９０４では視域を再計測・再評価する。本ステップは高精度を要しない場合には省略しても良いが、立体ディスプレイのスペック表現として用いる場合には高精度のデータであることが好ましい。視域の再計測・再評価も図２２～図２５に記載の方法を用いるが、計測用立体映像２２００の高さ２２Ｈを、ステップＳ２９０１で得た解像度データを元にできるだけ大きくすることができる。大きい計測用立体映像を用いることで計測装置１７００を立体ディスプレイに近づける必要がなくなる。また、ステップＳ２９０２で得た歪みデータを元に計測用立体映像２２００の形状を正確なものに補正することができる。また、ステップＳ２９０３で得た色ムラ・輝度ムラデータを元に計測用立体映像２２００の色調を補正することで上面２２０１と側面２２０２の見え方の変化をより判定しやすくなる。また、ステップＳ２９００で図２４に記載の視域２４００が概略的に得られていることから、計測装置１７００を図３０の経路３０００に示すように視域の限界位置と予測される領域に沿うようにある程度の上下動を伴いながら動かすことで、より効率良く大量の視域データを取得することができる。
　以上のようにすることで高精度な視域データを得ることができるようになる。
　また、ステップＳ２９０１やステップＳ２９０２はそれより後で得られたデータを元に再度実行することで精度を向上させた後にその先のステップへ進んでもよい。例えば、ステップＳ２９０２で歪みデータを得た後に、フロー２９０５に従って再度ステップＳ２９０１で解像度計測・評価処理を行う。その際には、解像度データを計測・評価するための計測用立体映像２６００の縞模様を、ステップＳ２９０２で得た歪みデータを用いて補正することで更に精度の良い解像度データを得ることができる。また、例えば、ステップＳ２９０３で色ムラ・輝度ムラデータを得た後に、フロー２９０６に従って再度ステップＳ２９０１で解像度計測・評価処理を行う。その際には、計測用立体映像２６００の縞模様の濃淡などの画質を色ムラ・輝度ムラデータを用いて補正することで更に精度の良い解像度データを得ることができる。そして更にステップＳ２９０２で歪み計測・評価処理を行う際も、精度の向上した解像度データを用いることができ、色ムラ・輝度ムラデータを用いた補正により計測用立体映像２７００の画質も向上することから、精度の良い歪みデータを得ることができる。また、フロー２９０７に従って、ステップＳ２９０４で得られた精度の向上した視域データを元に再度ステップＳ２９０１～ステップＳ２９０３を実行することで、解像度、歪み、ムラの視域の境界部付近の精度が向上する。例えばステップＳ２９００で得られた概略的な視域を用いる場合には、視域の外側の性質の悪い部分もまとめて計測・評価してしまう可能性があり、それは視域内の評価にも影響が出る可能性がある。また逆に、視域の内側であってもそこまで計測せずに処理を進めてしまう可能性もある。そのような計測ミスをより精度の高い視域データを用いることで減らすことができるようになる。また、フロー２９０８に従って、最初にステップＳ２９０９のディスプレイの法線方向のみの解像度計測・評価を行うことでステップＳ２９００の視域計測・評価の精度を上げることも可能である。ここでいう法線方向とは図２６の点２２０３のようにディスプレイ１００の真上方向、ディスプレイ１００に正対する観察者の方向である。この方向は視域内に入っていると想定することは自然であるため、視域データを得る前から解像度計測・評価を行っても問題のない方向と考えられる。この方向の解像度データを得ることで、視域の計測用立体映像２２００の高さ２２Ｈをどのくらいまで大きくしてもぼやけずに視域計測をすることができるかがわかるようになり、ステップＳ２９００における視域計測・評価の精度が向上する。
　以上のように、立体ディスプレイの評価は、（１）視域計測・評価、（２）解像度計測・評価、（３）歪み計測・評価、（４）ムラ計測・評価、または、（１）視域計測・評価、（２）解像度計測・評価、（３）ムラ計測・評価、（４）歪み計測・評価、の順序で行うことが望ましい。
　また、視域計測・評価、解像度計測・評価、歪み計測・評価、ムラ計測・評価を行った後、再度視域計測・評価を行うことが望ましい。
　尚、上記各評価手法における計測装置１７００には実施例１に記載のレンズアレイカメラを用いることができる。特に解像度、歪み、色ムラ・輝度ムラの計測においては立体ディスプレイの様々な観察位置からの画質評価を行う必要があるため、レンズアレイカメラを用いて撮影回数を減らすことは評価処理の簡易化のために重要である。また、立体ディスプレイの視域を計測する際にも、計測装置１７００としてビデオカメラを用い、動画を撮影して解析することで細かい視域評価が可能となるが、非常にデータ量が多いため、解析コストは増大する。そのため、計測装置１７００としてデジタルカメラを用い、撮影位置を動かしながら静止画を多数撮影してそれらの多視点画像を解析する手法も解析コストの削減という観点では意義がある。その際に、レンズアレイカメラを用いることで撮影回数を減らすことができる。
　また、視域の限界位置をおおよそ推定できることもでき、例えば図３１に示すように、経路３１０５上の撮影位置３１０６における撮影画像３１０７において、レンズアレイ５０２の中の経路３１０５に沿ったレンズ列３１００のレンズ群を通して撮影された、計測用立体映像２２００に対応した画像群３１０１の中に、同じ見え方の画像群３１０２がある場合を考える。通常、立方体状の物体を経路３１０５に沿って上方から下方に向かって撮影すると物体の上面と側面の見え方は滑らかに変化していくため、異なる視点に対応する各レンズに対応する画像群は全て見え方が異なるべきであるが、同じ見え方の画像群３１０２が存在するということは立体ディスプレイの視域として定義外の部分から撮影した視点があるということを意味する。尚、立体ディスプレイの方式により視域としての定義外の部分では、画像が見えなくなる場合、画像が乱れる場合、徐々に見え方が変化していた画像が逆に戻っていくように変化する場合なども起こりうる。この時、撮影位置３１０６の経路３１０５に沿った回転位置をθ、画像群３１０２に対応するレンズ群のうちレンズアレイの端ではない方のレンズ３１０４の位置をθ＋θＡ＋θＢ、そのレンズに隣接する、画像群３１０２とは見え方の違う画像に対応するレンズ３１０３の位置をθ＋θＡとすると、経路３１０５に沿った視域の限界位置φはθ＋θＡ≦φ≦θ＋θＡ＋θＢと推定できる。θは既存のカメラ位置推定技術から得られ、θＡとθＢはレンズアレイ５０２の設置位置とレンズの大きさから得られる。図２９のフロー図におけるステップＳ２９００に示す最初の概略的な視域計測・評価においてはこのようにレンズアレイカメラを用いておおよその視域データを短時間で取得し、ステップＳ２９０４に示す視域再計測・再評価においてはビデオカメラを用いて詳細なデータを取得する、というように使い分けることもできる。
　１００：ディスプレイ、１０１、１０２、３０１、３０２、１６００、１７００：計測装置、３０３、３０４：ディスプレイ上の点、５０２：レンズアレイ、５０２ａ、５０２ｂ、５０２ｃ、９００、３１０３、３１０４：レンズ、５０３、５０３ａ、５０３ｂ、５０３ｃ：実像、６０１：光線、６０２：カメラの光軸に垂直な軸、６０３：カメラの光軸、８００：円形領域、１０００、１８００：撮像レンズ、１００１、１８０１：ＣＣＤ、１００２、１８０２：アナログ・デジタルコンバータ、１００３、１８０３：信号処理部、１００４、１２０４、１８０４、２００２：信号入力部、１００５、１８０５：ＤＲＡＭ、１００６、１８０６：フラッシュメモリ、１００７、１８０７：ＣＣＤ制御部、１００８、１８０８：レンズ制御部、１００９、１２０８、１８０９、２００６：ＣＰＵ、１０１０、１８１０：画像処理部、１０１１、１２０７、１８１１、２００５：ＵＳＢインターフェース、１０１２、１８１２：メディアインターフェース、１０１３、１２０３、１８１３、２００１：画像出力部、１２００、２０００：演算装置、１２０１：基準軸表示装置、１２０２：レーザー光、１２０５、２００３：ＲＡＭ、１２０６、２００４：ＨＤＤ、１４００：観察者、１４０１、１４０２、１４０３、１４０４、１４０５、１５００：立体映像、１４０６、２６００、２７００：縞模様画像、１６０１：正弦波画像、２２００、２２００ａ、２２００ｂ、２２００ｃ、２２００ｄ、２２００ｅ：計測用立体映像、２２０１：立体映像上面、２２０２：立体映像側面、２２０３、２２０６、２２０７、３１０６：計測経路上の点、２２０４、２２０５、３０００、３１０５：計測経路、２４００：視域、２６０１：計測装置の光軸、２８００：単色画像、３１００：レンズ群、３１０１、３１０２：画像群、３１０７：撮影画像。

Claims (18)

  1. 　表示装置と、前記表示装置の表示映像を計測する計測装置と、前記表示装置と前記計測装置の間に配置された複数のレンズを有するレンズアレイと、を備えるシステムにおける映像評価方法であって、
    　前記計測装置は、前記レンズアレイを通して得られる複数の表示映像の映像評価を行うことを特徴とする映像評価方法。
  2. 　請求項１記載の映像評価方法であって、
    　前記計測装置は、前記表示装置が表示する一つの表示映像について、前記レンズアレイを通して一度に得られる複数の表示映像の映像評価を行うことを特徴とする映像評価方法。
  3. 　請求項１記載の映像評価方法であって、
    　前記表示装置の表示画面から前記レンズアレイまでの距離Ａ、前記表示装置の表示画面の対角線上の長さをＤ、前記レンズアレイが有するレンズの半径をｒ、前記レンズの焦点距離をｆＬとした場合に、
    　Ａ≧ｆＬＤ／２ｒ
    　を満たすように、前記表示装置、前記レンズアレイ、前記計測装置を配置して映像評価を行うことを特徴とする映像評価方法。
  4. 　請求項３記載の映像評価方法であって、
    　前記レンズアレイと前記計測装置の撮像レンズまでの距離をＣ、前記レンズアレイの一辺に並ぶレンズの個数をＮ、前記計測装置の撮像レンズの焦点距離をｒＣとした場合に、
    　Ｃ＞ｆＬ（Ｎ－ｒＣ／ｒ）
    　を満たすように、前記表示装置、前記レンズアレイ、前記計測装置を配置して映像評価を行うことを特徴とする映像評価方法。
  5. 　請求項３記載の映像評価方法において、
    　前記レンズアレイの一辺の長さをＬとした場合に、
    　Ａ≧｛０．５ｆＬＣ（Ｄ＋２ｒＮ）｝／｛ｒＣ＋ｆＬ（ｒＣ－ｒＮ）｝
    　を満たすように、前記表示装置、前記レンズアレイ、前記計測装置を配置して映像評価を行うことを特徴とする映像評価方法。
  6. 　請求項１記載の映像評価方法であって、
    　前記計測装置は、輝度ムラ、色ムラまたは幾何的歪みについて映像評価することを特徴とする映像評価方法。
  7. 　請求項１記載の映像評価方法であって、
    　前記表示装置は、立体映像を表示する立体ディスプレイ表示装置であることを特徴とする映像評価方法。
  8. 　表示装置と、前記表示装置の表示映像を計測する計測装置と、前記表示装置と前記計測装置の間に配置された複数のレンズを有するレンズアレイと、を備える映像評価システムであって、
    　前記計測装置は、前記レンズアレイを通して得られる複数の表示映像の映像評価を行うことを特徴とする映像評価システム。
  9. 　表示装置と、前記表示装置が表示する立体映像を計測する計測装置と、を備えるシステムにおける映像評価方法であって、
    　前記計測装置が前記立体映像を観察可能な範囲である視域を計測する第１のステップと、
    　前記計測装置が前記立体映像の解像度を計測する第２のステップと、
    　前記計測装置が前記立体映像の歪みを計測する第３のステップと、
    　前記計測装置が前記立体映像の色ムラまたは輝度を計測する第４のステップと、を備え、
    　前記第１のステップ、前記第２のステップ、前記第３のステップ、前記第４のステップの順序、または、前記第１のステップ、前記第２のステップ、前記第４のステップ、前記第３のステップの順序で前記立体映像を計測することを特徴とする映像評価方法。
  10. 　請求項９に記載の映像評価方法であって、
    　前記第２のステップでは、前記第１のステップの計測結果を用いて前記立体映像の解像度を計測し、
    　前記第３のステップでは、前記第１のステップと第２のステップの計測結果を用いて前記立体映像の歪みを計測し、
    　前記第４のステップでは、前記第１のステップと第２のステップの計測結果を用いて前記立体映像の色ムラまたは輝度を計測することを特徴とする映像評価方法。
  11. 　請求項９記載の映像評価方法であって、
    　前記第１のステップ、前記第２のステップ、前記第３のステップ、前記第４のステップを実行した後、
    　前記第２のステップ、前記第３のステップまたは前記第４のステップの計測結果を用いて再度前記立体映像の視域を計測する第５のステップを備えることを特徴とする映像評価方法。
  12. 　請求項１１記載の映像評価方法であって、
    　前記第５のステップを実行した後、
    　前記第５のステップの計測結果を用いて、前記第２のステップ、前記第３のステップまたは前記第４のステップを実行することを特徴とする映像評価方法。
  13. 　請求項９記載の映像評価方法であって、
    　前記第１のステップでは、前記計測装置が上面と側面の色が異なる多面体の立体映像を用いて視域を計測することを特徴とする映像評価方法。
  14. 　請求項１３に記載の映像評価方法であって、
    　前記第１のステップでは、前記計測装置が前記立体映像の上面と側面の面積比の変化を用いて視域を計測することを特徴とする映像評価方法。
  15. 　請求項９記載の映像評価方法であって、
    　前記計測装置は、前記表示装置と前記計測装置の間に配置された複数のレンズを有するレンズアレイを通して得られる映像を計測することを特徴とする映像評価方法。
  16. 　請求項１５に記載の映像評価方法であって、
    　前記計測装置は、前記表示装置が表示する一つの表示映像について、前記レンズアレイを通して一度に得られる複数の表示映像の映像評価を行うことを特徴とする映像評価方法。
  17. 　表示装置と、前記表示装置が表示する立体映像を計測する計測装置と、を備えるシステムにおける映像評価方法であって、
    　前記表示装置が上面と側面の色が異なる多面体の立体映像を表示するステップと、
    　前記計測装置が前記多面体の立体映像を用いて視域を計測するステップと、を備えることを特徴とする映像評価方法。
  18. 　請求項１７に記載の映像評価方法であって、
    　前記計測装置は、前記立体映像の上面と側面の面積比の変化を用いて視域を計測することを特徴とする映像評価方法。
PCT/JP2010/005420 2010-01-18 2010-09-02 映像評価方法および映像評価システム WO2011086616A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-007695 2010-01-18
JP2010007695 2010-01-18
JP2010-071671 2010-03-26
JP2010071671A JP2011166719A (ja) 2010-01-18 2010-03-26 映像評価方法および映像評価システム

Publications (1)

Publication Number Publication Date
WO2011086616A1 true WO2011086616A1 (ja) 2011-07-21

Family

ID=44303922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005420 WO2011086616A1 (ja) 2010-01-18 2010-09-02 映像評価方法および映像評価システム

Country Status (2)

Country Link
JP (1) JP2011166719A (ja)
WO (1) WO2011086616A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653391B1 (ko) * 2015-03-03 2016-09-02 한국과학기술연구원 입체영상 표시장치의 최적관찰거리 분석 방법 및 장치
JP2020106981A (ja) * 2018-12-26 2020-07-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH102800A (ja) * 1996-06-17 1998-01-06 Hitachi Ltd カラーディスプレイ装置の画質評価方法と画質評価装置およびカラーディスプレイ装置の製造方法
JPH1118114A (ja) * 1997-06-26 1999-01-22 Sony Corp フォーカス測定方法
JP2004117796A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 液晶表示装置の視野角算出方法及び装置
JP2004333494A (ja) * 2003-04-30 2004-11-25 Byk Gardner Gmbh 表面特性を特定する装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH102800A (ja) * 1996-06-17 1998-01-06 Hitachi Ltd カラーディスプレイ装置の画質評価方法と画質評価装置およびカラーディスプレイ装置の製造方法
JPH1118114A (ja) * 1997-06-26 1999-01-22 Sony Corp フォーカス測定方法
JP2004117796A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 液晶表示装置の視野角算出方法及び装置
JP2004333494A (ja) * 2003-04-30 2004-11-25 Byk Gardner Gmbh 表面特性を特定する装置および方法

Also Published As

Publication number Publication date
JP2011166719A (ja) 2011-08-25

Similar Documents

Publication Publication Date Title
US10244226B2 (en) Camera rig and stereoscopic image capture
US7583307B2 (en) Autostereoscopic display
US20170243373A1 (en) Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) Wedge-based light-field video capture
JP4832833B2 (ja) 配置レンズ諸元導出方法、プログラム、情報記憶媒体及び配置レンズ諸元導出装置
JP5289416B2 (ja) 立体画像表示装置、方法およびプログラム
JP2009518877A (ja) ３次元ライトフィールドを取得し、表示するための方法およびシステム
JP2013074400A (ja) 固体撮像装置
CN102595178B (zh) 视场拼接三维显示图像校正系统及校正方法
JP2015021862A (ja) ３次元計測装置及び３次元計測方法
JP5522794B2 (ja) 立体像生成装置およびそのプログラム
Zhou et al. A unified method for crosstalk reduction in multiview displays
JP2012085225A (ja) 画質調整システム及び画質調整方法
Yan et al. Calibration of the lens’ axial position error for macrolens array based integral imaging display system
JP6020552B2 (ja) 画像表示装置及び光学装置
WO2011086616A1 (ja) 映像評価方法および映像評価システム
US7834996B2 (en) Inspection apparatus and method
JP6622621B2 (ja) 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム
JP7141833B2 (ja) 画像処理装置および画像処理プログラム
JP6073123B2 (ja) 立体表示システム、立体像生成装置及び立体像生成プログラム
CN112361989B (zh) 一种通过点云均匀性考量测量系统标定参数的方法
JP6073121B2 (ja) 立体表示装置及び立体表示システム
JP6748563B2 (ja) 立体映像測定装置及び立体映像測定方法
JP6543096B2 (ja) 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム
JP6788472B2 (ja) 要素画像生成装置およびそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10842977

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10842977

Country of ref document: EP

Kind code of ref document: A1