WO2013042392A1 - 立体画像評価装置 - Google Patents

立体画像評価装置 Download PDF

Info

Publication number
WO2013042392A1
WO2013042392A1 PCT/JP2012/058978 JP2012058978W WO2013042392A1 WO 2013042392 A1 WO2013042392 A1 WO 2013042392A1 JP 2012058978 W JP2012058978 W JP 2012058978W WO 2013042392 A1 WO2013042392 A1 WO 2013042392A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax angle
evaluation
stereoscopic image
parallax
Prior art date
Application number
PCT/JP2012/058978
Other languages
English (en)
French (fr)
Inventor
北浦　竜二
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2013042392A1 publication Critical patent/WO2013042392A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Definitions

  • the present invention relates to a stereoscopic image evaluation apparatus for evaluating the ease of viewing a stereoscopic image.
  • Non-Patent Document 1 describes 3DC safety guidelines for creating a three-dimensional image using binocular parallax (hereinafter referred to as a 3D image).
  • a 3D image using binocular parallax the sense of three-dimensional popping and the sense of depth can be controlled by adjusting the parallax.
  • the sense of three-dimensional popping and the sense of depth can be controlled by adjusting the parallax.
  • the parallax when displaying a 3D image behind the display surface, if there is a parallax exceeding the interpupillary distance on the display, it may cause symptoms such as eye strain, oblique position, and strabismus. A large parallax should be avoided as much as possible.
  • the interpupillary distance (about 5 cm) of a 6-year-old child is taken as a representative value of the child in consideration of safety.
  • the depth range in one screen is set to within 1 degree in the parallax angle, and the temporal and spatial change in the parallax angle is set to within 1 degree. It is stated that there is a need to do.
  • the stereoscopic viewing fusion limit needs to be about 2 degrees as a condition for safe viewing.
  • FIG. 1 is a conceptual diagram for explaining a frame sequential method.
  • the frame sequential system includes a display that switches image frames at a high speed and displays active shutter glasses that alternately open and close the left and right lenses in synchronization with the display on the display.
  • the left-eye image 0100 and the right-eye image 0101 are alternately displayed on the display at short time intervals.
  • the active shutter glasses 0102 controls the lens shutter 0103 for the left eye to transmit light when the image 0100 for the left eye is displayed on the display, and the lens for the right eye. Control is performed so that the shutter 0104 blocks light. Conversely, when the right-eye image 0101 is displayed on the display, the right-eye lens shutter 0104 is controlled to transmit light, and the left-eye lens shutter 0103 is controlled to block light. To do. In this way, the viewer can observe the stereoscopic video by displaying the video corresponding to the left and right eyes in a time-sharing manner.
  • FIG. 2 is a conceptual diagram for explaining the parallax barrier method.
  • FIG. 2A is a diagram illustrating the principle of generating parallax.
  • FIG.2 (b) is a figure which shows the example of the screen displayed by a parallax barrier system.
  • FIG. 2B shows an image having an arrangement configuration in which left-eye images and right-eye images are alternately arranged every other pixel in the horizontal direction.
  • FIG. 2A shows a configuration for displaying the image of FIG. 2B on the image display panel 0200.
  • a parallax barrier 0201 having slits with an interval narrower than the interval between pixels of the same viewpoint is installed on the front surface (viewpoint side) of the image display panel 0200.
  • Patent Document 1 the amount of parallax between corresponding points of the image for the left eye and the image for the right eye displayed at the same time is obtained by using image processing for obtaining an optical flow, and the image is stereoscopically displayed on the forefront.
  • image processing for obtaining an optical flow To extract the parallax of the subject, the parallax of the subject stereoscopically displayed on the back, the difference between the parallax between the foreground and the back, the time series changes, the cumulative value, etc.
  • a stereoscopic video evaluation device and a stereoscopic video tuner for determining the comfort of a stereoscopic video are disclosed.
  • Patent Document 2 a change amount of a parallax angle having a value equal to or greater than a predetermined value from a stereoscopic video, a change time required for changing the parallax angle, and a number of changes of the parallax angle are grasped, and the change amount, An evaluation value corresponding to the degree of eye fatigue is calculated on the basis of the change time and the number of changes, and a stereoscopic image with parallax adjustment is created so that the evaluation value falls within a predetermined range, encoded and recorded on a recording medium A stereoscopic video recording method is disclosed.
  • the present invention has been made to solve the above-described problems, and its purpose is viewing from the feature amount of image data for 3D display when viewing an image displayed in 3D.
  • the present invention includes a stereoscopic image acquisition unit that acquires a left-eye image and a right-eye image that constitute a stereoscopic image, and the acquired left-eye image and right-eye image.
  • a stereoscopic image evaluation apparatus having a parallax angle distribution acquisition unit that acquires a parallax angle distribution of a stereoscopic image and an evaluation unit that evaluates the visibility of a stereoscopic image based on the acquired parallax angle distribution is proposed.
  • the present invention having the above-described configuration takes into account not only the parallax angle value but also the distribution of the parallax angle value, so that it is possible to output more appropriate evaluation results regarding the safety and comfort of stereoscopic images. It becomes possible.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the stereoscopic image evaluation apparatus according to the first embodiment.
  • FIG. 1 The figure for demonstrating the example of an image when the block with the parallax angle of the subject located in the foreground and the block with the parallax angle of the subject located at the back are in a distant position
  • Functional block diagram of the stereoscopic image evaluation apparatus of Embodiment 2 The flowchart figure about operation
  • FIG. Functional block diagram of the stereoscopic image evaluation apparatus of Embodiment 3 The figure which shows an example of the table for calculating the evaluation value classified by item of Embodiment 3.
  • Functional block diagram of the stereoscopic image evaluation apparatus of Embodiment 4 The figure which shows the example of a stereo image when the to-be-photographed object is located in the right-and-left end of a screen The figure which shows the example of a stereo image when the to-be-photographed object is located in the upper and lower ends of a screen The figure which shows an example of the table for calculating the evaluation value according to item of Embodiment 4.
  • Functional block diagram of the stereoscopic image evaluation apparatus of the fifth embodiment The figure which shows an example of the image where the background area is blurred The flowchart figure about operation
  • Functional block diagram of the stereoscopic image evaluation apparatus of Embodiment 6 The flowchart figure about operation
  • the parallax and the parallax angle which are the points of the invention, will be described before the description of the stereoscopic image evaluation device of each embodiment.
  • the fact that a stereoscopic video appears to pop out from the screen of the display is called out, and that the stereoscopic video appears to be retracted from the screen of the display is called depth.
  • FIG. 3 is a diagram for explaining the parallax of a stereoscopic image.
  • FIG. 3A shows left-eye image data 0300.
  • the farthest point 0301 is the farthest area when stereoscopic display is performed
  • the nearest point 0302 is the area that is closest.
  • FIG. 3B shows right-eye image data 0303.
  • the farthest point 0304 is a corresponding point of the farthest point 10 of the left-eye image data 9 when stereoscopic display is performed.
  • the nearest point 0305 is a corresponding point of the nearest point 0302 of the left-eye image data 0300 when stereoscopic display is performed.
  • the distance from the left end of the left-eye image data 9 to the farthest point 0301 is “dfL1”, and the distance to the nearest point 0302 is “dnL1”.
  • the distance from the left end of the right-eye image data 0303 to the farthest point 0304 is “dfR1”, and the distance to the left nearest point 0305 is “dnR1”.
  • the display screen size information includes information on the pixel size in the horizontal direction of the display area when displaying a stereoscopic image and the resolution in the horizontal direction.
  • the parallax is expressed as a ratio to the size in the horizontal direction of the screen, the actual size in the horizontal direction of the display area when displaying the stereoscopic image is used as the display screen size information. Note that when the parallax value is negative, it indicates that the position of the displayed area is behind the display surface, and when the parallax value is positive, the position of the displayed area is in front of the display surface. Indicates that
  • the parallax angle refers to the convergence angle when the viewer views the display surface when viewing the stereoscopic image displayed on the stereoscopic display, and the convergence angle when the stereoscopic image presented in a space away from the display surface is observed. And the absolute value of the difference.
  • FIG. 4 is a diagram for explaining the convergence angle when viewing the screen.
  • the point 0403 that is one point on the screen 0402 through the left eye 0400 and the right eye 0401
  • the point dropped from the point 0403 to the left eye 0400 is set as a point 0404, and the point 0403 is changed to the right eye 0401.
  • the lowered point is designated as point 0405.
  • a point lowered from the point 0403 so as to be orthogonal to a line segment connecting the points 0404 and 0405 is defined as a point 0406.
  • the position of the point 0406 is located at the center of the line segment connected by the points 0404 and 0405.
  • a line segment connecting the points 0404 and 0405 represents the distance between both eyes, which is the distance between the left eye and the right eye, and the length is T.
  • a line segment connecting the points 0403 and 0406 represents the viewing distance from the viewer to the screen, and the length is L.
  • an angle formed by a line segment connecting the points 0403 and 0404 and a line segment connecting the points 0403 and 0405 is defined as a convergence angle ⁇ .
  • Equation 1 When defined as described above, a relationship such as (Equation 1) is derived from the similarity of triangles. From (Equation 1), the convergence angle ⁇ is expressed as (Equation 2).
  • FIG. 5 is a diagram for explaining a convergence angle due to parallax when a stereoscopic image is displayed in front of the screen.
  • the viewer sees a point 0507 that is one point of the left-eye image on the screen 0502 with the left eye 0500, and the right eye 0501 is one point of the right-eye image corresponding to the point 0507.
  • a point 0509 is presented as a stereoscopic image at a position in front of the screen.
  • a line segment connecting the points 0505 and 0509 represents the distance from the viewer to the position where the stereoscopic video is presented, and its value is m.
  • the interval between the points 0507 and 0508 represents parallax, and the length thereof is d1.
  • the absolute value of the difference between the vergence angle ⁇ when the viewer looks at the screen and the vergence angle ⁇ 1 when viewing the stereoscopic image with the parallax in the direction of jumping out from the screen is displayed before the screen. It is defined as a parallax angle ⁇ 1 with respect to the parallax in the direction of output.
  • the parallax angle ⁇ 1 with respect to the parallax in the direction of jumping out from the screen is expressed as (Equation 7).
  • FIG. 6 is a diagram for explaining a convergence angle due to parallax when a stereoscopic image is displayed behind the screen.
  • the viewer sees a point 0607 that is one point of the left-eye image on the screen 0602 with the left eye 0600, and the right eye 0601 is one point of the right-eye image corresponding to the point 0607.
  • a point 0609 is presented as a stereoscopic image at a position deeper than the screen.
  • a line segment connecting points 0605 and 0609 represents the distance of the stereoscopic video from the viewer, and the length thereof is (L + n). Further, the interval between the points 0607 and 0608 represents a parallax, and the length thereof is d2.
  • an angle formed by a line segment connecting the points 0603 and 0609 and a line segment connecting the points 0604 and 0609 is defined as a convergence angle ⁇ 2.
  • a relationship such as (Equation 8) is derived.
  • the convergence angle ⁇ 2 is expressed as (Equation 9).
  • a relationship such as (Equation 10) is derived from the triangular similarity. From (Equation 9) and (Equation 10), the convergence angle ⁇ 2 is expressed as (Equation 11).
  • the absolute value of the difference between the convergence angle ⁇ when the viewer looks at the screen and the stereoscopic image with the parallax in the direction of jumping out from the screen and the depth of the screen jump out from the screen is defined as a parallax angle ⁇ 2 with respect to the parallax in the direction.
  • the parallax angle ⁇ 2 with respect to the parallax in the direction of jumping out from the screen is expressed as (Equation 12).
  • the parallax angle is usually expressed as an absolute value, in the following, in order to distinguish the parallax angle with respect to the parallax in the direction of jumping out from the screen and the parallax angle with respect to the parallax in the direction of jumping out of the screen,
  • the parallax angle for the parallax in the direction of jumping out from the screen is a negative value
  • the parallax angle for the parallax in the direction of jumping out from the screen is a positive value.
  • the stereoscopic image evaluation apparatus is configured to acquire a left-eye image and a right-eye image that form a stereoscopic image, and to evaluate the visibility of the stereoscopic image based on the parallax angle distribution of the stereoscopic image.
  • FIG. 7 is a diagram illustrating an example of functional blocks of the stereoscopic image evaluation apparatus according to the present embodiment.
  • the “stereoscopic image evaluation device” 0700 includes a “stereoscopic image acquisition unit” 0701, a “parallax angle distribution acquisition unit” 0702, and an “evaluation unit” 0703.
  • the “stereoscopic image acquisition unit” has a function of acquiring a left eye image and a right eye image that form a stereoscopic image.
  • the stereoscopic image acquisition unit performs a decoding process to separate the left-eye image and the right-eye image.
  • the decoding process is executed in a viewing apparatus such as a television
  • the left-eye image and the right-eye image may be acquired as they are.
  • the stereoscopic image may be acquired from an external server or the like via a communication I / F, or may be acquired from an internal storage device, in addition to being acquired from a viewing device.
  • the “parallax angle distribution acquisition unit” has a function of acquiring the parallax angle distribution of a stereoscopic image from the acquired left-eye image and right-eye image. Note that the relationship between the parallax and the parallax angle is uniquely determined from the size of the display screen, the viewing distance, and the length of the binocular interval as shown in the above (Formula 6). It is also possible to use a parallax distribution. Hereinafter, in order to simplify the description, the description will be made using the parallax angle distribution.
  • the parallax between corresponding points of the image for the left eye and the image for the right eye is calculated. Specifically, the image for the left eye and the image for the right eye are divided into a plurality of blocks, the corresponding points of the image for the left eye and the image for the right eye are searched in block units, and the number of pixels (parallax) between the corresponding points is calculated. calculate.
  • the parallax is calculated by searching the corresponding point of the right-eye image with respect to the left-eye image, but the corresponding point of the left-eye image with respect to the right-eye image
  • the parallax may be calculated by searching for.
  • any method may be used as the corresponding point search method for calculating the parallax.
  • the parallax in units of pixels may be calculated by converting the distance on the screen when it is actually displayed, or relative to the horizontal size of the screen. You may calculate by converting into a ratio.
  • the size of the block that is a unit for dividing the left-eye image and the right-eye image is not particularly specified, and each image may be divided into blocks in pixel units, or a predetermined number of pixels (for example, (10 pixels) may be divided into blocks having vertical and horizontal lengths. It is also possible to regard the entire screen as one block.
  • each block is based on the above (Equation 6), information on the screen size when displaying the image data, and information on the distance from the viewer to the display surface. Are converted into parallax angles.
  • screen size information or the like may be stored in the internal storage device in advance, or an operation input from the user may be received via the operation input device.
  • the “evaluation unit” has a function of evaluating the visibility of a stereoscopic image based on the acquired parallax angle distribution. That is, not only the information on the value of the parallax angle but also information on the position on the screen where the value of the parallax angle occurs is considered, and an evaluation indicating the visibility of the stereoscopic image is output.
  • a configuration may be adopted in which a parallax angle difference between adjacent image blocks in a stereoscopic image is calculated from the acquired parallax angle distribution and the visibility of the stereoscopic image is evaluated using the parallax angle difference. It is done. Specifically, it is conceivable to output the evaluation value for each item based on a table in which the magnitude of each parallax angle difference is associated with the evaluation value for each item (detailed in the second embodiment).
  • the parallax angle difference peak value that is the maximum value and / or the minimum value of the parallax angle difference between adjacent image blocks in the stereoscopic image is calculated from the acquired parallax angle distribution, and the parallax angle difference peak value is calculated. It is also possible to use a configuration for evaluating the ease of viewing a stereoscopic image. Specifically, the maximum value and / or the minimum value of the parallax angle difference between image blocks adjacent to each other in the stereoscopic image is calculated, and a table in which the peak value of the parallax angle difference and the evaluation value for each item are associated with each other is calculated. Based on this, the evaluation value for each item is output (detailed in the third embodiment).
  • an end parallax angle that is a parallax angle of an image block at the inner end of the stereoscopic image is acquired from the acquired parallax angle distribution, and the ease of viewing the stereoscopic image is evaluated using the end parallax angle.
  • the evaluation result of the visibility of the stereoscopic image is obtained by weighting the evaluation more weight as the image block has a higher image quality in the acquired stereoscopic image (in Embodiment 5). Details).
  • motion prediction is used to obtain corresponding blocks between frames having different times, and a parallax angle time difference peak value that is the maximum value of the parallax angle difference in the time direction between the corresponding blocks is calculated. It is also possible to employ a configuration in which the visibility of a stereoscopic image is evaluated using the value. Specifically, the item-specific evaluation value is output based on a table in which the parallax angle time difference peak value and the item-specific evaluation value are associated with each other.
  • a final evaluation value is calculated based on the evaluation value for each item obtained by the above processing. For example, each item evaluation value is given a predetermined weight as shown in the following (Equation 13), and the final evaluation value is calculated by taking the sum.
  • E i represents an evaluation value for each item
  • W i represents a weighting value. Note that each item evaluation value may be normalized so that the maximum value is 100 and the minimum value is 0.
  • the final evaluation value may be displayed via a display device, stored in an internal storage device, or transmitted to another device via a communication device.
  • a display device stored in an internal storage device
  • a communication device may display information representing safety and comfort related to fatigue of the viewer's eyes when viewing a three-dimensionally displayed image.
  • information representing safety and comfort related to fatigue of the viewer's eyes when viewing a three-dimensionally displayed image is calculated in real time, and the 3D currently displayed via a display device or a communication device is displayed. By notifying the viewer of the safety and comfort of the video, it becomes possible to always perform safe and comfortable viewing.
  • the two viewpoints of the image data for the right eye and the image for the left eye have been described as the stereoscopic image data to be handled by the stereoscopic image evaluation apparatus 1 of the present invention.
  • the viewpoint image data may be used.
  • the final evaluation value can be calculated in the same manner thereafter.
  • an average of all final evaluation values may be used as a final evaluation value.
  • the median value may be changed to the final evaluation value.
  • the stereoscopic image evaluation apparatus of the present embodiment described above can be mounted on any apparatus as long as it is an apparatus that handles stereoscopic image data.
  • it can be mounted on various devices such as a general viewing device such as a television, a personal computer, a portable terminal, a portable game device, and an in-vehicle display device equipped with a car navigation function.
  • FIG. 8 is a diagram illustrating an example of a specific hardware configuration of the stereoscopic image evaluation apparatus according to the present embodiment.
  • the stereoscopic image evaluation apparatus includes “CPU” 0801, “RAM” 0802, “long-term storage device (ROM, hard disk, nonvolatile memory, etc.)” 0803, “communication I / F” 0804, “operation” I / F "0805,” Display device "0806, and the like.
  • Each hardware is connected by a system bus and can exchange signals with each other.
  • the long-term storage device holds a stereoscopic image acquisition unit, a parallax angle distribution acquisition unit, a stereoscopic image acquisition program that realizes the functions of the evaluation unit, a parallax angle distribution acquisition program, an evaluation program, and the like.
  • the data is read and the processing is executed by the CPU.
  • the communication I / F realizes the function of the stereoscopic image acquisition unit, and receives data input of a stereoscopic image from an external device, and receives input of other information necessary for processing.
  • the operation I / F accepts an input of an operation from the user as necessary. For example, it is conceivable to receive information on the distance between the viewer's eyes and information on the distance from the viewer to the screen by inputting numerical values or selecting operations.
  • the display device can display a stereoscopic image or display evaluation information output by the stereoscopic image evaluation device. Note that the above configuration is not an essential configuration, and the operation I / F and the display device can be omitted.
  • FIG. 9 is a diagram showing an example of a flowchart of the operation of the stereoscopic image evaluation apparatus, and the operation will be described along this.
  • the stereoscopic image evaluation apparatus is turned on, and the process proceeds to step S0902.
  • the CPU executes a viewing information acquisition program, acquires display screen size information, viewing distance, and information on the length of the binocular interval and stores them in the RAM.
  • the viewer information may be acquired from the long-term storage device, or may be acquired via a communication I / F or an operation I / F.
  • step S0903 the CPU executes a stereoscopic image acquisition program to acquire stereoscopic image data, separates it into left-eye image data and right-eye image data, and stores them in the RAM.
  • the acquisition of the stereoscopic image data may be acquired from a long-term storage device or may be acquired via a communication I / F.
  • step S0904 the CPU executes a parallax calculation process in the parallax angle distribution acquisition program, divides the input left-eye image data and right-eye image data into predetermined blocks, and the left-eye image. Stereo matching between each block in the data and each block in the right-eye image data is performed, and a parallax between corresponding blocks is calculated. It is conceivable that the parallax calculation is mainly performed for all blocks, but may be performed only for some blocks.
  • step S0905 the CPU executes conversion processing in the parallax angle distribution acquisition program, and uses the viewer information (parallax distance, binocular interval length, etc.) and the parallax obtained in step S0904.
  • the distribution is converted into a parallax angle distribution. Note that the conversion process is not necessarily performed, and the following process can be performed based on the parallax distribution.
  • step S0906 the CPU executes an item-by-item evaluation value calculation process in the evaluation program, and calculates one or a plurality of item-by-item evaluation values indicating the visibility of the stereoscopic image based on the parallax angle distribution data.
  • step S0907 the CPU executes a final evaluation value calculation process in the evaluation program, and performs predetermined weighting on the item-specific evaluation values calculated in step S0906 as shown in (Equation 13). A final evaluation value is calculated.
  • step S0907 the CPU executes an evaluation value output program, outputs information of the calculated final evaluation value, and ends the process.
  • the information of the final evaluation value may be displayed and output via a display device, stored in a long-term storage device, or transmitted to another device via a communication device.
  • the present invention having the above-described configuration takes into account not only the parallax angle value but also the distribution of the parallax angle value, so that it is possible to output more appropriate evaluation results regarding the safety and comfort of stereoscopic images. It becomes possible.
  • the stereoscopic image evaluation apparatus calculates a parallax angle difference between adjacent image blocks in the stereoscopic image from the parallax angle distribution, and evaluates the visibility of the stereoscopic image using the parallax angle difference. It has a configuration.
  • FIG. 10 shows an example of an image in a case where a block including the subject located closest to the front and a block including the subject located farthest are in positions separated from each other.
  • the background image 1001, the eyelid 1002, the eyelid 1003, and the ground 1004 are present in the left eye image 1000.
  • the left eye image 1005 includes a background region 1006 and a ground surface 1007. Also in this case, the lower region of the left-eye image 1005 is presented in the foreground, and the background region 1006 is presented at the farthest.
  • FIG. 11 is a diagram showing an example of the parallax angle of blocks adjacent in the horizontal direction.
  • FIG. 11A for example, in the left-eye image 1100, there is a subject 1101 positioned in the foreground and a subject 1102 positioned in the back, and a block 1103 includes a part of the subject 1101, and a block 1103 A part of the subject 1102 is included in the block 1104 adjacent to.
  • the block 1103 is at a position “dnL2” from the left end of the screen
  • the block 1104 is at a position “dfL2” from the left end of the screen.
  • the block 1106 corresponding to the block 1103 is at the position “dnR2” from the left end of the screen, and the block 1107 corresponding to the block 1104 is at the position “dfR2” from the left end of the screen. is there.
  • the parallax of the block 1103 is represented by “dnL2-dnR2”
  • the parallax of the block 1104 is represented by “dfL2-dfR2”.
  • the difference between the parallax angle of the block 1103 and the parallax angle of the block 1104 can be obtained by converting the parallax of each block into a parallax angle and then calculating the difference.
  • the subject that jumps out from the screen and the subject that is presented at the back of the screen are adjacent in the horizontal direction, one eye can see the back subject, but the other eye The part may become invisible due to the subject in front (disappearance of corresponding points). As a result, a phenomenon called binocular rivalry occurs, making it difficult to view as a stereoscopic image. Also, depending on the size of the area that cannot be seen, the subject may appear double and stereoscopic viewing may not be possible.
  • FIG. 12 is a diagram showing an example of the parallax angle of blocks adjacent in the vertical direction.
  • the subject 1201 located closest to the left eye image 1200 and the background region 1202 located farthest are adjacent in the vertical direction.
  • the subject 1201 is presented in the jump-out direction
  • the background region 1202 is presented in the depth direction
  • a parallax angle difference occurs near the boundary between the subject 1201 and the background region 1202. If the parallax angle difference is large, the depth of field, which is the eye adjustment range, is exceeded as in the horizontal direction, which makes it very difficult to see.
  • the present inventors have arrived at the idea of the configuration of the stereoscopic image evaluation apparatus of the present embodiment.
  • the configuration of the stereoscopic image evaluation apparatus of the present embodiment will be described.
  • FIG. 13 is a diagram illustrating an example of functional blocks of the stereoscopic image evaluation apparatus according to the present embodiment.
  • the “stereoscopic image evaluation apparatus” 1300 includes a “stereoscopic image acquisition unit” 1301, a “parallax angle distribution acquisition unit” 1302, an “evaluation unit” 1303, and a “parallax angle difference calculation unit” 1304.
  • the “evaluation unit” includes “parallax angle difference evaluation means” 1305.
  • the “parallax angle difference calculation unit” and the “parallax angle difference evaluation unit” will be described.
  • the “parallax angle difference calculation unit” has a function of calculating a parallax angle difference between image blocks adjacent to each other in the stereoscopic image from the acquired parallax angle distribution.
  • the image blocks being in the vicinity of each other in the stereoscopic image means that the image blocks are adjacent to each other or within a predetermined range in either the left-eye image or the right-eye image.
  • the case where the image blocks are located in an oblique direction is also included.
  • the “parallax angle difference evaluation means” has a function of evaluating the ease of viewing a stereoscopic image using the parallax angle difference. Specifically, it is conceivable to output the evaluation value for each item based on a table in which the magnitude of each parallax angle difference is associated with the evaluation value for each item.
  • the parallax angle difference is the difference between the parallax angle of the subject located closest to the subject and the parallax angle of the subject located farthest, but as described above, the relative positional relationship between the parallax angles is considered. By doing so, it is possible to evaluate the visibility and safety of the stereoscopic image more accurately and appropriately while taking into consideration the gaze range of the eyes. In particular, since a difference in parallax angles close to each other in the horizontal direction can be reflected in the final evaluation value, a more accurate stereoscopic image can be evaluated in consideration of occlusion.
  • the specific hardware configuration of the stereoscopic image evaluation apparatus according to the present embodiment is the same as that described with reference to FIG. Note that the stereoscopic image evaluation apparatus of the present embodiment is characterized in that the long-term storage device holds a parallax angle difference calculation program that realizes the function of the parallax angle difference calculation unit.
  • FIG. 14 is a diagram showing an example of a flowchart for the operation of the stereoscopic image evaluation apparatus.
  • description of items described in the first embodiment will be omitted.
  • step S1405 the CPU executes the parallax angle difference calculation program, and the parallax angle of each block of the left-eye image is within a predetermined number of blocks (for example, two blocks) in the horizontal direction or the vertical direction. A difference (parallax angle difference) between the block and the parallax angle is calculated.
  • step S1406 the CPU executes a parallax angle difference evaluation process in the evaluation program, and the number of blocks whose absolute value of the parallax angle difference with a neighboring block is less than a predetermined threshold is equal to or greater than a predetermined threshold.
  • the ratio of the numbers is calculated, and the value of the ratio is calculated as the evaluation value for each item. Note that it is possible to calculate the sum of absolute values of all the parallax angle differences, and to calculate the sum as an evaluation value for each item. It is also possible to calculate the maximum value or the minimum value as the evaluation value for each item.
  • the parallax angle difference is calculated between the blocks within the predetermined range in the horizontal direction or the vertical direction, but the parallax angle difference is calculated between the blocks within the predetermined range in the oblique direction. You may use for calculation of an evaluation value. In addition, a configuration in which only a parallax angle difference between adjacent blocks is calculated as between blocks within a predetermined range is also possible.
  • the stereoscopic image evaluation apparatus can reflect the difference between neighboring parallax angles in the final evaluation value, and thus can more accurately evaluate the stereoscopic image.
  • the stereoscopic image evaluation apparatus of this embodiment is basically the same as that of Embodiments 1 and 2, but the maximum value of the parallax angle difference between image blocks adjacent to each other in the stereoscopic image from the parallax angle distribution or / and A parallax angle difference peak value, which is a minimum value, is calculated, and the visibility of a stereoscopic image is evaluated using the parallax angle difference peak value.
  • FIG. 15 is a diagram illustrating an example of functional blocks of the stereoscopic image evaluation apparatus according to the present embodiment.
  • “stereoscopic image evaluation apparatus” 1500 includes “stereoscopic image acquisition unit” 1501, “parallax angle distribution acquisition unit” 1502, “evaluation unit” 1503, and “parallax angle difference peak value calculation unit”. 1504, and the “evaluation unit” has “parallax angle difference peak value evaluation means” 1505.
  • the “parallax angle difference peak value calculation unit” and the “parallax angle difference peak value evaluation unit” will be described.
  • the “parallax angle difference peak value calculation unit” calculates the parallax angle difference peak value that is the maximum value and / or the minimum value of the parallax angle difference between adjacent image blocks in the stereoscopic image from the acquired parallax angle distribution. It has the function to do.
  • the “parallax angle difference peak value evaluation means” has a function of evaluating the visibility of a stereoscopic image using the parallax angle difference peak value. Specifically, the maximum value and / or the minimum value of the parallax angle difference between image blocks adjacent to each other in the stereoscopic image is calculated, and a table in which the peak value of the parallax angle difference and the evaluation value for each item are associated with each other is calculated. Output the evaluation value for each item based on
  • FIG. 16 is a diagram illustrating an example of a table in which the peak value (absolute value) of the parallax angle difference and the evaluation value for each item are associated with each other.
  • FIG. 16A shows an example of item-specific evaluation values for the peak value (absolute value) of the parallax angle difference between blocks adjacent in the horizontal direction.
  • FIG. 16B shows an example of item-specific evaluation values for the peak value H (absolute value) of the parallax angle difference between blocks adjacent in the vertical direction.
  • the parallax angle difference peak value evaluating means refers to the table shown in FIG.
  • FIG. 16A calculates an item-specific evaluation value for the horizontal parallax angle difference peak value V (absolute value), and Referring to the table shown in FIG. 16B, the evaluation value for each item with respect to the peak value (absolute value) of the vertical parallax angle difference is calculated. Note that FIG. 16 shows a case where the stereoscopic image is harder to see as the evaluation value for each item is higher, but the reverse is also possible (the same applies hereinafter).
  • the long-term storage device stores the parallax angle difference peak value calculation program that realizes the function of the parallax angle difference peak value calculation unit, the maximum value of the parallax angle difference, and the evaluation value for each item.
  • An associated table and a table associating the minimum value of the parallax angle difference and the evaluation value for each item are held.
  • FIG. 17 is a diagram illustrating an example of a flowchart for the operation of the stereoscopic image evaluation apparatus according to the present embodiment. Hereinafter, processing that is different from the first and second embodiments will be described.
  • step S1705 the CPU executes the parallax angle difference peak value calculation program, and the parallax angle of each block of the left-eye image is within a predetermined number of blocks (for example, two blocks) in the horizontal direction or the vertical direction.
  • the difference (parallax angle difference) with the parallax angle of all other blocks is calculated, and the maximum value and the minimum value of the parallax angle difference are acquired in the horizontal direction and the vertical direction.
  • the maximum value and the minimum value of the parallax angle difference held in the buffer are updated as needed while calculating each parallax angle difference. After calculating all the parallax angle differences, it is also possible to compare the multiple parallax angle differences held in the buffer and obtain the maximum and minimum parallax angle values. is there.
  • step S1706 the CPU executes the parallax angle difference peak value evaluation process in the evaluation program, associates the maximum parallax angle difference value with the item-specific evaluation value, the minimum parallax angle difference value, and the item-specific evaluation value.
  • the item-specific evaluation values corresponding to the maximum value and the minimum value of the parallax angle difference are acquired on the basis of the table associated with.
  • the maximum and minimum values of the parallax angle difference are acquired without dividing the horizontal direction and the vertical direction, but the maximum value and minimum value are acquired for each direction, and the evaluation value for each item corresponding to each is calculated. May be.
  • the parallax angle difference is calculated between the blocks within the predetermined range in the horizontal direction or the vertical direction, but the parallax angle difference is calculated between the blocks within the predetermined range in the oblique direction, and the evaluation value for each item is calculated. You may use for calculation. In addition, a configuration in which only a parallax angle difference between adjacent blocks is calculated as between blocks within a predetermined range is also possible.
  • the stereoscopic image evaluation apparatus can reflect the peak value of the difference between neighboring parallax angles in the final evaluation value, so that the stereoscopic image can be evaluated more accurately.
  • the stereoscopic image evaluation apparatus of the present embodiment is basically the same as that of Embodiments 1 to 3, but acquires an end parallax angle that is a parallax angle of an image block at the inner end of the stereoscopic image from the parallax angle distribution, and The ease of viewing a stereoscopic image is evaluated using the end parallax angle.
  • FIG. 18 is a diagram illustrating an example of functional blocks of the stereoscopic image evaluation apparatus according to the present embodiment.
  • the “stereoscopic image evaluation apparatus” 1800 includes a “stereoscopic image acquisition unit” 1801, a “parallax angle distribution acquisition unit” 1802, an “evaluation unit” 1803, and an “end parallax angle acquisition unit”.
  • the “evaluation unit” includes “end parallax angle evaluation unit” 1805.
  • the “end part parallax angle obtaining unit” and the “end part parallax angle evaluation unit” will be described.
  • the “end parallax angle obtaining unit” has a function of obtaining an end parallax angle that is a parallax angle of the image block at the inner end of the stereoscopic image from the obtained parallax angle distribution.
  • the inner end of the stereoscopic image refers to the left and right ends and the upper and lower ends of the frame of the stereoscopic image.
  • FIG. 19 shows an example of a three-dimensional image in the case where the protruding subject is positioned at the left and right ends of the screen.
  • a subject 1901 positioned in the pop-out direction on the right side of the left-eye image 1900 has a pop-up direction corresponding to the subject 1901 on the right side of the right-eye image 1902 in FIG. If there are subjects 1903 located at, respectively, a region 1904 where the subject is on the right end of the image is a region on the left and right ends of the frame.
  • FIG. 20 shows an example of a three-dimensional image in the case where the projected subject is positioned at the upper and lower ends of the screen.
  • the subject 2001 positioned in the pop-out direction in the region 2002 applied to the lower end of the left eye image 2000 is displayed in the region 2005 applied to the upper end of the right eye image 2003 in FIG.
  • the regions 2002 and 2005 covering the upper and lower ends of the subject image are the upper and lower end regions of the frame.
  • the “end parallax angle evaluation means” has a function of evaluating the visibility of a stereoscopic image using the end parallax angle. For example, it is conceivable to evaluate the visibility of a stereoscopic image according to the value of the end parallax angle. Specifically, the value of the parallax angle at the end in the stereoscopic image is acquired, and the evaluation criterion value for each item is calculated based on a table in which the value of the end parallax angle is associated with the evaluation criterion value for each item. .
  • FIG. 21 is a diagram illustrating an example of a table in which end parallax angle values in a stereoscopic image are associated with item-specific evaluation reference values. It is assumed that the sum of the evaluation criteria for each item is the evaluation value for each item.
  • FIG. 21A shows an example of the item-specific evaluation reference value for the parallax angle value RL of the left and right end blocks of the frame.
  • FIG. 21B shows an example of item-specific evaluation reference values for the parallax angle values TB of the blocks at the upper and lower ends of the frame.
  • the end parallax angle evaluation means obtains item-specific evaluation reference values for all the blocks located at the left and right ends of the frame by referring to the table, and sums the reference values. The obtained value is used as the evaluation value for each item.
  • the end parallax angle evaluation means acquires item-specific evaluation reference values for all the blocks located at the upper and lower ends of the frame by referring to the table, and the reference value The sum of the values is used as the evaluation value for each item.
  • the end parallax angle evaluating means can also evaluate the visibility of the stereoscopic image according to the ratio of the image block image at the inner end of the stereoscopic image being formed in front of the display screen. Specifically, a table in which the ratio at which the image of the image block at the end is formed in front of the display screen is calculated using the parallax angle at the end in the stereoscopic image, and the ratio and the evaluation value for each item are associated with each other The evaluation value for each item is output based on.
  • the specific hardware configuration of the stereoscopic image evaluation apparatus according to the present embodiment is the same as that described with reference to FIG. However, in the stereoscopic image evaluation apparatus according to the present embodiment, the end parallax angle acquisition program for realizing the function of the end parallax angle acquisition unit and the image block image at the inner end of the stereoscopic image are displayed on the long-term storage device from the display screen. A table in which the ratio of image formation in front and the evaluation value for each item is associated is held.
  • FIG. 22 is a diagram showing a specific example of the item-by-item evaluation value calculation process in the end parallax angle acquisition program and the item-by-item evaluation value step evaluation program.
  • the CPU acquires the parallax angles of the blocks at the left and right ends of the left eye image data or the right eye image data.
  • the CPU determines whether the value of the parallax angle of each block is a value in the pop-out direction for all the blocks at the left and right ends, and the image block image at the left and right ends is displayed on the display screen. The ratio of image formation closer to the front is calculated.
  • step S2203 the CPU refers to a table associating the ratio of the image block image at the left and right end portions to be formed before the display screen and the item-specific evaluation value, and obtains the corresponding item-specific evaluation value. To do.
  • step S2204 the CPU obtains the parallax angles of the blocks at the upper and lower ends of the left eye image data or the right eye image data.
  • step S2205 the CPU determines whether or not the value of the parallax angle of each block is a value in the pop-out direction for all the blocks at the upper and lower ends, and the image block image at the upper and lower ends is displayed on the display screen. The ratio of image formation closer to the front is calculated.
  • step S2206 the CPU refers to a table that associates the ratio of the image block images at the upper and lower end portions to form an image before the display screen and the evaluation value for each item, and acquires the corresponding evaluation value for each item.
  • the case where the image of the image block is formed in front of the display screen may include a case where the parallax angle is 0 (when no parallax occurs).
  • the stereoscopic image evaluation apparatus can reflect a sense of discomfort felt by the viewer due to a phenomenon specific to stereoscopic video, such as a frame pasting effect, in the evaluation of the stereoscopic image, and can perform more accurate evaluation of the stereoscopic image.
  • the stereoscopic image evaluation apparatus acquires image quality information as a planar image corresponding to the position in the image of the left-eye image and / or the right-eye image, and further uses the information to generate a stereoscopic image. It is characterized by evaluating visibility.
  • FIG. 23 is a diagram illustrating an example of functional blocks of the stereoscopic image evaluation apparatus according to the present embodiment.
  • the “stereoscopic image evaluation apparatus” 2300 includes a “stereoscopic image acquisition unit” 2301, a “parallax angle distribution acquisition unit” 2302, an “evaluation unit” 2303, and an “image quality acquisition unit” 2304.
  • the “evaluation unit” has “image quality evaluation means” 2305.
  • the “image quality acquisition unit” has a function of acquiring image quality information as a planar image corresponding to the position in the image of the left-eye image or right-eye image to be acquired.
  • the image quality acquisition unit acquires, for example, sharpness information corresponding to the position in the image of the left-eye image or right-eye image to be acquired.
  • the sharpness is an index indicating the so-called degree of focus. It can be said that the higher the sharpness is, the more the image is focused, and the lower the sharpness is, the more the image is blurred.
  • the information on the sharpness according to the position in the image can be obtained from a digital camera having a function such as autofocus, for example. Since the in-focus position information is described as metadata in the EXIF image data captured by the digital camera, the information is acquired. Note that it is possible to extract sharpness information corresponding to the position in the image of the left-eye image or right-eye image by the internal processing of the stereoscopic image evaluation apparatus, and the user can focus on it via the operation input device. An operation input designating a region that is present and a region that is not may be accepted.
  • the “image quality evaluation means” has a function of further evaluating the visibility of the stereoscopic image by further using the image quality information as the planar image. For example, it is conceivable that the image quality evaluation means obtains an evaluation result by giving a higher weight to the evaluation as the image block having a higher image quality as the planar image, for the evaluation result of the visibility of the stereoscopic image.
  • FIG. 24 is a diagram illustrating an example of an image with a blurred background area.
  • the background area other than the foreground subject 2401 in the left-eye image data 2400 is blurred.
  • the viewer gazes at a non-blurred area (focused area) so the parallax angle of the block in the area is used to evaluate the visibility and safety of the stereoscopic image. It becomes more important than the parallax angle of other blocks.
  • the specific hardware configuration of the stereoscopic image evaluation apparatus according to the present embodiment is the same as that described with reference to FIG.
  • the long-term storage device of the stereoscopic image evaluation apparatus of the present embodiment holds an image quality acquisition program that implements the function of the image quality acquisition unit and a table that associates the parallax angle at the in-focus position with the evaluation value for each item. It is characterized by being.
  • FIG. 25 is a diagram showing a specific example of the item-by-item evaluation value calculation process in the image quality acquisition program and the item-by-item evaluation value step evaluation program.
  • the CPU acquires information on a focal point area in an image of a left eye image (or a right eye image, the same applies hereinafter).
  • the information may be acquired via a communication I / F or an operation I / F, or may be acquired from a long-term storage device.
  • the CPU acquires the value of the parallax angle of the in-focus area in the image of the left eye image based on the in-focus area information.
  • step S2503 the CPU acquires an item-specific evaluation value corresponding to the parallax angle value of the in-focus area based on a table in which the parallax angle value of the block of the in-focus area is associated with the item-specific evaluation value.
  • the average value of the parallax angle values of each block may be used, the parallax angle value having the largest absolute value may be used, You may utilize the division of the parallax angle with high frequency.
  • the stereoscopic image evaluation apparatus can output a more accurate evaluation of a stereoscopic image by further using information such as a focused area that is likely to be watched by the viewer.
  • the stereoscopic image evaluation apparatus of the present embodiment is basically the same as the stereoscopic image evaluation apparatus described in the first to fourth embodiments, but holds an allowable value of a parallax angle that can be evaluated well, and blocks image blocks in a stereoscopic image. It is characterized in that easiness of viewing a stereoscopic image is evaluated according to a ratio satisfying an allowable value of the parallax angle.
  • FIG. 26 is a diagram illustrating an example of functional blocks of the stereoscopic image evaluation apparatus according to the present embodiment.
  • the “stereoscopic image evaluation apparatus” 2600 includes a “stereoscopic image acquisition unit” 2601, a “parallax angle distribution acquisition unit” 2602, and an “evaluation unit” 2603.
  • the “allowable value holding means” has a function of holding the allowable value of the parallax angle that can be evaluated well.
  • the allowable value of the parallax angle that can be evaluated well includes an allowable value for the parallax angle in the pop-out direction, an allowable value for the parallax angle in the depth direction, an allowable value for the parallax angle of the image block at the inner end of the stereoscopic image, Various things such as an allowable value for the parallax angle of the image block in the region can be considered.
  • the “allowable value evaluation unit” has a function of evaluating the visibility of the stereoscopic image according to the ratio of the image blocks in the stereoscopic image satisfying the allowable value of the parallax angle. Specifically, the ratio of the image block in the stereoscopic image that satisfies the allowable value of the parallax angle is calculated, and the evaluation value for each item is output based on a table that associates the ratio with the evaluation value for each item.
  • the ratio of the parallax angle value of the image block in the stereoscopic image is smaller than the first threshold (for example, the ratio of the parallax angle value in the depth direction is smaller than the allowable value), and the image block in the stereoscopic image is further calculated.
  • the ratio of the parallax angle is greater than the second threshold (for example, the ratio of the parallax angle in the pop-out direction is greater than the allowable value) It may be possible to output an evaluation value for each item.
  • the parallax angle value of the image block in the stereoscopic image that satisfies (or does not satisfy) the tolerance value is acquired, and the parallax angle value and item by item for all the image blocks that satisfy (or do not satisfy) the tolerance value. It is conceivable that an item-specific evaluation reference value is obtained by referring to a table in which evaluation reference values are associated, and a value obtained by adding all the item-specific evaluation reference values is output as an item-specific evaluation value.
  • the evaluation value for each item is calculated according to the ratio of image blocks that satisfy (or do not satisfy) the allowable value of the parallax angle in the focused area in the stereoscopic image.
  • the item-specific evaluation values are calculated according to the ratio of the object in the stereoscopic image in the region where the subject exists or the central region in the stereoscopic image.
  • the specific hardware configuration of the stereoscopic image evaluation apparatus according to the present embodiment is the same as that described with reference to FIG.
  • the long-term storage device of the stereoscopic image evaluation apparatus according to the present embodiment holds a table in which the parallax angle values of the image blocks in the stereoscopic image that satisfy (or do not satisfy) the allowable value are associated with the item-specific evaluation reference values. It is characterized by.
  • FIG. 27 is a diagram showing a specific example of the item-specific evaluation value calculation process in the item-specific evaluation value step evaluation program.
  • the CPU reads information on the allowable values (first threshold value, second threshold value) of the parallax angle, which can be evaluated well, stored in the long-term storage device, into the RAM.
  • the CPU extracts an image block whose parallax angle value is smaller than the first threshold value.
  • step S2703 for all image blocks having a parallax angle value smaller than the first threshold value, the CPU creates a table that associates the parallax angle value smaller than the first threshold value and the item-specific evaluation reference value. Refer to and obtain the evaluation standard value by item.
  • step S2704 the CPU sets a value obtained by adding all the item-specific evaluation reference values acquired in step S2703 as the item-specific evaluation value regarding the parallax angle in the depth direction.
  • step S2705 the CPU extracts an image block having a parallax angle value larger than the second threshold value.
  • step S2706 the CPU associates a parallax angle value greater than the second threshold value with an item-specific evaluation reference value for all image blocks having a parallax angle value greater than the second threshold value.
  • step S2707 the CPU sets a value obtained by adding all the item-specific evaluation reference values acquired in step S2706 as the item-specific evaluation value related to the parallax angle in the pop-out direction.
  • the stereoscopic image evaluation apparatus can reflect the proportion of image blocks in a stereoscopic image that satisfy the allowable value of the parallax angle in the final evaluation value, and thus can perform more accurate evaluation of the stereoscopic image.
  • FIG. 28 shows an example in which the stereoscopic image evaluation apparatus 2800 of the present invention is mounted on a stereoscopic television.
  • the compressed stereoscopic image data is input to the stereoscopic television 2801.
  • information on the display screen size of the television, the assumed viewing distance, and the assumed binocular interval are held by the viewing information means 2802, and the stereoscopic image evaluation apparatus 2800 inputs these information.
  • the assumed binocular distance may be 63 mm to 65 mm, which is the average for Japanese people, or 50 mm, which is a value considering children.
  • Compressed stereoscopic image data input to the stereoscopic television 2801 is decoded by the decoding unit 2803 and output as left-eye image data and right-eye image data.
  • the left-eye image data and the right-eye image data are input to the stereoscopic image evaluation device 2800 via the parallax adjustment unit 2804.
  • the stereoscopic image evaluation apparatus 2800 creates and outputs final evaluation value data from the input information such as the display screen size, viewing distance, and binocular interval, and left-eye image data and right-eye image data.
  • the left-eye image data, the right-eye image data, and the final evaluation value data are input to the image superimposing unit 2805, and the image superimposing unit 2805 generates display stereoscopic image data from the left-eye image data and the right-eye image data. Then, display stereoscopic image data in which the information of the final evaluation value is superimposed and displayed on the display stereoscopic image data is generated and output to the display unit 2806.
  • FIG. 29 is a diagram illustrating an example of display stereoscopic image data.
  • the stereoscopic image data for display 2900 includes a background portion without parallax, a foreground portion with parallax, and a region 2901 for displaying a final evaluation value.
  • the foreground portion includes a subject image 2902 displayed only to the right eye and a subject image 2903 displayed only to the left eye.
  • Display unit 2806 performs stereoscopic display using the input stereoscopic image data for display.
  • the parallax adjustment unit 2804 is a unit that performs parallax adjustment automatically or manually. At this time, when the parallax adjustment is automatically performed, the parallax adjustment may be performed so that the final evaluation value calculated by the stereoscopic image evaluation apparatus 2800 is small. Further, when the parallax adjustment is performed manually, the final evaluation value calculated by the stereoscopic image evaluation apparatus 2800 is displayed on the screen, and the parallax adjustment is performed so that the value becomes smaller while the viewer looks at the final evaluation value. It doesn't matter.
  • FIG. 30 is a diagram illustrating an example of display stereoscopic image data.
  • the direction to be shifted is clearly indicated by an arrow 3002 above the area 3001 for displaying the final evaluation value.
  • the direction of the arrow may be displayed in accordance with the position of a button such as a remote controller for performing a parallax shifting operation.
  • the viewer can intuitively determine the evaluation value of the currently displayed stereoscopic image. It becomes possible to grasp. In addition, the viewer can easily adjust the parallax.
  • the presented stereoscopic video is a stereoscopic video that pops out or is presented in the back of the screen, or a flying image. It may be determined whether the stereoscopic image is presented in both the outgoing direction and the depth direction, and the color of the final evaluation value to be displayed may be changed according to the determination result. For example, when all 3D images are presented in a pop-up, the final evaluation value is displayed in red.If all 3D images are presented at the back of the screen, they are displayed in blue. Display in black.
  • a sign may be added to the final evaluation value in accordance with the determination result. For example, when all 3D images are presented and displayed, the final evaluation value is displayed with a plus sign, and when all the images are presented at the back of the screen, the final evaluation value is displayed with a minus sign and displayed in the projecting direction. If it is also presented in the depth direction, the evaluation value is displayed without a sign.
  • an additional message may be displayed near the final evaluation value. For example, when all 3D images are presented in a pop-up manner, “jump-out video” is displayed near the final evaluation value. When all three-dimensional images are presented at the back of the screen, “depth image” is displayed near the final evaluation value. If it is presented in both the pop-up direction and the depth direction, no additional message is displayed.
  • the parallax distribution may be converted from the viewing distance and the binocular interval into a depth map that is a distance from the viewer to the position where the stereoscopic video is presented in three dimensions.
  • the generated depth map may be displayed in a graph with the occurrence frequency on the vertical axis and the depth on the horizontal axis. At this time, it may be displayed by marking the corresponding point so that the point on the horizontal axis of the graph corresponds to the point on the screen.
  • the minimum value of the parallax angle in the depth direction, the maximum value of the parallax angle in the pop-out direction, the parallax angle of the focused area (focused area), and the allowable values of the parallax angle (first threshold, second threshold, etc. ) May be converted to depth and displayed on the graph with a mark.
  • the present invention is not limited to a stereoscopic image data display device such as the stereoscopic television described above, but also a stereoscopic digital camera, a stereoscopic digital movie, a stereoscopic digital video recorder, a stereoscopic portable movie player, a stereoscopic mobile phone, and a stereoscopic car navigation.
  • the present invention can be widely applied to devices capable of outputting or displaying stereoscopic video signals such as systems, stereoscopic portable DVD players, stereoscopic PCs, and the like, and final evaluation values can be calculated and displayed for image data handled there.
  • image quality evaluation means 2604 ... tolerance value holding means, 2605 ... tolerance value evaluation means, 2800 ... stereoscopic image evaluation apparatus, 2801 ... stereoscopic television, 2802 ... disparity information means, 2803 ... decoding means, 2804 ... disparity adjustment means, 2805 ... image superimposing means, 806 ... display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

【課題】従来の方式では、最前面と最背面の視差の値の単純な差分や、その時間的な累積値のみで立体映像の安全性や快適性を判定しているため、現実的に快適に視聴できるにもかかわらず、快適でないという誤った評価結果が出力される場合があった。 【解決手段】本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得し、立体画像の視差角分布を取得し、当該視差角分布に基づいて立体画像の見やすさを評価する構成を有するものである。当該構成を有することによって、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。

Description

立体画像評価装置
　本発明は、立体画像の見やすさを評価する立体画像評価装置に関する。
　従来、３次元画像を表示するための様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。この方式は、両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ左眼用画像、右眼用画像という）を用意し、それぞれ独立に左右の目に投影することにより立体視を行うことができる。
　非特許文献１においては、両眼視差を用いた３次元画像（以下、３Ｄ画像という）を作成するための３ＤＣ安全ガイドラインが記載されている。両眼視差を用いた３Ｄ画像では、立体の飛び出し感、奥行き感は視差の調整で制御できるが、瞳孔間間隔の狭い人や子供は立体感を強く感じやすい。また、３Ｄ画像をディスプレイ面の後方に表示する場合、ディスプレイ上で両眼瞳孔間間隔を超える視差があると、眼精疲労や、斜位や斜視などの症状を引き起こす可能性があり、このような大きな視差をつけることは可能な限り避ける必要がある。
　３ＤＣ安全ガイドラインでは、安全を考慮して、６歳児の瞳孔間間隔（５ｃｍ程度）を子供の代表値としている。また、３ＤＣ安全ガイドラインにおいては、３Ｄ画像を快適に視聴するための条件として、１画面内の奥行範囲を視差角で１度以内とし、時間的・空間的な視差角の変化を１度以内とする必要があることが述べられている。また、安全に視聴する条件として、立体視の融合限界を２度程度とする必要があることが述べられている。
　ここで、２眼式の代表的な方式としてフレームシーケンシャル方式や視差バリア方式等が提案されている。以下、各方式についてその概念図を用いて詳述する。図１は、フレームシーケンシャル方式を説明するための概念図である。フレームシーケンシャル方式のシステムは、高速に画像フレームを切り替えて表示するディスプレイと、ディスプレイの表示に同期して左右のレンズを交互に開閉するアクティブ・シャッターメガネとから構成される。図１の例においては、左眼用画像０１００と右眼用画像０１０１が短い時間間隔で交互にディスプレイに表示される。そのタイミングに合わせて、アクティブ・シャッターメガネ０１０２は、左眼用画像０１００がディスプレイに表示される際には、左眼用のレンズシャッター０１０３が光を透過するように制御し、右眼用のレンズシャッター０１０４が光を遮断するように制御する。逆に、右眼用画像０１０１がディスプレイに表示される際には、右眼用のレンズシャッター０１０４が光を透過するように制御し、左眼用のレンズシャッター０１０３が光を遮断するように制御する。このように、左右それぞれの目に合わせた映像を時分割で表示することにより、視聴者は立体映像を観察することができる。
　また、図２は、視差バリア方式を説明するための概念図である。図２（ａ）は、視差が生じる原理を示す図である。一方、図２（ｂ）は、パララクスバリア方式で表示される画面の例を示す図である。図２（ｂ）においては、左眼用画像と右眼用画像とが水平方向において１画素おきに交互に並んだ配置構成の画像が示されている。また、図２（ａ）においては、図２（ｂ）の画像を画像表示パネル０２００に表示する構成が示されている。図２（ａ）の構成においては、同一視点の画素の間隔よりも狭い間隔のスリットを持つパララクスバリア０２０１を画像表示パネル０２００の前面（視点側）に設置する。このようにすることにより、左眼用画像は左眼０２０２のみで観察し、右眼用画像は右眼０２０３のみで観察することができ、立体視することが可能となる。
　なお、特許文献１には、オプティカルフローを求める画像処理を用いて、同時刻に表示される左眼用画像と右眼用画像との対応点間の視差量を求め、最前面に立体表示される被写体の視差や、最背面に立体表示される被写体の視差、最前面と最背面の視差の差や、それらの時系列の変化や、累積値などを抽出し、時間的な視差の累積値から、立体映像の安全性に関する限界値として定めたしきい値を比較し、立体映像の安全性を判断し、視差の差から立体映像の快適性に関する限界値として定めたしきい値を比較し、立体映像の快適性を判断する立体映像評価装置や立体映像チューナが開示されている。
　また、特許文献２には、立体映像から所定値以上の値を持つ視差角の変化量と、視差角の変化に要する変化時間と、視差角が変化した変化回数とを把握し、変化量、変化時間及び変化回数に基づき目の疲労度に相当する評価値を算出して、評価値が所定の範囲となるように、視差調整を行った立体映像を作成し、エンコードして記録媒体に記録する立体映像記録方法が開示されている。
特許第４４６９１５９号公報 特開２００９－１３５６８６号公報
"３ＤＣ安全ガイドライン"、［online］、平成２２年４月２０日、３Ｄコンソーシアム安全ガイドライン部会、［平成２２年９月１５日検索］、インターネット〈URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf〉
　一方、立体映像には特有の現象として、「枠張り付き効果」や、「ぼけによる快適な視差角のしきい値の変化」という現象が知られている。「枠張り付き効果」とは、ディスプレイ面より手前に表示される被写体がディスプレイの上下左右のフレームにかかるような場合、被写体がフレームより手前の位置に見えなければならないのが、被写体がフレームに張り付いて見えてしまう現象である。また、「ぼけによる快適な視差角のしきい値の変化」とは、画像にボケがある場合とそうでない場合とで被写界深度（ピントが合う範囲）が異なり、輻輳と調節の一致する視差角の範囲が変化するという現象である。
　特許文献１の方式では、最前面と最背面の視差の値を求め、それらの差や時間的な累積値のみで立体映像の安全性や快適性を判定している。このため、上記の枠張り付き効果により視聴者が感じる違和感については考慮されていないという問題がある。また、特許文献１の方式では、快適性の判断の際に最前面と最背面の画面上の位置を考慮していないため、最前面の領域と最背面の領域が画面上にて隣接しない場合（例えば、最背面が空であり、最前面の地面である場合）には妥当でない判断が出される可能性がある。つまり、最前面と最背面の画面上の位置が離れているような場合には快適に視聴できるにもかかわらず、快適でないと誤って判断される可能性があった。
　また、視聴者はピントの合った領域を注視する可能性が高いが、上記特許文献１の方式では画面全体の視差の時間的な累積値のみから立体映像の安全性を判定しているため、ボケのある領域を含むような立体画像を見る場合には適さないという問題がある。また、上記特許文献２の方式においても、枠張り付き効果やボケによる被写界深度の変化が考慮されておらず、目の疲労度に相当する評価が実際とは異なる場合があった。
　本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データの特徴量から、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報を算出し、立体映像の安全性や快適性を視聴者にわかりやすく示すことによって、安全で快適な視聴を行うことを可能にすることにある。
　以上の課題を解決するために、本発明は、立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、取得した視差角分布に基づいて立体画像の見やすさを評価する評価部と、を有する立体画像評価装置を提案する。
　以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
フレームシーケンシャル方式を説明するための概念図 視差バリア方式を説明するための概念図 立体画像の視差を説明する図 画面を見た場合の輻輳角について説明する図 立体映像が画面より手前に表示される場合の視差による輻輳角を説明する図 立体映像が画面より奥に表示される場合の視差による輻輳角を説明する図 実施形態１の立体画像評価装置の機能ブロック図 実施形態１の立体画像評価装置のハードウェア構成の一例を示す図 実施形態１の立体画像評価装置の動作についてのフローチャート図 最も手前に位置する被写体の視差角をもつブロックと最も奥に位置する被写体の視差角をもつブロックが、離れた位置にある場合の画像例について説明するための図 水平方向に隣接するブロックの視差角の例を示す図 垂直方向に隣接するブロックの視差角の例を示す図 実施形態２の立体画像評価装置の機能ブロック図 実施形態２の立体画像評価装置の動作についてのフローチャート図 実施形態３の立体画像評価装置の機能ブロック図 実施形態３の項目別評価値を算出するためのテーブルの一例を示す図 実施形態３の立体画像評価装置の動作についてのフローチャート図 実施形態４の立体画像評価装置の機能ブロック図 飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す図 飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す図 実施形態４の項目別評価値を算出するためのテーブルの一例を示す図 実施形態４の立体画像評価装置の動作についてのフローチャート図 実施形態５の立体画像評価装置の機能ブロック図 背景領域がぼけている画像の一例を示す図 実施形態５の立体画像評価装置の動作についてのフローチャート図 実施形態６の立体画像評価装置の機能ブロック図 実施形態６の立体画像評価装置の動作についてのフローチャート図 本発明の立体画像評価装置を立体テレビに搭載した例を示す図 表示用立体画像データの一例（１）を示す図 表示用立体画像データの一例（２）を示す図
　以下、各実施形態の立体画像評価装置の説明に入る前に、発明のポイントとなる視差と視差角について説明する。なお、以下の説明では、立体映像がディスプレイの画面より飛び出して見えることを飛び出し、立体映像がディスプレイの画面より奥に引っ込んで見えることを奥行という。
　図３は、立体画像の視差を説明する図である。図３（ａ）は左眼用画像データ０３００を示す。ここで、立体表示をした際に最も遠くに見える領域が最遠点０３０１、最も近くに見える領域が最近点０３０２としている。図３（ｂ）は右眼用画像データ０３０３を示す。ここで、最遠点０３０４は、立体表示をした際の左眼用画像データ９の最遠点１０の対応点である。また、最近点０３０５は、立体表示をした際の左眼用画像データ０３００の最近点０３０２の対応点である。このとき、左眼用画像データ９の左端から最遠点０３０１までの距離を「ｄｆＬ１」とし、最近点０３０２までの距離を「ｄｎＬ１」とする。また、右眼用画像データ０３０３の左端から、最遠点０３０４までの距離を「ｄｆＲ１」とし、左最近点０３０５までの距離を「ｄｎＲ１」とする。
　この場合、左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も遠くに見える部分の視差を最遠景視差とすると、その値は「ｄｆＬ１－ｄｆＲ１」となる。同じく左眼用画像データ０３００と右眼用画像データ０３０３を用いて立体表示をした際に、視聴者から最も近くに見える部分の視差を最近景視差とすると、その値は「ｄｎＬ１－ｄｎＲ１」となる。
　上記の最遠景視差と最近景視差は画素単位で求まるが、表示画面サイズ情報を用いて、実際に画面上で表示される際の距離情報に変換することも可能である。表示画面サイズ情報としては、具体的には、立体画像を表示する際の表示エリアの水平方向の画素サイズと、水平方向の分解能の情報が挙げられる。また、視差を画面水平方向の大きさに対する割合で表す場合は、表示画面サイズ情報として立体画像を表示する際の表示エリアの水平方向の実際の大きさを用いる。なお、視差の値がマイナスの場合は、表示される領域の位置がディスプレイ面よりも奥にあることを示し、視差の値がプラスの場合は、表示される領域の位置がディスプレイ面よりも手前にあることを示す。
　次に、視差角について説明する。視差角とは、立体ディスプレイに表示された立体映像を視聴する際に視聴者がディスプレイ面を見るときの輻輳角と、ディスプレイ面から離れた空間に提示された立体像を観察する際の輻輳角と、の差分の絶対値である。図４は、画面を見た場合の輻輳角について説明する図である。ここで、視聴者が左眼０４００と右眼０４０１を通じて画面０４０２の１点である点０４０３を見た場合、点０４０３から左眼０４００に降ろした点を点０４０４とし、点０４０３から右眼０４０１に降ろした点を点０４０５とする。また、点０４０４と点０４０５を結んだ線分に直行するように点０４０３から降ろした点を点０４０６とする。このとき、点０４０６の位置は、点０４０４と点０４０５で結ばれた線分の中央に位置する。また、点０４０４と点０４０５を結んだ線分は左眼と右眼の間の距離である両眼間隔を表し、その長さをＴとする。また、点０４０３と点０４０６を結んだ線分は視聴者から画面までの視聴距離を表し、その長さをＬとする。また、点０４０３と点０４０４を結んだ線分と点０４０３と点０４０５を結んだ線分がなす角を、輻輳角αとする。
　以上のように定義すると、三角形の相似関係から、（数１）のような関係が導かれる。
Figure JPOXMLDOC01-appb-M000001
 　（数１）より、輻輳角αは、（数２）のように表される。
Figure JPOXMLDOC01-appb-M000002
　図５は、立体映像が画面よりも手前に表示される場合の視差による輻輳角について説明する図である。図５において、視聴者が、左眼０５００で画面０５０２にある左眼用画像の１点である点０５０７を見て、右眼０５０１で点０５０７に対応する右眼用画像の１点である点０５０８を見た場合、画面より手前の位置に点０５０９が立体像として提示される。また、点０５０５と点０５０９を結んだ線分は視聴者から立体映像が提示される位置までの距離を表し、その値をｍとする。また、点０５０７と点０５０８の間隔は視差を表し、その長さをｄ１とする。
　このとき、点０５０３と点０５０９を結んだ線分と点０５０４と点０５０９を結んだ線分がなす角を輻輳角β１とすると、三角形の相似関係から、（数３）のような関係が導かれる。
Figure JPOXMLDOC01-appb-M000003
 　（数３）より、輻輳角β１は、（数４）のように表される。
Figure JPOXMLDOC01-appb-M000004
 　また同様に、三角形の相似関係から、（数５）のような関係が導かれる。
Figure JPOXMLDOC01-appb-M000005
 　（数４）、（数５）より、輻輳角β１は、（数６）のように表される。
Figure JPOXMLDOC01-appb-M000006
 　ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β１の差分の絶対値を、画面より手前に飛出す方向の視差に対する視差角γ１と定義する。この場合、画面より手前に飛出す方向の視差に対する視差角γ１は、（数７）のように表される。
Figure JPOXMLDOC01-appb-M000007
　図６は、立体映像が画面よりも奥に表示される場合の視差による輻輳角について説明する図である。図６において、視聴者が、左眼０６００で画面０６０２にある左眼用画像の１点である点０６０７を見て、右眼０６０１で点０６０７に対応する右眼用画像の１点である点０６０８を見た場合、画面より奥の位置に点０６０９が立体像として提示される。また、点０６０５と点０６０９を結んだ線分は視聴者から立体映像の距離を表し、その長さを（Ｌ＋ｎ）とする。また、点０６０７と点０６０８の間隔は視差を表し、その長さをｄ２とする。
　このとき、点０６０３と点０６０９を結んだ線分と点０６０４と点０６０９を結んだ線分がなす角を輻輳角β２とする。三角形の相似関係から、（数８）のような関係が導かれる。
Figure JPOXMLDOC01-appb-M000008
 　（数８）より、輻輳角β２は、（数９）のように表される。
Figure JPOXMLDOC01-appb-M000009
 　また同様に、三角形の相似関係から、（数１０）のような関係が導かれる。
Figure JPOXMLDOC01-appb-M000010
 　（数９）、（数１０）より、輻輳角β２は、（数１１）のように表される。
Figure JPOXMLDOC01-appb-M000011
　ここで、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β２の差分の絶対値と画面より奥に飛出す方向の視差に対する視差角γ２と定義する。この場合、画面より奥に飛出す方向の視差に対する視差角γ２は、（数１２）のように表される。
Figure JPOXMLDOC01-appb-M000012
　なお、視差角は通常絶対値で表現されるが、以下では、画面より手前に飛出す方向の視差に対する視差角と、画面より奥に飛出す方向の視差に対する視差角とを区別するために、画面より奥に飛出す方向の視差に対する視差角はマイナスの値とし、画面より手前に飛び出す方向の視差に対する視差角をプラスの値とする。
　以下に、本発明にかかる立体画像評価装置の実施形態を説明する。実施形態と請求項の相互の関係は、以下のとおりである。実施形態１では主に請求項１について説明し、実施形態２では主に請求項２について説明し、実施形態３では主に請求項３について説明し、実施形態４では主に請求項４、５について説明し、実施形態５では主に請求項６、７、８について説明し、実施形態６では主に請求項９について説明する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、種々なる態様で実施しうる。
＜＜実施形態１＞＞
＜概要＞
　本実施形態の立体画像評価装置は、立体画像を構成する左眼用画像と右眼用画像とを取得して、立体画像の視差角分布に基づいて立体画像の見やすさを評価する評価する構成を有する。当該構成を有することにより、立体画像の安全性や快適性に関してより適切な評価を出力することが可能になる。
＜構成＞
　図７は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」０７００は、「立体画像取得部」０７０１と、「視差角分布取得部」０７０２と、「評価部」０７０３と、を有する。
　「立体画像取得部」は、立体画像を構成する左眼用画像と右眼用画像とを取得する機能を有する。ここで、立体画像取得部は、左眼用画像と右眼用画像が一体となった立体画像データを取得する場合は、デコード処理を行って左眼用画像と右眼用画像に分離する。ただし、テレビなどの視聴装置において当該デコード処理が実行されている場合は、左眼用画像と右眼用画像をそのまま取得すればよい。なお、立体画像は、視聴装置から取得する他に、通信Ｉ／Ｆを介して外部サーバ等から取得してもよいし、内部記憶装置から取得してもよい。
　「視差角分布取得部」は、取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する機能を有する。なお、視差と視差角の関係は、上記（数６）で示したように、表示画面のサイズや視聴距離、両眼間隔の長さから一意に定まるものであるため、視差角分布に代えて視差分布を用いることも可能である。以下では、説明の簡略化のために、視差角分布を用いて説明する。
　視差角を算出するために、まず左眼用画像と右眼用画像の対応点同士の視差を算出する。具体的には、左眼用画像と右眼用画像を複数のブロックに分け、ブロック単位で左眼用画像と右眼用画像の対応点検索を行い、対応点間の画素数（視差）を算出する。ここでは、視差を求める際に、左眼用画像に対して右眼用画像の対応点を検索することによって視差を算出しているが、右眼用画像に対して左眼用画像の対応点の検索をすることによって視差を算出してもよい。また、視差を算出する際の対応点検索の方法はどのような方法であってもよい。例えば、左眼用画像データと右眼用画像データに対して、画素単位でステレオマッチングを行い、画素単位で視差を算出することも可能であるし、その他の公知の方法を用いることも可能である。
　また、上記のように視差を画素単位で算出することも可能であるが、実際に表示される際の画面上の距離に変換して算出してもよいし、画面の水平方向の大きさに対する割合に変換して算出してもよい。また、左眼用画像及び右眼用画像を分割する単位となるブロックの大きさには特に規定はなく、各画像を画素単位のブロックで分割してもよいし、所定の画素数（例えば、１０画素）を縦横の長さとするブロックで分割してもよい。また、画面全体を一つのブロックとみなすことも可能である。
　次に、視差角分布（視差角マップ）を求めるために、上記（数６）と、画像データを表示する際の画面サイズの情報と視聴者からディスプレイ面までの距離の情報に基づいて各ブロックの視差を視差角に変換する。なお、画面サイズの情報などは、予め内部記憶装置に保持されていてもよいし、操作入力機器を介してユーザからの操作入力を受け付けてもよい。
　「評価部」は、取得した視差角分布に基づいて立体画像の見やすさを評価する機能を有する。つまり、視差角の値の情報だけでなく、その視差角の値が生じている画面上の位置の情報を考慮して、立体画像の見やすさを示す評価を出力する。
　例えば、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成とすることが考えられる。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる（実施形態２にて詳述する）。
　また、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態３にて詳述する）。
　また、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態４にて詳述する）。
　また、立体画像の画像内位置に応じた画像品質（例えば、鮮鋭度）の情報を取得して、立体画像の画像内位置に応じた画像品質の情報をさらに利用して立体画像の見やすさを評価する構成も可能である。具体的には、立体画像の見やすさの評価結果について、前記取得する立体画像内の画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る（実施形態５にて詳述する）。
　また、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが当該視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する構成も可能である。具体的には、立体画像内の画像ブロックの視差角が許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する（実施形態６にて詳述する）。
　また、動き予測を用いて時間の異なるフレーム間で対応するブロックを求め、対応ブロック間における時間方向の視差角差分の最大値である視差角時間差分ピーク値を算出し、当該視差角時間差分ピーク値を利用して立体画像の見やすさを評価する構成とすることも可能である。具体的には、視差角時間差分ピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
　以上のような処理によって得られた各項目別評価値に基づいて、最終的な評価値を算出する。例えば、各項目別評価値に対して、以下の（数１３）で示すように所定の重みづけを行い、総和を取ることによって最終評価値を算出する。（数１３）において、Ｅｉは各項目別評価値を表し、Ｗｉは、重みづけの値を表す。なお、各項目別評価値は、最大値が１００、最小値が０となるように正規化を行ってもよい。
Figure JPOXMLDOC01-appb-M000013
　最終評価値は、表示装置を介して表示してもよいし、内部記憶装置に保存したり、通信装置を介して他の装置に対して送信したりすることも考えられる。これらの態様については特に限定されるものではなく、種々なる態様が可能である。また、３次元表示した画像を視聴する際の視聴者の目に対する疲労に関する安全性や快適性を表現する情報をリアルタイムで算出して、表示装置や通信装置などを介して現在表示されている立体映像の安全性や快適性を視聴者に通知することによって、常に安全で快適な視聴を行うことが可能になる。
　上記では、本発明の立体画像評価装置１の取り扱う対象の立体画像データとして、右眼用画像と、左眼用画像という２視点の画像データに対してのみ、説明を行ったが、３視点以上の視点画像データであっても構わない。その際、視差を求める対象として、２視点を選択すれば、後は同じようにして、最終評価値を算出することができる。
　また、複数の２視点の画像の組み合わせで視差を求め、複数の最終評価値を算出する場合は、すべての最終評価値に対して、平均をとったものを改めて最終評価値としてもよいし、中央値を改めて最終評価値としても構わない。
　上記で説明した本実施形態の立体画像評価装置は、立体画像データを取り扱う装置であれば、どのような装置にでも搭載することが可能である。例えば、テレビなどの一般的な視聴装置やパーソナルコンピュータ、携帯端末、携帯ゲーム機器、カーナビゲーション機能を搭載した車載表示装置など種々のものに対して搭載することが可能である。
＜具体的な構成＞
　図８は、本実施形態の立体画像評価装置の具体的なハードウェア構成の一例を示す図である。この図にあるように、立体画像評価装置は、「ＣＰＵ」０８０１、「ＲＡＭ」０８０２、「長期記憶装置（ＲＯＭ、ハードディスク、不揮発性メモリ等）」０８０３、「通信Ｉ／Ｆ」０８０４、「操作Ｉ／Ｆ」０８０５、「表示装置」０８０６、等から構成される。各ハードウェアは、システムバスによって連結され、相互に信号のやり取りを行うことが可能である。
　長期記憶装置には、立体画像取得部、視差角分布取得部、評価部の機能を実現する立体画像取得プログラム、視差角分布取得プログラム、評価プログラムなどが保持されており、必要に応じてＲＡＭに読み出され、ＣＰＵにてその処理が実行される。また、通信Ｉ／Ｆは、立体画像取得部の機能を実現するものであり、外部装置から立体画像のデータ入力を受け付けたり、その他、処理に必要な情報の入力を受け付けたりする。また、操作Ｉ／Ｆは、必要に応じてユーザからの操作の入力を受け付ける。例えば、視聴者の両眼の間隔の情報や、視聴者から画面までの距離の情報を数値の入力又は選択操作によって受け付けることが考えられる。また、表示装置は、立体画像を表示したり、立体画像評価装置によって出力される評価の情報を表示したりすることが可能である。なお、上記の構成は必須の構成ではなく、操作Ｉ／Ｆや表示装置を省略することも可能である。
　図９は、立体画像評価装置の動作についてのフローチャートの一例を示す図であり、これに沿って動作の説明をする。まず、図のステップＳ０９０１において、立体画像評価装置の電源がＯＮにされ、ステップＳ０９０２に進む。次に、ステップＳ０９０２において、ＣＰＵは、視聴情報取得プログラムを実行して、表示画面サイズ情報と視聴距離、両眼間隔の長さの情報を取得してＲＡＭに格納する。ここで、視聴者情報は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよい。
　次に、ステップＳ０９０３において、ＣＰＵは、立体画像取得プログラムを実行して、立体画像データを取得し、左眼用画像データと右眼用画像データに分離してＲＡＭに格納する。ここで、立体画像データの取得は、長期記憶装置から取得してもよいし、通信Ｉ／Ｆを介して取得してもよい。
　次に、ステップＳ０９０４において、ＣＰＵは、視差角分布取得プログラム内の視差算出処理を実行して、入力された左眼用画像データと右眼用画像データを所定のブロックに分け、左眼用画像データ内の各ブロックと右眼用画像データ内の各ブロックとのステレオマッチングを行い、対応するブロック間の視差を算出する。当該視差の算出は、全てのブロックについて行うことが主として考えられるが、一部のブロックについてのみ行ってもよい。
　次に、ステップＳ０９０５において、ＣＰＵは、視差角分布取得プログラム内の変換処理を実行して、視聴者情報（視差距離、両眼間隔の長さ等）を用いて、ステップＳ０９０４にて求めた視差分布を視差角分布に変換する。なお、当該変換処理は必ずしも行う必要はなく、視差分布に基づいて以下の処理を行うことも可能である。
　ステップＳ０９０６において、ＣＰＵは、評価プログラム内の項目別評価値算出処理を実行して、視差角分布のデータに基づいて、立体画像の見やすさを示す一又は複数の項目別評価値を算出する。
　ステップＳ０９０７において、ＣＰＵは、評価プログラム内の最終評価値算出処理を実行し、ステップＳ０９０６にて算出した項目別評価値に対して、（数１３）で示したように所定の重みづけを行って最終評価値を算出する。
　ステップＳ０９０７において、ＣＰＵは、評価値出力プログラムを実行し、算出した最終評価値の情報を出力して、処理を終了する。ここで、最終評価値の情報は、ディスプレイ機器を介して表示出力してもよいし、長期記憶装置に格納したり、通信機器を介して他の装置に対して送信したりしてもよい。
＜効果＞
　以上のような構成をとる本発明は、視差角の値のみならず視差角の値の分布も考慮しているため、立体画像の安全性や快適性に関してより適切な評価結果を出力することが可能になる。
＜＜実施形態２＞＞
＜概要＞
　本実施形態の立体画像評価装置は、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出し、当該視差角差分を利用して立体画像の見やすさを評価する構成を有する。
＜着想点＞
　本実施形態の構成を具体的に説明する前に、着想点について説明する。図１０は、最も手前に位置する被写体が含まれるブロックと、最も奥に位置する被写体が含まれるブロックが、それぞれ離れた位置にある場合の画像の例を示す。図１０（ａ）では、左眼用画像１０００内に、背景領域１００１と塀１００２と塀１００３と地面１００４がある。この場合、左眼用画像１０００のうち、下に位置する領域ほど手前に提示され、背景領域１００１が最も奥に提示される。また、図１０（ｂ）では、左眼用画像１００５内に、背景領域１００６と地面１００７がある。この場合も、左眼用画像１００５のうち、下に位置する領域ほど手前に提示され、背景領域１００６が最も奥に提示される。
　図１０（ａ）及び（ｂ）のような場合は、最も手前に位置する被写体と、最も奥に位置する被写体は画面内にて離れた位置にあり、表示する画像のサイズや個人の目の画角の大きさによっては、両方の被写体が同時に目の注視範囲に入らない場合もある。このため、最も手前に位置する被写体の視差角と最も奥に位置する被写体の視差角の差分を単純に取るだけでは、立体視の見やすさや安全性を評価するには不十分である。
　図１１は、水平方向に隣接するブロックの視差角の例を示す図である。図１１（ａ）において、例えば、左眼用画像１１００内に、最も手前に位置する被写体１１０１と、最も奥に位置する被写体１１０２があり、ブロック１１０３に被写体１１０１の一部が含まれ、ブロック１１０３に隣接するブロック１１０４に被写体１１０２の一部が含まれる。ここで、ブロック１１０３は画面左端から「ｄｎＬ２」の位置にあり、ブロック１１０４は画面左端から「ｄｆＬ２」の位置にある。一方、図１１（ｂ）の右眼画像１１０５において、ブロック１１０３に対応するブロック１１０６は画面左端から「ｄｎＲ２」の位置にあり、ブロック１１０４に対応するブロック１１０７は画面左端から「ｄｆＲ２」の位置にある。
　この場合、ブロック１１０３の視差は「ｄｎＬ２－ｄｎＲ２」で表され、ブロック１１０４の視差は「ｄｆＬ２－ｄｆＲ２」と表される。ブロック１１０３の視差角とブロック１１０４の視差角の差分は、上記各ブロックの視差を視差角に変換した後に差分することによって、求めることが可能である。
　図１１のように、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、手前の被写体の視差角と奥にある被写体の視差角との差が大きくなる。この場合、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる可能性がある。
　また、画面より手前に飛び出す被写体と、画面より奥に提示される被写体とが水平方向に隣接する場合、片方の目では奥の被写体が見えても、もう一方の目では、奥の被写体の一部が手前の被写体によって見えなくなってしまうことがある（対応点の消滅）。これによって、視野闘争と呼ばれる現象が発生し、立体映像として見づらくなってしまう。また、見えなくなってしまう領域の大きさによっては、被写体が２重に見えて立体視ができないことがある。
　図１２は、上下方向に隣接するブロックの視差角の例を示す図である。図１２において、左眼用画像１２００内において最も手前に位置する被写体１２０１と、最も奥に位置する背景領域１２０２（点線で囲まれた領域）が垂直方向に隣接している。この場合、被写体１２０１は飛出し方向に提示され、背景領域１２０２は奥行方向に提示されて、被写体１２０１と背景領域１２０２の境界付近に視差角差が発生する。当該視差角差が大きくなれば、水平方向の場合と同様に、目の調節範囲である被写界深度を超えてしまい、非常に見づらくなる。
　以上のような点を鑑みて、本実施形態の立体画像評価装置の構成の着想に至ったものである。以下、本実施形態の立体画像評価装置の構成について説明する。
＜構成＞
　図１３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１３００は、「立体画像取得部」１３０１と、「視差角分布取得部」１３０２と、「評価部」１３０３と、「視差角差分算出部」１３０４とを有し、「評価部」は「視差角差分評価手段」１３０５を有する。以下、「視差角差分算出部」と「視差角差分評価手段」について説明する。
　「視差角差分算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する機能を有する。ここで、画像ブロック同士が立体画像内にて互いに近隣にあるとは、画像ブロック同士が左眼用画像又は右眼用画像のいずれかにおいて隣接する又は所定の範囲内にあることを意味する。また、画像ブロック同士は、水平方向や垂直方向に位置する場合の他に、斜め方向に位置する場合も含む。
　「視差角差分評価手段」は、前記視差角差分を利用して立体画像の見やすさを評価する機能を有する。具体的には、各視差角差分の大きさと項目別評価値を関連付けたテーブルに基づいて、その項目別評価値を出力することが考えられる。一般的に視差角差分は、最も手前に位置する被写体の視差角と、最も奥に位置する被写体の視差角の差分とされるが、上記のように、視差角の相対的な位置関係を考慮することによって、目の注視範囲を考慮に入れつつ、より正確、かつ適切に立体画像の見やすさや安全性を評価することができる。特に、水平方向に近接する視差角の差を最終評価値に反映することもできるため、オクルージョンを考慮した、より正確な立体画像の評価を行うことができる。
＜具体的な構成＞
　本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。なお、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分算出部の機能を実現する視差角差分算出プログラムが保持されていることを特徴とする。
　図１４は、上記立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１にて説明した事項については説明を省略する。
　ステップＳ１４０５において、ＣＰＵは、視差角差分算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他のブロックとの視差角との差分（視差角差分）を算出する。
　ステップＳ１４０６において、ＣＰＵは、評価プログラム内の視差角差分評価処理を実行し、近隣のブロックとの視差角差分の絶対値が所定の閾値未満であるブロックの数と所定の閾値以上であるブロックの数の比率を算出し、当該比率の値を項目別評価値として算出する。なお、全ての視差角差分の絶対値の総和を算出する処理を行い、当該総和を項目別評価値として算出することも可能であるし、以下の実施形態３で示すように、視差角差分の最大値や最小値を項目別評価値として算出することも可能である。
　また、上記では、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差分を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差分を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。
＜効果＞
　本実施形態の立体画像評価装置は、近隣の視差角の差を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
＜＜実施形態３＞＞
＜概要＞
　本実施形態の立体画像評価装置は、基本的に実施形態１、２と同様であるが、視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出し、当該視差角差分ピーク値を利用して立体画像の見やすさを評価することを特徴とする。
＜構成＞
　図１５は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１５００は、「立体画像取得部」１５０１と、「視差角分布取得部」１５０２と、「評価部」１５０３と、「視差角差分ピーク値算出部」１５０４と、を有し、「評価部」は「視差角差分ピーク値評価手段」１５０５を有する。以下、「視差角差分ピーク値算出部」と「視差角差分ピーク値評価手段」について説明する。
　「視差角差分ピーク値算出部」は、取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する機能を有する。
　「視差角差分ピーク値評価手段」は、前記視差角差分ピーク値を利用して立体画像の見やすさを評価する機能を有する。具体的には、立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値を算出し、当該視差角差分のピーク値と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する
　図１６は、視差角差分のピーク値（絶対値）と項目別評価値を関連付けたテーブルの一例を示す図である。図１６（ａ）は、水平方向に隣接するブロック同士の視差角差のピーク値（絶対値）に対する項目別評価値の一例を示す。また、図１６（ｂ）は、垂直方向に隣接するブロック同士の視差角差のピーク値Ｈ（絶対値）に対する項目別評価値の一例を示す。この図の例では、視差角差分ピーク値評価手段は、図１６（ａ）に示すテーブルを参照して、水平視差角差のピーク値Ｖ（絶対値）に対する項目別評価値を算出し、また、図１６（ｂ）に示すテーブルを参照して、垂直視差角差のピーク値（絶対値）に対する項目別評価値を算出する。なお、図１６は、項目別評価値が高い程見にくい立体画像である場合を示しているが、その逆とすることも可能である（以下、同様である）。
＜具体的な構成＞
　本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、視差角差分ピーク値算出部の機能を実現する視差角差分ピーク値算出プログラムや視差角差分の最大値と項目別評価値を関連付けたテーブル、視差角差分の最小値と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
＜処理の流れ＞
　図１７は、本実施形態による立体画像評価装置の動作についてのフローチャートの一例を示す図である。以下、実施形態１、２との相違点となる処理について説明する。
　ステップＳ１７０５において、ＣＰＵは、視差角差分ピーク値算出プログラムを実行し、左眼用画像の各ブロックの視差角について水平方向又は垂直方向において所定のブロック数（例えば、２ブロック）以内の距離にある他の全てのブロックの視差角との差分（視差角差分）を算出し、水平方向と垂直方向について視差角差分の最大値と最小値を取得する。
　ここで、水平方向と垂直方向の視差角差分の最大値と最小値の取得処理は、各視差角差分を算出しながら、バッファ内に保持される視差角差分の最大値と最小値を随時更新していくことも可能であるし、全ての視差角差分を算出した後に、バッファ内に保持された複数の視差角差分を比較して視差角の最大値と最小値を取得することも可能である。
　ステップＳ１７０６において、ＣＰＵは、評価プログラム内の視差角差分ピーク値評価処理を実行し、視差角差分の最大値と項目別評価値を関連付けたテーブルと、視差角差分の最小値と項目別評価値を関連付けたテーブルに基づいて、視差角差分の最大値と最小値にそれぞれ対応する項目別評価値を取得する。
　上記では、水平方向と垂直方向を分けずに視差角差分の最大値と最小値を取得したが、それぞれの方向について最大値と最小値を取得して、それぞれに対応する項目別評価値を算出してもよい。
　また、水平方向又は垂直方向において所定の範囲内にあるブロック間で視差角差を算出したが、斜め方向において所定の範囲内にあるブロック間で視差角差を算出して、項目別評価値の算出に用いてもよい。また、所定の範囲内にあるブロック間として、隣接するブロック間の視差角差のみを算出する構成も可能である。
＜効果＞
　本実施形態の立体画像評価装置は、近隣の視差角の差のピーク値を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
＜＜実施形態４＞＞
＜概要＞
　本実施形態の立体画像評価装置は、基本的に実施形態１から３と同様であるが、視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得し、当該端部視差角を利用して立体画像の見やすさを評価することを特徴とする。
＜構成＞
　図１８は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」１８００は、「立体画像取得部」１８０１と、「視差角分布取得部」１８０２と、「評価部」１８０３と、「端部視差角取得部」１８０４と、を有し、「評価部」は「端部視差角評価手段」１８０５を有する。以下、「端部視差角取得部」と、「端部視差角評価手段」について説明する。
　「端部視差角取得部」は、取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得する機能を有する。ここで、立体画像内端部とは、立体画像のフレームの左右端や上下端をいうものである。
　図１９は、飛び出した被写体が画面の左右端に位置する場合の立体画像の例を示す。例えば、図１９（ａ）において、左眼用画像１９００の右側に、飛び出し方向に位置する被写体１９０１が、図１９（ｂ）において、右眼用画像１９０２の右側に、被写体１９０１に対応する飛び出し方向に位置する被写体１９０３が、それぞれある場合、被写体が画像の右端にかかる領域１９０４が、フレームの左右端の領域となる。
　図２０は、飛び出した被写体が画面の上下端に位置する場合の立体画像の例を示す。例えば、図２０（ａ）において、左眼用画像２０００の下端にかかる領域２００２に、飛び出し方向に位置する被写体２００１が、図２０（ｂ）において、右眼用画像２００３の上端にかかる領域２００５に、被写体２００１に対応する飛び出し方向に位置する被写体２００４が、それぞれある場合、被写体の画像の上端・下端にかかる領域２００２、２００５が、フレームの上下端の領域となる。
　「端部視差角評価手段」は、前記端部視差角を利用して立体画像の見やすさを評価する機能を有する。例えば、端部視差角の値に応じて立体画像の見やすさを評価することが考えられる。具体的には、立体画像内の端部の視差角の値を取得して、当該端部視差角の値と項目別評価基準値を関連付けたテーブルに基づいてその項目別評価基準値を算出する。
　図２１は、立体画像内の端部視差角の値と項目別評価基準値を関連付けたテーブルの一例を示す図である。なお、項目別評価基準値の総和を取ったものが項目別評価値になるものとする。図２１（ａ）は、フレームの左右端のブロックの視差角の値ＲＬに対する項目別評価基準値の一例を示す。また、図２１（ｂ）は、フレームの上下端のブロックの視差角の値ＴＢに対する項目別評価基準値の一例を示す。
　図２１（ａ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの左右端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。また、図２１（ｂ）の例では、端部視差角評価手段は、当該テーブルを参照することによって、フレームの上下端に位置するブロックの全てについて項目別評価基準値を取得し、当該基準値を総和した値を項目別評価値とする。
　なお、前記端部視差角評価手段は、前記立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合に応じて立体画像の見やすさを評価することも可能である。具体的には、立体画像内の端部の視差角を利用して端部の画像ブロックの像が表示画面より手前に結像する割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
＜具体的な構成＞
　本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置においては、長期記憶装置に、端部視差角取得部の機能を実現する端部視差角取得プログラムや立体画像内端部の画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
＜処理の流れ＞
　図２２は、端部視差角取得プログラム及び項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２２０１において、ＣＰＵは左眼画像データ又は右眼用画像データの左右端部にあるブロックの視差角を取得する。次に、ステップＳ２２０２において、ＣＰＵは左右端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、左右端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０３において、ＣＰＵは左右端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。次に、ステップＳ２２０４において、ＣＰＵは左眼画像データ又は右眼用画像データ内の上下端部にあるブロックの視差角を取得する。次に、ステップＳ２２０５において、ＣＰＵは上下端部にあるブロック全てについて、各ブロックの視差角の値が飛び出し方向の値であるか否か判定し、上下端部にある画像ブロックの像が表示画面より手前に結像する割合を算出する。次に、ステップＳ２２０６において、ＣＰＵは上下端部にある画像ブロックの像が表示画面より手前に結像する割合と項目別評価値を関連付けたテーブルを参照して、対応する項目別評価値を取得する。なお、上記において画像ブロックの像が表示画面より手前に結像する場合として、視差角が０となる場合（視差か発生しない場合）を含んでいてもよい。
＜効果＞
　本実施形態の立体画像評価装置は、枠張り付き効果という立体映像特有の現象により視聴者が感じる違和感を立体画像の評価に反映することができ、より正確な立体画像の評価を行うことができる。
＜＜実施形態５＞＞
＜概要＞
　本実施形態の立体画像評価装置は、左眼用画像又は／及び右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得し、当該情報をさらに利用して立体画像の見やすさを評価することを特徴とする。
＜構成＞
　図２３は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２３００は、「立体画像取得部」２３０１と、「視差角分布取得部」２３０２と、「評価部」２３０３と、「画像品質取得部」２３０４と、を有し、「評価部」は「画像品質評価手段」２３０５を有する。
　「画像品質取得部」は、前記取得する左眼用画像又は右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得する機能を有する。ここで、画像品質取得部は、例えば前記取得する左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を取得することが考えられる。なお、鮮鋭度とはいわゆるピントの度合いを示す指標であり、鮮鋭度が高い程ピントがあっており、鮮鋭度が低い程画像がぼけているといえる。
　ここで、画像内位置に応じた鮮鋭度の情報（合焦領域の位置の情報など）は、例えばオートフォーカス等の機能を備えるデジタルカメラなどから取得することも可能である。デジタルカメラで撮影されたＥＸＩＦの画像データ内にはメタデータとして合焦点位置情報が記載されるため、当該情報を取得するものである。なお、立体画像評価装置の内部処理によって左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を抽出することも可能であるし、操作入力機器を介してユーザからピントがあっている領域とそうでない領域を指定する操作入力を受け付けてもよい。
　「画像品質評価手段」は、前記平面画像としての画像品質の情報をさらに利用して立体画像の見やすさを評価する機能を有する。画像品質評価手段は、例えば前記立体画像の見やすさの評価結果について、前記平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得ることが考えられる。
　視聴者がボケのある領域を含む立体画像を見る場合、ピントの合った領域を注視する可能性が高く、ボケによる被写界深度の変化を考慮に入れることが重要になる。図２４は、背景領域がぼけている画像の一例を示す図である。この図において、左眼用画像データ２４００内の前景の被写体２４０１以外の背景領域はぼけている。このように画像内にぼけがある場合、視聴者はぼけのない領域（合焦点領域）を注視するため、当該領域にあるブロックの視差角は、立体画像の見やすさや安全性を評価するに当たり、他のブロックの視差角よりも重要性が高くなる。
　平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得る方法としては、種々考えられる。例えば、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得することが考えられる。また、非合焦点領域の視差角の値に対応する項目別評価値の全体評価値に対する重みづけを小さくすることも可能である。
＜具体的な構成＞
　本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、画像品質取得部の機能を実現する画像品質取得プログラムや合焦点位置の視差角と項目別評価値を関連付けたテーブルが保持されていることを特徴とする。
＜処理の流れ＞
　図２５は、画像品質取得プログラムと項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２５０１において、ＣＰＵは、左眼用画像（又は右眼用画像、以下同様）の画像内における合焦点領域の情報を取得する。当該情報は、通信Ｉ／Ｆや操作Ｉ／Ｆを介して取得してもよいし、長期記憶装置から取得してもよい。次にステップＳ２５０２において、ＣＰＵは、合焦点領域の情報に基づいて、左眼用画像の画像内の合焦点領域の視差角の値を取得する。このとき、合焦点領域にあるブロックが複数存在する場合は、各ブロックの視差角の値を取得する。次に、ステップＳ２５０３において、ＣＰＵは、合焦点領域のブロックの視差角の値と項目別評価値を関連付けたテーブルに基づいて、合焦点領域の視差角の値に対応する項目別評価値を取得する。なお、合焦点領域にあるブロックが複数ある場合は、各ブロックの視差角の値の平均値を利用してもよいし、最も絶対値が大きい視差角の値を利用してもよいし、最も頻度が高い視差角の区分を利用してもよい。
＜効果＞
　本実施形態の立体画像評価装置は、視聴者が注視する可能性の高い合焦点領域など情報をさらに利用することによって、さらに的確な立体画像の評価を出力することが可能になる。
＜＜実施形態６＞＞
＜概要＞
　本実施形態の立体画像評価装置は、基本的に実施形態１から４に記載の立体画像評価装置と同様であるが、良い評価とできる視差角の許容値を保持し、立体画像内の画像ブロックが視差角の許容値を満たす割合に応じて立体画像の見やすさを評価することを特徴とする。
＜構成＞
　図２６は、本実施形態の立体画像評価装置の機能ブロックの一例を示す図である。この図にあるように、「立体画像評価装置」２６００は、「立体画像取得部」２６０１と、「視差角分布取得部」２６０２と、「評価部」２６０３と、を有し、「評価部」は「許容値保持部手段」２６０４と「許容値評価手段」２６０５を有する。
　「許容値保持手段」は、良い評価とできる視差角の許容値を保持する機能を有する。ここで、良い評価とできる視差角の許容値としては、飛び出し方向の視差角に対する許容値や奥行方向の視差角に対する許容値、立体画像内端部の画像ブロックの視差角に対する許容値、合焦点領域にある画像ブロックの視差角に対する許容値など種々のものが考えられる。
　「許容値評価手段」は、前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する機能を有する。具体的には、立体画像内の画像ブロックが視差角の許容値を満たす割合を算出し、当該割合と項目別評価値を関連付けたテーブルに基づいてその項目別評価値を出力する。
　また、立体画像内の画像ブロックの視差角の値が第一の閾値より小さい割合（例えば、奥行方向の視差角の値が許容値より小さい割合など）を算出し、さらに立体画像内の画像ブロックの視差角の値が第二の閾値より大きい割合（飛び出し方向の視差角の値が許容値より大きい割合など）を算出し、それぞれの割合と項目別評価値を関連付けたテーブルに基づいて、それぞれ項目別評価値を出力することも考えられる。
　また、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値を取得し、許容値を満たす（又は満たさない）画像ブロックの全てに対して、視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得し、当該項目別評価基準値を全て加算した値を項目別評価値として出力することが考えられる。
　また、前記視差角の許容値を満たす（又は満たさない）画像ブロックの立体画像内の分布状況に応じて、立体画像の見やすさを評価することも可能である。例えば、視差角の許容値を満たす（又は満たさない）画像ブロックが立体画像内のピントの合った領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能であるし、立体画像内の被写体が存在する領域や立体画像内の中心領域においてどれくらいの割合で存在するかに応じて項目別評価値を算出する構成も可能である。
＜具体的な構成＞
　本実施形態の立体画像評価装置の具体的なハードウェア構成は、実施形態１の図８で説明したものと同様である。しかしながら、本実施形態の立体画像評価装置の長期記憶装置には、許容値を満たす（又は満たさない）立体画像内の画像ブロックの視差角の値と項目別評価基準値を関連付けたテーブルが保持されていることを特徴とする。
＜処理の流れ＞
　図２７は、項目別評価値ステップ評価プログラム内の項目別評価値算出処理の具体例を示した図である。まず、ステップＳ２７０１において、ＣＰＵは長期記憶装置に保持されている良い評価とできる視差角の許容値（第一の閾値、第二の閾値）の情報をＲＡＭに読み出す。次に、ステップＳ２７０２において、ＣＰＵは視差角の値が第一の閾値より小さな値となる画像ブロックを抽出する。次に、ステップＳ２７０３において、ＣＰＵは第一の閾値より小さな視差角の値をもつ画像ブロックの全てに対して、第一の閾値より小さな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０４において、ＣＰＵは、ステップＳ２７０３にて取得された項目別評価基準値を全て加算した値を奥行方向の視差角に関する項目別評価値とする。次に、ステップＳ２７０５において、ＣＰＵは第二の閾値より大きな視差角の値をもつ画像ブロックを抽出する。次に、ステップＳ２７０６において、ＣＰＵは、第二の閾値より大きな視差角の値をもつ画像ブロックの全てに対して、第二の閾値より大きな視差角の値と項目別評価基準値を関連付けたテーブルを参照して項目別評価基準値を取得する。次に、ステップＳ２７０７において、ＣＰＵは、ステップＳ２７０６にて取得された項目別評価基準値を全て加算した値を飛び出し方向の視差角に関する項目別評価値とする。
＜効果＞
　本実施形態の立体画像評価装置は、立体画像内の画像ブロックが視差角の許容値を満たす割合を最終評価値に反映することができるため、より正確な立体画像の評価を行うことができる。
　図２８は、本発明の立体画像評価装置２８００を、立体テレビに搭載した例を示す。図２８において、圧縮立体画像データは立体テレビ２８０１に入力される。また、テレビの表示画面サイズ、想定される視聴距離、想定される両眼間隔の情報は視聴情報手段２８０２により保持されており、立体画像評価装置２８００はこれらの情報を入力する。なお、想定される両眼間隔は、日本人の平均である６３ｍｍ～６５ｍｍ等としてもよいし、子供を考慮した値である５０ｍｍとしてもよい。
　立体テレビ２８０１に入力された圧縮立体画像データは、デコード手段２８０３によりデコードされ、左眼用画像データ及び右眼用画像データとして出力される。左眼用画像データ及び右眼用画像データは、視差調整手段２８０４を介して立体画像評価装置２８００に入力される。
　立体画像評価装置２８００は、入力された表示画面サイズ・視聴距離・両眼間隔などの情報と、左眼用画像データ及び右眼用画像データから、最終評価値データを作成して出力する。
　左眼用画像データ及び右眼用画像データと最終評価値データが画像重畳手段２８０５に入力され、画像重畳手段２８０５は、左眼用画像データと右眼用画像データから表示用立体画像データを生成し、当該表示用立体画像データに対して最終評価値の情報を重畳表示した表示用立体画像データを生成し、表示手段２８０６に対して出力する。
　図２９は、表示用立体画像データの一例を示す図である。図２９において、表示用立体画像データ２９００は、視差のない背景部分と、視差のある前景部分と、最終評価値を表示する領域２９０１とから構成される。また、前景部分には、右眼にのみ表示される被写体像２９０２と左眼にのみ表示される被写体像２９０３が含まれる。
　表示手段２８０６は、入力された表示用立体画像データを用いて立体表示を行う。ここで、視差調整手段２８０４は、自動または手動で視差調整を行う手段である。このとき、自動で視差調整を行う場合には立体画像評価装置２８００で算出された最終評価値が小さくなるように視差調整を行うようにしても構わない。また、手動で視差調整を行う場合、立体画像評価装置２８００で算出された最終評価値を画面上に表示して、視聴者が最終評価値を見ながら値が小さくなるように視差調整を行うようにしても構わない。
　このとき、視差調整は画面全体を左右にずらすことにより行うが、どちらにずらしたら最終評価値が小さくなるかを予測して、当該値が小さくなる方向にずらすよう視聴者に通知してもよい。具体的には、画面全体をずらす方向を画面上に矢印などで指示することが考えられる。図３０は、表示用立体画像データの一例を示す図である。この図の例では、最終評価値を表示する領域３００１の上部に、ずらすべき方向を矢印３００２によって明示している。ここで、視差ずらしの操作を行うリモコン等のボタンの位置に、矢印の方向を合わせて表示してもよい。
　このように、立体視に固有のパラメータを考慮に入れて算出された立体画像の最終評価値を画面上に表示することによって、視聴者は現在立体表示されている映像の評価値を直感的に把握することが可能になる。また、視聴者は簡易に視差の調整を行うことが可能になる。
　また、立体画像内の各画像ブロックの視差角の符号の情報から、提示される立体映像が、飛び出して提示される立体映像なのか、又は画面より奥に提示される立体映像なのか、あるいは飛出し方向にも奥行方向にも提示される立体映像なのかを判別し、その判別結果に応じて表示する最終評価値の色を変えてもよい。例えば、立体映像が全て飛び出して提示される場合は赤色で最終評価値を表示し、全て画面より奥に提示される場合は青色で表示し、飛び出し方向にも奥行方向にも提示される場合は黒色に表示する。
　また、上記判別結果に応じて最終評価値に符号を付けて表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値にプラス符号を付けて表示し、全て画面より奥に提示される場合は最終評価値にマイナス符号を付けて表示し、飛び出し方向にも奥行方向にも提示される場合は符号なしで評価値を表示する。
　また、最終評価値の近傍に、追加メッセージを表示してもよい。例えば、立体映像が全て飛び出して提示される場合は最終評価値の近傍に「飛び出し映像」と表示し、全て画面より奥に提示される場合は最終評価値の近傍に「奥行映像」と表示を行い、飛び出し方向にも奥行方向にも提示される場合は追加メッセージを表示しない。
　また、視聴距離と両眼間隔から、視差分布（視差マップ）を視聴者から立体映像が立体で提示される位置までの距離であるデプスマップに変換してもよい。生成されたデプスマップは、縦軸に発生頻度、横軸にデプスを取って、グラフ化して表示してもよい。このとき、画面の位置がグラフの横軸上のどの点に対応するのかわかるように、対応する点に印をつけるなどして表示してもよい。
　また、奥行方向の視差角の最小値や飛び出し方向の視差角の最大値、ピントの合った領域（合焦領域）の視差角、視差角の許容値（第一の閾値、第二の閾値など）をそれぞれデプスに変換して、グラフ上に印をつけて表示してもよい。
　また、本発明は、上記で説明した立体テレビのような立体画像データ表示装置だけでなく、立体デジタルカメラ、立体デジタルムービー、立体デジタルビデオレコーダー、立体携帯型ムービープレイヤー、立体携帯電話、立体カーナビゲーションシステム、立体携帯型ＤＶＤプレイヤー、立体ＰＣ等の立体映像信号を出力又は表示可能な機器についても広く適用でき、そこで取り扱われる画像データに対して、最終評価値を算出し、表示することができる。
０７００…立体画像評価装置、０７０１…立体画像取得部、０７０２…視差角分布取得部、０７０３…評価部、０８０１…ＣＰＵ、０８０２…ＲＡＭ、０８０３…長期記憶装置、０８０４…通信Ｉ／Ｆ、０８０５…操作Ｉ／Ｆ、０８０６…表示装置、１３０４…視差角差分算出部、１３０５…視差角差分評価手段、１５０４…視差角差分ピーク値算出部、１５０５…視差角差分ピーク値評価手段、１８０４…端部視差角取得部、１８０５…端部視差角評価手段、２３０４…画像品質取得部、２３０５…画像品質評価手段、２６０４…許容値保持手段、２６０５…許容値評価手段、２８００…立体画像評価装置、２８０１…立体テレビ、２８０２…視差情報手段、２８０３…デコード手段、２８０４…視差調整手段、２８０５…画像重畳手段、２８０６…表示手段

Claims (9)

  1. 　立体画像を構成する左眼用画像と右眼用画像とを取得する立体画像取得部と、
    　取得した左眼用画像と右眼用画像とから立体画像の視差角分布を取得する視差角分布取得部と、
    　取得した視差角分布に基づいて立体画像の見やすさを評価する評価部と、
    を有する立体画像評価装置。
  2. 　取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分を算出する視差角差分算出部をさらに有し、
    　前記評価部は、
    　　前記視差角差分を利用して立体画像の見やすさを評価する視差角差分評価手段を有する請求項１に記載の立体画像評価装置。
  3. 　取得した視差角分布から立体画像内にて互いに近隣にある画像ブロック同士の視差角差分の最大値又は／及び最小値である視差角差分ピーク値を算出する視差角差分ピーク値算出部をさらに有し、
    　前記評価部は、
    　　前記視差角差分ピーク値を利用して立体画像の見やすさを評価する視差角差分ピーク値評価手段を有する請求項１又は２に記載の立体画像評価装置。
  4. 　取得した視差角分布から立体画像内端部の画像ブロックの視差角である端部視差角を取得する端部視差角取得部をさらに有し、
    　前記評価部は、
    　　前記端部視差角を利用して立体画像の見やすさを評価する端部視差角評価手段を有する請求項１から３のいずれか一に記載の立体画像評価装置。
  5. 　前記端部視差角評価手段は、前記立体画像内端部の画像ブロックの像が表示画面より手前に結像する像の割合に応じて立体画像の見やすさを評価することを特徴とする請求項４に記載の立体画像評価装置。
  6. 　前記取得する左眼用画像又は右眼用画像の画像内位置に応じた平面画像としての画像品質の情報を取得する画像品質取得部をさらに有し、
    　前記評価部は、
    　前記平面画像としての画像品質の情報をさらに利用して立体画像の見やすさを評価する画像品質評価手段を有する請求項１から５のいずれか一に記載の立体画像評価装置。
  7. 　画像品質取得部は、前記取得する左眼用画像又は右眼用画像の画像内位置に応じた鮮鋭度の情報を取得することを特徴とする請求項６に記載の立体画像評価装置。
  8. 　前記画像品質評価手段は、
    　　前記立体画像の見やすさの評価結果について、前記平面画像として画像品質の高い画像ブロックであるほどその評価の重みづけをより重くして評価結果を得ることを特徴とする請求項６又は７に記載の立体画像評価装置。
  9. 　前記評価部は、
    　　良い評価とできる視差角の許容値を保持する許容値保持手段と、
    前記立体画像内の画像ブロックが前記視差角の許容値を満たす割合に応じて立体画像の見やすさを評価する許容値評価手段を有する請求項１から８のいずれか一に記載の立体画像評価装置。
PCT/JP2012/058978 2011-09-21 2012-04-02 立体画像評価装置 WO2013042392A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-205511 2011-09-21
JP2011205511A JP5121081B1 (ja) 2011-09-21 2011-09-21 立体画像表示装置

Publications (1)

Publication Number Publication Date
WO2013042392A1 true WO2013042392A1 (ja) 2013-03-28

Family

ID=47692858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/058978 WO2013042392A1 (ja) 2011-09-21 2012-04-02 立体画像評価装置

Country Status (2)

Country Link
JP (1) JP5121081B1 (ja)
WO (1) WO2013042392A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944165A (zh) * 2019-11-13 2020-03-31 宁波大学 一种结合感知深度质量的立体图像视觉舒适度提升方法
CN112738501A (zh) * 2020-12-29 2021-04-30 杭州电子科技大学 一种立体图像舒适度测试方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013114887A1 (en) * 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245451A (ja) * 2001-02-19 2002-08-30 Nippon Hoso Kyokai <Nhk> 立体画像評価装置
WO2004019621A1 (ja) * 2002-08-20 2004-03-04 Kazunari Era 立体視用画像を作成する方法および装置
JP2005142819A (ja) * 2003-11-06 2005-06-02 Univ Waseda 立体映像評価装置および立体映像チューナ
JP2010268097A (ja) * 2009-05-13 2010-11-25 Fujifilm Corp ３次元表示装置及び３次元表示方法
WO2011099166A1 (ja) * 2010-02-15 2011-08-18 スカパーＪｓａｔ株式会社 立体映像処理装置
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245451A (ja) * 2001-02-19 2002-08-30 Nippon Hoso Kyokai <Nhk> 立体画像評価装置
WO2004019621A1 (ja) * 2002-08-20 2004-03-04 Kazunari Era 立体視用画像を作成する方法および装置
JP2005142819A (ja) * 2003-11-06 2005-06-02 Univ Waseda 立体映像評価装置および立体映像チューナ
JP2010268097A (ja) * 2009-05-13 2010-11-25 Fujifilm Corp ３次元表示装置及び３次元表示方法
WO2011099166A1 (ja) * 2010-02-15 2011-08-18 スカパーＪｓａｔ株式会社 立体映像処理装置
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944165A (zh) * 2019-11-13 2020-03-31 宁波大学 一种结合感知深度质量的立体图像视觉舒适度提升方法
CN110944165B (zh) * 2019-11-13 2021-02-19 宁波大学 一种结合感知深度质量的立体图像视觉舒适度提升方法
CN112738501A (zh) * 2020-12-29 2021-04-30 杭州电子科技大学 一种立体图像舒适度测试方法
CN112738501B (zh) * 2020-12-29 2022-05-17 杭州电子科技大学 一种立体图像舒适度测试方法

Also Published As

Publication number Publication date
JP5121081B1 (ja) 2013-01-16
JP2013070127A (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
JP6380881B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
JP5299214B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
EP2659680B1 (en) Method and apparatus for providing mono-vision in multi-view system
JP2005167310A (ja) 撮影装置
US20130182078A1 (en) Stereoscopic image data creating device, stereoscopic image data reproducing device, and file management method
KR20120030005A (ko) 화상 처리 장치 및 방법과 입체 화상 표시 장치
CN102271266A (zh) 2d-3d共存的偏振式3d系统中的2d质量增强器
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
WO2013042392A1 (ja) 立体画像評価装置
KR100751290B1 (ko) 헤드 마운티드 디스플레이용 영상 시스템
JP5347987B2 (ja) 映像処理装置
JP5562122B2 (ja) 画像処理装置及びその制御方法
JP2014053782A (ja) 立体画像データ処理装置、および、立体画像データ処理方法
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
JP2004279743A (ja) 三次元表示装置
CN107329255A (zh) 非对称高清晰vr头盔显示器
JP4481275B2 (ja) ３次元映像情報の伝送方法
JP2014175813A (ja) 立体映像表示方法および装置
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム
WO2013015217A1 (ja) 立体画像処理装置および立体画像処理方法
JP2015056796A (ja) 立体画像処理装置、撮像装置、立体画像処理方法および立体画像処理プログラム
KR101173640B1 (ko) 3차원 헤드 마운티드 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12833207

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12833207

Country of ref document: EP

Kind code of ref document: A1