WO2012153447A1 - 画像処理装置、映像処理方法、プログラム、集積回路 - Google Patents

画像処理装置、映像処理方法、プログラム、集積回路 Download PDF

Info

Publication number
WO2012153447A1
WO2012153447A1 PCT/JP2012/001266 JP2012001266W WO2012153447A1 WO 2012153447 A1 WO2012153447 A1 WO 2012153447A1 JP 2012001266 W JP2012001266 W JP 2012001266W WO 2012153447 A1 WO2012153447 A1 WO 2012153447A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
viewer
inclination
face
Prior art date
Application number
PCT/JP2012/001266
Other languages
English (en)
French (fr)
Inventor
航太郎 箱田
雅文 大久保
山地　治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/581,524 priority Critical patent/US20130100123A1/en
Priority to CN2012800010604A priority patent/CN102884803A/zh
Priority to JP2012542262A priority patent/JPWO2012153447A1/ja
Publication of WO2012153447A1 publication Critical patent/WO2012153447A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis

Definitions

  • the present invention relates to an image processing technique, and more particularly to a technique for generating a stereoscopic image.
  • Patent Document 1 discloses a technique for calculating parallax from an input image, shifting the image in the horizontal direction by the calculated amount of parallax, and generating a left-eye image and a right-eye image.
  • a left-eye image and a right-eye image having a horizontal parallax are generated on the assumption that the left eye and the right eye are separated in the horizontal direction.
  • the displacement direction (parallax direction) of the image does not match the direction connecting the left eye and the right eye.
  • a vertical shift occurs between the retinal image and the retinal image of the right eye.
  • the vertical shift of the binocular retinal image is a stimulus that humans have no experience with and causes visual fatigue.
  • the left-eye image and the right-eye image are recognized as separate images, and three-dimensional fusion becomes difficult.
  • the viewer's seat In movie theaters and the like, the viewer's seat is fixed, and the viewer views the image for the left eye and the image for the right eye in a normal posture, so the above problem does not occur.
  • viewing a stereoscopic image at home may be viewed in various postures, which may cause visual fatigue and difficulty in stereoscopic fusion due to vertical displacement of the retinal image.
  • There is a need to view a stereoscopic image in a rough posture for example, with an elbow on a desk and a chin placed on a hand
  • the viewing posture is fixed when viewing the stereoscopic image. Lack.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing apparatus that enables viewing of a stereoscopic image in a state where the viewer is tilted left and right.
  • an image processing apparatus is an image processing apparatus that performs image processing on image data, an inclination calculating unit that calculates the inclination of a viewer's face, and a subject that is reflected in the image data
  • a depth information generation unit that generates depth information indicating the position in the depth direction of the image data, and the image data differs from the image data by shifting the coordinates of each pixel constituting the image data by a predetermined amount in the horizontal and vertical directions.
  • a stereo image data generating unit configured to generate viewpoint image data and generate stereo image data including a set of image data of different viewpoints from the image data and the image data; The shift amount is determined by the depth information and the inclination of the viewer's face.
  • each pixel constituting the image data is shifted in the horizontal direction and the vertical direction by an amount determined by the depth information and the inclination of the viewer's face, and the stereo image data is generated.
  • the image shift direction parllax direction
  • FIG. 3 is a diagram illustrating an overview of processing performed by the image processing apparatus according to the first embodiment
  • 1 is a block diagram illustrating an example of a configuration of an image processing apparatus 200 according to a first embodiment. It is a figure which shows calculation of the inclination of a viewer's face. It is a figure which shows the pixel shift in the case of pop-out stereoscopic vision. It is a figure which shows the pixel shift in the case of retracted stereoscopic vision. It is a figure which shows the length per pixel of the vertical direction of a display screen, and a horizontal direction.
  • 6 is a diagram illustrating an example of a storage format of a stereo image storage unit 207.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an image processing apparatus 200 according to a first embodiment. It is a figure which shows calculation of the inclination of a viewer's face. It is a figure which shows the pixel shift in the case of pop-out stereoscopic vision. It is
  • FIG. 10 is a block diagram illustrating an example of a configuration of an image processing apparatus 1300 according to a second embodiment.
  • FIG. 11 is a diagram illustrating the acquisition of tilt information by an IR receiving unit 1301.
  • 10 is a flowchart showing a flow of inclination calculation processing in the second embodiment.
  • FIG. 10 is a block diagram illustrating an example of a configuration of an image processing apparatus 1600 according to a third embodiment. It is a figure which shows the portable terminal provided with the image processing apparatus concerning this invention.
  • FIG. 1 is a diagram illustrating an outline of processing performed by the image processing apparatus according to the first embodiment.
  • the image processing apparatus acquires the viewer's face image from the camera, and calculates the inclination of the viewer's face by image analysis of the face image. Further, depth information (depth map) indicating the position of the subject in the depth direction is generated from the input image. Then, based on the face inclination and depth information (depth map), a stereo image is generated by shifting each pixel constituting the original image in the horizontal direction and the vertical direction.
  • depth map depth information indicating the position of the subject in the depth direction
  • FIG. 2 is a block diagram illustrating an example of the configuration of the image processing apparatus 200.
  • the image processing apparatus 200 includes an operation input reception unit 201, a face image acquisition unit 202, an inclination calculation unit 203, a stereo image acquisition unit 204, a depth information generation unit 205, a stereo image regeneration unit 206, A stereo image storage unit 207 and an output unit 208 are included.
  • each component will be described.
  • the operation input accepting unit 201 has a function of accepting a viewer's operation input. Specifically, a stereoscopic content playback command or the like is received.
  • the face image acquisition unit 202 has a function of acquiring a viewer's face image captured by an external imaging device.
  • the inclination calculation unit 203 has a function of analyzing the viewer's face image acquired by the face image acquisition unit 202 and calculating the inclination of the viewer's face. Specifically, feature points are detected from the face image, and the tilt of the viewer's face is calculated from the positional relationship of the feature points. Note that the tilt of the viewer's face refers to a tilt on a plane parallel to the display surface.
  • a feature point is a point obtained by spotting features such as image boundaries and corners.
  • the feature point is extracted as a feature point that represents an edge (a portion where the brightness changes sharply) or an intersection of the edges.
  • Edge detection is performed by obtaining the luminance difference (first derivative) between pixels and calculating the edge strength from the difference. Note that feature points may be extracted by other edge detection methods.
  • FIG. 3 is a diagram showing calculation of the inclination of the viewer's face.
  • the stereo image acquisition unit 204 has a function of acquiring a stereo image composed of a combination of a left-eye image and a right-eye image having the same resolution.
  • a stereo image is an image obtained by capturing an object scene from different viewpoints, and may be image data captured by an imaging device such as a stereo camera. Further, it may be image data acquired from an external network, server, recording medium, or the like. Further, the image is not limited to a real image, and may be CG (Computer Graphics) created assuming different virtual viewpoints. Further, it may be a still image or a moving image including a plurality of still images that are temporally continuous.
  • the depth information generation unit 205 has a function of generating depth information (depth map) indicating the position of the subject in the depth direction from the stereo image acquired by the stereo image acquisition unit 204. Specifically, first, a corresponding point search is performed for each pixel between the left-eye image and the right-eye image constituting the stereo image. Then, the distance in the depth direction of the subject is calculated from the positional relationship between the corresponding points of the left-eye image and the right-eye image based on the principle of triangulation.
  • depth information depth map
  • the depth information is a grayscale image in which the depth of each pixel is represented by 8-bit luminance, and the depth information generation unit 205 sets the calculated distance in the depth direction of the subject to 256 gradations from 0 to 255. Convert to the value of.
  • a small region is set around the point of interest, a region-based matching method that is performed based on the shading pattern of pixel values in that region, and features such as edges are extracted from the image, and between the features
  • the stereo image regeneration unit 206 corresponds to the left-eye image by shifting each pixel constituting the left-eye image acquired by the stereo image acquisition unit 204 in the horizontal direction and the vertical direction based on the face inclination and depth information. It has a function of generating a right eye image. Note that the stereo image regeneration unit 206 determines the orientation of the image data (photographing direction) with reference to the attribute information of the image data before the pixel shift processing, and after performing the rotation processing according to the orientation, Perform pixel shift processing. For example, when the image data is in JPEG (Joint Photographic Experts Group) format, an Orientation tag stored in Exif (Exchangeable image file format) information is used as attribute information.
  • JPEG Joint Photographic Experts Group
  • the Orientation tag is information indicating the direction of the image data viewed from the viewpoint of rows and columns, and the vertical and horizontal orientations of the image data can be determined with reference to this value. For example, when the value of the Orientation tag is 6 (rotate 90 ° clockwise), the image data is rotated 90 ° and then the pixel shift process is performed. Below, the detail of a pixel shift is demonstrated.
  • FIG. 4 and 5 are diagrams illustrating pixel shift according to the present embodiment.
  • FIG. 4 shows the pixel shift in the case of pop-out stereoscopic view
  • FIG. The pixel shift in the case of stereoscopic vision is shown.
  • Px is the horizontal shift amount
  • Py is the vertical shift amount
  • L-View-Point is the left eye pupil position
  • R-View-Point is the right eye pupil position
  • L-Pixel is the left eye pixel
  • R-Pixel is the right eye pixel
  • e is the interpupillary distance
  • H is the height of the display screen
  • W is the width of the display screen
  • S is the distance from the viewer to the display screen
  • Z is the viewing The distance from the person to the imaging point, that is, the distance in the depth direction of the subject.
  • the straight line connecting the left eye pixel L-pixel and the left eye pupil L-view-point is the line of sight of the left eye pupil L-view-point
  • the straight line connecting the right eye pixel R-Pixel and the right eye pupil R-View-Point is the right eye pupil R- View-point line of sight, realized by switching between translucent and light-shielding with 3D glasses, and parallax barriers using parallax barriers, lenticular lenses, and the like.
  • ⁇ is a positive value when R-view-point is located above L-view-point
  • ⁇ is designated when R-view-point is located below L-view-point. Negative value.
  • Px when the right eye pixel R-pixel and the left eye pixel L-pixel are in the positional relationship of FIG. 4 is a negative value
  • Px when the right eye pixel R-pixel is in the positional relationship of FIG. 5 is a positive value.
  • the width W of the display screen is the width W of the display screen.
  • FIG. 4A is a diagram illustrating pixel shift in a posture where the viewer is not tilted
  • FIG. 4B is a diagram illustrating pixel shift in a posture where the viewer is tilted by ⁇ degrees.
  • the stereo image regeneration unit 206 shifts the image between the direction connecting the left eye pupil L-view-point and the right eye pupil R-View-Point.
  • the left eye pixel L-pixel is shifted so that the direction (parallax direction) matches.
  • a right-eye image corresponding to the left-eye image can be generated.
  • specific calculation formulas for the shift amount in the horizontal direction and the shift amount in the vertical direction will be described.
  • the left eye pupil L-view-point the right eye pupil R-View-Point
  • a triangle composed of three points the left eye pixel L-pixel
  • the right eye From the similarity of a triangle composed of the pixel R-pixel and the imaging point, the horizontal shift amount Px when the viewer is not tilted, the subject distance Z, the distance S from the viewer to the display screen, the pupil Between the distance e
  • the subject distance Z can be obtained from depth information (depth map).
  • depth map depth map
  • the average value for adult males is 6.4 cm.
  • the distance S from the viewer to the display screen is 3H because the optimum viewing distance is generally three times the height of the display screen.
  • the length per pixel in the horizontal direction is the horizontal width W of the display screen.
  • the number K of pixels in the horizontal direction of the display screen and the length per pixel in the vertical direction are the height H of the display screen / the number L of pixels in the vertical direction of the display screen. One inch is 2.54 cm. Therefore, when the amount of shift Px in the horizontal direction when the viewer shown in Equation 3 is not tilted is shown in units of pixels.
  • the information acquired from the negotiation with the external display is used as the information on the resolution of the display screen (the number of pixels L in the vertical direction and the number of pixels K in the horizontal direction).
  • the horizontal shift amount Px when the viewer is not tilted can be calculated based on the above formula.
  • the shift amount Px ′ in the horizontal direction and the shift amount Py in the vertical direction when the viewer tilts by ⁇ degrees will be described.
  • the stereo image regeneration unit 206 shifts the image between the direction connecting the left eye pupil L-view-point and the right eye pupil R-View-Point. Since the left eye pixel L-pixel is shifted so that the direction (parallax direction) coincides, the shift amount Px ′ in the horizontal direction when the viewer is inclined by ⁇ degrees is the horizontal shift amount when the viewer is not inclined.
  • the vertical shift amount Py is obtained by multiplying the horizontal shift amount Px when the viewer is not tilted by sin ⁇ . That is, the vertical shift amount Py is
  • the stereo image regeneration unit 206 displays the direction connecting the left eye pupil L-view-point and the right eye pupil R-View-Point and the image.
  • the left-eye pixel L-pixel is shifted by the shift amount pixel determined by the equation 5 in the horizontal direction and shifted by the shift amount pixel determined by the equation 6 in the vertical direction so that the shift direction (parallax direction) of the pixel coincides.
  • the stereo image regenerating unit 206 acquires the distance Z in the depth direction of the subject from the depth information (depth map), and acquires the inclination ⁇ of the viewer's face from the inclination calculating unit 203. Then, the horizontal shift amount is determined using the relational expression shown in Equation 5, the vertical shift amount is determined using the relational expression shown in Equation 6, and each pixel constituting the left-eye image is shifted. As a result, in a state where the viewer's head is tilted to the left and right, a stereo image having an optimal parallax direction for the viewer in which the image shift direction (parallax direction) matches the direction connecting the left eye and the right eye is generated. Can do.
  • the stereo image storage unit 207 has a function of storing a stereo image composed of a left-eye image / right-eye image generated by the stereo image regeneration unit 206 in association with the inclination of the viewer's face.
  • FIG. 7 is a diagram illustrating an example of a storage format of the stereo image storage unit 207.
  • the content ID is an ID for specifying 3D content. Anything can be used as long as it can uniquely identify the content of the 3D content. For example, it may be a directory name or a URL (Uniform Resource Locator) indicating the storage location of the 3D content.
  • the L image data (left eye image data) created by performing shift processing on the content with the content ID “1111” under the condition of the inclination of 5 degrees is “xxxx1.jpg”, R image data. (Right-eye image data) is stored as “xxxx2.jpg”.
  • JPEG format JPEG format
  • BMP BitMaP
  • TIFF Tagged Image File Format
  • PNG Portable Network Graphics
  • GIF Graphics Interchange Format
  • MPO Multi-Picture
  • the output unit 208 has a function of outputting stereo image data stored in the stereo image data storage unit 207 to an external display. Specifically, the output unit 208 stores in the stereo image data storage unit 207 stereo image data that matches the content ID and the inclination of the viewer's face before the stereo image regeneration unit 206 performs pixel shift processing. It is determined whether it is done. When stereo image data matching the content ID and the inclination of the viewer's face is stored, the output unit 208 outputs the stereo image data to an external display. If the matching stereo image data is not stored, the output unit 208 waits for the stereo image data to be generated by the stereo image regenerator 206, and if the stereo image data is generated by the stereo image regenerator 206, The stereo image data is output to an external display.
  • the functional configuration described above can be implemented using, for example, an LSI.
  • FIG. 8 is a diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present embodiment.
  • the LSI 800 includes, for example, a CPU 801 (Central Processing Unit), a DSP 802 (Digital Signal Processor), a VIF 803 (Video Interface), and a PERI 804 (Peripheral Interface: Peripheral Interface, NIF805 (Network Interface: Network Interface), MIF806 (Memory Interface: Memory Interface), BUS807 (Bus), RAM / ROM 4108 (Random Access Memory / Read Only Memory) Composed.
  • a CPU 801 Central Processing Unit
  • DSP 802 Digital Signal Processor
  • VIF 803 Video Interface
  • PERI 804 Peripheral Interface: Peripheral Interface
  • NIF805 Network Interface: Network Interface
  • MIF806 Memory Interface
  • BUS807 Buss
  • RAM / ROM 4108 Random Access Memory / Read Only Memory Composed.
  • the processing procedure performed by each functional configuration described above is stored in the RAM / ROM 4108 as a program code.
  • the program code stored in the RAM / ROM 808 is read via the MIF 806 and executed by the CPU 801 or DSP 802. Thereby, the function of the video processing apparatus described above can be realized.
  • the VIF 803 is connected to an imaging device such as the camera 813 and a display device such as the display 812, and acquires or outputs a stereo image.
  • the PERI 804 is connected to a recording device such as an HDD 810 (Hard Disk Drive) or an operation device such as a Touch Panel 811 and controls these peripheral devices.
  • the NIF 805 is connected to the MODEM 809 and the like, and connects to an external network.
  • FIG. 9 is a flowchart showing the flow of the depth information generation process.
  • the depth information generation unit 205 first acquires a left-eye image and a right-eye image from the stereo image acquisition unit 204 (step S901).
  • the depth information generation unit 205 searches the right eye image for pixels corresponding to the pixels constituting the left eye image (step S902).
  • the depth information generation unit 205 calculates the distance in the depth direction of the subject based on the triangulation principle from the positional relationship between the corresponding points of the left-eye image and the right-eye image (step S903).
  • the processes in steps S902 and S903 described above are performed on all the pixels constituting the left-eye image.
  • the depth information generation unit 205 obtains information on the distance in the depth direction of the subject obtained by the processing of step S903.
  • Bit quantization is performed (step S904). Specifically, the calculated distance in the depth direction of the subject is converted into 256 gradation values from 0 to 255, and a grayscale image in which the depth of each pixel is represented by 8-bit luminance is generated.
  • FIG. 10 is a flowchart showing the flow of stereo image generation / display processing.
  • the operation input receiving unit 201 determines whether or not there is a content display instruction (step S1001). When there is no content display instruction, it waits until there is a content display instruction (step S1001, NO). When there is a content display instruction (step S1001, YES), an inclination calculation process is performed (step S1002). Details of the inclination calculation processing will be described later.
  • the output unit 208 calculates the content ID of the content for which a display instruction has been given from the image data stored in the stereo image storage unit 207 and the viewer face tilt calculated by the tilt calculation process. It is determined whether there is matching image data (step S1003). When there is image data having the same content ID and face inclination (step S1003, YES), the output unit 208 outputs the image data to the display (step S1004). When there is no image data in which the content ID and the face inclination match (step S1003, NO), a stereo image regeneration process is performed by the stereo image regeneration unit 206 (step S1005). Details of the stereo image regeneration process will be described later. After the stereo image regeneration process, the output unit 208 outputs the regenerated image data to the display (step S1006).
  • step S1002 This completes the description of the stereo image generation / display processing by the image processing apparatus 200. Next, details of the inclination calculation process in step S1002 will be described.
  • FIG. 11 is a flowchart showing the flow of the inclination calculation process (step S1002).
  • the face image acquisition unit 202 acquires a viewer's face image from an external imaging device (step S1101).
  • the inclination calculation unit 203 extracts feature points from the acquired viewer's face image (step S1102).
  • eye feature points are extracted from the face image.
  • the tilt calculation unit 203 analyzes the feature points and calculates the tilt ⁇ of the viewer's face from the positional relationship between both eyes (step S1103).
  • the above is the description of the inclination calculation processing in step S1002.
  • details of the stereo image regeneration process in step S1005 will be described.
  • FIG. 12 is a flowchart showing the flow of the stereo image regeneration process (step S1005).
  • the stereo image regeneration unit 206 acquires stereo image data (step S1201).
  • the stereo image regeneration unit 206 determines whether or not the acquired stereo image data includes attribute information indicating the shooting direction (step S1202).
  • attribute information indicating the shooting direction step S1202, YES
  • the left eye image is rotated based on the attribute information (step S1203).
  • the stereo image regeneration unit 206 acquires the depth information generated by the depth information generation unit 205 and the inclination of the viewer's face calculated by the inclination calculation unit 203 (step S1204). After acquiring the depth information and the viewer tilt information, the stereo image regeneration unit 206 shifts the shift amount in the abscissa and ordinate directions for each pixel of the image for the left eye based on the depth information and the tilt of the viewer's face. Is calculated (step S1205). Specifically, the shift amount in the abscissa direction is calculated using the calculation formula shown in Equation 5, and the shift amount in the ordinate direction is calculated using the calculation formula shown in Equation 6.
  • the stereo image regenerating unit 206 shifts each pixel of the left eye image to generate a right eye image (step S1206).
  • the stereo image regeneration unit 206 stores the re-generated left-eye image / right-eye image in association with the inclination of the viewer's face used for regeneration.
  • the data is stored in the unit 207 (step S1207). The above is the description of the stereo image regeneration process in step S905.
  • each pixel constituting the original image is shifted in the horizontal and vertical directions to regenerate a stereo image. Therefore, in a state where the viewer's head is tilted to the left and right, a stereoscopic image having an optimal parallax direction for the viewer in which the image shift direction (parallax direction) matches the direction connecting the left eye and the right eye is generated. be able to. Even when a viewer views a stereoscopic image with his / her head tilted left and right, the left eye retinal image and the right eye retinal image are displaced only in the horizontal direction and not in the vertical direction.
  • Embodiment 2 Similar to the image processing apparatus 200 according to the first embodiment, the image processing apparatus according to the second embodiment generates depth information (depth map) indicating the position of the subject in the depth direction from the input image, and determines the face inclination and the depth information. This is an image processing apparatus that generates a stereo image by shifting each pixel constituting the original image in the horizontal and vertical directions based on depth information (depth map), but the method of calculating the tilt of the viewer's face is different. .
  • depth information depth map
  • the image processing apparatus receives the tilt of the 3D glasses from the 3D glasses provided with the tilt sensor, and calculates the tilt of the viewer's face from the tilt of the 3D glasses. Thereby, the inclination of the viewer's face can be calculated without analyzing the viewer's face image.
  • FIG. 13 is a block diagram illustrating an example of the configuration of the image processing apparatus 1300 according to the second embodiment.
  • the image processing apparatus 1300 includes an IR receiving unit 1301, an inclination calculating unit 1302, an operation input receiving unit 201, a stereo image acquiring unit 204, depth information 205, a stereo image regenerating unit 206, and a stereo image storage.
  • a unit 207 and an output unit 208 are included.
  • the IR receiver 1301 has a function of receiving tilt information of 3D glasses from 3D glasses equipped with a tilt sensor.
  • FIG. 14 is a diagram illustrating acquisition of tilt information by the IR receiver 1301.
  • the 3D glasses have a built-in tilt sensor.
  • 3D glasses use polarization glasses to separate left-eye images and right-eye images using a polarizing filter, and left-eye images and right-eye images using a liquid crystal shutter that alternately blocks left and right fields of view.
  • Liquid crystal shutter glasses The tilt sensor detects the rotation angle and rotation direction of the 3D glasses in the three-axis direction as sensor information.
  • the detected sensor information is transmitted as infrared rays by the IR transmitter of the 3D glasses.
  • the IR receiver 1301 receives the infrared signal transmitted from the IR transmitter of the 3D glasses.
  • the tilt calculating unit 1302 has a function of calculating the tilt of the viewer's face based on the sensor information acquired by the IR receiving unit 1301. Specifically, the inclination ⁇ of the viewer's face is calculated from the rotation angle and rotation direction of the 3D glasses.
  • the face inclination ⁇ is an inclination on a plane parallel to the display surface.
  • the operation input reception unit 201, stereo image acquisition unit 204, depth information 205, stereo image regeneration unit 206, stereo image storage unit 207, and output unit 208 have the same configuration as the image processing apparatus 200 according to the first embodiment. The explanation is omitted.
  • FIG. 15 is a flowchart showing the flow of the inclination calculation process.
  • the inclination calculating unit 1302 acquires the sensor information received by the IR receiving unit 1301 (step S1501).
  • the sensor information is information on a rotation angle and a rotation direction of the 3D glasses detected by the tilt sensor imaged in the 3D glasses.
  • the inclination calculation unit 1302 calculates the inclination ⁇ of the viewer's face based on the sensor information (step S1502).
  • the above is the description of the viewer face inclination calculation processing in the second embodiment.
  • the tilt of the 3D glasses is received from the 3D glasses provided with the tilt sensor, and the tilt of the viewer's face is calculated from the tilt of the 3D glasses.
  • the image processing apparatus according to the third embodiment calculates the inclination of the viewer's face, and based on the face inclination and depth information (depth map), the original image Is an image processing apparatus that generates a stereo image by shifting each pixel constituting the horizontal and vertical directions, but the input image is different.
  • the input image is a monocular image with respect to a stereo image in which the input image is a combination of a left-eye image and a right-eye image.
  • the image processing apparatus according to the third embodiment is an image processing apparatus that generates a stereo image according to the inclination of the viewer's face from a monocular image captured by an imaging apparatus such as an external monocular camera.
  • FIG. 16 is a block diagram illustrating an example of the configuration of the image processing apparatus 1600 according to the third embodiment.
  • an image processing apparatus 1600 includes an image acquisition unit 1601, a depth information generation unit 1602, an operation input reception unit 201, a face image acquisition unit 202, an inclination calculation unit 203, a stereo image regeneration unit 206, a stereo An image storage unit 207 and an output unit 208 are included.
  • the image acquisition unit 1601 has a function of acquiring a monocular image.
  • the monocular image acquired here becomes a target of the pixel shift process of the stereo image regeneration unit 206.
  • the monocular image may be image data captured by an imaging device such as a monocular camera. Further, the image is not limited to a real image, and may be CG (Computer / Graphics) or the like. Further, it may be a still image or a moving image including a plurality of still images that are temporally continuous.
  • the depth information generation unit 1602 has a function of generating depth information (depth map) of a monocular image acquired by the image acquisition unit 1601.
  • the depth information is generated by measuring the distance of each subject using a distance sensor such as a TOF (Time Of Flight) type distance sensor.
  • a distance sensor such as a TOF (Time Of Flight) type distance sensor.
  • you may acquire with a monocular image from an external network, a server, a recording medium, etc.
  • the monocular image acquired by the image acquisition unit 1601 may be analyzed to generate depth information. Specifically, the image is first divided into a set of pixels called “superpixels” that have very homogeneous attributes such as color and brightness, and this superpixel is compared with adjacent superpixels to analyze changes in texture gradation and other factors. To estimate the distance of the subject.
  • the operation input reception unit 201, the face image acquisition unit 202, the inclination calculation unit 203, the stereo image regeneration unit 206, the stereo image storage unit 207, and the output unit 208 have the same configuration as the image processing apparatus 200 according to the first embodiment. Yes, the explanation is omitted.
  • a stereo image corresponding to the inclination of the viewer's face can be generated from a monocular image captured by an imaging apparatus such as an external monocular camera.
  • the present invention may be an application execution method disclosed by the processing procedure described in each embodiment. Further, the present invention may be a computer program including program code that causes a computer to operate according to the processing procedure.
  • the present invention can also be implemented as an LSI that controls the image processing apparatus described in each of the above embodiments.
  • Such an LSI can be realized by integrating functional blocks such as the inclination calculating unit 203, the depth information generating unit 205, the stereo image regenerating unit 206, and the like. These functional blocks may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI is used, but depending on the degree of integration, it may be called IC, system LSI, super LSI, or ultra LSI.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • FIG. 17 is a diagram illustrating a portable terminal including the image processing apparatus according to the present invention. As shown in this figure, when viewing a stereo image on a mobile terminal, even if the viewer is not tilted, the result is that the mobile terminal is tilted to the left and right, resulting in an image shift direction (parallax direction).
  • the direction connecting the left eye and the right eye may not match, and there may be a vertical shift between the left eye retinal image and the right eye retinal image. For this reason, there is a risk that visual fatigue or difficulty in three-dimensional fusion due to vertical displacement of the retinal image may occur.
  • a camera is provided on a portable terminal, and a viewer's face image is obtained from the camera and analyzed, thereby calculating a relative angle based on the display surface of the portable terminal. It is possible to generate an image in which the image shift direction (parallax direction) matches the direction connecting the left eye and the right eye.
  • the corresponding point search is performed in units of pixels, but the present invention is not necessarily limited to this case.
  • the corresponding point search may be performed in pixel block units (for example, 4 ⁇ 4 pixels, 16 ⁇ 16 pixels).
  • the depth information (depth) is converted into a grayscale image in which the distance in the depth direction of the subject is converted into 256 gradation values from 0 to 255 and the depth of each pixel is represented by 8-bit luminance.
  • the map is generated has been described, but the present invention is not necessarily limited to this case.
  • the distance in the depth direction of the subject may be converted into 128 gradation values from 0 to 127.
  • the left-eye image and the right-eye image may be images having different resolutions. It is possible to generate depth information by searching for corresponding points by performing resolution conversion processing between images with different resolutions, and generate high-resolution stereo images by performing pixel shift processing on high-resolution images. can do. Since generation processing of depth information with heavy processing can be performed with a low-resolution image size, processing can be reduced. In addition, a part of the imaging device can be a low-performance imaging device, and cost reduction can be achieved.
  • the distance S from the viewer to the display screen is set to three times the height H of the display screen (3H), and the pixel shift amount is calculated. It is not limited to the case.
  • the distance S from the viewer to the display screen may be calculated by a distance sensor such as a TOF (Time Of Flight) type sensor.
  • the interpupillary distance e is an average value of adult males of 6.4 cm and the pixel shift amount is calculated.
  • the present invention is not necessarily limited to this case.
  • the interpupillary distance may be calculated from the face image acquired by the face image acquisition unit 202.
  • it may be determined whether the viewer is an adult, a child, a man, or a woman, and the pixel shift amount may be calculated based on the interpupillary distance e.
  • a stereo image may be regenerated using a deviation amount (parallax) of the original image.
  • the shift amount in the horizontal direction when the viewer is inclined by ⁇ degrees can be calculated by multiplying the shift amount (parallax) of the original image by cos ⁇ .
  • the shift amount in the vertical direction when the viewer is inclined by ⁇ degrees can be calculated by multiplying the shift amount (parallax) of the original image by sin ⁇ .
  • each pixel constituting the original image is shifted in the horizontal direction and the vertical direction based on the tilt of the viewer's face and depth information (depth map), and the image shift direction (parallax) Direction) and the direction that connects the left eye and the right eye are generated, so there is no visual fatigue or difficulty in three-dimensional fusion due to vertical displacement of the retina image when the viewer's head is tilted left and right. It is beneficial to provide a comfortable stereoscopic view to the viewer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　傾き算出部２０３は、視聴者の顔の傾きを算出する。ステレオ画像再生成部２０６は、算出した視聴者の顔の傾きと深度情報（デプスマップ）に基づき、原画像を構成する各画素を水平方向および垂直方向にシフトし、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致したステレオ画像を生成する。

Description

画像処理装置、映像処理方法、プログラム、集積回路
　本発明は、画像処理技術に関し、特に立体視画像の生成技術に関する。
　近年、両眼網膜像差を利用した立体視画像表示技術が注目を集めている。人間は左目の網膜像と右目の網膜像の違いにより立体を知覚することから、視聴者の左目と右目に視差がある画像（左目用画像・右目用画像）を独立して入射させることにより、両眼の網膜に生じる物体像にズレを生じさせ、奥行きを感じさせる技術である。
　上記の立体視画像表示に用いられる左目用画像と右目用画像は、水平方向（横方向）に離れた複数位置から被写体を撮影することにより生成される。また特許文献１には、入力画像から視差を算出し、算出した視差量だけ画像を水平方向にずらし、左目用画像と右目用画像を生成する技術が開示されている。
特開２００５－０２０６０６号公報
　上記従来技術はいずれも、左目と右目は水平方向に離れて位置するとの前提のもとに、水平方向の視差を有する左目用画像・右目用画像を生成するものである。視聴者が正常な姿勢で上記の左目用画像・右目用画像を視聴する場合は問題ない。しかし、視聴者の頭部が左右へ傾いた状態で上記の左目用画像・右目用画像を視聴した場合、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致しないため、左目の網膜像と右目の網膜像には縦方向のズレが生じる。両眼網膜像の縦方向のズレは人間にとって経験のない刺激であり、視覚疲労の原因となる。また、左目用画像と右目用画像を別々の画像と認識してしまい、立体融合が困難となる。
　映画館等では、視聴者の席が固定されており、視聴者は正常な姿勢で左目用画像・右目用画像を視聴するため、上記の問題は生じない。しかし家庭内での立体視画像の視聴においては、様々な姿勢での視聴が考えられ、網膜像の縦ズレに起因する視覚疲労や立体融合の困難が生じる恐れがある。ラフな姿勢（例えば、机に肘をついて手にあごを載せた状態）で立体視画像を視聴したいというニーズがあり、立体視画像の視聴にあたり視聴姿勢が固定されるのでは、ユーザ利便性に欠く。
　本発明は上記事情に鑑みなされたものであり、視聴者が左右に傾いた状態での立体視画像の視聴を可能とする画像処理装置を提供することを目的とする。
　上記目的を達成するため、本発明にかかる画像処理装置は、画像データに画像処理を行う画像処理装置であって、視聴者の顔の傾きを算出する傾き算出部と、前記画像データに写る被写体の奥行き方向の位置を示す深度情報を生成する深度情報生成部と、前記画像データを構成する各画素の座標を、横方向および縦方向に所定の量シフトすることにより、前記画像データとは異なる視点の画像データを生成し、前記画像データと前記画像データとは異なる視点の画像データの組からなるステレオ画像データを生成するステレオ画像データ生成部とを備え、前記横方向および縦方向の所定のシフト量は、前記深度情報および前記視聴者の顔の傾きにより定まることを特徴とする。
　本発明によれば、画像データを構成する各画素を、深度情報および視聴者の顔の傾きにより定まる量、横方向および縦方向にシフトし、ステレオ画像データを生成するので、視聴者の頭部が左右へ傾いた状態において、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致した立体視画像を生成することができる。視聴者が頭部を左右に傾けて立体視画像を視聴した場合においても、左目の網膜像と右目の網膜像には水平方向（横方向）のみのズレが生じ、垂直方向（縦方向）のズレは生じないので、網膜像の縦ズレに起因する視覚疲労や立体融合の困難が生じず、視聴者に快適な立体視を提供することができる。また、立体視視聴における視聴姿勢の自由度を高めることができるので、ユーザ利便性を向上させることができる。
実施の形態１にかかる画像処理装置が行う処理の概要を示す図である。 実施の形態１にかかる画像処理装置２００の構成の一例を示すブロック図である。 視聴者の顔の傾きの算出を示す図である。 飛出し立体視の場合の画素シフトを示す図である。 引っ込み立体視の場合の画素シフトを示す図である。 表示画面の縦方向、横方向の１画素あたりの長さを示す図である。 ステレオ画像格納部２０７の格納形式の一例を示す図である。 本実施の形態にかかる画像処理装置のハードウェア構成の一例を示す図である。 深度情報生成処理の流れを示すフローチャートである。 ステレオ画像生成・表示処理の流れを示すフローチャートである。 傾き算出処理の流れを示すフローチャートである。 ステレオ画像再生成処理の流れを示すフローチャートである。 実施の形態２にかかる画像処理装置１３００の構成の一例を示すブロック図である。 ＩＲ受信部１３０１による傾き情報の取得を示す図である。 実施の形態２における傾き算出処理の流れを示すフローチャートである。 実施の形態３にかかる画像処理装置１６００の構成の一例を示すブロック図である。 本発明にかかる画像処理装置を備えた携帯端末を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
≪実施の形態１≫
　＜概要＞
　図１は、実施の形態１にかかる画像処理装置が行う処理の概要を示す図である。本図に示されるように、画像処理装置は、カメラから視聴者の顔画像を取得し、顔画像の画像解析により視聴者の顔の傾きを算出する。また、入力画像から被写体の奥行き方向の位置を示す深度情報（デプスマップ）を生成する。そして、顔の傾きと深度情報（デプスマップ）に基づき、原画像を構成する各画素を水平方向および垂直方向にシフトすることによりステレオ画像を生成する。
　このように、水平方向だけでなく、顔の傾きに応じて垂直方向に画素をシフトすることにより、左目と右目を結ぶ方向と画像のズレ方向（視差方向）とが一致した、視聴者にとって最適な視差方向を有するステレオ画像を生成することができる。
　＜構成＞
　まず、実施の形態１にかかる画像処理装置２００の構成について説明する。図２は、画像処理装置２００の構成の一例を示すブロック図である。本図に示されるように、画像処理装置２００は、操作入力受付部２０１、顔画像取得部２０２、傾き算出部２０３、ステレオ画像取得部２０４、深度情報生成部２０５、ステレオ画像再生成部２０６、ステレオ画像格納部２０７、出力部２０８を含んで構成される。以下、各構成部について説明する。
　＜操作入力受付部２０１＞
　操作入力受付部２０１は、視聴者の操作入力を受け付ける機能を有する。具体的には、立体視コンテンツの再生命令等を受け付ける。
　＜顔画像取得部２０２＞
　顔画像取得部２０２は、外部の撮像装置により撮影された視聴者の顔画像を取得する機能を有する。
　＜傾き算出部２０３＞
　傾き算出部２０３は、顔画像取得部２０２で取得した視聴者の顔画像を解析し、視聴者の顔の傾きを算出する機能を有する。具体的には、顔画像から特徴点を検出し、特徴点の位置関係から視聴者の顔の傾きを算出する。なお、視聴者の顔の傾きとは表示ディスプレイ面に対して平行な平面上の傾きをいう。
　特徴点とは、画像の境目や角といった特徴を点化したものであり、本実施の形態では、エッジ（輝度が鋭敏に変化している箇所）またはエッジの交点箇所をいう特徴点として抽出する。エッジの検出は、画素間の輝度の差分（一次微分）を求め、その差分からエッジ強度を算出することにより行う。なお、その他のエッジ検出方法により特徴点を抽出してもよい。
　図３は、視聴者の顔の傾きの算出を示す図である。本図に示す例では、特徴点抽出により目を検出し、両目の位置関係（Δｘ，Δｙ）を算出する。そして、視聴者の顔の傾きαを、α＝ａｒｃｔａｎ（Δｙ÷Δｘ）の数式により算出する。なお、目以外の特徴部位（３Ｄメガネ、鼻、口等）を検出し、その位置関係から顔の傾きを検出してもよい。
　＜ステレオ画像取得部２０４＞
　ステレオ画像取得部２０４は、同解像度の左目用画像と右目用画像の組みからなるステレオ画像を取得する機能を有する。ステレオ画像は、異なる視点から被写界を撮像して得られる画像であり、例えばステレオカメラ等の撮像装置で撮像された画像データであってもよい。また、外部のネットワーク、サーバ、記録媒体等から、取得された画像データであってもよい。また実写画像に限らず、異なる仮想視点を想定して作成したＣＧ（Computer Graphics）等であってもよい。また、静止画像であっても、時間的に連続する複数の静止画像を含む動画像であってもよい。
　＜深度情報生成部２０５＞
　深度情報生成部２０５は、ステレオ画像取得部２０４で取得したステレオ画像から被写体の奥行き方向の位置を示す深度情報（デプスマップ）を生成する機能を有する。具体的には、まずステレオ画像を構成する左目用画像・右目用画像間の各画素について対応点探索を行う。そして、左目用画像と右目用画像の対応点の位置関係から、三角測量の原理に基づき、被写体の奥行き方向の距離を算出する。深度情報（デプスマップ）は、各画素の奥行きを８ビットの輝度で表したグレースケール画像であり、深度情報生成部２０５は、算出した被写体の奥行き方向の距離を０～２５５までの２５６階調の値に変換する。なお、対応点探索には、注目点の周りに小領域を設け、その領域中の画素値の濃淡パターンに基づいて行う領域ベースマッチング手法と、画像からエッジなど特徴を抽出し、その特徴間で対応付けを行う特徴ベースマッチングの２つに大きく大別されるが、何れの手法を用いてもよい。
　＜ステレオ画像再生成部２０６＞
　ステレオ画像再生成部２０６は、顔の傾きと深度情報に基づき、ステレオ画像取得部２０４で取得した左目用画像を構成する各画素を水平方向および垂直方向にシフトすることにより左目用画像に対応する右目画像を生成する機能を有する。なおステレオ画像再生成部２０６は、画素シフト処理の前に、画像データの属性情報を参照して画像データの向き（撮影方向）の判別をおこない、その向きに応じて回転処理を行った後、画素シフト処理を行う。例えば画像データがＪＰＥＧ（Joint Photographic Experts Group）形式の場合、Ｅｘｉｆ（Exchangeable image file format）情報に格納されているＯｒｉｅｎｔａｔｉｏｎタグを属性情報として用いる。Ｏｒｉｅｎｔａｔｉｏｎタグは、行と列の観点から見た画像データの方向を示す情報であり、この値を参照して、画像データの縦横の向きを判別することができる。例えばＯｒｉｅｎｔａｔｉｏｎタグの値が６（時計回りに９０°回転）の場合、画像データを９０°回転させてから、画素シフト処理を行う。以下では、画素シフトの詳細について説明する。
　図４、図５は、本実施の形態にかかる画素シフトを示す図である。立体視効果には、飛び出し効果をもたらすもの（飛出し立体視）と、引っ込み効果をもたらすもの（引っ込み立体視）とがあり、図４は飛出し立体視の場合の画素シフト、図５は引っ込み立体視の場合の画素シフトを示す。これらの図において、Ｐｘは水平方向へのシフト量、Ｐｙは垂直方向へのシフト量、L-View-Pointは左目瞳孔位置、R-View-Pointは右目瞳孔位置、L-Pixelは左目画素、R-Pixelは右目画素、ｅは瞳孔間距離、αは視聴者の傾き角度、Ｈは表示画面の高さ、Ｗは表示画面の横幅、Ｓは視聴者から表示画面までの距離、Ｚは視聴者から結像点までの距離、すなわち被写体の奥行き方向の距離を示す。左目画素L-pixelと左目瞳孔L-view-pointとを結ぶ直線は左目瞳孔L-view-pointの視線、右目画素R-Pixelと右目瞳孔R-View-Pointとを結ぶ直線は右目瞳孔R-View-Pointの視線であり、３Ｄメガネによる透光・遮光の切り替えや、パララックスバリア、レンティキュラレンズ等を用いた視差障壁によって実現される。ここで、R-view-pointがL-view-pointより、上方向に位置する場合αを正の値とし、R-view-pointがL-view-pointより、下方向に位置する場合αを負の値とする。また、右目画素R-pixel・左目画素L-pixelが図４の位置関係にある場合のＰｘを負の値とし、図５の位置関係にある場合のＰｘを正の値とする。
　まず、表示画面の高さＨ、表示画面の横幅Ｗについて考える。表示画面がＸ型のテレビである場合を考えると、テレビの型数は画面の対角線の長さ（インチ）で表されるため、テレビの型数Ｘ、表示画面の高さＨ、表示画面の横幅Ｗとの間には、Ｘ2＝Ｈ2＋Ｗ2の関係が成り立つ。また表示画面の高さＨ、表示画面の横幅Ｗは、アスペクト比ｍ：ｎを用いて、Ｗ：Ｈ＝ｍ：ｎと表される。上記の関係式から、図４、図５に示される表示画面の高さＨは
Figure JPOXMLDOC01-appb-M000001
表示画面の横幅Ｗは
Figure JPOXMLDOC01-appb-M000002
で表され、テレビの型数Ｘの値とアスペクト比ｍ：ｎから算出することができる。なお、テレビの型数Ｘ、アスペクト比ｍ：ｎの情報は、外部ディスプレイとのネゴシエーションにより取得した値を用いる。以上が表示画面の高さＨ、表示画面の横幅Ｗの関係についての説明である。続いて、水平方向のシフト量、及び垂直方向のシフト量について説明する。
　まず、飛出し立体視の場合について説明する。図４（ａ）は視聴者が傾いていない姿勢における画素シフトを示す図、図４（ｂ）は視聴者がα度傾いた姿勢における画素シフトを示す図である。ステレオ画像再生成部２０６は、視聴者がα度傾いた場合、図４（ｂ）に示されるように、左目瞳孔L-view-pointと右目瞳孔R-View-Pointを結ぶ方向と画像のズレ方向（視差方向）とが一致するように、左目画素L-pixelをシフトする。左目用画像を構成する全画素に対して、かかる画素シフトを行うことにより、左目用画像に対応する右目画像を生成することができる。以下では、水平方向のシフト量、垂直方向のシフト量の具体的な計算式について説明する。
　図４（ａ）、図４（ｂ）を参照するに、左目瞳孔L-view-point、右目瞳孔R-View-Point、結像点の三点からなる三角形と、左目画素L-pixel、右目画素R-pixel、結像点の三点からなる三角形の相似関係から、視聴者が傾いていない場合の水平方向のシフト量Ｐｘ、被写体の距離Ｚ、視聴者から表示画面までの距離Ｓ、瞳孔間距離ｅとの間には
Figure JPOXMLDOC01-appb-M000003
の関係が成り立つ。被写体の距離Ｚは深度情報（デプスマップ）から取得できる。また、瞳孔間距離ｅは、成人男性の平均値６．４ｃｍを採用する。また視聴者から表示画面までの距離Ｓは、最適な視聴距離が一般に表示画面の高さの３倍とされることから、３Ｈとする。
　ここで図６に示すように表示画面の縦方向の画素数をＬ、表示画面の横方向の画素数をＫとした場合、横方向の１画素あたりの長さは、表示画面の横幅Ｗ÷表示画面の横方向の画素数Ｋ、縦方向の１画素あたりの長さは、表示画面の高さＨ÷表示画面の縦方向の画素数Ｌとなる。また１インチは２．５４ｃｍである。従って、数３に示す視聴者が傾いていない場合の水平方向のシフト量Ｐｘを画素単位で示すと
Figure JPOXMLDOC01-appb-M000004
となる。なお、表示画面の解像度（縦方向の画素数Ｌ、横方向の画素数Ｋ）の情報は、外部ディスプレイとのネゴシエーションにより取得した値を用いる。このように、上記数式に基づき、視聴者が傾いていない場合の水平方向のシフト量Ｐｘを算出することができる。
　続いて、視聴者がα度傾いた場合における水平方向へのシフト量Ｐｘ´、及び垂直方向のシフト量Ｐｙについて説明する。ステレオ画像再生成部２０６は、視聴者がα度傾いた場合、図４（ｂ）に示されるように、左目瞳孔L-view-pointと右目瞳孔R-View-Pointを結ぶ方向と画像のズレ方向（視差方向）とが一致するように左目画素L-pixelをシフトすることから、視聴者がα度傾いた場合における水平方向へのシフト量Ｐｘ´は、視聴者が傾いていない場合における水平方向へのシフト量Ｐｘにｃｏｓαを乗じた値となる。すなわち、視聴者がα度傾いた場合における水平方向へのシフト量Ｐｘ´は
Figure JPOXMLDOC01-appb-M000005
となる。
　一方、垂直方向のシフト量Ｐｙは、図４（ｂ）を参照するに、視聴者が傾いていない場合における水平方向へのシフト量Ｐｘにｓｉｎαを乗じたものとなる。すなわち、垂直方向のシフト量Ｐｙは
Figure JPOXMLDOC01-appb-M000006
となる。
　図５（ａ）、図５（ｂ）の引っ込み立体視の場合も上記の説明と同様の関係が成り立つ。すなわち、ステレオ画像再生成部２０６は、視聴者がα度傾いた場合、図５（ｂ）に示されるように、左目瞳孔L-view-pointと右目瞳孔R-View-Pointを結ぶ方向と画像のズレ方向（視差方向）とが一致するように、左目画素L-pixelを、水平方向に数５で定まるシフト量画素シフトし、垂直方向に数６で定まるシフト量画素シフトする。
　まとめると、ステレオ画像再生成部２０６は、被写体の奥行き方向の距離Ｚを深度情報（デプスマップ）から取得し、視聴者の顔の傾きαを傾き算出部２０３から取得する。そして、数５に示される関係式を用いて水平方向のシフト量を定め、数６に示される関係式を用いて垂直方向のシフト量を定め、左目用画像を構成する各画素をシフトする。これにより、視聴者の頭部が左右へ傾いた状態において、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致した、視聴者にとって最適な視差方向を有するステレオ画像を生成することができる。
　＜ステレオ画像格納部２０７＞
　ステレオ画像格納部２０７は、ステレオ画像再生成部２０６で生成した左目用画像・右目用画像の組からなるステレオ画像を、視聴者の顔の傾きに関連付けて格納する機能を有する。図７は、ステレオ画像格納部２０７の格納形式の一例を示す図である。コンテンツＩＤは、３Ｄコンテンツを特定するためのＩＤである。３Ｄコンテンツの内容を一意に特定できるものであればよく、例えば３Ｄコンテンツの格納位置を示すディレクトリ名やＵＲＬ（Uniform Resource Locator）等であってもよい。本図に示される例では、コンテンツＩＤ“１１１１”のコンテンツに対して、傾き５度の条件でシフト処理を行い作成したＬ画像データ（左目用画像データ）を“ｘｘｘｘ１．ｊｐｇ”、Ｒ画像データ（右目用画像データ）を“ｘｘｘｘ２．ｊｐｇ”として格納している。なお、ここでは画像データをＪＰＥＧ形式で格納する例を示したが、ＢＭＰ（BitMaP）、ＴＩＦＦ（Tagged Image File Format）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＭＰＯ（Multi-Picture Format）等の形式で格納してもよい。
　このように、ステレオ画像再生成部２０６で生成した左目用画像、右目用画像を、視聴者の顔の傾きに関連付けて格納することにより、次に同条件の再生命令がなされた際に、再度画素シフト処理を行うことなく即座に表示することが可能となる。
　＜出力部２０８＞
　出力部２０８は、ステレオ画像データ格納部２０７に格納されているステレオ画像データを外部ディスプレイに出力する機能を有する。具体的には、出力部２０８は、ステレオ画像再生成部２０６が画素シフト処理を行う前に、コンテンツＩＤ及び視聴者の顔の傾きに一致するステレオ画像データが、ステレオ画像データ格納部２０７に格納されているか判定する。コンテンツＩＤ及び視聴者の顔の傾きに一致するステレオ画像データが格納されている場合、出力部２０８はそのステレオ画像データを外部ディスプレイに出力する。一致するステレオ画像データが格納されていない場合、出力部２０８はステレオ画像再生成部２０６によりステレオ画像データが生成されるのを待ち、ステレオ画像再生成部２０６によりステレオ画像データが生成されれば、そのステレオ画像データを外部ディスプレイに出力する。
　続いて、本実施の形態にかかる画像処理装置のハードウェア構成について説明する。上述した機能構成は、例えば、ＬＳＩを用いて具現化することができる。
　図８は、本実施の形態にかかる画像処理装置のハードウェア構成の一例を示す図である。本図に示されるように、ＬＳＩ８００は、例えば、ＣＰＵ８０１（中央処理装置：Central Processing Unit）、ＤＳＰ８０２（デジタル信号プロセッサ：Digital Signal Processor）、ＶＩＦ８０３（ビデオインターフェイス：Video Interface）、ＰＥＲＩ８０４（周辺機器インターフェイス：Peripheral Interface）、ＮＩＦ８０５（ネットワークインターフェイス：Network Interface）、ＭＩＦ８０６（メモリインターフェイス：Memory Interface）、ＢＵＳ８０７（バス）、ＲＡＭ／ＲＯＭ４１０８（ランダムアクセスメモリ／読み出し専用メモリ：Random Access Memory/Read Only Memory）を含んで構成される。
　上述した各機能構成が行う処理手順は、プログラムコードとしてＲＡＭ／ＲＯＭ４１０８に格納される。そして、ＲＡＭ／ＲＯＭ８０８に格納されたプログラムコードは、ＭＩＦ８０６を介して読み出され、ＣＰＵ８０１またはＤＳＰ８０２で実行される。これにより、上述した映像処理装置の機能を実現することができる。
　また、ＶＩＦ８０３は、カメラ８１３等の撮像装置や、ディスプレイ８１２等の表示装置と接続され、ステレオ画像の取得または出力を行う。また、ＰＥＲＩ８０４は、ＨＤＤ８１０（ハードディスクドライブ：Hard Disk Drive）等の記録装置や、Ｔｏｕｃｈ　Ｐａｎｅｌ８１１等の操作装置と接続され、これらの周辺機器の制御を行う。また、ＮＩＦ８０５は、ＭＯＤＥＭ８０９等と接続され、外部ネットワークとの接続を行う。
　以上が本実施の形態にかかる画像処理装置の構成についての説明である。続いて、上記構成を備える画像処理装置の動作について説明する。
　＜動作＞
　＜深度情報（デプスマップ）生成処理＞
　まず、深度情報生成部２０５による深度情報（デプスマップ）生成処理について説明する。図９は、深度情報生成処理の流れを示すフローチャートである。本図に示されるように、深度情報生成部２０５はまず、ステレオ画像取得部２０４から左目用画像、右目用画像を取得する（ステップＳ９０１）。次に、深度情報生成部２０５は、左目用画像を構成する画素に対応する画素を右目用画像から探索する（ステップＳ９０２）。そして、深度情報生成部２０５は、左目用画像と右目用画像の対応点の位置関係から、三角測量の原理に基づき、被写体の奥行き方向の距離を算出する（ステップＳ９０３）。以上のステップＳ９０２、ステップＳ９０３の処理を左目用画像を構成する全ての画素に対して行う。
　左目用画像を構成する全ての画素に対して、ステップＳ９０２、ステップＳ９０３の処理を終えた後、深度情報生成部２０５は、ステップＳ９０３の処理で得られた被写体の奥行き方向の距離の情報を８ビット量子化する（ステップＳ９０４）。具体的には、算出した被写体の奥行き方向の距離を０～２５５までの２５６階調の値に変換し、各画素の奥行きを８ビットの輝度で表したグレースケール画像を生成する。
　以上が、深度情報生成部２０５による深度情報（デプスマップ）生成処理についての説明である。続いて、画像処理装置２００によるステレオ画像生成・表示処理について説明する。
　＜ステレオ画像生成・表示処理＞
　図１０は、ステレオ画像生成・表示処理の流れを示すフローチャートである。本図に示されるように、操作入力受付部２０１は、コンテンツの表示指示の有無の判定を行う（ステップＳ１００１）。コンテンツの表示指示がない場合、コンテンツの表示指示があるまで待機する（ステップＳ１００１、ＮＯ）。コンテンツの表示指示がある場合（ステップＳ１００１、ＹＥＳ）、傾き算出処理を行う（ステップＳ１００２）。傾き算出処理の詳細は後述する。
　傾き算出処理の後、出力部２０８は、ステレオ画像格納部２０７に格納されている画像データのうち、表示指示があったコンテンツのコンテンツＩＤ、及び傾き算出処理で算出した視聴者の顔の傾きに一致する画像データが存在するか否かを判定する（ステップＳ１００３）。コンテンツＩＤ及び顔の傾きが一致する画像データがある場合（ステップＳ１００３、ＹＥＳ）、出力部２０８はその画像データをディスプレイに出力する（ステップＳ１００４）。コンテンツＩＤ及び顔の傾きが一致する画像データがない場合（ステップＳ１００３、ＮＯ）、ステレオ画像再生成部２０６によるステレオ画像再生成処理を行う（ステップＳ１００５）。ステレオ画像再生成処理の詳細は後述する。ステレオ画像再生成処理の後、出力部２０８は再生成した画像データをディスプレイに出力する（ステップＳ１００６）。
　以上が、画像処理装置２００によるステレオ画像生成・表示処理についての説明である。続いて、ステップＳ１００２の傾き算出処理の詳細について説明する。
　＜傾き算出処理＞
　図１１は、傾き算出処理（ステップＳ１００２）の流れを示すフローチャートである。本図に示されるように、まず顔画像取得部２０２は、外部の撮像装置から視聴者の顔画像を取得する（ステップＳ１１０１）。次に傾き算出部２０３は、取得した視聴者の顔画像から特徴点を抽出する（ステップＳ１１０２）。本実施の形態では、顔画像から目の特徴点を抽出する。特徴点の抽出の後、傾き算出部２０３は、特徴点を解析し、両目の位置関係から視聴者の顔の傾きαを算出する（ステップＳ１１０３）。以上が、ステップＳ１００２の傾き算出処理についての説明である。続いて、ステップＳ１００５のステレオ画像再生成処理の詳細について説明する。
　＜ステレオ画像再生成処理＞
　図１２は、ステレオ画像再生成処理（ステップＳ１００５）の流れを示すフローチャートである。本図に示されるように、まずステレオ画像再生成部２０６は、ステレオ画像データを取得する（ステップＳ１２０１）。次にステレオ画像再生成部２０６は、取得したステレオ画像データに撮影方向を示す属性情報があるか否か判定する（ステップＳ１２０２）。画像データがＪＰＥＧ（Joint Photographic Experts Group）形式の場合、Ｅｘｉｆ（Exchangeable image file format）情報に格納されているＯｒｉｅｎｔａｔｉｏｎタグを参照する。撮影方向を示す属性情報がある場合（ステップＳ１２０２、ＹＥＳ）、属性情報に基づき左目用画像に回転処理を行う（ステップＳ１２０３）。
　続いてステレオ画像再生成部２０６は、深度情報生成部２０５が生成した深度情報、及び傾き算出部２０３が算出した視聴者の顔の傾きを取得する（ステップＳ１２０４）。深度情報、視聴者の傾き情報の取得後、ステレオ画像再生成部２０６は、左目用画像の各画素について、深度情報と視聴者の顔の傾きに基づき、横座標方向および縦座標方向のシフト量を算出する（ステップＳ１２０５）。具体的には、数５に示される計算式を用いて横座標方向のシフト量を算出し、数６に示される計算式を用いて縦座標方向のシフト量を算出する。
　シフト量の算出の後、ステレオ画像再生成部２０６は、左目用画像の各画素を画素シフトすることにより、右目用画像を生成する（ステップＳ１２０６）。左目用画像・右目用画像の再生成の後、ステレオ画像再生成部２０６は、再生成した左目用画像・右目用画像を再生成に用いた視聴者の顔の傾きに関連付けて、ステレオ画像格納部２０７に格納する（ステップＳ１２０７）。以上が、ステップＳ９０５のステレオ画像再生成処理についての説明である。
　以上のように本実施の形態によれば、視聴者の顔の傾きと深度情報（デプスマップ）に基づき、原画像を構成する各画素を水平方向および垂直方向にシフトし、ステレオ画像を再生成するので、視聴者の頭部が左右へ傾いた状態において、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致した、視聴者にとって最適な視差方向を有する立体視画像を生成することができる。視聴者が頭部を左右に傾けて立体視画像を視聴した場合においても、左目の網膜像と右目の網膜像には水平方向のみのズレが生じ、垂直方向のズレは生じないので、網膜像の縦ズレに起因する視覚疲労や立体融合の困難が生じず、視聴者に快適な立体視を提供することができる。
≪実施の形態２≫
　実施の形態２にかかる画像処理装置は、実施の形態１にかかる画像処理装置２００と同様に、入力画像から被写体の奥行き方向の位置を示す深度情報（デプスマップ）を生成し、顔の傾きと深度情報（デプスマップ）に基づき、原画像を構成する各画素を水平方向および垂直方向にシフトすることによりステレオ画像を生成する画像処理装置であるが、視聴者の顔の傾きの算出方法が異なる。実施の形態２にかかる画像処理装置は、傾きセンサを備えた３Ｄメガネから３Ｄメガネの傾きを受信し、その３Ｄメガネの傾きから視聴者の顔の傾きを算出する。これにより、視聴者の顔画像の解析をすることなく、視聴者の顔の傾きを算出することができる。
　図１３は、実施の形態２にかかる画像処理装置１３００の構成の一例を示すブロック図である。なお、図２に示す実施の形態１にかかる画像処理装置２００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１３００は、ＩＲ受信部１３０１、傾き算出部１３０２、操作入力受付部２０１、ステレオ画像取得部２０４、深度情報２０５、ステレオ画像再生成部２０６、ステレオ画像格納部２０７、出力部２０８を含んで構成される。
　ＩＲ受信部１３０１は、傾きセンサを備えた３Ｄメガネから３Ｄメガネの傾き情報を受信する機能を有する。図１４は、ＩＲ受信部１３０１による傾き情報の取得を示す図である。
　本図に示されるように、３Ｄメガネには傾きセンサが内蔵されている。ここで３Ｄメガネとは、偏光フィルタを用いて左眼用画像・右目用画像を分離する偏光メガネや、左右の視界を交互に遮蔽する液晶シャッターを用いて左眼用画像・右目用画像を分離する液晶シャッターメガネ等をいう。傾きセンサは、３Ｄメガネの３軸方向の回転角度、回転方向をセンサ情報として検出する。検出したセンサ情報は、３ＤメガネのＩＲ発信部により、センサ情報を赤外線として発信する。そしてＩＲ受信部１３０１は、３ＤメガネのＩＲ発信部により発信された赤外線信号を受信する。
　傾き算出部１３０２は、ＩＲ受信部１３０１が取得したセンサ情報に基づき、視聴者の顔の傾きを算出する機能を有する。具体的には、３Ｄメガネの回転角度、回転方向から視聴者の顔の傾きαを算出する。なお、顔の傾きαは表示ディスプレイ面に対して平行な平面上の傾きである。
　操作入力受付部２０１、ステレオ画像取得部２０４、深度情報２０５、ステレオ画像再生成部２０６、ステレオ画像格納部２０７、出力部２０８については、実施の形態１にかかる画像処理装置２００と同じ構成であり、説明を略する。
　続いて、実施の形態１と異なる傾き算出処理について説明する。図１５は、傾き算出処理の流れを示すフローチャートである。本図に示されるように、傾き算出部１３０２は、ＩＲ受信部１３０１が受信したセンサ情報を取得する（ステップＳ１５０１）。センサ情報は、３Ｄメガネに内像された傾きセンサが検出する３Ｄメガネの３軸方向の回転角度、回転方向の情報である。センサ情報の取得後、傾き算出部１３０２は、センサ情報に基づき視聴者の顔の傾きαを算出する（ステップＳ１５０２）。以上が、実施の形態２における視聴者の顔の傾き算出処理についての説明である。
　以上のように本実施の形態によれば、傾きセンサを備えた３Ｄメガネから３Ｄメガネの傾きを受信し、その３Ｄメガネの傾きから視聴者の顔の傾きを算出するので、視聴者の顔画像の解析をすることなく、視聴者の顔の傾きを算出することができ、その結果より高速に視聴者の顔の傾きに応じたステレオ画像の再生成・表示を行うことができる。
≪実施の形態３≫
　実施の形態３にかかる画像処理装置は、実施の形態１にかかる画像処理装置２００と同様に、視聴者の顔の傾きを算出し、顔の傾きと深度情報（デプスマップ）に基づき、原画像を構成する各画素を水平方向および垂直方向にシフトすることによりステレオ画像を生成する画像処理装置であるが、入力画像が異なる。実施の形態１にかかる画像処理装置２００は、入力画像が左目用画像・右目用画像の組みからなるステレオ画像に対して、実施の形態３にかかる画像処理装置は、入力画像が単眼画像である。すなわち、実施の形態３にかかる画像処理装置は、外部の単眼カメラ等の撮像装置により撮像された単眼画像から、視聴者の顔の傾きに応じたステレオ画像を生成する画像処理装置である。
　図１６は、実施の形態３にかかる画像処理装置１６００の構成の一例を示すブロック図である。図２に示す実施の形態１にかかる画像処理装置２００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１６００は、画像取得部１６０１、深度情報生成部１６０２、操作入力受付部２０１、顔画像取得部２０２、傾き算出部２０３、ステレオ画像再生成部２０６、ステレオ画像格納部２０７、出力部２０８を含んで構成される。
　画像取得部１６０１は、単眼画像を取得する機能を有する。ここで取得された単眼画像が、ステレオ画像再生成部２０６の画素シフト処理の対象となる。単眼画像は、例えば単眼カメラ等の撮像装置により撮像された画像データであってもよい。また実写画像に限らず、ＣＧ（Computer Graphics）等であってもよい。また、静止画像であっても、時間的に連続する複数の静止画像を含む動画像であってもよい。
　深度情報生成部１６０２は、画像取得部１６０１で取得した単眼画像の深度情報（デプスマップ）を生成する機能を有する。深度情報は、例えばＴＯＦ（Time Of Flight）型距離センサ等の距離センサにより各被写体の距離を計測し、生成する。また、外部のネットワーク、サーバ、記録媒体等から、単眼画像と共に取得するものであってもよい。また、画像取得部１６０１で取得した単眼画像を解析し、深度情報を生成するものであってもよい。具体的には、まず画像を「スーパーピクセル」と呼ばれる色、明るさなどの属性がきわめて均質な画素集合に分け、このスーパーピクセルを隣接するスーパーピクセルと比較し、テクスチャーのグラデーションなどの変化を分析することによって、被写体の距離を推定する。
　操作入力受付部２０１、顔画像取得部２０２、傾き算出部２０３、ステレオ画像再生成部２０６、ステレオ画像格納部２０７、出力部２０８については、実施の形態１にかかる画像処理装置２００と同じ構成であり、説明を略する。
　以上のように本実施の形態によれば、外部の単眼カメラ等の撮像装置により撮像された単眼画像から、視聴者の顔の傾きに応じたステレオ画像を生成することができる。
　＜補足＞
　なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
　（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
　（ｂ）本発明は、上記各実施の形態に記載の画像処理装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、傾き算出部２０３、深度情報生成部２０５、ステレオ画像再生成部２０６等の各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
　（ｃ）上記実施の形態では、据え置きのディスプレイ（図１等）にステレオ画像を出力・表示する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ステレオ画像を出力するディスプレイが、携帯端末等のディスプレイであってもよい。図１７は、本発明にかかる画像処理装置を備えた携帯端末を示す図である。本図に示されるように、携帯端末におけるステレオ画像の視聴においては、視聴者の姿勢が傾いていない場合であっても、携帯端末を左右に傾けた結果、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致せず、左目の網膜像と右目の網膜像には縦方向のズレが生じる場合がある。このため、網膜像の縦ズレに起因する視覚疲労や立体融合の困難が生じるおそれがある。図１７に示されるように、携帯端末上にカメラを設け、そのカメラから視聴者の顔画像を取得し、解析を行うことで、携帯端末のディスプレイ面を基準とした相対角度を算出することができ、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致した画像を生成することができる。また、携帯端末が傾きセンサを備え、携帯端末の傾きを検知する構成としてもよい。
　（ｄ）上記実施の形態では、対応点探索を画素単位で行う場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、対応点探索を画素ブロック単位（例えば４×４画素、１６×１６画素）で行ってもよい。
　（ｅ）上記実施の形態では、被写体の奥行き方向の距離を０～２５５までの２５６階調の値に変換し、各画素の奥行きを８ビットの輝度で表したグレースケール画像として深度情報（デプスマップ）を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、被写体の奥行き方向の距離を０～１２７までの１２８階調の値に変換してもよい。
　（ｅ）上記実施の形態では、左目用画像に対して画素シフト処理を行い、左目用画像対応する右目用画像を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、右目用画像に対して画素シフト処理を行い、右目用画像に対応する左目用画像を生成してもよい。
　（ｆ）上記実施の形態では、同解像度の左目用画像と右目用画像の組みからなるステレオ画像を取得する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、左目用画像と右目用画像は解像度が異なる画像であってもよい。解像度が異なる画像間においても、解像度変換処理を行うことで、対応点探索による深度情報の生成が可能であり、高解像度の画像に対して画素シフト処理を行うことにより高解像度のステレオ画像を生成することができる。処理が重い深度情報の生成処理を低解像度の画像サイズで行うことができるため、処理の軽減が可能となる。また、撮像装置の一部を低性能の撮像装置とすることができ、低コスト化を図ることができる。
　（ｇ）上記実施の形態では、画像データの属性情報を参照して画像データの向き（撮影方向）の判別を行い、回転処理を行う場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、視聴者が画像データの向きを指定し、その指定された向きに基づき回転処理をおこなってもよい。
　（ｈ）上記実施の形態では、テレビの型数Ｘ、アスペクト比ｍ：ｎ、表示画面の解像度（縦方向の画素数Ｌ、横方向の画素数Ｋ）の情報を、外部ディスプレイとのネゴシエーションにより取得する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、視聴者にテレビの型数Ｘ、アスペクト比ｍ：ｎ、表示画面の解像度（縦方向の画素数Ｌ、横方向の画素数Ｋ）の情報等を入力させるものであってもよい。
　（ｉ）上記実施の形態では、視聴者から表示画面までの距離Ｓを表示画面の高さＨの３倍（３Ｈ）とし、画素シフト量を算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ＴＯＦ（Time Of Flight）型センサ等の距離センサにより、視聴者から表示画面までの距離Ｓを算出してもよい。
　（ｊ）上記実施の形態では、瞳孔間距離ｅを成人男性の平均値６．４ｃｍとし、画素シフト量を算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、顔画像取得部２０２が取得した顔画像から瞳孔間距離を算出してもよい。また、視聴者が大人であるか子供であるか、男性であるか女性であるかを判別し、それに応じた瞳孔間距離ｅに基づき画素シフト量を算出してもよい。
　（ｋ）上記実施の形態では、原画像の深度情報を用いて、ステレオ画像の再生成を行う場合を説明したが、本発明は必ずしもこの場合に限定されない。原画像のズレ量（視差）を用いて、ステレオ画像の再生成を行ってもよい。視聴者がα度傾いた場合における水平方向へのシフト量は、原画像のズレ量（視差）にｃｏｓαを乗じることで算出できる。また視聴者がα度傾いた場合における垂直方向へのシフト量は、原画像のズレ量（視差）にｓｉｎαを乗じることで算出できる。
　本発明にかかる画像処理装置によれば、視聴者の顔の傾きと深度情報（デプスマップ）に基づき、原画像を構成する各画素を水平方向および垂直方向にシフトし、画像のズレ方向（視差方向）と左目と右目を結ぶ方向が一致したステレオ画像を生成するので、視聴者の頭部が左右へ傾いた状態において、網膜像の縦ズレに起因する視覚疲労や立体融合の困難が生じない、視聴者に快適な立体視を提供することができ有益である。
　２００　画像処理装置
　２０１　操作入力受付部
　２０２　顔画像取得部
　２０３　傾き算出部
　２０４　ステレオ画像取得部
　２０５　深度情報生成部
　２０６　ステレオ画像再生成部
　２０７　ステレオ画像格納部
　２０８　出力部
　１３００　画像処理装置
　１３０１　ＩＲ受信部
　１３０２　傾き算出部
　１６００　画像処理装置
　１６０１　画像取得部
　１６０２　深度情報生成部

Claims (11)

  1. 　画像データに画像処理を行う画像処理装置であって、
    　視聴者の顔の傾きを算出する傾き算出部と、
    　前記画像データに写る被写体の奥行き方向の位置を示す深度情報を生成する深度情報生成部と、
    　前記画像データを構成する各画素の座標を、横方向および縦方向に所定の量シフトすることにより、前記画像データとは異なる視点の画像データを生成し、前記画像データと前記画像データとは異なる視点の画像データの組からなるステレオ画像データを生成するステレオ画像データ生成部とを備え、
    　前記横方向および縦方向の所定のシフト量は、前記深度情報および前記視聴者の顔の傾きにより定まることを特徴とする画像処理装置。
  2. 　前記視聴者の顔の傾きを検出した際、その傾いた顔の両目に立体視効果を生じさせるための視差とは、画像データの水平軸に対して所定の傾きをもった視差であり、
    　前記ステレオ画像データ生成部は、
    　前記深度情報に示される奥行きと、顔の傾きを示す角度とを用いることで、所定の傾きをもった視差の算出を行い、当該所定の傾きをもった視差の画像データ上の水平成分を画素数に変換することで、横方向の所定のシフト量を取得し、当該所定の傾きをもった視差の垂直成分を画素数に変換することで、縦方向の所定のシフト量を取得する
    　ことを特徴とする請求項１記載の画像処理装置。
  3. 　前記ステレオ画像データ生成部は、
    　前記横方向の所定のシフト量を下記数式（１）により取得し、前記縦方向の所定のシフト量を下記数式（２）により取得することを特徴とする請求項２に記載の画像処理装置。
    Figure JPOXMLDOC01-appb-M000007
    Figure JPOXMLDOC01-appb-M000008
     但し、前記数式（１）及び数式（２）において、Ｐｘ´は横方向のシフト量、Ｐｙは縦方向のシフト量、αは視聴者の顔の傾き、ｅは視聴者の瞳孔間距離、Ｓは視聴者から表示画面までの距離、Ｚは視聴者から被写体までの奥行き方向の距離、Ｋは表示画面の横方向の画素数、Ｗは表示画面の横方向のインチ数、Ｌは表示画面の縦方向の画素数、Ｈは表示画面の縦方向のインチ数を示す。
  4. 　前記傾き算出部は、視聴者の顔画像の特徴点を解析することにより視聴者の顔の傾きを算出することを特徴とする請求項１に記載の画像処理装置。
  5. 　前記傾き算出部は、視聴者が装着した３Ｄメガネの傾きから視聴者の顔の傾きを算出することを特徴とする請求項１に記載の画像処理装置。
  6. 　前記画像処理装置はさらに、
    　前記ステレオ画像データを、生成に用いた視聴者の顔の傾きに関連付けて格納するステレオ画像データ格納部を備えることを特徴とする請求項１に記載の画像処理装置。
  7. 　前記画像処理装置はさらに、
    　前記ステレオ画像を表示する表示部を備え、
    　前記表示部は、前記ステレオ画像データ格納部から、前記傾き算出部が算出した視聴者の顔の傾きに対応するステレオ画像データを選択して表示することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記傾き算出部により算出される視聴者の顔の傾きは、立体視画像の表示面に対して平行な平面上の傾きであることを特徴とする請求項１に記載の画像処理装置。
  9. 　画像データに画像処理を行う画像処理方法であって、
    　視聴者の顔の傾きを算出する傾き算出ステップと、
    　前記画像データに写る被写体の奥行き方向の位置を示す深度情報を生成する深度情報生成ステップと、
    　前記画像データを構成する各画素の座標を、横方向および縦方向に所定の量シフトすることにより、前記画像データとは異なる視点の画像データを生成し、前記画像データと前記画像データとは異なる視点の画像データの組からなるステレオ画像データを生成するステレオ画像データ生成ステップとを備え、
    　前記横方向および縦方向の所定のシフト量は、前記深度情報および前記視聴者の顔の傾きにより定まることを特徴とする画像処理方法。
  10. 　画像データに対する画像処理をコンピュータに実行させるプログラムであって、
    　視聴者の顔の傾きを算出する傾き算出ステップと、
    　前記画像データに写る被写体の奥行き方向の位置を示す深度情報を生成する深度情報生成ステップと、
    　前記画像データを構成する各画素の座標を、横方向および縦方向に所定の量シフトすることにより、前記画像データとは異なる視点の画像データを生成し、前記画像データと前記画像データとは異なる視点の画像データの組からなるステレオ画像データを生成するステレオ画像データ生成ステップとをコンピュータに実行させ、
    　前記横方向および縦方向の所定のシフト量は、前記深度情報および前記視聴者の顔の傾きにより定まることを特徴とするプログラム。
  11. 　画像データに対する画像処理に用いる集積回路であって、
    　視聴者の顔の傾きを算出する傾き算出手段と、
    　前記画像データに写る被写体の奥行き方向の位置を示す深度情報を生成する深度情報生成手段と、
    　前記画像データを構成する各画素の座標を、横方向および縦方向に所定の量シフトすることにより、前記画像データとは異なる視点の画像データを生成し、前記画像データと前記画像データとは異なる視点の画像データの組からなるステレオ画像データを生成するステレオ画像データ生成手段とを備え、
    　前記横方向および縦方向の所定のシフト量は、前記深度情報および前記視聴者の顔の傾きにより定まることを特徴とする集積回路。
PCT/JP2012/001266 2011-05-11 2012-02-24 画像処理装置、映像処理方法、プログラム、集積回路 WO2012153447A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/581,524 US20130100123A1 (en) 2011-05-11 2012-02-24 Image processing apparatus, image processing method, program and integrated circuit
CN2012800010604A CN102884803A (zh) 2011-05-11 2012-02-24 图像处理装置、影像处理方法、程序、集成电路
JP2012542262A JPWO2012153447A1 (ja) 2011-05-11 2012-02-24 画像処理装置、映像処理方法、プログラム、集積回路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-106203 2011-05-11
JP2011106203 2011-05-11

Publications (1)

Publication Number Publication Date
WO2012153447A1 true WO2012153447A1 (ja) 2012-11-15

Family

ID=47138941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001266 WO2012153447A1 (ja) 2011-05-11 2012-02-24 画像処理装置、映像処理方法、プログラム、集積回路

Country Status (4)

Country Link
US (1) US20130100123A1 (ja)
JP (1) JPWO2012153447A1 (ja)
CN (1) CN102884803A (ja)
WO (1) WO2012153447A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509298A (ja) * 2013-01-10 2016-03-24 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ シェーダベースのグラフィックスコンテンツのための視線方向による立体視変換
JP2017163528A (ja) * 2015-12-23 2017-09-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 調整可能視差方向による３次元レンダリング
WO2021010123A1 (ja) * 2019-07-17 2021-01-21 株式会社Ｊｖｃケンウッド ヘッドアップディスプレイ装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098931A1 (en) * 2010-10-26 2012-04-26 Sony Corporation 3d motion picture adaption system
US20130033490A1 (en) * 2011-08-04 2013-02-07 Texas Instruments Incorporated Method, System and Computer Program Product for Reorienting a Stereoscopic Image
KR101985674B1 (ko) * 2012-09-18 2019-06-04 삼성전자 주식회사 비접촉식 사용자 인터페이스 동작 인식 방법 및 그 장치
US20140347350A1 (en) * 2013-05-23 2014-11-27 Htc Corporation Image Processing Method and Image Processing System for Generating 3D Images
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
KR102269137B1 (ko) 2015-01-13 2021-06-25 삼성디스플레이 주식회사 표시 제어 방법 및 장치
CN107566822B (zh) * 2015-10-20 2019-03-26 深圳超多维科技有限公司 一种裸眼立体显示的方法、装置及电子设备
US10654422B2 (en) 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
US20180063444A1 (en) * 2016-08-29 2018-03-01 Razmik Karabed View friendly monitor systems
WO2018165906A1 (zh) * 2017-03-15 2018-09-20 廖建强 一种头戴式显示装置及其显示方法
GB2564386B (en) 2017-06-30 2021-08-04 Sony Interactive Entertainment Inc Content modification device and method
US11388354B2 (en) 2019-12-06 2022-07-12 Razmik Karabed Backup-camera-system-based, on-demand video player
TW202134947A (zh) 2020-03-11 2021-09-16 瑞昱半導體股份有限公司 根據臉部特徵設定裝置顯示方式的方法與其電子裝置
CN113495614A (zh) * 2020-03-18 2021-10-12 瑞昱半导体股份有限公司 根据脸部特征设定装置显示方式的方法与其电子装置
CN111918052B (zh) * 2020-08-14 2022-08-23 广东申义实业投资有限公司 竖直旋转式控制装置及平面图片转3d图像处理方法
CN111918051B (zh) * 2020-08-14 2022-08-23 广东申义实业投资有限公司 水平旋转式控制装置及平面图片转3d图像处理方法
CN112818991B (zh) * 2021-02-18 2024-04-09 长江存储科技有限责任公司 图像处理方法及图像处理装置、电子设备、可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08328170A (ja) * 1995-05-31 1996-12-13 Nec Corp 視点追従型立体映像表示装置
JP2001296501A (ja) * 2000-04-12 2001-10-26 Nippon Hoso Kyokai <Nhk> 立体画像表示制御方法および装置
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置
JP2006084963A (ja) * 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置
JP2010056712A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 遠隔作業用画像表示システム
JP2011071898A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62293381A (ja) * 1986-06-11 1987-12-19 Toshiba Corp 立体画像表示装置
JP2001103514A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
JP4624587B2 (ja) * 2001-03-29 2011-02-02 株式会社バンダイナムコゲームス 画像生成装置、プログラム及び情報記憶媒体
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US8159526B2 (en) * 2004-09-17 2012-04-17 Seiko Epson Corporation Stereoscopic image display system
JP5490974B2 (ja) * 2004-12-13 2014-05-14 三星電子株式会社 立体映像装置
CN102113324B (zh) * 2008-07-31 2013-09-25 三菱电机株式会社 视频编码装置、视频编码方法、视频再现装置、视频再现方法
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
JP4966431B2 (ja) * 2009-09-18 2012-07-04 株式会社東芝 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08328170A (ja) * 1995-05-31 1996-12-13 Nec Corp 視点追従型立体映像表示装置
JP2001296501A (ja) * 2000-04-12 2001-10-26 Nippon Hoso Kyokai <Nhk> 立体画像表示制御方法および装置
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置
JP2006084963A (ja) * 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置
JP2010056712A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 遠隔作業用画像表示システム
JP2011071898A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509298A (ja) * 2013-01-10 2016-03-24 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ シェーダベースのグラフィックスコンテンツのための視線方向による立体視変換
JP2017163528A (ja) * 2015-12-23 2017-09-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 調整可能視差方向による３次元レンダリング
WO2021010123A1 (ja) * 2019-07-17 2021-01-21 株式会社Ｊｖｃケンウッド ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
CN102884803A (zh) 2013-01-16
US20130100123A1 (en) 2013-04-25
JPWO2012153447A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
US11869205B1 (en) Techniques for determining a three-dimensional representation of a surface of an object from a set of images
CN106251403B (zh) 一种虚拟立体场景实现的方法、装置和系统
EP2328125B1 (en) Image splicing method and device
US10368047B2 (en) Six-degree of freedom video playback of a single monoscopic 360-degree video
US11170561B1 (en) Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats
US20170148223A1 (en) Real-time mobile device capture and generation of ar/vr content
US8063930B2 (en) Automatic conversion from monoscopic video to stereoscopic video
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
JP2011090400A (ja) 画像表示装置および方法、並びにプログラム
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
JPWO2013099169A1 (ja) ステレオ撮影装置
JP3524147B2 (ja) ３次元画像表示装置
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
JPWO2013108339A1 (ja) ステレオ撮影装置
KR101933037B1 (ko) 360도 동영상에서의 가상현실 재생 장치
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
JP2022174085A (ja) 場面の積層深度データを生成するための方法
TW201114244A (en) Method for generating a 3D image
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
US10802390B2 (en) Spherical omnipolar imaging
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
US20240236288A9 (en) Method And Apparatus For Generating Stereoscopic Display Contents

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001060.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13581524

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2012542262

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12781809

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12781809

Country of ref document: EP

Kind code of ref document: A1