WO2013099571A1 - 視差調整装置、画像処理装置、フレームフォーマット - Google Patents

視差調整装置、画像処理装置、フレームフォーマット Download PDF

Info

Publication number
WO2013099571A1
WO2013099571A1 PCT/JP2012/081911 JP2012081911W WO2013099571A1 WO 2013099571 A1 WO2013099571 A1 WO 2013099571A1 JP 2012081911 W JP2012081911 W JP 2012081911W WO 2013099571 A1 WO2013099571 A1 WO 2013099571A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax adjustment
eye image
metadata
parallax
Prior art date
Application number
PCT/JP2012/081911
Other languages
English (en)
French (fr)
Inventor
五味　圭三
孝英 大谷
健志 後藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/350,198 priority Critical patent/US20150116467A1/en
Priority to EP12862516.7A priority patent/EP2800385A4/en
Priority to CN201280063215.7A priority patent/CN104012087A/zh
Publication of WO2013099571A1 publication Critical patent/WO2013099571A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Definitions

  • the present disclosure relates to a parallax adjustment device, an image processing device, and a frame format.
  • 3D display devices that allow a user to perceive a stereoscopic image by displaying a left-eye image (L image) and a right-eye image (R image) are in circulation.
  • the focal length is different even when the convergence angle is the same as the real world, and the baseline length and the convergence angle are different between the display time and the imaging recording time.
  • causes visual fatigue In particular, when a part of the image protrudes excessively, or when a change in parallax is large, such as when an object pops out accidentally during moving image display, the burden on the user becomes heavy.
  • Patent Document 1 discloses a parallax conversion device that performs parallax adjustment of an L image and an R image by shifting the L image and / or the R image in the horizontal direction. Specifically, when the perceived position of the object is on the near side of the screen, the perceived position of the object can be brought closer to the screen by shifting the R image to the right and the L image to the left. That is, the feeling of popping out can be suppressed. Similarly, when the perceived position of the object is on the back side of the screen, the perceived position of the object can be brought closer to the screen by shifting the R image to the left and the L image to the right. That is, it is possible to emphasize the feeling of popping out.
  • the 2D display device In the recording for 3D display as described above, usually only the L image and the R image are recorded, and a dedicated 2D image for 2D display is rarely recorded. For this reason, the 2D display device generally displays an L image or an R image in order to perform 2D display from an image recorded for 3D display.
  • the parallax adjustment described above has some adverse effects. For example, since the shift amount in the parallax adjustment differs in the time axis direction, when only the L image or the R image is displayed on the 2D display device, the subject that should be stationary appears to swing (moves) to the left and right, which is for the user. It becomes an unpleasant 2D image.
  • the present disclosure proposes a new and improved parallax adjustment device, image processing device, and frame format for eliminating the adverse effects caused by parallax adjustment of the left-eye image and the right-eye image.
  • a parallax adjustment unit that performs parallax adjustment of a left-eye image and a right-eye image obtained by imaging, and an image that includes metadata related to the parallax adjustment including the left-eye image and the right-eye image
  • a parallax adjustment device including a data processing unit associated with data.
  • image data including a left-eye image and a right-eye image, and metadata related to parallax adjustment for the left-eye image and the right-eye image associated with the image data are stored.
  • An image processing apparatus includes a data acquisition unit to be acquired and an image extraction unit that extracts a region of the left-eye image or the right-eye image based on the metadata.
  • FIG. 3 is a functional block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present disclosure. It is explanatory drawing which showed the structural example of the parallax adjustment metadata. It is explanatory drawing which showed the structural example of the parallax adjustment metadata.
  • FIG. 3 is a functional block diagram illustrating a configuration of a playback device according to an embodiment of the present disclosure.
  • FIG. 3 is a functional block diagram illustrating a configuration of a display device according to an embodiment of the present disclosure. It is explanatory drawing which showed the image process for 2D display. It is the flowchart which showed the operation
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • FIG. 1 is an explanatory diagram illustrating a configuration of an image processing system according to an embodiment of the present disclosure.
  • the image processing system according to the embodiment of the present disclosure includes an imaging device 20, a playback device 30, and a display device 40.
  • the imaging device 20 has an imaging unit that converts light emitted from a subject into an electrical image signal. More specifically, the imaging device 20 according to the embodiment of the present disclosure includes the imaging unit 22L and the imaging unit 22R as illustrated in FIG. The imaging unit 22L acquires an L image for 3D display, and the imaging unit 22R acquires an R image for 3D display.
  • the imaging device 20 adjusts the parallax of the LR image and encodes metadata regarding the parallax adjustment together with the LR image to generate a data stream. Then, the imaging device 20 records a data stream including metadata related to parallax adjustment and an LR image on a recording medium.
  • the imaging device 20 is illustrated as an example of a parallax adjustment device that adjusts the parallax of the LR image, but the parallax adjustment device is not limited to the imaging device 20.
  • the parallax adjustment device may be an information processing device such as a PC (Personal Computer), a home video processing device (DVD recorder, VCR, etc.), a PDA (Personal Digital Assistant), a home game device, or a home appliance. Good.
  • the parallax adjustment device may be an information processing device such as a smartphone, a mobile phone, a PHS (Personal Handyphone System), a portable music playback device, a portable video processing device, or a portable game device.
  • the playback device 30 reads a data stream from a recording medium on which a data stream including metadata related to parallax adjustment and an LR image is recorded, and performs playback processing for 3D display or 2D display based on the read data stream. Then, the reproduction data obtained by the reproduction device 30 is transmitted to the display device 40 and the recording device.
  • the recording medium from which the playback device 30 reads the data stream may be a recording medium built in the playback device 30, a recording medium provided in the imaging device 20, or a detachable recording medium. It may be.
  • the display device 40 has a 3D display function and a 2D display function.
  • the display device 40 can perform 3D display or 2D display based on reproduction data transmitted from the reproduction device 30.
  • the display device 40 can also perform 3D display or 2D display based on the data stream recorded on the recording medium.
  • the playback device 30 and the display device 40 are examples of an image processing device.
  • a home video processing device is illustrated as the playback device 30 and a TV display device is illustrated as the display device 40.
  • the image processing device such as the display device 40 is not limited to such an example.
  • the image processing apparatus may be an information processing apparatus listed as an example of the imaging apparatus.
  • FIG. 2 is an explanatory diagram showing the principle of 3D display.
  • the user perceives that the object exists at the intersection of the straight line connecting the right eye of the user and the object of the R image and the straight line connecting the left eye of the user and the object of the L image. For this reason, as shown in FIG. 2, when the crossing position is on the front side of the display surface of the display device 40, a feeling of popping out is obtained, and the crossing position is on the back side of the display surface of the display device 40. In some cases, a sense of depth is obtained.
  • the perceived position of the object by the user is within a comfortable area where the user can comfortably fuse the LR image.
  • FIG. 3B when the perceived position of the object by the user is within the failure area before the comfort area, the burden on the user becomes heavy, and the perceived position of the object by the user is deeper than the comfort area. If it is on the side, it is difficult to obtain a stereoscopic effect.
  • Japanese Patent Laid-Open No. 2011-55022 discloses a parallax conversion device that performs parallax adjustment of an L image and an R image by shifting the L image and / or the R image in the horizontal direction. This parallax adjustment is realized by shifting only the L image, shifting only the R image, or evenly shifting the L image and the R image. In order not to move the central axis of the LR image, an equal shift of the LR image is most common. Hereinafter, the equal shift of the LR image will be briefly described with reference to FIG.
  • FIG. 4 is an explanatory diagram showing an outline of equal shift of LR images.
  • the adjustment amount is greater than X
  • the L image and the R image are shifted by X / 2 in a direction in which the object is moved to the far side as a whole.
  • the adjustment amount ⁇ X the L image and the R image are shifted by X / 2 in the direction in which the object is moved to the front side as a whole.
  • an appropriate adjustment amount calculation method for each LR image is not particularly limited, but can be calculated by a known method as disclosed in, for example, Japanese Patent Application Laid-Open No. 2011-55022. Is omitted.
  • the display device In the recording for 3D display as described above, usually only the L image and the R image are recorded, and a dedicated 2D image for 2D display is rarely recorded. For this reason, the display device generally displays an L image or an R image in order to perform 2D display from an image recorded for 3D display.
  • parallax adjustment described above has some adverse effects. For example, since the amount of adjustment in parallax adjustment differs in the time axis direction, when only an L image or an R image is displayed, a subject that should be stationary appears to swing left and right (moves), which is uncomfortable for the user. End up. Hereinafter, this point will be specifically described with reference to FIG.
  • FIG. 5 is an explanatory diagram showing a specific example of 2D display based on an L image or an R image on which parallax adjustment has been performed. More specifically, FIG. 5A shows a specific example of display by original 2D recording, and FIG. 5B shows a specific example of an L image that has been subjected to parallax adjustment.
  • the position of the subject within the angle of view is fixed if the subject is stationary.
  • the L image on which the parallax adjustment has been performed as illustrated in FIG. 5B, even when the subject is stationary, the position of the subject within the angle of view moves according to the time axis due to the parallax adjustment.
  • the first adjustment amount X 1/2 of the L image is 0, the second and subsequent L image adjustment amount X 2/2 ⁇ adjustment amount X 6/2 is -4, -8 -12, -16, and -20, the 2D image becomes uncomfortable for the user.
  • the embodiment of the present disclosure has been created with the above circumstances in mind. According to the embodiment of the present disclosure, it is possible to eliminate the adverse effects caused by the parallax adjustment of the L image and the R image as described above.
  • the imaging device 20, the playback device 30, and the display device 40 according to the embodiment of the present disclosure will be sequentially described in detail. In the following, the description will be made assuming that the target is a moving image, but the embodiment of the present disclosure can also be applied to a still image.
  • FIG. 6 is a functional block diagram illustrating a configuration of the imaging device 20 according to the embodiment of the present disclosure.
  • the imaging device 20 includes an imaging unit 22L and an imaging unit 22R, a recording medium 28, an image processing unit 210L and an image processing unit 210R, a parallax adjustment unit 220, an encoding processing unit 230, A recording unit 240 and a 3D display unit 250 are provided.
  • the imaging unit 22 includes an imaging optical system 24 such as a photographing lens and a zoom lens that collects light, and an imaging element 26 such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging optical system 24 collects light emitted from the subject to form a subject image on the imaging device 26, and the imaging device 26 converts the formed subject image into an electrical image signal.
  • the image signal of the L image obtained by the imaging unit 22L for the left eye is output to the image processing unit 210L
  • the image signal of the R image obtained by the imaging unit 22R for the right eye is output to the image processing unit 210R.
  • the image processing unit 210 performs development processing, correction processing, resolution conversion (scaling) processing, noise reduction processing, and the like on the image input from the imaging unit 22.
  • the LR image pair processed by the image processing units 210L and 210R is output to the parallax adjustment unit 220. Note that the LR image pair is a pair of L image and R image linked to each other, and may be sent in a time division manner.
  • the parallax adjustment unit 220 calculates the shift amount of the input LR image pair, that is, the parallax adjustment amount by an algorithm as described in Japanese Patent Application Laid-Open No. 2011-55022. Thereafter, the parallax adjustment unit 220 cuts out both of the LR images or one of the LR images in the horizontal direction according to the calculated adjustment amount. Note that the parallax adjustment unit 220 may replace the black-filled area or copy the image edge when there is a region that does not exist in the pre-cutout image.
  • the parallax adjustment unit 220 outputs the LR image pair after parallax adjustment and information on the parallax adjustment to the encoding processing unit 230.
  • the parallax adjustment unit 220 may shift an image set in advance.
  • the method for shifting and cropping an image has been described as the parallax adjustment method.
  • the parallax adjustment method is not limited to such an example.
  • the encoding processing unit 230 performs encoding in a predetermined compression format so that the LR image pairs accumulated in the time direction and the later-described parallax adjustment metadata are associated with each other, and a data stream including the LR image pair and the parallax adjustment metadata is encoded.
  • a data processing unit to be generated An example of the moving image compression format is “AVCHD 3D” created by AVCHD Ver 2.0, and an example of the still image compression format is MPO (Multi-Picture Format).
  • the recording unit 240 records the data stream obtained by the encoding processing unit 230 on the recording medium 28.
  • the recording medium 28 may be a storage medium such as a non-volatile memory, a magnetic disk, an optical disk, and a MO (Magneto Optical) disk.
  • the non-volatile memory include flash memory, SD card, micro SD card, USB memory, EEPROM (Electrically Erasable Programmable Read-Only Memory), and EPROM (Erasable Programmable ROM).
  • Examples of the magnetic disk include a hard disk and a disk type magnetic disk.
  • Examples of the optical disc include a CD (Compact Disc), a DVD (Digital Versatile Disc), and a BD (Blu-Ray Disc (registered trademark)).
  • the 3D display unit 250 displays the LR image pair output from the parallax adjustment unit 220 either directly or after being held once in a system general-purpose memory (not shown) such as SRAM or DRAM.
  • parallax adjustment metadata is data indicating the content of the parallax adjustment performed by the parallax adjustment unit 220, and can be realized in various forms as described below.
  • FIG. 7A is an explanatory diagram showing a first configuration example of parallax adjustment metadata.
  • the parallax adjustment metadata according to the first configuration example includes a 1-bit flag indicating whether or not parallax adjustment has been performed, 10 bits indicating an adjustment amount on the L image side, and an R image side It consists of a total of 21 bits, 10 bits indicating the adjustment amount.
  • Whether or not the parallax adjustment has been performed can be expressed by two types of states, and therefore the flag indicating whether or not the parallax adjustment has been performed is configured by 1 bit. Further, as shown in FIG. 7A, by arranging 10-bit data to indicate the adjustment amount of each image, ⁇ 512 to 511 can be expressed.
  • the adjustment amount is generally expressed by two's complement, but the expression method is not particularly limited, and any expression such as straight binary or one's complement can be used.
  • FIG. 7B is an explanatory diagram showing a second configuration example of the parallax adjustment metadata.
  • the parallax adjustment metadata according to the second configuration example includes a 1-bit flag indicating whether or not parallax adjustment has been performed, 2 bits indicating an image on which parallax adjustment has been performed, and an adjustment amount. It consists of a total of 13 bits with 10 bits indicating. For example, 2 bits indicating an image on which parallax adjustment has been performed may indicate the following contents when the adjustment amount is X.
  • the data amount of the parallax adjustment metadata can be suppressed by expressing the image on which the parallax adjustment has been performed with 2 bits.
  • FIG. 7C is an explanatory diagram showing a third configuration example of the parallax adjustment metadata.
  • the parallax adjustment metadata according to the third configuration example includes 11 bits in total, that is, a flag 1 bit indicating whether or not the parallax adjustment has been performed and 10 bits indicating the adjustment amount.
  • the third configuration example can be used when the most common LR equal shift is implicitly defined. For example, this is effective when the manufacturer has a single parallax adjustment method and it is not necessary to distinguish between the parallax adjustment methods.
  • each of the bit indicating the image on which the parallax adjustment has been performed and the bit indicating the adjustment amount may not be connected, and may be arranged dispersed in the metadata.
  • data indicating other information may be arranged in a data portion for indicating an adjustment amount in parallax adjustment metadata.
  • FIG. 8 is an explanatory diagram showing a modification of the parallax adjustment metadata.
  • the parallax adjustment metadata according to the modified example includes 10 bits indicating the adjustment amount, 2 bits indicating the target image for parallax adjustment, and a flag indicating the nature of the adjustment amount indicated by the 10-bit data portion. It consists of a total of 13 bits, 1 bit.
  • the flag 1 bit when the flag 1 bit is “1”, the fact that the parallax adjustment is actually performed and the adjustment amount in the parallax adjustment in which the adjustment amount indicated by the 10-bit data portion is actually performed Indicates that On the other hand, when the flag 1 bit is “0”, it indicates that the parallax adjustment has not been performed and that the adjustment amount indicated by the 10-bit data portion is a recommended parallax adjustment amount.
  • the data area of the parallax adjustment metadata can be effectively used by arranging the data indicating other information in the parallax adjustment metadata.
  • parallax adjustment metadata described above is ideally associated with an LR image pair (field, frame) in a one-to-one relationship, but may be associated with an arbitrary LR image pair.
  • parallax adjustment metadata may be associated with each GOP.
  • the data stream generated by the encoding processing unit 230 only needs to be compatible with an arbitrary image format and include parallax adjustment metadata indicating the content of parallax adjustment, and the compression format is not particularly limited.
  • the parallax adjustment metadata includes the flag 1 bit indicating the presence / absence of the parallax adjustment.
  • the parallax adjustment metadata may not include the flag 1 bit indicating the presence / absence of the parallax adjustment. In this case, it is possible to determine that the parallax adjustment is not performed when the adjustment amount indicated by the 10-bit data portion is 0, and that the parallax adjustment is performed when the adjustment amount is other than 0. .
  • FIG. 9 is a flowchart showing the operation of the imaging apparatus 20 according to the embodiment of the present disclosure.
  • FIG. 9 shows an operation example for one LR image pair
  • the imaging device 20 may repeat the process shown in FIG. 9 or a certain amount of LR pair images may be displayed.
  • the encoding process may be performed after the accumulation.
  • the parallax adjustment unit 220 determines whether or not to perform parallax adjustment according to the pre-set contents as illustrated in FIG. 9 (S504). If the parallax adjustment unit 220 determines not to perform parallax adjustment, the parallax adjustment unit 220 outputs the parallax of the LR image pair as it is without adjusting the parallax (S508: through processing).
  • the parallax adjustment unit 220 determines whether to perform automatic parallax adjustment or manual parallax adjustment (S512). Then, when performing the manual parallax adjustment, the parallax adjustment unit 220 performs parallax adjustment of the LR image with an adjustment amount that is set separately (S516).
  • the parallax adjustment unit 220 calculates an optimal parallax adjustment amount from the input LR image pair (S520), and adjusts the parallax of the LR image pair by the calculated parallax adjustment amount (S524). ).
  • the parallax adjustment unit 220 After the processing in S508, S516, or S524, the parallax adjustment unit 220 outputs an LR image pair and parallax adjustment metadata indicating the content of the parallax adjustment for the subsequent encoding processing unit 230 (S528).
  • FIG. 10 is a functional block diagram illustrating a configuration of the playback device 30 according to the embodiment of the present disclosure.
  • the playback device 30 according to the embodiment of the present disclosure includes a reading unit 310, a decoding processing unit 320, a re-parallax adjustment unit 330, and a communication processing unit 340.
  • the reading unit 310 reads a data stream recorded in a format including parallax adjustment metadata from the recording medium 28, and outputs the data stream to the decoding processing unit 320.
  • the decoding processing unit 320 converts the data stream into an L image, an R image, and parallax adjustment metadata, and outputs the L image, the R image, and the parallax adjustment metadata to the re-parallax adjustment unit 330. Note that the decoding processing unit 320 may output either the L image or the R image and the parallax adjustment metadata to the re-parallax adjustment unit 330 for 2D display.
  • the re-parallax adjusting unit 330 performs parallax adjustment again on the LR image pair as necessary according to the separately set operation setting, and outputs the LR image pair after parallax adjustment to the communication processing unit 340.
  • the processing by the re-parallax adjustment unit 330 differs depending on whether the output image is a 2D image or a 3D image.
  • the process for outputting a 2D image will be described in “4.2 Image Processing for Display”, and the process for outputting a 3D image will be described in detail in “5.3 Image Display for Display”. To do.
  • the re-parallax adjustment unit 330 may also output the parallax adjustment metadata after the re-parallax adjustment to the communication processing unit 340.
  • the communication processing unit 340 converts the image input from the re-parallax adjustment unit 330 into an arbitrary transmission format such as wireless or wired, and transmits it to the display device 40 or the recording device 42 via a transmission medium such as a radio wave or a wired cable.
  • a transmission medium such as a radio wave or a wired cable.
  • the existing transmission formats include HDMI, SATA, IEEE 1394A / B, USB, etc. for wired communication, and various standards used for wireless LAN (IEEE 802.11), WiMAX, and mobile phones.
  • the transmission format used in this embodiment is not particularly limited.
  • the playback device 30 may have a configuration for further performing image processing and editing on the LR image pair processed by the re-parallax adjusting unit 330 and a configuration for recording the LR image pair.
  • FIG. 11 is a functional block diagram illustrating a configuration of the display device 40 according to the embodiment of the present disclosure.
  • the display device 40 according to the embodiment of the present disclosure includes a reading unit 410, a communication processing unit 412, a decoding processing unit 420, a re-parallax adjustment unit 430, and a display unit 440. .
  • the reading unit 410 reads a data stream recorded in a format including parallax adjustment metadata from the recording medium 28, and outputs the data stream to the decoding processing unit 320.
  • the communication processing unit 412 receives a data stream transmitted from the playback device 30 or the like wirelessly or by wire, and outputs the data stream to the decoding processing unit 320.
  • the reading unit 410 and the communication processing unit 412 are examples of a data acquisition unit that acquires parallax adjustment metadata.
  • the decode processing unit 420 converts the data stream into an L image, an R image, and parallax adjustment metadata, and outputs the L image, the R image, and the parallax adjustment metadata to the re-parallax adjustment unit 430. Note that when the display unit 440 performs 2D display, the decoding processing unit 420 may output either the L image or the R image and the parallax adjustment metadata to the re-parallax adjustment unit 430.
  • the re-parallax adjusting unit 430 adjusts the parallax of the LR image pair again as necessary according to the separately set operation setting, and causes the display unit 440 to display the LR image pair after the parallax adjustment.
  • the processing by the re-parallax adjusting unit 430 differs depending on whether the output image is a 2D image or a 3D image.
  • the process for outputting a 2D image will be described in “4.2 Image Processing for Display”, and the process for outputting a 3D image will be described in detail in “5.3 Image Display for Display”. To do.
  • the re-parallax adjustment unit 430 when the display device 40 does not have the re-parallax adjustment unit 430, the L image and the R image obtained by the decoding processing unit 420 are directly output to the display unit 440. Further, the re-parallax adjustment unit 430 according to the present embodiment also operates as an image extraction unit that extracts an L image or an R image, or a parallax adjustment cancellation unit so that the already performed parallax adjustment is canceled.
  • the display unit 440 displays an image input from the re-parallax adjusting unit 430. For example, when the L image and the R image are input from the re-parallax adjusting unit 430, the display unit 440 performs 3D display using the L image and the R image. In addition, when an L image or an R image is input from the re-parallax adjustment unit 430, the display unit 440 performs 2D display using the L image or the R image.
  • Image processing for 4.2D display The configurations of the playback device 30 and the display device 40 according to the embodiment of the present disclosure have been described above. Next, image processing for 2D display performed by the re-parallax adjustment unit 430 of the display device 40 will be described in detail. In the following, a process for performing 2D display with an LR image pair that has been subjected to parallax adjustment by LR equal shift will be described. Further, the image processing performed by the re-parallax adjusting unit 430 of the display device 40 can be used for image processing by the re-parallax adjusting unit 330 of the reproducing device 30.
  • FIG. 12 is an explanatory diagram showing image processing for 2D display.
  • the position of the subject within the angle of view is fixed regardless of the time axis, as shown in FIG. 12A. For this reason, when the image is displayed on the display device 40 or the like, the subject is stationary in the image.
  • an L image (which may be an R image) of an LR image pair recorded with parallax adjustment by a two-lens 3D camera such as the imaging device 20 is used as a 2D image
  • the subject is stationary.
  • the L image is shifted by Xi / 2 in accordance with the parallax adjustment amount Xi (i is an image number corresponding to the frame or field).
  • Xi is an image number corresponding to the frame or field
  • the re-parallax adjustment unit 430 can improve the adverse effects caused by such parallax adjustment by the processing described below.
  • the parallax adjustment amount recorded in the parallax adjustment metadata is equal to the horizontal movement amount or the shift amount of the cutout position at the time of recording.
  • the re-parallax adjustment unit 430 cuts out the parallax-adjusted L image from the cut-out start position Yi represented by “ ⁇ Xi / 2” as shown in FIG. 12C.
  • the re-parallax adjustment unit 430 performs black padding on an area (right side of the drawing) where the number of horizontal pixels is less than 1920 pixels, as in the image after cropping illustrated in FIG. 1920.
  • the re-parallax adjustment unit 430 may set the number of horizontal pixels of the image to 1920 by copying the image at the end instead of filling in black.
  • the actual parallax adjustment amount Xi is about plus or minus 100 pixels at the maximum with respect to the number of horizontal pixels 1920, and Xi / 2 is about 50 pixels.
  • a black band of about 2% with respect to 1920 pixels has almost no trouble in 2D display.
  • the parallax adjustment amount is negative.
  • the idea is the same when the parallax adjustment amount is positive.
  • the image is cut out from the right side (inside the image) from the horizontal coordinate origin at the time of recording, so that the result includes a black-filled area on the left side.
  • FIG. 13 is a flowchart showing an operation for 2D display by the reparity adjustment unit 430.
  • FIG. 13 shows an operation example for one LR image pair, when a moving image is a target, the imaging device 20 may repeat the process shown in FIG.
  • the reparity adjustment unit 430 extracts the parallax adjustment metadata from the decoded metadata (S604). Subsequently, the re-parallax adjustment unit 430 determines whether the input L image or R image is a parallax-adjusted image based on the parallax adjustment metadata (S608). Then, if the re-parallax adjusting unit 430 determines that the input image has not been parallax-adjusted, the re-parallax adjusting unit 430 displays the input image on the display unit 440 without processing (S612). Note that, when an LR image pair is input to the re-parallax adjustment unit 430, the re-parallax adjustment unit 430 may select the L image or the R image and cause the display unit 440 to display the selected image.
  • the re-parallax adjustment unit 430 cancels the parallax adjustment based on the adjustment amount indicated by the parallax adjustment metadata when the input image is parallax adjusted and parallax adjusted by LR equal shift (S616).
  • the parallax is readjusted according to the above-described method (S620).
  • the re-parallax adjustment unit 430 selects an image on the side that is not horizontally shifted from the L image or the R image, and displays the display unit 440. (S612).
  • Image processing for 3D display The image processing for 2D display has been described above. Next, image processing for 3D display performed by the re-parallax adjusting unit 430 of the display device 40 will be described in detail with reference to FIG. Note that the image processing performed by the re-parallax adjustment unit 430 of the display device 40 can also be used for image processing by the re-parallax adjustment unit 330 of the playback device 30.
  • FIG. 14 is a flowchart showing an operation for 3D display by the reparity adjustment unit 430.
  • FIG. 14 shows an operation example for one LR image pair
  • the imaging device 20 may repeat the process shown in FIG. 14 when a moving image is a target.
  • the reparity adjustment unit 430 extracts the parallax adjustment metadata from the decoded metadata (S704). Subsequently, the re-parallax adjusting unit 430 determines whether or not to perform the re-parallax adjustment based on the separately set operation setting (S708). Then, when the re-parallax adjustment is not performed, the re-parallax adjustment unit 430 outputs the decoded LR image pair as it is to the display unit 440 (S712).
  • the re-parallax adjustment unit 430 determines that the parallax adjustment is to be performed, and if the decoded LR image pair has not been parallax adjusted (S716), as described in Japanese Patent Application Laid-Open No. 2011-55022
  • the parallax adjustment amount of the LR image pair is calculated by the algorithm, and the parallax adjustment of the LR image pair is performed (S720).
  • the re-parallax adjustment unit 430 determines that the parallax adjustment is performed, and when the decoded LR image pair is parallax-adjusted (S716), whether or not there is no problem even if the parallax adjustment is performed twice. Is determined (S724). If the re-parallax adjustment unit 430 determines that there is no problem even if double parallax adjustment is performed based on separately recorded metadata such as a maker note, for example, it is described in JP 2011-55022 A. The re-parallax adjustment is performed by the algorithm as described above (S720).
  • the re-parallax adjustment unit 430 determines that a problem may occur when the parallax adjustment is performed twice, the re-parallax adjustment unit 430 performs any of the following processes according to the separately set operation setting (S728). a) The parallax adjustment is performed again after performing the process of canceling the parallax adjustment of the LR image pair by the method described in “4.2 Image Processing for Display” (S732). b) Without performing re-parallax adjustment, the decoded LR image pair is output to the display unit 440 as it is (S736).
  • the above a) or b) can prevent an unexpected video or inappropriate 3D video from being displayed due to double parallax adjustment.
  • the maximum parallax adjustment amount that is, the width of the shift amount is unique by a recording device such as the imaging device 20
  • data indicating the maximum parallax adjustment amount is also arranged in the parallax adjustment metadata.
  • the maximum parallax adjustment amount of the L image (1920 ⁇ 1080) is plus or minus 50 pixels will be considered.
  • FIG. 15 is an explanatory diagram showing image clipping according to an application example.
  • a black circle H indicates the horizontal coordinate origin before parallax adjustment at the time of recording
  • a white circle indicates the horizontal coordinate center (960 pixels from the horizontal coordinate origin, the center of the angle of view, when recording an image of 1920 pixels from the horizontal coordinate origin).
  • a broken line area indicates an image area recorded
  • a bold line indicates an image area cut out.
  • FIG. 15A since the L image is subjected to parallax adjustment of ⁇ 50 pixels, an image region indicated by a broken line from the position of 50 pixels outside (left side) the horizontal coordinate origin H before parallax adjustment is Exists.
  • FIG. 15B since the parallax adjustment is not performed on the L image, the horizontal coordinate origin at the time of recording coincides with the horizontal end of the image area indicated by the broken line.
  • FIG. 15C since the parallax adjustment of 50 pixels is performed on the L image, there is an image area indicated by a broken line from the position of 50 pixels inside (right side) from the horizontal coordinate origin H before the parallax adjustment.
  • the re-parallax adjustment unit 430 cuts out a common and maximum area within the image area indicated by such a broken line.
  • this area is a field angle range that exists no matter how the parallax adjustment is performed, so if this area is always cut out, it is not affected by the parallax adjustment, and the horizontal center of the cut-out image is determined. It becomes possible to keep the horizontal coordinate center at the time of recording.
  • FIGS. 15A to 15C The cutout range of the image considering such an aspect ratio is shown by a solid line in FIGS. 15A to 15C.
  • the horizontal cutout start position is 100 pixels obtained by adding a value (50) for canceling parallax adjustment + an absolute value (50) of the maximum parallax adjustment amount. It is.
  • the parallax adjustment amount Xi / 2
  • the re-parallax adjustment unit 430 calculates the absolute value of ( ⁇ 1) ⁇ parallax adjustment amount + maximum parallax adjustment amount in the same manner even if the parallax adjustment amount is another value. Can be calculated.
  • the re-parallax adjustment unit 430 obtains a common area that can be cut out when the adjustment amount is the maximum left and the maximum right, and the horizontal coordinate center before the parallax adjustment in the area is the horizontal of the image after the extraction. It may be cut out with a uniform size on the left and right with reference to the center of the horizontal coordinate before the parallax adjustment so as to be the center.
  • the reparity adjustment unit 430 has a function as an enlargement processing unit that enlarges the image region cut out as described above to a display size of 1920 ⁇ 1080.
  • the re-parallax adjustment unit 430 can cut out when the adjustment amount is the maximum left and the maximum right as illustrated in FIG. 16B. Cut out common areas. Then, as illustrated in FIG. 16C, the reparity adjustment unit 430 expands the cut-out image area to the display size.
  • the image center before parallax adjustment and the image center at the time of display coincide with each other, so that even if an L image that has been parallax adjusted is used, 2D display without black bands or shaking can be realized.
  • the embodiment of the present disclosure it is possible to eliminate the adverse effects caused by the parallax adjustment of the L image and the R image.
  • the parallax adjustment performed on the L image or R image can be canceled. It is possible to suppress the shaking of the image.
  • various processes using the positional relationship between the L image and the R image before the parallax adjustment can be realized. Further, even when the parallax adjustment is not performed, it is possible to cope with the common parallax adjustment metadata format.
  • the use of the parallax adjustment metadata is not limited to the reparity adjustment.
  • the parallax adjustment metadata can be used for various processes using the center position and horizontal position of the L image and R image before parallax adjustment.
  • each step in the processing of the imaging device 20, the playback device 30, and the display device 40 in this specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the imaging device 20, the playback device 30, and the display device 40 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • the hardware such as the CPU, ROM, and RAM incorporated in the imaging device 20, the playback device 30, and the display device 40 exhibits the same functions as the configurations of the imaging device 20, the playback device 30, and the display device 40 described above. It is also possible to create a computer program for this purpose. A storage medium storing the computer program is also provided.
  • a parallax adjustment unit that performs parallax adjustment of the image for the left eye and the image for the right eye obtained by imaging;
  • a data processing unit that associates the metadata related to the parallax adjustment with image data including the left-eye image and the right-eye image;
  • a parallax adjustment device comprising: (2) The parallax adjustment unit performs the parallax adjustment by shift processing of the left-eye image, shift processing of the right-eye image, or shift processing of both the left-eye image and the right-eye image;
  • the parallax adjustment device according to (1) The parallax adjustment device according to (1).
  • the parallax adjustment device (4) The parallax adjustment device according to (3), wherein the metadata includes data indicating a shift amount of the left-eye image and a shift amount of the right-eye image. (5) The parallax adjustment device according to (4), wherein when the parallax adjustment is not performed, the data portion for indicating the shift amount in the metadata includes data indicating other information. (6) The metadata includes data indicating a target image in which the parallax adjustment unit has been subjected to the parallax adjustment among the left-eye image and the right-eye image, and data indicating a shift amount of the target image. The parallax adjustment device according to (2).
  • the parallax adjustment unit performs the parallax adjustment by shift processing of both the left-eye image and the right-eye image,
  • the parallax adjustment device according to (1), wherein the metadata includes data indicating whether or not the parallax adjustment has been performed, and data indicating a shift amount of the left-eye image and the right-eye image.
  • a data acquisition unit that acquires image data including a left-eye image and a right-eye image, and metadata related to parallax adjustment for the left-eye image and the right-eye image associated with the image data;
  • An image extraction unit that extracts a region of the left-eye image or the right-eye image based on the metadata;
  • An image processing apparatus comprising: (9)
  • the metadata includes data indicating whether or not the parallax adjustment has been performed on the left-eye image and the right-eye image, The image extraction unit performs the extraction when the metadata indicates that the parallax adjustment has been performed, and performs the extraction when the metadata indicates that the parallax adjustment has not been performed.
  • the image processing apparatus includes a shift process of the left-eye image, a shift process of the right-eye image, or a shift process of both the left-eye image and the right-eye image
  • the metadata includes data indicating a shift amount of the left-eye image and a shift amount of the right-eye image
  • the image extraction unit extracts an area corresponding to a shift amount of the left-eye image or the right-eye image indicated by the metadata from the left-eye image or the right-eye image, (8) Or the image processing apparatus as described in (9).
  • the parallax adjustment is a shift process of both the left-eye image and the right-eye image
  • the metadata includes data indicating whether or not the parallax adjustment has been performed, and data indicating shift amounts of the left-eye image and the right-eye image
  • the image extraction unit extracts an area corresponding to a shift amount of the left-eye image and the right-eye image indicated by the metadata from the left-eye image or the right-eye image, (8) An image processing apparatus according to 1.
  • the extraction unit based on the left eye image or the right eye image, from the horizontal length of the left eye image or the right eye image, the shift amount width of the left eye image and the right eye image Extract the region below the horizontal length obtained by subtracting
  • the image processing apparatus includes: The image processing apparatus according to (10) or (11), further including an enlargement processing unit that enlarges an area extracted by the image extraction unit.
  • a data format comprising metadata relating to parallax adjustment for a left-eye image and a right-eye image obtained by imaging, and image data including the left-eye image and the right-eye image.
  • Computer A parallax adjustment unit that performs parallax adjustment of the image for the left eye and the image for the right eye obtained by imaging;
  • a data processing unit that associates the metadata related to the parallax adjustment with image data including the left-eye image and the right-eye image;
  • Computer A data acquisition unit that acquires image data including a left-eye image and a right-eye image, and metadata related to parallax adjustment for the left-eye image and the right-eye image associated with the image data;
  • An image extraction unit that extracts a region of the left-eye image or the right-eye image based on the metadata;
  • Imaging device 22 Imaging unit 24 Imaging optical system 26 Imaging element 28 Recording medium 30 Playback device 40
  • Display device 210 Image processing unit 220 Parallax adjustment unit 230 Encoding processing unit 240 Recording unit 250 Display unit 310 Reading unit 320 Decoding processing unit 330 Re-parallax Adjustment unit 340 Communication processing unit 410 Reading unit 412 Communication processing unit 420 Decoding processing unit 430 Re-parallax adjustment unit 440 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、を備える視差調整装置。

Description

視差調整装置、画像処理装置、フレームフォーマット
　本開示は、視差調整装置、画像処理装置、フレームフォーマットに関する。
　近日、左目用画像（Ｌ画像）および右目用画像（Ｒ画像）を表示することによりユーザに立体視画像を知覚させることが可能な３Ｄ表示装置が流通している。このような３Ｄ表示装置により表示された立体視画像では、実世界と輻輳角が同じであっても焦点距離が異なること、また、表示時と撮像記録時の基線長や輻輳角が異なることなどが視覚疲労の要因となる。特に、画像内の一部分が過度に飛び出している場合や、動画表示中に不用意に対象物が飛び出したときのように視差の変化が大きい場合にはユーザの負担が重くなる。
　このような観点から、快適な３Ｄ表示を行うための技術が研究されている。例えば、特許文献１には、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、Ｌ画像およびＲ画像の視差調整を行う視差変換装置が開示されている。具体的には、対象物の知覚位置がスクリーンの手前側である場合、Ｒ画像を右に、Ｌ画像を左にシフトさせることにより、対象物の知覚位置をスクリーンに近づけることができる。すなわち、飛び出し感を抑えることができる。同様に、対象物の知覚位置がスクリーンの奥側である場合、Ｒ画像を左に、Ｌ画像を右にシフトさせることにより、対象物の知覚位置をスクリーンに近づけることができる。すなわち、飛び出し感を強調する事ができる。
　上記のような３Ｄ表示のための記録においては、通常、Ｌ画像およびＲ画像のみが記録され、２Ｄ表示用の専用の２Ｄ画像が記録されることはほとんどない。このため、２Ｄ表示装置は、３Ｄ表示のために記録された画像から２Ｄ表示を行うために、Ｌ画像またはＲ画像を表示することが一般的である。
特開２０１１－５５０２２号公報
　しかし、上述した視差調整は幾つかの弊害を伴う。例えば、視差調整におけるシフト量は時間軸方向で異なるので、Ｌ画像またはＲ画像のみを２Ｄ表示装置で表示すると、静止しているはずの被写体が左右に揺れて（移動して）見え、ユーザにとって不快な２Ｄ画像となってしまう。
　また、視差調整済みの画像を、視差調整機能を有する３Ｄ表示装置で２重に視差調整を行うと、特に１度目と２度目の視差調整アルゴリズムが異なる場合、予期しない画像または不適切な３Ｄ画像になるなど、画像が破綻してしまうことが懸念される。また、視差調整前のＬ画像またはＲ画像の水平中心位置や、視差調整前のＬ画像とＲ画像の位置関係が分からないと、画像処理を適切に行うことが困難である場合も生じ得る。
　そこで、本開示では、左眼用画像および右眼用画像の視差調整による弊害を解消するための、新規かつ改良された視差調整装置、画像処理装置、フレームフォーマットを提案する。
　本開示によれば、撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、を備える視差調整装置が提供される。
　また、本開示によれば、左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、を備える画像処理装置が提供される。
　また、本開示によれば、撮像により得られた左眼用画像および右眼用画像に対する視差調整に関するメタデータ、および、前記左眼用画像および右眼用画像を含む画像データからなる、データフォーマットが提供される。
　以上説明したように本開示によれば、左眼用画像および右眼用画像の視差調整による弊害を解消することが可能である。
本開示の実施形態による画像処理システムの構成を示した説明図である。 ３Ｄ表示の原理を示した説明図である。 快適エリアを示した説明図である。 快適エリアを示した説明図である。 ＬＲ画像の均等シフトの概要を示した説明図である。 視差調整が施されたＬ画像またはＲ画像に基づく２Ｄ表示の具体例を示した説明図である。 本開示の実施形態による撮像装置の構成を示した機能ブロック図である。 視差調整メタデータの構成例を示した説明図である。 視差調整メタデータの構成例を示した説明図である。 視差調整メタデータの構成例を示した説明図である。 視差調整メタデータの変形例を示した説明図である。 本開示の実施形態による撮像装置の動作を示したフローチャートである。 本開示の実施形態による再生装置の構成を示した機能ブロック図である。 本開示の実施形態による表示装置の構成を示した機能ブロック図である。 ２Ｄ表示のための画像処理を示した説明図である。 再視差調整部による２Ｄ表示のための動作を示したフローチャートである。 再視差調整部による３Ｄ表示のための動作を示したフローチャートである。 応用例による画像の切り出しを示した説明図である。 応用例による画像の切り出しの具体例を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．画像処理システムの構成
　　２．撮像装置の構成および動作
　　３．再生装置および表示装置の構成
　　４．２Ｄ表示のための画像処理
　　５．３Ｄ表示のための画像処理
　　６．応用例
　　７．むすび
　　＜１．画像処理システムの構成＞
　図１は、本開示の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理システムは、撮像装置２０と、再生装置３０と、表示装置４０と、を備える。
　撮像装置２０は、被写体から発せられる光を電気的な画像信号に変換する撮像部を有する。より詳細には、本開示の実施形態による撮像装置２０は、図１に示したように、撮像部２２Ｌおよび撮像部２２Ｒを有する。撮像部２２Ｌは、３Ｄ表示のためのＬ画像を取得し、撮像部２２Ｒは、３Ｄ表示のためのＲ画像を取得する。
　ここで、本開示の実施形態による撮像装置２０は、ＬＲ画像の視差を調整し、視差調整に関するメタデータをＬＲ画像と共にエンコードしてデータストリームを生成する。そして、撮像装置２０は、視差調整に関するメタデータおよびＬＲ画像を含むデータストリームを記録メディアに記録する。
　なお、図１においてはＬＲ画像の視差を調整する視差調整装置の一例として撮像装置２０を示しているが、視差調整装置は撮像装置２０に限定されない。例えば、視差調整装置は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、視差調整装置は、スマートフォン、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。
　再生装置３０は、視差調整に関するメタデータおよびＬＲ画像を含むデータストリームが記録された記録メディアからデータストリームを読出し、読み出したデータストリームに基づき、３Ｄ表示用または２Ｄ表示用の再生処理を行う。そして、再生装置３０により得られた再生データは、表示装置４０や記録機器に伝送される。
　なお、再生装置３０がデータストリームを読み出す記録メディアは、再生装置３０が内蔵する記録メディアであってもよいし、撮像装置２０に設けられた記録メディアであってもよいし、着脱可能な記録メディアであってもよい。
　表示装置４０は、３Ｄ表示機能、および２Ｄ表示機能を有する。例えば、表示装置４０は、再生装置３０から伝送される再生データに基づいて３Ｄ表示または２Ｄ表示を行うことが可能である。また、表示装置４０は、記録メディアに記録されたデータストリームに基づいて３Ｄ表示または２Ｄ表示を行うことも可能である。
　なお、再生装置３０および表示装置４０は画像処理装置の一例であり、図１においては再生装置３０として家庭用映像処理装置を示し、表示装置４０としてＴＶ表示装置を示しているが、再生装置３０および表示装置４０などの画像処理装置はかかる例に限定されない。例えば、画像処理装置は、撮像装置の一例として列挙したような情報処理装置であってもよい。
　　（３Ｄ表示の概略）
　ここで、３Ｄ表示の概略を説明する。表示装置４０にＬ画像とＲ画像が表示され、ユーザの左眼にＬ画像が見え、ユーザの右眼にＲ画像が見えている時、Ｌ画像とＲ画像の視差に基づきユーザは画像を立体的に知覚することができる。この点について、図２を参照してより具体的に説明する。
　図２は、３Ｄ表示の原理を示した説明図である。ユーザは、ユーザの右眼とＲ画像の対象物を結ぶ直線、およびユーザの左眼とＬ画像の対象物を結ぶ直線の交差位置に対象物が存在するように知覚する。このため、図２に示したように、交差位置が表示装置４０の表示面よりも手前側である場合には飛び出し感が得られ、交差位置が表示装置４０の表示面よりも奥側である場合には奥行き感が得られる。
　このような３Ｄ表示では、実世界と輻輳角が同じであっても焦点距離が異なること、また、表示時と撮像記録時の基線長や輻輳角が異なることなどが視覚疲労の要因となる。特に、画像内の一部分が過度に飛び出している場合や、動画表示中に不用意に対象物が飛び出したときのように視差の変化が大きい場合にはユーザの負担が重くなる。
　このため、図３Ａに示したように、ユーザによる対象物の知覚位置はユーザがＬＲ画像を無理なく融像可能な快適エリア内であることが好ましい。一方、図３Ｂに示したように、ユーザによる対象物の知覚位置が快適エリアより手前の破綻エリア内である場合にはユーザの負担が重くなり、ユーザによる対象物の知覚位置が快適エリアより奥側である場合には立体感が得られ難い。
　このような観点から、快適な３Ｄ表示を行うための技術が研究されている。例えば、特開２０１１－５５０２２号公報には、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、Ｌ画像およびＲ画像の視差調整を行う視差変換装置が開示されている。この視差調整は、Ｌ画像のみのシフト、Ｒ画像のみのシフト、または、Ｌ画像およびＲ画像の均等シフトにより実現される。ＬＲ画像の中心軸を移動させないために、ＬＲ画像の均等シフトが最も一般的である。以下、図４を参照し、ＬＲ画像の均等シフトについて簡単に説明する。
　図４は、ＬＲ画像の均等シフトの概要を示した説明図である。図４に示したように、調整量＞Ｘである場合、Ｌ画像およびＲ画像が対象物を全体的に奥側に移動させる方向にＸ／２ずつシフトされる。一方、調整量＜Ｘである場合、Ｌ画像およびＲ画像が対象物を全体的に手前側に移動させる方向にＸ／２ずつシフトされる。
　なお、各ＬＲ画像に対する適切な調整量の算出方法は特に限定されないが、例えば特開２０１１－５５０２２号公報に開示されているような公知の方法により算出可能であるので、ここでの詳細な説明を省略する。
　　（背景）
　上記のような３Ｄ表示のための記録においては、通常、Ｌ画像およびＲ画像のみが記録され、２Ｄ表示用の専用の２Ｄ画像が記録されることはほとんどない。このため、表示装置は、３Ｄ表示のために記録された画像から２Ｄ表示を行うために、Ｌ画像またはＲ画像を表示することが一般的である。
　しかし、上述した視差調整は幾つかの弊害を伴う。例えば、視差調整における調整量は時間軸方向で異なるので、Ｌ画像またはＲ画像のみを表示すると、静止しているはずの被写体が左右に揺れて（移動して）見え、ユーザにとって不快な２Ｄ画像となってしまう。以下、図５を参照してこの点について具体的に説明する。
　図５は、視差調整が施されたＬ画像またはＲ画像に基づく２Ｄ表示の具体例を示した説明図である。より詳細には、図５Ａは、本来の２Ｄ記録による表示の具体例を示し、図５Ｂは、視差調整が施されたＬ画像の具体例を示している。
　図５Ａに示したように、本来の２Ｄ記録による表示では、被写体が静止していれば被写体の画角内での位置は固定である。一方、視差調整が施されたＬ画像では、図５Ｂに示したように、被写体が静止していても、視差調整により、画角内での被写体の位置が時間軸に従い移動してしまう。具体的には、１番目のＬ画像の調整量Ｘ１／２は０であるが、２番目以降のＬ画像の調整量Ｘ２／２～調整量Ｘ６／２は、－４、－８、－１２、－１６、－２０と変化するので、ユーザにとって不快な２Ｄ画像となってしまう。
　また、視差調整済みの画像を、視差調整機能を有する表示装置で２重に視差調整を行うと、特に１度目と２度目の視差調整アルゴリズムが異なる場合、予期しない画像または不適切な３Ｄ画像になるなど、画像が破綻してしまうことが懸念される。また、視差調整前のＬ画像またはＲ画像の水平中心位置や、視差調整前のＬ画像とＲ画像の位置関係が分からないと、画像処理を適切に行うことが困難である場合も生じ得る。
　そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、上述したようなＬ画像およびＲ画像の視差調整による弊害を解消することが可能である。以下、このような本開示の実施形態による撮像装置２０、再生装置３０、および表示装置４０について順次詳細に説明する。なお、以下では対象が動画である場合を想定して説明を進めるが、本開示の実施形態は静止画にも適用可能である。
　　＜２．撮像装置の構成および動作＞
　図６は、本開示の実施形態による撮像装置２０の構成を示した機能ブロック図である。図６に示したように、撮像装置２０は、撮像部２２Ｌおよび撮像部２２Ｒと、記録メディア２８と、画像処理部２１０Ｌおよび画像処理部２１０Ｒと、視差調整部２２０と、エンコード処理部２３０と、記録部２４０と、３Ｄ表示部２５０と、を備える。
　撮像部２２は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系２４、およびＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子２６を備える。撮像光学系２４は、被写体から発せられる光を集光して撮像素子２６に被写体像を形成し、撮像素子２６は、形成された被写体像を電気的な画像信号に変換する。左眼用の撮像部２２Ｌで得られたＬ画像の画像信号は画像処理部２１０Ｌに出力され、右眼用の撮像部２２Ｒで得られたＲ画像の画像信号は画像処理部２１０Ｒに出力される。
　画像処理部２１０は、撮像部２２から入力される画像に対し、現像処理、補正処理、解像度変換（スケーリング）処理、ノイズリダクション処理などを施す。画像処理部２１０Ｌおよび２１０Ｒにより処理されたＬＲ画像ペアは、視差調整部２２０に出力される。なお、ＬＲ画像ペアは、紐付けされているＬ画像およびＲ画像の組であり、時分割で送られてもよい。
　視差調整部２２０は、特開２０１１－５５０２２号公報に記載されているようなアルゴリズムにより、入力されるＬＲ画像ペアのシフト量、すなわち視差調整量を算出する。その後、視差調整部２２０は、算出した調整量に従ってＬＲ画像の双方またはＬＲ画像の一方を水平方向にシフトさせて切り出す。なお、視差調整部２２０は、切り出し前画像に存在しない領域がある場合には黒埋めに差し替える、あるいは画像端部をコピーしてもよい。
　そして、視差調整部２２０は、視差調整後のＬＲ画像ペアと、視差調整に関する情報をエンコード処理部２３０に出力する。なお、視差調整部２２０は、事前に設定された画像をシフトさせてもよい。また、上記では、視差調整の方法として画像をシフトして切り出す方法を説明したが、視差調整の方法はかかる例に限定されない。
　エンコード処理部２３０は、時間方向に蓄積されたＬＲ画像ペアと、後述の視差調整メタデータが関連付けられるように所定の圧縮フォーマットでエンコードを行い、ＬＲ画像ペアおよび視差調整メタデータを含むデータストリームを生成するデータ処理部である。なお、動画圧縮フォーマットの一例としてはＡＶＣＨＤ　Ｖｅｒ２．０で作成された「ＡＶＣＨＤ　３Ｄ」があり、静止画圧縮フォーマットの一例としてはＭＰＯ（Ｍｕｌｔｉ－Ｐｉｃｔｕｒｅ　Ｆｏｒｍａｔ）形式がある。
　記録部２４０は、エンコード処理部２３０によって得られたデータストリームを記録メディア２８に記録する。なお、記録メディア２８は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）およびＢＤ（Ｂｌｕ－Ｒａｙ　Ｄｉｓｃ（登録商標））などがあげられる。
　３Ｄ表示部２５０は、視差調整部２２０から出力されたＬＲ画像ペアを直接、または、ＳＲＡＭやＤＲＡＭのようなシステム汎用メモリ（図示せず。）に一端保持した後に表示する。
　　（視差調整メタデータ）
　ここで、エンコード処理部２３０によるエンコードの過程で得られる視差調整メタデータについて詳細に説明する。視差調整メタデータは、視差調整部２２０によって行われた視差調整の内容を示すデータであり、以下に説明するように、多様な形態で実現され得る。
　図７Ａは、視差調整メタデータの第１の構成例を示した説明図である。図７Ａに示したように、第１の構成例による視差調整メタデータは、視差調整が行われたか否かを示すフラグ１ビットと、Ｌ画像側の調整量を示す１０ビットと、Ｒ画像側の調整量を示す１０ビットの計２１ビットからなる。
　視差調整が行われたか否かは、２種類の状態により表現できるので、視差調整が行われたか否かを示すフラグは１ビットで構成される。また、図７Ａに示したように、各画像の調整量を示すために１０ビットのデータを配置することにより、－５１２～５１１までを表現することが可能である。なお、調整量は、一般的には２の補数により表現されるが、表現方法は特に限定されず、ストレートバイナリや１の補数などの任意の表現を用いることも可能である。
　図７Ｂは、視差調整メタデータの第２の構成例を示した説明図である。図７Ｂに示したように、第２の構成例による視差調整メタデータは、視差調整が行われたか否かを示すフラグ１ビットと、視差調整が行われた画像を示す２ビットと、調整量を示す１０ビットとの計１３ビットからなる。例えば、視差調整が行われた画像を示す２ビットは、調整量をＸとすると、以下の内容を示してもよい。
　　　００：Ｒｅｓｅｒｖｅｄ（任意の値を設定可能）
　　　０１：Ｌ画像をＸピクセル移動。Ｒ画像はオリジナル。
　　　１０：Ｒ画像をＸピクセル移動。Ｌ画像はオリジナル。
　　　１１：Ｌ画像をＸ／２ピクセル移動。Ｒ画像をＸ／２ピクセル移動。
　このように、視差調整が行われた画像を２ビットで表現することにより、視差調整メタデータのデータ量を抑制することが可能である。
　図７Ｃは、視差調整メタデータの第３の構成例を示した説明図である。図７Ｃに示したように、第３の構成例による視差調整メタデータは、視差調整が行われたか否かを示すフラグ１ビットと、調整量を示す１０ビットの計１１ビットからなる。第３の構成例では、最も一般的なＬＲ均等シフトを用いることが暗示的に規定されている場合に利用可能である。例えば、メーカなどで視差調整の方法が単一であり、視差調整の方法を区別する必要が無い場合に有効である。
　なお、図７Ａ～図７Ｃに示した各用途のビット数は一例に過ぎず、適宜変更可能である。また、視差調整が行われた画像を示すビットや調整量を示すビットの各々は連結されていなくてもよく、メタデータ中に分散して配置されてもよい。また、視差調整が行われない場合、視差調整メタデータ中の調整量を示すためのデータ部分に、他の情報を示すデータが配置されてもよい。以下、この点について図８を参照して説明する。
　図８は、視差調整メタデータの変形例を示した説明図である。図８に示したように、変形例による視差調整メタデータは、調整量を示す１０ビットと、視差調整の対象画像を示す２ビットと、１０ビットのデータ部分が示す調整量の性質を示すフラグ１ビットの計１３ビットからなる。
　具体的には、フラグ１ビットは、「１」である場合、実際に視差調整が行われたこと、および、１０ビットのデータ部分が示す調整量が実際に行われた視差調整での調整量であることを示す。一方、フラグ１ビットは、「０」である場合、視差調整が行われなかったこと、および、１０ビットのデータ部分が示す調整量が推奨される視差調整量であることを示す
　このように、視差調整が行われない場合に他の情報を示すデータを視差調整メタデータに配置することにより、視差調整メタデータのデータ領域を有効活用することが可能である。
　以上、視差調整メタデータの第１の構成例～第３の構成例、および変形例を説明した。上述した視差調整メタデータは、ＬＲ画像ペア（フィールド、フレーム毎）と１対１に関連付けられることが理想的であるが、任意の時間単位のＬＲ画像ペアと関連付けられてもよい。例えば、ＭＰＥＧフォーマットにおいてはＧＯＰ単位で視差調整メタデータが関連付けられてもよい。すなわち、エンコード処理部２３０により生成されるデータストリームは、任意の画像フォーマットに適合し、視差調整の内容を示す視差調整メタデータが含まれていればよく、圧縮フォーマットは特に限定されない。
　また、上記では視差調整メタデータが視差調整の有無を示すフラグ１ビットを含む例を説明したが、視差調整メタデータは視差調整の有無を示すフラグ１ビットを含まなくてもよい。この場合、１０ビットのデータ部分の示す調整量が０である場合には視差調整が行われておらず、０以外である場合には視差調整が行われていると判断することが可能である。
　　（撮像装置の動作）
　続いて、図９を参照し、本開示の実施形態による撮像装置２０の動作を整理する。
　図９は、本開示の実施形態による撮像装置２０の動作を示したフローチャートである。なお、図９においては１つのＬＲ画像ペアに対する動作例を示しているが、動画が対象である場合、撮像装置２０は図９に示す処理を繰り返してもよいし、一定量のＬＲペア画像を蓄積してからエンコード処理を行ってもよい。
　まず、視差調整部２２０は、図９に示したように事前の設定内容に従い視差調整を行うか否かを判断する（Ｓ５０４）。そして、視差調整部２２０は、視差調整を行わないと判断した場合、ＬＲ画像ペアの視差を調整せずにそのまま出力する（Ｓ５０８：スルー処理）。
　一方、視差調整部２２０は、視差調整を行う場合、自動視差調整を行うか、手動視差調整を行うかを判断する（Ｓ５１２）。そして、視差調整部２２０は、手動視差調整を行う場合、別途設定されている調整量でＬＲ画像の視差調整を行う（Ｓ５１６）。
　また、視差調整部２２０は、自動視差調整を行う場合、入力されたＬＲ画像ペアから最適な視差調整量を算出し（Ｓ５２０）、算出した視差調整量でＬＲ画像ペアの視差を調整する（Ｓ５２４）。
　Ｓ５０８、Ｓ５１６またはＳ５２４における処理の後、視差調整部２２０は、後段のエンコード処理部２３０のために、ＬＲ画像ペアと、視差調整の内容を示す視差調整メタデータを出力する（Ｓ５２８）。
　　＜３．再生装置および表示装置の構成＞
　以上、本開示の実施形態による撮像装置２０の構成および動作を説明した。続いて、本開示の実施形態による再生装置３０および表示装置４０の構成を説明する。
　（再生装置の構成）
　図１０は、本開示の実施形態による再生装置３０の構成を示した機能ブロック図である。図１０に示したように、本開示の実施形態による再生装置３０は、読出部３１０と、デコード処理部３２０と、再視差調整部３３０と、通信処理部３４０と、を備える。
　読出部３１０は、記録メディア２８から、視差調整メタデータを含むフォーマットで記録されたデータストリームを読出し、データストリームをデコード処理部３２０に出力する。
　デコード処理部３２０は、データストリームをＬ画像、Ｒ画像および視差調整メタデータに変換し、Ｌ画像、Ｒ画像および視差調整メタデータを再視差調整部３３０に出力する。なお、デコード処理部３２０は、２Ｄ表示のためには、Ｌ画像またはＲ画像の一方と、視差調整メタデータを再視差調整部３３０に出力してもよい。
　再視差調整部３３０は、別途設定されている動作設定に従い、ＬＲ画像ペアを必要に応じて再度視差調整し、視差調整後のＬＲ画像ペアを通信処理部３４０へ出力する。この再視差調整部３３０による処理は、出力する画像が２Ｄ画像か３Ｄ画像かによって異なる。２Ｄ画像を出力する場合の処理については「４．２Ｄ表示のための画像処理」において説明し、３Ｄ画像を出力する場合の処理については「５．３Ｄ表示のための画像処理」において詳細に説明する。なお、再視差調整部３３０は、再視差調整後の視差調整メタデータも通信処理部３４０へ出力してもよい。
　通信処理部３４０は、再視差調整部３３０から入力される画像などを無線または有線などの任意の伝送フォーマットに変換し、電波または有線ケーブルなどの伝送媒体を介して表示装置４０や記録機器４２に送信される。なお、既存の伝送フォーマットとしては、有線ではＨＤＭＩ、ＳＡＴＡ、ＩＥＥＥ１３９４Ａ／Ｂ、ＵＳＢ等であり、無線では、無線ＬＡＮ（ＩＥＥＥ　８０２．１１）やＷｉＭＡＸ、携帯電話で用いられている各種規格があるが、本実施形態で利用する伝送フォーマットは特に限定されない。
　なお、再生装置３０は、再視差調整部３３０で処理されたＬＲ画像ペアに対してさらに画像処理、編集を行うための構成や、ＬＲ画像ペアを記録する構成を有してもよい。
　（表示装置の構成）
　図１１は、本開示の実施形態による表示装置４０の構成を示した機能ブロック図である。図１１に示したように、本開示の実施形態による表示装置４０は、読出部４１０と、通信処理部４１２と、デコード処理部４２０と、再視差調整部４３０と、表示部４４０と、を備える。
　読出部４１０は、記録メディア２８から、視差調整メタデータを含むフォーマットで記録されたデータストリームを読出し、データストリームをデコード処理部３２０に出力する。通信処理部４１２は、再生装置３０などから無線または有線で送信されたデータストリームを受信し、データストリームをデコード処理部３２０に出力する。このような読出部４１０および通信処理部４１２は、視差調整メタデータを取得するデータ取得部の一例である。
　デコード処理部４２０は、データストリームをＬ画像、Ｒ画像および視差調整メタデータに変換し、Ｌ画像、Ｒ画像および視差調整メタデータを再視差調整部４３０に出力する。なお、デコード処理部４２０は、表示部４４０が２Ｄ表示を行う場合、Ｌ画像またはＲ画像の一方と、視差調整メタデータを再視差調整部４３０に出力してもよい。
　再視差調整部４３０は、別途設定されている動作設定に従い、ＬＲ画像ペアを必要に応じて再度視差調整し、視差調整後のＬＲ画像ペアを表示部４４０に表示させる。この再視差調整部４３０による処理は、出力する画像が２Ｄ画像か３Ｄ画像かによって異なる。２Ｄ画像を出力する場合の処理については「４．２Ｄ表示のための画像処理」において説明し、３Ｄ画像を出力する場合の処理については「５．３Ｄ表示のための画像処理」において詳細に説明する。なお、表示装置４０が再視差調整部４３０を有さない場合、デコード処理部４２０で得られたＬ画像およびＲ画像は表示部４４０に直接出力される。また、本実施形態による再視差調整部４３０は、既に行われた視差調整がキャンセルされるようにＬ画像またはＲ画像を抽出する画像抽出部、あるいは視差調整キャンセル部としても動作する。
　表示部４４０は、再視差調整部４３０から入力される画像を表示する。例えば、表示部４４０は、再視差調整部４３０からＬ画像およびＲ画像が入力される場合、Ｌ画像およびＲ画像を用いて３Ｄ表示を行う。また、表示部４４０は、再視差調整部４３０からＬ画像またはＲ画像が入力される場合、Ｌ画像またはＲ画像を用いて２Ｄ表示を行う。
　　＜４．２Ｄ表示のための画像処理＞
　以上、本開示の実施形態による再生装置３０および表示装置４０の構成を説明した。続いて、表示装置４０の再視差調整部４３０により行われる２Ｄ表示のための画像処理について詳細に説明する。なお、以下では、ＬＲ均等シフトにより視差調整が行われたＬＲ画像ペアで２Ｄ表示を行うための処理を説明する。また、表示装置４０の再視差調整部４３０により行われる画像処理は、再生装置３０の再視差調整部３３０による画像処理にも援用可能である。
　図１２は、２Ｄ表示のための画像処理を示した説明図である。単眼の２Ｄカメラで、静止している被写体を固定された画角で撮影を行う場合、図１２Ａに示すように、時間軸に関係なく画角内の被写体の位置は固定している。このため、表示装置４０などで当該画像を表示した場合、被写体は画像内で静止している。
　しかし、撮像装置２０のような２眼の３Ｄカメラで視差調整記録されたＬＲ画像ペアのうちのＬ画像（Ｒ画像であってもよい。）を２Ｄ画像として代用する場合、被写体が静止していても、視差調整量Ｘｉ（ｉは、フレームやフィールドに対応する画像番号である。）に応じてＬ画像はＸｉ／２のシフトが行われている。このため、単にＬ画像を２Ｄ画像として代用すると、図１２Ｂに示すように、静止しているはずの被写体の画角内での位置が時間軸に従い移動してしまう。
　本開示の実施形態による再視差調整部４３０は、このような視差調整による弊害を、以下に説明する処理により改善することが可能である。
　視差調整メタデータに記録されている視差調整量は、水平移動量または記録時の切り出し位置のずらし量に等しい。例えば、図１２Ｂの２番目の画像は、調整量Ｘ２／２＝－４ピクセルであるので、記録時の水平座標原点より４ピクセル外側から切り出されている。
　そこで、２Ｄ表示の場合、記録時の視差調整前の水平座標原点が表示エリアの左上隅になるように処理を行えば、すなわち、視差調整によるシフトをキャンセルすれば、画角内の被写体の位置は固定され、好ましい２Ｄ表示を実現できる。なお、視差調整前の水平座標原点が表示エリアの左上隅になる場合、視差調整前の水平座標中心も表示エリアの中心に固定される。
　上記の処理のために、再視差調整部４３０は、視差調整済みのＬ画像を、図１２Ｃに示すように「－Ｘｉ／２」で表現される切り出し開始位置Ｙｉから切り出す。ただし、記録済み画像の水平画素数は例えば１９２０画素で固定されているので、切り出し開始位置Ｙｉが４ピクセルである場合、切り出し後の画像の水平方向には１９１６画素しか存在しない。このため、再視差調整部４３０は、図１２Ｄに示した切り出し後の画像のように、水平画素数１９２０画素に足りない領域（図面右方）には黒埋めを行い、画像の水平画素数を１９２０にする。なお、再視差調整部４３０は、黒埋めでなく、端部の画像コピーにより画像の水平画素数を１９２０にしてもよい。
　図１２Ｂと図１２Ｄの比較から理解されるように、本開示の実施形態によれば、静止している被写体の画角内での位置を固定することが可能となる。なお、説明の便宜上、図１２Ｄでは黒帯を強調しているが、水平画素数１９２０に対し、実際の視差調整量Ｘｉは最大でプラスマイナス１００ピクセル程度、Ｘｉ／２は５０ピクセル程度であるので、１９２０画素に対して２％程度の黒帯は２Ｄ表示においてほとんど支障はない。
　また、上記では視差調整量が負である例を説明したが、視差調整量が正である場合も考え方は同様である。視差調整量が正である場合、記録時の水平座標原点より右側（画像内側）から画像が切り出されているので、左側に黒埋め領域を含む結果となる。
　（再視差調整部の動作）
　以上、再視差調整部４３０による２Ｄ表示のための画像処理を説明した。続いて、図１３を参照し、再視差調整部４３０による２Ｄ表示のための動作を整理する。
　図１３は、再視差調整部４３０による２Ｄ表示のための動作を示したフローチャートである。なお、図１３においては１つのＬＲ画像ペアに対する動作例を示しているが、動画が対象である場合、撮像装置２０は図１３に示す処理を繰り返してもよい。
　まず、再視差調整部４３０は、図１３に示したように、デコードされたメタデータから視差調整メタデータを抽出する（Ｓ６０４）。続いて、再視差調整部４３０は、視差調整メタデータに基づき、入力されたＬ画像またはＲ画像が視差調整済み画像であるか否かを判断する（Ｓ６０８）。そして、再視差調整部４３０は、入力画像が視差調整されていないと判断した場合、入力画像を加工せずに表示部４４０に表示させる（Ｓ６１２）。なお、再視差調整部４３０にＬＲ画像ペアが入力される場合、再視差調整部４３０は、Ｌ画像またはＲ画像を選択して表示部４４０に表示させてもよい。
　一方、再視差調整部４３０は、入力画像が視差調整されており、かつ、ＬＲ均等シフトにより視差調整されている場合（Ｓ６１６）、視差調整メタデータの示す調整量に基づいて視差調整をキャンセルするための上述した方法により視差を再調整する（Ｓ６２０）。なお、ＬＲ画像ペアがＬＲ均等シフト以外の方法により視差調整されている場合、再視差調整部４３０は、Ｌ画像またはＲ画像のうちで水平シフトされていない側の画像を選択して表示部４４０に表示させる（Ｓ６１２）。
　　＜５．３Ｄ表示のための画像処理＞
　以上、２Ｄ表示のための画像処理について説明した。続いて、図１４を参照し、表示装置４０の再視差調整部４３０により行われる３Ｄ表示のための画像処理について詳細に説明する。なお、表示装置４０の再視差調整部４３０により行われる画像処理は、再生装置３０の再視差調整部３３０による画像処理にも援用可能である。
　図１４は、再視差調整部４３０による３Ｄ表示のための動作を示したフローチャートである。なお、図１４においては１つのＬＲ画像ペアに対する動作例を示しているが、動画が対象である場合、撮像装置２０は図１４に示す処理を繰り返してもよい。
　まず、再視差調整部４３０は、図１４に示したように、デコードされたメタデータから視差調整メタデータを抽出する（Ｓ７０４）。続いて、再視差調整部４３０は、別途設定されている動作設定に基づき、再視差調整を行うか否かを判断する（Ｓ７０８）。そして、再視差調整部４３０は、再視差調整を行わない場合、デコードされたＬＲ画像ペアをそのまま表示部４４０に出力する（Ｓ７１２）。
　一方、再視差調整部４３０は、視差調整を行うと判断し、かつ、デコードされたＬＲ画像ペアが視差調整されていない場合（Ｓ７１６）、特開２０１１－５５０２２号公報に記載されているようなアルゴリズムにより、ＬＲ画像ペアの視差調整量を算出し、ＬＲ画像ペアの視差調整を行う（Ｓ７２０）。
　また、再視差調整部４３０は、視差調整を行うと判断し、かつ、デコードされたＬＲ画像ペアが視差調整されている場合（Ｓ７１６）、２重に視差調整を行っても問題無いか否かを判断する（Ｓ７２４）。そして、再視差調整部４３０は、例えばメーカーノートなどの別途記録されたメタデータなどに基づいて２重に視差調整を行っても問題無いと判断した場合、特開２０１１－５５０２２号公報に記載されているようなアルゴリズムにより再視差調整を行う（Ｓ７２０）。
　一方、再視差調整部４３０は、２重に視差調整を行うと問題が生じ得ると判断した場合、別途設定されている動作設定に従い、以下のいずれかの処理を行う（Ｓ７２８）。
　ａ）「４．２Ｄ表示のための画像処理」で説明した方法によりＬＲ画像ペアの視差調整をキャンセルする処理を行ってから再度視差調整を行う（Ｓ７３２）。
　ｂ）再視差調整を行わず、デコードされたＬＲ画像ペアをそのまま表示部４４０に出力する（Ｓ７３６）
　上記のａ）またはｂ）により、２重の視差調整により予期しない映像、不適切な３Ｄ映像が表示されることを回避できる。
　　＜６．応用例＞
　以上、本開示の実施形態を説明した。上記の「４．２Ｄ表示のための画像処理」で説明した画像処理によれば、画像端部に黒帯領域が表示される。そこで、応用例として、画面に黒帯領域が表示されないように２Ｄ表示を行うための画像処理を説明する。
　一般的に、撮像装置２０のような記録装置によって最大視差調整量、すなわちシフト量の幅は固有であるので、視差調整メタデータに最大視差調整量を示すデータも配置されるものとする。また、以下では、Ｌ画像（１９２０×１０８０）の最大視差調整量がプラスマイナス５０ピクセルである例を考える。
　図１５は、応用例による画像の切り出しを示した説明図である。図１５において、黒丸Ｈは記録時の視差調整前の水平座標原点を示し、白丸は水平座標原点から１９２０画素の画像を記録する場合の水平座標中心（画角の中心、水平座標原点から９６０画素）を示す。また、図１５においては破線の領域が記録されている画像領域を示し、太線が切り出される画像領域を示す。
　具体的には、図１５Ａでは、Ｌ画像に－５０ピクセルの視差調整が施されているので、視差調整前の水平座標原点Ｈより外側（左側）５０ピクセルの位置から破線で示される画像領域が存在する。また、図１５Ｂでは、Ｌ画像に視差調整が施されていないので、記録時の水平座標原点と破線で示される画像領域の水平端が一致している。また、図１５Ｃでは、Ｌ画像に５０ピクセルの視差調整が施されているので、視差調整前の水平座標原点Ｈより内側（右側）５０ピクセルの位置から破線で示される画像領域が存在する。
　再視差調整部４３０は、このような破線で示される画像領域内で共通かつ最大の領域を切り出す。ここで、最大視差調整量がプラスマイナス５０ピクセルであるから、水平方向では、１９２０－５０×２＝１８２０ピクセルの領域を切り出すことが可能である。すなわち、この領域は、どのように視差調整が施されていても存在している画角範囲であるので、この領域を常に切り出せば、視差調整の影響を受けず、切り出した画像の水平中心を記録時の水平座標中心に保つことが可能となる。
　さらに、水平１８２０画素を切り出す場合、アスペクト比を考慮すると、垂直ライン数は１８２０×１０８０／１９２０＝１０２４である。このため、垂直方向の切り出し範囲は、１０８０－１０２４＝５６ラインを上下均等に割り当てた２８ラインずつ画像領域の内側の領域である。
　このようなアスペクト比を考慮した画像の切り出し範囲を図１５Ａ～図１５Ｃにおいて実線で示した。図１５Ａでは、視差調整量Ｘｉ／２＝－５０であるから、水平方向の切り出し開始位置は、視差調整をキャンセルする値（５０）＋最大視差調整量の絶対値（５０）を加算した１００ピクセルである。図１５Ｃでは、視差調整量Ｘｉ／２＝５０であるから、水平方向の切り出し開始位置は、視差調整をキャンセルする値（－５０）＋最大視差調整量の絶対値（５０）を加算した０ピクセルである。図１５Ｂでは、視差調整量Ｘｉ／２＝０であるから、水平方向の切り出し開始位置は、視差調整をキャンセルする値（０）＋最大視差調整量の絶対値（５０）を加算した５０ピクセルである。
　なお、再視差調整部４３０は、視差調整量が他の値であっても同様に、（－１）×視差調整量＋最大視差調整量の絶対値を演算することにより水平方向の切り出し開始位置を算出することが可能である。
　また、上記では最大視差調整量が左右で同一の値である例を説明したが、最大視差調整量が左右で異なる場合にも同様に処理可能である。例えば、再視差調整部４３０は、調整量が左最大の場合と右最大の場合で切り出し可能な共通の領域を求め、その領域内で、視差調整前の水平座標中心が切り出し後の画像の水平中心となるように、視差調整前の水平座標中心を基準に左右均等なサイズで切り出しを行ってもよい。
　さらに、再視差調整部４３０は、上記のようにして切り出した画像領域を表示サイズの１９２０×１０８０に拡大する拡大処理部としての機能を有する。
　例えば、図１６Ａに示したようにＬ画像に視差調整が施されている場合、再視差調整部４３０は、図１６Ｂに示すように、調整量が左最大の場合と右最大の場合で切り出し可能な共通の領域を切り出す。そして、再視差調整部４３０は、図１６Ｃに示したように、切り出した画像領域を表示サイズに拡大する。
　かかる構成により、視差調整前の画像中心と表示時の画像中心が一致するので、視差調整済みのＬ画像を用いても、黒帯や揺れのない２Ｄ表示を実現することができる。
　　＜７．むすび＞
　以上説明したように、本開示の実施形態によれば、Ｌ画像およびＲ画像の視差調整による弊害を解消することが可能である。例えば、本開示の実施形態によれば、視差調整が施されたＬ画像またはＲ画像を用いて２Ｄ表示を行う場合に、Ｌ画像またはＲ画像に施された視差調整をキャンセルすることができるので、画像の揺れを抑制することが可能である。また、視差調整の内容を示す視差調整メタデータをＬＲ画像ペアと関連付けることにより、視差調整前のＬ画像とＲ画像の位置関係を用いる多様な処理を実現することが可能となる。また、視差調整を行わない場合でも、共通の視差調整メタデータのフォーマットを用いて対応することが可能である。
　なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では視差調整メタデータの用途の一例として再視差調整を説明したが、視差調整メタデータの用途は再視差調整に限定されない。視差調整メタデータは、視差調整前のＬ画像およびＲ画像の中心位置や水平位置を用いる多様な処理に用いることが可能である。
　また、本明細書の撮像装置２０、再生装置３０、表示装置４０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、撮像装置２０、再生装置３０、表示装置４０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、撮像装置２０、再生装置３０、表示装置４０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した撮像装置２０、再生装置３０、表示装置４０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　また、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、
　前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、
を備える、視差調整装置。
（２）
　前記視差調整部は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行う、前記（１）に記載の視差調整装置。
（３）
　前記メタデータは、前記視差調整が行われたか否かを示すデータを含む、前記（１）または（２）に記載の視差調整装置。
（４）
　前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含む、前記（３）に記載の視差調整装置。
（５）
　前記視差調整が行われない場合、前記メタデータ中のシフト量を示すためのデータ部分は、他の情報を示すデータを含む、前記（４）に記載の視差調整装置。
（６）
　前記メタデータは、前記左眼用画像および前記右眼用画像のうちで前記視差調整部により前記視差調整が行われた対象画像を示すデータと、前記対象画像のシフト量を示すデータを含む、前記（２）に記載の視差調整装置。
（７）
　前記視差調整部は、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行い、
　前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含む、前記（１）に記載の視差調整装置。
（８）
　左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、
　前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、
を備える、画像処理装置。
（９）
　前記メタデータは、前記左眼用画像および前記右眼用画像に対する前記視差調整が行われたか否かを示すデータを含み、
　前記画像抽出部は、前記視差調整が行われたことを前記メタデータが示す場合には前記抽出を行い、前記視差調整が行われなかったことを前記メタデータが示す場合には前記抽出を行わない、前記（８）に記載の画像処理装置。
（１０）
　前記視差調整は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理を含み、
　前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含み、
　前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像または前記右眼用画像のシフト量に応じた領域を抽出する、前記（８）または（９）に記載の画像処理装置。
（１１）
　前記視差調整は、前記左眼用画像および前記右眼用画像の双方のシフト処理であり、
　前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含み、
　前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像および前記右眼用画像のシフト量に応じた領域を抽出する、前記（８）に記載の画像処理装置。
（１２）
　前記抽出部は、前記左眼用画像または前記右眼用画像から、前記左眼用画像または前記右眼用画像の水平方向長から前記左眼用画像および前記右眼用画像のシフト量の幅を減じて得られる水平方向長以下の領域を抽出し、
　前記画像処理装置は、
　前記画像抽出部により抽出された領域を拡大する拡大処理部をさらに備える、前記（１０）または（１１）に記載の画像処理装置。
（１３）
　撮像により得られた左眼用画像および右眼用画像に対する視差調整に関するメタデータ、および、前記左眼用画像および右眼用画像を含む画像データからなる、データフォーマット。
（１４）
　撮像により得られた左眼用画像および右眼用画像の視差調整を行うことと、
　前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けることと、
を含む、視差調整方法。
（１５）
　左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得することと、
　前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出することと、
を含む、画像処理方法。
（１６）
　コンピュータを、
　撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、
　前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、
として機能させるための、プログラム。
（１７）
　コンピュータを、
　左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、
　前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、
として機能させるための、プログラム。
２０　撮像装置
２２　撮像部
２４　撮像光学系
２６　撮像素子
２８　記録メディア
３０　再生装置
４０　表示装置
２１０　画像処理部
２２０　視差調整部
２３０　エンコード処理部
２４０　記録部
２５０　表示部
３１０　読出部
３２０　デコード処理部
３３０　再視差調整部
３４０　通信処理部
４１０　読出部
４１２　通信処理部
４２０　デコード処理部
４３０　再視差調整部
４４０　表示部

Claims (13)

  1. 　撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、
    　前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、
    を備える、視差調整装置。
  2. 　前記視差調整部は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行う、請求項１に記載の視差調整装置。
  3. 　前記メタデータは、前記視差調整が行われたか否かを示すデータを含む、請求項１または２に記載の視差調整装置。
  4. 　前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含む、請求項３に記載の視差調整装置。
  5. 　前記視差調整が行われない場合、前記メタデータ中のシフト量を示すためのデータ部分は、他の情報を示すデータを含む、請求項４に記載の視差調整装置。
  6. 　前記メタデータは、前記左眼用画像および前記右眼用画像のうちで前記視差調整部により前記視差調整が行われた対象画像を示すデータと、前記対象画像のシフト量を示すデータを含む、請求項２に記載の視差調整装置。
  7. 　前記視差調整部は、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行い、
    　前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含む、請求項１に記載の視差調整装置。
  8. 　左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、
    　前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、
    を備える、画像処理装置。
  9. 　前記メタデータは、前記左眼用画像および前記右眼用画像に対する前記視差調整が行われたか否かを示すデータを含み、
    　前記画像抽出部は、前記視差調整が行われたことを前記メタデータが示す場合には前記抽出を行い、前記視差調整が行われなかったことを前記メタデータが示す場合には前記抽出を行わない、請求項８に記載の画像処理装置。
  10. 　前記視差調整は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理を含み、
    　前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含み、
    　前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像または前記右眼用画像のシフト量に応じた領域を抽出する、請求項８に記載の画像処理装置。
  11. 　前記視差調整は、前記左眼用画像および前記右眼用画像の双方のシフト処理であり、
    　前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含み、
    　前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像および前記右眼用画像のシフト量に応じた領域を抽出する、請求項８に記載の画像処理装置。
  12. 　前記抽出部は、前記左眼用画像または前記右眼用画像から、前記左眼用画像または前記右眼用画像の水平方向長から前記左眼用画像および前記右眼用画像のシフト量の幅を減じて得られる水平方向長以下の領域を抽出し、
    　前記画像処理装置は、
    　前記画像抽出部により抽出された領域を拡大する拡大処理部をさらに備える、請求項１０に記載の画像処理装置。
  13. 　撮像により得られた左眼用画像および右眼用画像に対する視差調整に関するメタデータ、および、前記左眼用画像および右眼用画像を含む画像データからなる、データフォーマット。
     
     
     
PCT/JP2012/081911 2011-12-28 2012-12-10 視差調整装置、画像処理装置、フレームフォーマット WO2013099571A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/350,198 US20150116467A1 (en) 2011-12-28 2012-12-10 Parallax adjustment device, image processing device, and frame format
EP12862516.7A EP2800385A4 (en) 2011-12-28 2012-12-10 BINOCULAR DISPARITY SETTING APPARATUS, IMAGE PROCESSING APPARATUS, AND FRAME FORMAT
CN201280063215.7A CN104012087A (zh) 2011-12-28 2012-12-10 视差调整装置、图像处理装置和帧格式

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011289136 2011-12-28
JP2011-289136 2011-12-28

Publications (1)

Publication Number Publication Date
WO2013099571A1 true WO2013099571A1 (ja) 2013-07-04

Family

ID=48697065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/081911 WO2013099571A1 (ja) 2011-12-28 2012-12-10 視差調整装置、画像処理装置、フレームフォーマット

Country Status (5)

Country Link
US (1) US20150116467A1 (ja)
EP (1) EP2800385A4 (ja)
JP (1) JPWO2013099571A1 (ja)
CN (1) CN104012087A (ja)
WO (1) WO2013099571A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445867B2 (en) * 2016-07-13 2019-10-15 The Boeing Company System and method for generating enhanced stereographic videos of aircraft build processes
CN109429055B (zh) * 2017-08-24 2021-02-23 阿里巴巴集团控股有限公司 图像展示、视频文件处理方法及装置
CN109729335A (zh) * 2017-10-30 2019-05-07 深圳市易快来科技股份有限公司 一种视差调整的方法、装置及系统
CN108093243A (zh) * 2017-12-31 2018-05-29 深圳超多维科技有限公司 一种立体成像处理方法、装置和立体显示设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024151A (ja) * 2009-07-21 2011-02-03 Fujifilm Corp 画像表示装置および方法並びにプログラム
JP2011055022A (ja) 2009-08-31 2011-03-17 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
WO2011136137A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 立体撮像装置及びその制御方法
JP2011244412A (ja) * 2009-07-21 2011-12-01 Fujifilm Corp ３次元画像表示装置及び３次元画像表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5575778B2 (ja) * 2008-10-10 2014-08-20 コーニンクレッカ フィリップス エヌ ヴェ 信号に含まれる視差情報を処理する方法
TW201119353A (en) * 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
JP5446913B2 (ja) * 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
US9066076B2 (en) * 2009-10-30 2015-06-23 Mitsubishi Electric Corporation Video display control method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024151A (ja) * 2009-07-21 2011-02-03 Fujifilm Corp 画像表示装置および方法並びにプログラム
JP2011244412A (ja) * 2009-07-21 2011-12-01 Fujifilm Corp ３次元画像表示装置及び３次元画像表示方法
JP2011055022A (ja) 2009-08-31 2011-03-17 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
WO2011136137A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 立体撮像装置及びその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2800385A4

Also Published As

Publication number Publication date
EP2800385A4 (en) 2015-11-25
EP2800385A1 (en) 2014-11-05
CN104012087A (zh) 2014-08-27
JPWO2013099571A1 (ja) 2015-04-30
US20150116467A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
US9716873B2 (en) Image processing device and image processing method
US9235749B2 (en) Image processing device and image processing method
US9661301B2 (en) Image processing device and image processing method
US20130342647A1 (en) Image processing apparatus and image processing method
US10205927B2 (en) Encoding device and encoding method, and decoding device and decoding method
WO2013031575A1 (ja) 画像処理装置および画像処理方法
US10122986B2 (en) Image processing device and image processing method
WO2013115024A1 (ja) 画像処理装置および画像処理方法
WO2011074148A1 (ja) 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路
WO2013099571A1 (ja) 視差調整装置、画像処理装置、フレームフォーマット
JP2012182785A (ja) 映像再生装置および映像再生方法
US9900595B2 (en) Encoding device, encoding method, decoding device, and decoding method
KR101386810B1 (ko) 3차원 영상을 판별하기 위한 장치 및 방법
US20140072271A1 (en) Recording apparatus, recording method, reproduction apparatus, reproduction method, program, and recording reproduction apparatus
WO2013108307A1 (ja) 映像処理装置および映像処理方法
KR101088035B1 (ko) 3d 동영상 디스플레이 제어장치
EP2685730A1 (en) Playback device, playback method, and program
KR101150863B1 (ko) 3d 동영상 디스플레이 제어방법 및 장치
EP2485493A2 (en) Method and system for error protection of 3D video
JP2012089962A (ja) 映像再生装置、映像再生方法
JP2013021554A (ja) 動画ディスプレー制御方法及び装置
JP2015220504A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12862516

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551574

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14350198

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012862516

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE