WO2013080555A1 - Stereoscopic video data generating device and stereoscopic video playing apparatus - Google Patents

Stereoscopic video data generating device and stereoscopic video playing apparatus Download PDF

Info

Publication number
WO2013080555A1
WO2013080555A1 PCT/JP2012/007672 JP2012007672W WO2013080555A1 WO 2013080555 A1 WO2013080555 A1 WO 2013080555A1 JP 2012007672 W JP2012007672 W JP 2012007672W WO 2013080555 A1 WO2013080555 A1 WO 2013080555A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
eye
shooting
frame image
playback
Prior art date
Application number
PCT/JP2012/007672
Other languages
French (fr)
Japanese (ja)
Inventor
智輝 小川
洋 矢羽田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013080555A1 publication Critical patent/WO2013080555A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing

Definitions

  • the present invention relates to a technique for generating stereoscopic video data including video data for the left eye and video data for the right eye, and reproducing the stereoscopic video based on the stereoscopic video data.
  • a service for broadcasting a stereoscopic viewing program (hereinafter referred to as a 3D program) has been started.
  • stereoscopic video data including video data for the left eye and video data for the right eye is broadcast as a 3D program.
  • both video cameras are photographed while being separated by the width of both human eyes (about 65 mm).
  • both video cameras need to be fixed apart by the width of both eyes, and both video cameras need to be perfectly synchronized, which is difficult.
  • This video camera is composed of a left-eye optical system, a right-eye optical system, a focus optical system, a zoom optical system, one image sensor, and the like.
  • the left eye optical system and the right eye optical system each include a lens group in which a plurality of lenses are combined, a plurality of reflecting mirrors, a liquid crystal shutter, and the like.
  • the left eye optical system and the right eye optical system are fixed to be separated by the width of both eyes.
  • This video camera is referred to as one image sensor 3D camera.
  • the image sensor receives light incident from the left eye optical system or the right eye optical system alternately on the time axis via the focus optical system and the zoom optical system.
  • the image sensor forms a frame image with the received light.
  • the image pickup device detects the left eye frame image at times t (L1), t (L2),..., T (Ln), t (L (n + 1)),. L1, L2,..., Ln, L (n + 1),.
  • the image sensor has the right eye frame images R1 and R2 at times t (R1), t (R2),..., T (Rn), t (R (n + 1)),. ,..., Rn, R (n + 1),.
  • the left-eye frame image and the right-eye frame image are generated by being alternately photographed on the time axis.
  • the video camera includes a left-eye optical system, a right-eye optical system, a left-eye focus optical system, a right-eye focus optical system, a left-eye zoom optical system, a right-eye zoom optical system, a left-eye image sensor, and a right-eye image sensor. It is configured.
  • the left eye optical system and the right eye optical system each include a lens group in which a plurality of lenses are combined, a plurality of reflecting mirrors, a liquid crystal shutter, and the like.
  • the left eye optical system and the right eye optical system are fixed to be separated by the width of both eyes.
  • This video camera is called a two-image sensor 3D camera.
  • the left eye imaging device receives light incident from the left eye optical system via the left eye focus optical system and the left eye zoom optical system.
  • the left eye imaging device forms a frame image for the left eye with the received light.
  • the right eye imaging device receives light incident from the right eye optical system via the right eye focus optical system and the right eye zoom optical system.
  • the right eye imaging device forms a frame image for the right eye with the received light.
  • the left-eye image sensor has a left-eye frame image L1 at times t (1), t (2),..., T (n), t (n + 1),. , L2,..., L (t (n)), L (t (n + 1)),.
  • the right-eye image sensor has the right-eye frame images R1, R2, and so on at times t (1), t (2),..., T (n), t (n + 1),. ..., R (t (n)), R (t (n + 1)), ... are formed.
  • the stereoscopic video data generated by photographing using the one image pickup device 3D camera is suitable for reproduction by a stereoscopic video reproduction device using a frame sequential method.
  • This playback apparatus displays the left and right frame images by alternately switching them on the playback time axis.
  • a user of this playback apparatus wears 3D glasses.
  • the 3D glasses are provided with liquid crystal shutters respectively corresponding to the left eye and the right eye of the user.
  • the 3D glasses switch between transmission and shielding of light in the liquid crystal shutter in synchronization with switching by the playback device.
  • the 3D glasses transmit the liquid crystal shutter corresponding to the left eye and block the liquid crystal shutter corresponding to the right eye.
  • the liquid crystal shutter corresponding to the right eye is transmitted and the liquid crystal shutter corresponding to the left eye is blocked.
  • the user can enjoy the stereoscopic video.
  • stereoscopic video data generated by shooting using the above-described two-image sensor 3D camera is suitable for playback by a stereoscopic video playback device using a passive display method.
  • display elements are configured by alternately arranging display elements having two kinds of polarization characteristics. Each pixel of the left eye frame image is displayed on the display element having one polarization characteristic, and each pixel of the right eye frame image is displayed on the display element having the other polarization characteristic.
  • a user can enjoy a stereoscopic image by wearing glasses made of polarizing filters corresponding to the two types of polarization characteristics and viewing the display surface (Patent Document 1).
  • a left-eye frame image and a corresponding right-eye frame image included in the stereoscopic video data are captured at the same time. Or 1 / (frame rate ⁇ 2) cannot be discriminated.
  • a frame for the left eye shot at the same time Images and right-eye frame images are alternately displayed on the time axis.
  • the shooting timing of the frame image for the left eye and the frame image for the right eye is different from the display timing of each frame image, which causes the viewer to feel uncomfortable.
  • the present invention can reproduce a stereoscopic video data generation apparatus and a stereoscopic video that can generate stereoscopic video data so as not to make the viewer feel uncomfortable.
  • An object of the present invention is to provide a stereoscopic video reproduction apparatus.
  • one aspect of the present invention provides a stereoscopic video data generation device that generates stereoscopic video data, the left-eye video data including a plurality of left-eye frame images and a plurality of left-eye video data.
  • Data acquisition means for acquiring right-eye video data composed of right-eye frame images, one left-eye frame image, and a right-eye frame image corresponding to the left-eye frame image at the same time A flag acquisition unit that acquires a shooting flag indicating whether or not an image was shot, and a multiplexing unit that multiplexes the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data;
  • Output means for outputting the generated stereoscopic video data.
  • the stereoscopic image data including the imaging flag indicating whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time is output, In the video reproduction device, it is possible to determine whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time using the shooting flag, and without making the viewer feel uncomfortable. There is an excellent effect that a visual image can be displayed.
  • 1 shows a configuration of a stereoscopic video generation / playback system 10a according to a first embodiment of the present invention.
  • 1 shows a configuration of a stereoscopic video generation / playback system 10 according to a second embodiment of the present invention.
  • the structure of the one image pick-up element 3D camera 100 is shown.
  • the left-eye video data 150, the right-eye video data 160, the shooting flag 121, and the difference information 122 output by the single image sensor 3D camera 100 are shown.
  • the structure of the two image pick-up element 3D camera 200 is shown.
  • the left-eye video data 250, the right-eye video data 260, the shooting flag 221 and the difference information 222 output by the two-image sensor 3D camera 200 are shown.
  • the structure of the video data generation apparatus 300 is shown.
  • the data structure of the digital stream of a transport stream format is shown.
  • the GOP structure of a base view video stream and a dependent view video stream is shown.
  • the data structure of a video stream is shown.
  • the data structure of the access unit of a video stream is shown.
  • the data structure of the TS packet which comprises a transport stream is shown.
  • the data structure of PMT and the data structure of EIT are shown.
  • the structure of the video reproduction apparatus 500 is shown.
  • An example of generation of interpolated video data 550 is shown.
  • An example of generation of interpolated video data 580 is shown.
  • FIG. 6 is a sequence diagram showing an operation of one image pickup device 3D camera 100. It is a sequence diagram which shows operation
  • FIG. 6 is a sequence diagram showing an operation of one image pickup device 3D camera 100. It is a sequence diagram which shows operation
  • FIG. 6 is a
  • 5 is a flowchart showing the operation of the video data generation device 300. 5 is a flowchart showing the operation of the video reproduction device 500.
  • regeneration system 10b as a modification of this invention is shown.
  • the structure of the receiving system 10c as a modification of this invention is shown.
  • Embodiment 1 A stereoscopic image generation / playback system 10a as Embodiment 1 according to the present invention will be described.
  • the stereoscopic video generation / reproduction system 10a includes a stereoscopic video data generation device 300a and a stereoscopic video reproduction device 500a as shown in FIG.
  • the stereoscopic video data generation device 300a includes a data acquisition unit 301a, a flag acquisition unit 302a, a multiplexing unit 303a, and an output unit 304a.
  • the data acquisition unit 301a acquires left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images.
  • the flag acquisition unit 302a acquires a shooting flag indicating whether one left-eye frame image and a right-eye frame image corresponding to the left-eye frame image are captured at the same time.
  • the multiplexing unit 303a multiplexes the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data.
  • the output unit 304a outputs the generated stereoscopic video data.
  • the stereoscopic video reproduction device 500a includes an acquisition unit 501a, a separation unit 502a, a storage unit 503a, a determination unit 504a, a generation unit 505a, and a reproduction unit 506a.
  • the storage unit 503a stores reproduction method information indicating whether the left-eye frame image and the right-eye frame image are reproduced alternately or simultaneously.
  • the acquisition unit 501a acquires the stereoscopic video data.
  • the separation unit 502a separates the left-eye video data, the right-eye video data, and the shooting flag from the acquired stereoscopic video data.
  • the determining unit 504a determines whether or not the playback method information indicates alternate playback and whether or not the shooting flag indicates shooting at the same time.
  • the generation unit 505a indicates that the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and the playback mode information indicates simultaneous playback, and the shooting flags are different.
  • video data is selected from one of left-eye video data and right-eye video data, and interpolation video data is generated using the selected video data.
  • the playback unit 506a alternately displays unselected video data and interpolated video data, and plays back the playback.
  • the system information indicates simultaneous playback and the shooting flag indicates shooting at different times, the video data not selected and the interpolated video data are displayed simultaneously.
  • the stereoscopic video data generation device 300a of the stereoscopic video generation / reproduction system 10a includes a shooting flag indicating whether or not the left-eye frame image and the corresponding right-eye frame image were shot at the same time. Output the stereoscopic video data.
  • the stereoscopic video reproduction device 500a can determine whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time using the shooting flag. As a result, it is possible to display a stereoscopic image without making the viewer feel uncomfortable.
  • the flag acquisition unit 302a indicates that the left-eye frame image and the right-eye frame image are not captured at the same time
  • the left-eye image is further displayed.
  • Difference information indicating a difference between the shooting time of the frame image for use and the shooting time of the frame image for the right eye may be acquired.
  • the multiplexing unit 303a further multiplexes the acquired difference information to generate the stereoscopic video data.
  • the difference indicated by the difference information acquired by the flag acquisition unit 302a may be a time having a minimum unit of 1 / 90K seconds.
  • the flag acquisition unit 302a uses, as the difference information, for the left eye for the imaging time interval between two adjacent frame images in either one of the left-eye video data and the right-eye video data.
  • the ratio of the difference time between the shooting time of the frame image and the shooting time of the corresponding right-eye frame image may be acquired.
  • the multiplexing unit 303a may multiplex the shooting flag and the difference information in one or both of the left-eye video data and the right-eye video data.
  • the multiplexing unit 303a multiplexes the shooting flag and the difference information in either one of the left-eye video data and the right-eye video data, or both user data. It may be converted.
  • the multiplexing unit 303a performs at least one frame image among the plurality of left-eye frame images of the left-eye video data and the plurality of right-eye frame images of the right-eye video data.
  • the shooting flag and the difference information may be multiplexed.
  • the multiplexing unit 303a performs the above processing on both the plurality of left-eye frame images and the plurality of right-eye frame images, the plurality of left-eye frame images, or the plurality of right-eye frame images.
  • the shooting flag and the difference information may be multiplexed.
  • the multiplexing unit 303a may multiplex the shooting flag and the difference information in at least one GOP (Group of Pictures).
  • the multiplexing unit 303a includes both the plurality of GOPs of the left-eye video data and the plurality of GOPs of the right-eye video data, the plurality of GOPs of the left-eye video data, or the The shooting flag and the difference information may be multiplexed in a plurality of GOPs of right-eye video data.
  • the multiplexing unit 303a may multiplex the shooting flag and the difference information in the control data related to the stereoscopic video.
  • the multiplexing unit 303a may multiplex the shooting flag and the difference information in EIT (Event Information Table) or PMT (Program Map Table) as the control data.
  • EIT Event Information Table
  • PMT Program Map Table
  • difference information indicating a difference between the shooting time of the left-eye frame image and the shooting time of the right-eye frame image may be further multiplexed in the stereoscopic video data.
  • the obtaining unit 501a obtains the stereoscopic video data in which the difference information is further multiplexed.
  • the separation unit 502a further separates the difference information from the acquired stereoscopic video data.
  • the generation unit 505a generates an interpolated frame image at a time point shifted by the difference indicated by the difference information from each frame image of the video data selected from one of the left-eye video data and the right-eye video data.
  • the interpolated video data including the interpolated frame image is generated.
  • the playback unit 506a alternates between left-eye video data and right-eye video data when the playback method information indicates alternate playback and the shooting flag indicates shooting at different times.
  • the playback method information indicates simultaneous playback and the shooting flag indicates shooting at the same time
  • the left-eye video data and the right-eye video data may be played back simultaneously.
  • Embodiment 2 A stereoscopic video generation / playback system 10 as Embodiment 2 according to the present invention will be described.
  • the stereoscopic video generation / playback system 10 includes a single image pickup device 3D camera 100, a double image pickup device 3D camera 200, a video data generation device 300, a broadcast device 400, and a video playback device 500.
  • One image pickup device 3D camera 100 includes a left eye optical system, a right eye optical system, one image pickup device, and the like.
  • the imaging device receives light incident from the left eye optical system or the right eye optical system alternately on the time axis, and forms a frame image by the received light.
  • the one image sensor 3D camera 100 alternately generates a left-eye frame image and a right-eye frame image on the time axis.
  • left-eye video data composed of a plurality of left-eye frame images is output.
  • right-eye video data composed of a plurality of right-eye frame images is output.
  • the one image sensor 3D camera 100 outputs a shooting flag and difference information. This shooting flag indicates that the left-eye frame image and the corresponding right-eye frame image were shot at different times.
  • the difference information indicates a difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
  • the two-image sensor 3D camera 200 includes a left-eye optical system, a right-eye optical system, a left-eye image sensor, a right-eye image sensor, and the like.
  • the left eye image sensor receives light incident from the left eye optical system and forms a frame image for the left eye with the received light.
  • the right-eye image sensor receives light incident from the right-eye optical system and forms a right-eye frame image with the received light.
  • the corresponding left-eye frame image and right-eye frame image are generated at the same time.
  • the two-image sensor 3D camera 200 outputs left-eye video data including a plurality of left-eye frame images. Also, right-eye video data composed of a plurality of right-eye frame images is output.
  • the two-image sensor 3D camera 200 outputs a shooting flag and difference information.
  • This shooting flag indicates that the left-eye frame image and the corresponding right-eye frame image were shot at the same time.
  • the difference information indicates that there is no difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
  • the video data generation device 300 receives the left-eye video data, the right-eye video data, the shooting flag, and the difference information from the one image sensor 3D camera 100 or the two image sensors 3D camera 200. Next, the left-eye video data, the right-eye video data, the shooting flag, and the difference information are multiplexed to generate stereoscopic video data as a transport stream, and the generated stereoscopic video data is output.
  • Broadcast apparatus 400 receives stereoscopic video data from video data generation apparatus 300. Next, the received stereoscopic video data is broadcast as a 3D program on a digital broadcast wave.
  • the video playback device 500 stores playback method information indicating whether the left-eye frame image and the right-eye frame image are played back alternately or simultaneously.
  • the video reproduction device 500 receives the broadcast wave and selects a channel desired by the user from the received broadcast wave. Next, a program including stereoscopic video data is received from the selected channel, the received program is decoded, and left-eye video data, right-eye video data, a shooting flag and a difference are decoded from the stereoscopic video data. Isolate information. Next, the video playback device 500 determines whether or not the stored playback method information indicates alternate playback, and determines whether or not the shooting flag indicates shooting at the same time.
  • the video reproduction device 500 When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times In this case, the video reproduction device 500 generates interpolated video data including a frame image at a time when each frame image of the video data selected from the left-eye video data and the right-eye video data is shifted by the difference indicated by the difference information. To do. Next, when the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, the video playback device 500 alternately displays unselected video data and interpolated video data. To do. When the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times, the video playback device 500 simultaneously displays the video data not selected and the interpolated video data.
  • the single image pickup device 3D camera 100 includes a right eye optical system 101, a left eye optical system 102, a translucent mirror 109, a focus optical system 103, a zoom optical system 104, an imaging unit 105, and a signal processing unit 106.
  • a portable memory card 601 is attached to one image sensor 3D camera 100 by a user.
  • the right eye optical system 101 includes a lens group 101a, a reflecting mirror 101b, a liquid crystal shutter 101c, a reflecting mirror 101d, and other components.
  • the lens group 101a is a compound lens configured by combining a plurality of lenses.
  • the lens group 101a irradiates the reflecting mirror 101b with light incident from the outside of the one image sensor 3D camera 100.
  • a rotation axis 101e is provided perpendicular to the optical axis of the lens group 101a.
  • the reflecting mirror 101b formed in a planar shape has a rotation axis 101e so that the angle formed by the vertical axis at the center point of the reflecting surface and the optical axis of the lens group 101a matches the angle designated by the control unit 107. Is held rotatably around the center.
  • the reflecting mirror 101b reflects the light incident from the lens group 101a on its reflecting surface and irradiates the liquid crystal shutter 101c.
  • the liquid crystal shutter 101c is provided inside the right eye optical system 101 so that the vertical axis passing through the center point of the liquid crystal surface and the optical axis of the lens group 101a are vertical.
  • the liquid crystal shutter 101c switches between a light transmitting state and a light blocking state under the control of the control unit 107. In a state where the light is shielded, the liquid crystal shutter 101c shields the light incident from the reflecting mirror 101b.
  • the light incident from the reflecting mirror 101b is transmitted. The transmitted light is applied to the reflecting mirror 101d.
  • the reflecting mirror 101 d formed in a planar shape is placed inside the right eye optical system 101 so that the optical axis of the light emitted from the reflecting mirror 101 b and reflected by the reflecting mirror 101 d coincides with the optical axis of the focus optical system 103. Is provided.
  • the reflecting mirror 101d reflects the light irradiated from the reflecting mirror 101b and transmitted through the liquid crystal shutter 101c on its reflecting surface. Further, the light reflected on the reflecting surface of the reflecting mirror 101d is transmitted through the semi-transparent mirror 109 and irradiated onto the focus optical system 103.
  • the left eye optical system 102 includes a lens group 102a, a reflecting mirror 102b, a liquid crystal shutter 102c, and other components.
  • the lens group 102a is a compound lens configured by combining a plurality of lenses.
  • the lens group 102a irradiates the reflecting mirror 102b with light incident from the outside of the one image sensor 3D camera 100.
  • a rotation axis 102e is provided perpendicular to the optical axis of the lens group 102a.
  • the reflecting mirror 102b formed in a planar shape has a rotating shaft 102e so that the angle formed by the vertical axis at the center point of the reflecting surface and the optical axis of the lens group 102a matches the angle specified by the control unit 107. Is held rotatably around the center.
  • the reflecting mirror 102b reflects the light incident from the lens group 102a on the reflecting surface and irradiates the liquid crystal shutter 102c.
  • the liquid crystal shutter 102c is provided inside the left eye optical system 102 so that the vertical axis passing through the center point of the liquid crystal surface and the optical axis of the lens group 102a are perpendicular.
  • the liquid crystal shutter 102c switches between a light transmitting state and a light blocking state under the control of the control unit 107. In the state where the light is shielded, the liquid crystal shutter 102c shields the light incident from the reflecting mirror 102b. When the light is transmitted, the light incident from the reflecting mirror 102b is transmitted. The transmitted light is applied to the translucent mirror 109.
  • the translucent mirror 109 is formed in a planar shape, reflects a part of light and transmits a part thereof.
  • the intensity of reflected light and transmitted light in the semitransparent mirror 109 is approximately 1: 1.
  • the translucent mirror 109 is on the optical path between the reflecting mirror 101d and the focus optical system 103 and on the optical path between the reflecting mirror 102b and the focus optical system 103 so that their optical axes coincide with each other. Is provided.
  • the translucent mirror 109 transmits the liquid crystal shutter 101c and the light reflected by the reflecting mirror 101d.
  • the light transmitted through the semitransparent mirror 109 is irradiated to the focus optical system 103.
  • the translucent mirror 109 reflects the light reflected by the reflecting mirror 102b and transmitted through the liquid crystal shutter 102c.
  • the reflected light is applied to the focus optical system 103.
  • the right eye optical system 101 and the optical axis of the lens group 101a of the right eye optical system 101 and the optical axis of the lens group 102a of the left eye optical system 102 are separated from each other by the width of human eyes (about 65 mm).
  • the left eye optical system 102 is fixed.
  • the focus optical system 103 is a lens group for focusing on an image of a subject.
  • the zoom optical system 104 is a lens group that can arbitrarily change the focal length and angle of view of the lens.
  • optical axis of the focus optical system 103 and the optical axis of the zoom optical system 104 are the same.
  • the optical axis of the focus optical system 103 and the optical axis of the zoom optical system 104 also coincide with the vertical axis at the center point of the light receiving surface of the imaging unit 105.
  • the imaging unit 105 includes a CCD image sensor (Charge Coupled Device Image Sensor).
  • the imaging unit 105 alternately receives light incident from the right eye optical system 101 or the left eye optical system 102 on the time axis via the focus optical system 103 and the zoom optical system 104. Next, the imaging unit 105 forms a frame image with the received light, and outputs the formed frame image to the signal processing unit 106 as an electrical signal.
  • CCD image sensor Charge Coupled Device Image Sensor
  • FIG. 1 An example of a frame image generated by the imaging unit 105 is shown in FIG.
  • the horizontal axis indicates the passage of time.
  • the time interval between t (L1) and t (L2), the time interval between t (L2) and t (L3), the time interval between t (L3) and t (L4) is shown in FIG.
  • the horizontal axis indicates the passage of time.
  • the times t (L1), t (R1), t (L2), t (R2), t (L3), t (R3), t (L4), t (R4), t (L5), t ( R5) .
  • the time difference ⁇ t between t (L1) and t (R2) is typically 1 / (frame rate ⁇ 2).
  • the imaging unit 105 is for the left eye at times t (L1), t (L2), t (L3), t (L4), t (L5),.
  • the imaging unit 105 performs the right eye frame image R1 (161) at times t (R1), t (R2), t (R3), t (R4), t (R5),. , R2 (162), R3 (163), R4 (164), R5 (165),.
  • the signal processing unit 106 converts the electrical signal of the frame image received from the imaging unit 105 into a digital signal, compresses the digital frame image, and writes the compressed frame image to the memory card 601.
  • the storage unit 108 is composed of a semiconductor memory, and stores a shooting flag 121 and difference information 122 in advance.
  • the shooting flag 121 indicates that the left-eye frame image and the corresponding right-eye frame image were shot at different times.
  • the difference information 122 indicates the difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
  • Control unit 107 The control unit 107 controls the right eye optical system 101, the left eye optical system 102, the focus optical system 103, the zoom optical system 104, the imaging unit 105, and the signal processing unit 106.
  • control unit 107 reads the shooting flag 121 and the difference information 122 from the storage unit 108 and writes the read shooting flag 121 and the difference information 122 to the memory card 601.
  • the one image sensor 3D camera 100 alternately generates the left-eye frame image and the corresponding right-eye frame image on the time axis.
  • left-eye video data 150 composed of a plurality of left-eye frame images is written to the memory card 601.
  • the right eye video data 160 composed of a plurality of right eye frame images is written to the memory card 601.
  • the one image sensor 3D camera 100 writes the shooting flag 121 and the difference information 122 in the memory card 601.
  • the shooting flag 121 indicates that the left-eye frame image and the corresponding right-eye frame image were shot at different times.
  • the difference information 122 indicates the difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
  • the two-image sensor 3D camera 200 includes a right-eye optical system 201, a focus optical system 202, a zoom optical system 203, an imaging unit 204, a signal processing unit 205, a left-eye optical system 211, and a focus optical system 212. , A zoom optical system 213, an imaging unit 214, a signal processing unit 215, a control unit 216, and a storage unit 217.
  • a portable memory card 602 is attached to the two-image sensor 3D camera 200 by a user.
  • the right eye optical system 201 includes a lens group 201a, a reflecting mirror 201b, a liquid crystal shutter 201c, a reflecting mirror 201d, and other components.
  • the lens group 201a is a compound lens configured by combining a plurality of lenses.
  • the lens group 201a irradiates the reflecting mirror 201b with light incident from the outside of the two-image sensor 3D camera 200.
  • a rotation axis 201e is provided on the extension line of the optical axis of the lens group 201a and perpendicular to the optical axis.
  • the reflecting mirror 201b formed in a planar shape has a rotation axis 201e so that the angle formed by the vertical axis at the center point of the reflecting surface and the optical axis of the lens group 201a matches the angle designated by the control unit 216. Is held rotatably around the center.
  • the reflecting mirror 201b reflects the light incident from the lens group 201a on its reflecting surface and irradiates the liquid crystal shutter 201c.
  • the liquid crystal shutter 201c is provided inside the right eye optical system 201 so that the vertical axis at the center point of the liquid crystal surface is perpendicular to the optical axis of the lens group 201a.
  • the liquid crystal shutter 201c switches between a light transmitting state and a light blocking state under the control of the control unit 216. In a state where the light is shielded, the liquid crystal shutter 201c shields the light incident from the reflecting mirror 201b.
  • the light incident from the reflecting mirror 201b is transmitted.
  • the transmitted light is applied to the reflecting mirror 201d.
  • the reflecting mirror 201d formed in a planar shape reflects the light irradiated from the reflecting mirror 201b on the reflecting surface and irradiates the focus optical system 202.
  • the optical axis of the light reflected by the reflecting mirror 201 d and applied to the focus optical system 202 coincides with the optical axis of the focus optical system 202.
  • the focus optical system 202 is a lens group for focusing on an image of a subject.
  • the zoom optical system 203 is a lens group that can arbitrarily change the focal length and angle of view of the lens.
  • optical axis of the focus optical system 202 and the optical axis of the zoom optical system 203 are the same. Further, the optical axis of the focus optical system 202 and the optical axis of the zoom optical system 203 coincide with the vertical axis at the center point of the light receiving surface of the imaging unit 204.
  • the imaging unit 204 is composed of a CCD image sensor.
  • the imaging unit 204 receives light incident from the right eye optical system 201 via the focus optical system 202 and the zoom optical system 203. Next, the imaging unit 204 forms a frame image with the received light, and outputs the formed frame image to the signal processing unit 205 as an electrical signal.
  • FIG. 1 An example of a frame image generated by the imaging unit 204 is shown in FIG.
  • the horizontal axis indicates the passage of time.
  • time t (1), t (2), t (3), t (4), t (5) it is assumed that time t (1), t (2), t (3), t (4), t (5),.
  • the imaging unit 204 performs the right eye frame at times t (1), t (2), t (3), t (4), t (5),. Images R1 (261), R2 (262), R3 (263), R4 (264), R5 (265),... Are formed.
  • the signal processing unit 205 converts the electrical signal of the frame image received from the imaging unit 204 into a digital signal, compresses the digital frame image, and writes the compressed frame image to the memory card 602.
  • the left eye optical system 211 includes a lens group 211a, a reflecting mirror 211b, a liquid crystal shutter 211c, a reflecting mirror 211d, and other components.
  • the left eye optical system 211 is the same as the right eye optical system 201 except that the left eye optical system 211 and the right eye optical system 201 are configured symmetrically.
  • detailed description of the left-eye optical system 211 is omitted.
  • the light incident on the lens group 211a is reflected by the reflecting mirror 211b and the reflecting mirror 211d, and is applied to the focus optical system 212.
  • the focus optical system 212 is a lens group for focusing on an image of a subject.
  • the zoom optical system 213 is a lens group that can arbitrarily change the focal length and angle of view of the lens.
  • optical axis of the focus optical system 212 and the optical axis of the zoom optical system 213 coincide.
  • the optical axis of the focus optical system 212 and the optical axis of the zoom optical system 213 coincide with the vertical axis at the center point of the light receiving surface of the imaging unit 214.
  • the right eye optical system 201 and the optical axis of the lens group 201a of the right eye optical system 201 and the optical axis of the lens group 211a of the left eye optical system 211 are separated from each other by the width of human eyes (about 65 mm).
  • the left eye optical system 211 is fixed.
  • the imaging unit 214 is composed of a CCD image sensor.
  • the imaging unit 214 receives light incident from the left eye optical system 211 via the focus optical system 212 and the zoom optical system 213. Next, the imaging unit 214 forms a frame image with the received light, and outputs the formed frame image to the signal processing unit 215 as an electrical signal.
  • the imaging unit 214 performs the left eye frame at times t (1), t (2), t (3), t (4), t (5),. Images L1 (251), L2 (252), L3 (253), L4 (254), L5 (255),. As described above, the time interval between t (1) and t (2), the time interval between t (2) and t (3), the time interval between t (3) and t (4),. 1 / frame rate.
  • the signal processing unit 215 converts the electrical signal of the frame image received from the imaging unit 214 into a digital signal, compresses the digital frame image, and writes the compressed frame image to the memory card 602.
  • the storage unit 217 includes a semiconductor memory, and stores a shooting flag 221 and difference information 222 in advance.
  • the shooting flag 221 indicates that the left-eye frame image and the corresponding right-eye frame image are captured at the same time.
  • the difference information 222 indicates that the difference between the shooting time of the left eye frame image and the shooting time of the corresponding right eye frame image is zero. In other words, there is no difference.
  • the control unit 107 includes a right eye optical system 201, a focus optical system 202, a zoom optical system 203, an imaging unit 204, a signal processing unit 205, a left eye optical system 211, a focus optical system 212, a zoom optical system 213, an imaging unit 214, and The signal processing unit 215 is controlled.
  • control unit 216 reads the shooting flag 221 and the difference information 222 from the storage unit 217, and writes the read shooting flag 221 and the difference information 222 to the memory card 602.
  • the two-image sensor 3D camera 200 generates a left-eye frame image and a corresponding right-eye frame image at the same time.
  • left-eye video data 250 including a plurality of left-eye frame images is written to the memory card 602.
  • right-eye video data 260 composed of a plurality of right-eye frame images is written to the memory card 602.
  • the two-image sensor 3D camera 200 writes the shooting flag 221 and the difference information 222 in the memory card 602.
  • the shooting flag 221 indicates that the left-eye frame image and the corresponding right-eye frame image are captured at the same time.
  • the difference information 222 indicates that there is no difference between the shooting time of the left-eye frame image and the shooting time of the right-eye frame image.
  • the video data generation apparatus 300 includes an input / output unit 301, a multiplexing unit 302, and an output unit 303.
  • the memory card 601 or 602 is attached to the video data generation device 300 by the user.
  • the input / output unit 301 reads the left-eye video data 150, the right-eye video data 160, the shooting flag 121, and the difference information 122 from the memory card 601. Further, the left-eye video data 250, the right-eye video data 260, the shooting flag 221 and the difference information 222 are read from the memory card 602.
  • the multiplexing unit 302 multiplexes the left-eye video data 150, the right-eye video data 160, the shooting flag 121, and the difference information 122, and generates stereoscopic video data as a digital stream in the MPEG-2 transport stream format. To do. Further, the multiplexing unit 302 multiplexes the left-eye video data 250, the right-eye video data 260, the shooting flag 221 and the difference information 222 to generate stereoscopic video data as a digital stream in the MPEG-2 transport stream format. Is generated.
  • the output unit 303 outputs the generated stereoscopic video data.
  • the multiplexing unit 302 of the video data generation device 300 generates a digital stream in the MPEG-2 transport stream format.
  • the MPEG-2 transport stream is based on a standard standardized in ISO / IEC13818-1 and ITU-T recommendation H222.0. This standard is for multiplexing and transmitting various streams such as video and audio.
  • the structure of a digital stream in the MPEG-2 transport stream format is shown in FIG.
  • the multiplexing unit 302 generates a transport stream 713 by multiplexing a video stream 701, an audio stream 704, a subtitle stream 707, and the like.
  • the video stream 701 stores the main video of the program.
  • the audio stream 704 stores the main audio portion and sub audio of the program.
  • the subtitle stream 707 stores the subtitle information of the program.
  • the video stream 701 is recorded after being encoded using a method such as MPEG-2, MPEG-4, or AVC.
  • the audio stream 704 is recorded after being compressed and encoded using a method such as Dolby AC-3, MPEG-2 AAC, MPEG-4 AAC, HE-AAC.
  • left-eye video data and right-eye video data are referred to as a left-view video stream and a right-view video stream, respectively.
  • the left-view video stream and the right-view video stream are compressed by inter-view predictive coding using correlation characteristics between viewpoints in addition to inter-picture predictive coding using temporal direction correlation characteristics.
  • the pictures of the right-view video stream are compressed with reference to the corresponding pictures of the left-view video stream.
  • the first P picture of the right view video stream refers to the I picture of the left view video stream.
  • the B picture of the right-view video stream refers to the Br picture of the left-view video stream.
  • the second P picture of the right-view video stream refers to the P picture of the left-view video stream.
  • the compression-encoded left-view video stream and right-view video stream that can be decoded independently are called “base-view video streams”.
  • the left-view video stream and the right-view video stream are compression-encoded based on the inter-frame correlation characteristics with the individual picture data constituting the base-view video stream, and the base-view video stream is decoded.
  • the video stream that has been processed and becomes decodable is called a “dependent view video stream”.
  • the base-view video stream and the dependent-view video stream are collectively referred to as “multi-view video stream”.
  • the base-view video stream and the dependent-view video stream are multiplexed on the same transport such as MPEG2-TS, for example.
  • the base-view video stream and the dependent-view video stream may be stored and transmitted as separate streams.
  • FIG. 9 shows the GOP (Group of Pictures) configuration of the base-view video stream and the dependent-view video stream.
  • the base view video stream is composed of a plurality of GOPs.
  • the dependent-view video stream is composed of a plurality of GOPs.
  • Video stream structure Each video stream has a hierarchical structure as shown in FIG.
  • a video stream 721 shown in FIG. 10 is composed of a plurality of GOPs 722, 723,.
  • GOP As a basic unit of encoding processing, editing of moving images and random access are possible.
  • the GOP 722 includes one or more video access units 724, 725, 726,.
  • the video access unit is a unit for storing encoded data of a picture. In the case of the frame structure, one frame of data is stored in the video access unit. In the case of a field structure, one field of data is stored in the video access unit.
  • the video access unit 724 includes an AU identification code 731, a sequence header 732, a picture header 733, supplementary data 734, compressed picture data 735, padding data 736, a sequence end code 737, a stream end code 738, and the like. The same applies to other video access units.
  • each data is stored in units called NAL units.
  • the AU identification code 731 is a start code indicating the head of the access unit.
  • the sequence header 732 is a header storing common information in a playback sequence composed of a plurality of video access units.
  • the sequence header 732 stores information such as resolution, frame rate, aspect ratio, and bit rate.
  • the picture header 733 is a header that stores information such as an encoding method for the entire picture.
  • the supplementary data 734 is additional information that is not essential for decoding the compressed data.
  • the supplemental data 734 stores closed caption character information, GOP structure information, and the like that are displayed on the TV in synchronization with the video.
  • the compressed picture data 735 stores compression-encoded picture data.
  • the padding data 736 stores meaningless data for adjusting the format. For example, it is used as stuffing data for maintaining a predetermined bit rate.
  • the sequence end code 737 is data indicating the end of the reproduction sequence.
  • the stream end code 738 is data indicating the end of the bit stream.
  • each of the AU identification code 731, the sequence header 732, the picture header 733, the supplementary data 734, the compressed picture data 735, the padding data 736, the sequence end code 737, and the stream end code 738 differs depending on the video encoding method. .
  • the AU identification code 731 corresponds to an AU delimiter (Access Unit Delimiter).
  • the sequence header 732 corresponds to SPS (Sequence Parameter Set).
  • the picture header 733 corresponds to PPS (Picture Parameter Set).
  • the compressed picture data 735 corresponds to a plurality of slices.
  • the supplementary data 734 corresponds to SEI (Supplemental Enhancement Information).
  • Padding data 736 corresponds to FillerData.
  • the sequence end code 737 corresponds to End of Sequence.
  • the stream end code 738 corresponds to End of Stream.
  • the sequence header 732 corresponds to sequence_Header, sequence_extension, group_of_picture_header.
  • the picture header 733 corresponds to picture_header and picture_coding_extension.
  • the compressed picture data 735 corresponds to a plurality of slices.
  • the supplemental data 734 corresponds to user_data.
  • the sequence end code 737 corresponds to sequence_end_code.
  • the AU identification code 731 does not exist, but if the start code of each header is used, the break of the access unit can be determined.
  • the sequence header 732 is necessary only in the video access unit at the head of the GOP, and may not be present in other video access units. Further, depending on the encoding method, the picture header 733 may refer to the previous video access unit in the code order. In this case, the picture header 733 may not be in its own video access unit.
  • the IOP data is stored as compressed picture data 735a in the video access unit 724a at the head of the GOP.
  • the AU identification code 731a, the sequence header 732a, the picture header 733a, and the compressed picture data 735a are always stored.
  • supplemental data 734a, padding data 736a, sequence end code 737a, and stream end code 738a may be stored.
  • the multiplexing unit 302 may include the shooting flag 734c and the difference information 734d in the supplementary data 734a.
  • the video access unit 724b other than the head of the GOP always stores the AU identification code 731b and the compressed picture data 735b. Further, supplemental data 734b, padding data 736b, sequence end code 737b, and stream end code 738b may be stored.
  • the multiplexing unit 302 may include the shooting flag 734e and the difference information 734f in the supplementary data 734b as shown in FIG.
  • PID stream identification ID
  • the video reproduction device 500 can extract the target stream.
  • the correspondence between the PID and the stream is stored in the descriptor of the PMT packet described later.
  • FIG. 8 schematically shows how a plurality of streams are multiplexed in the transport stream 713.
  • the multiplexing unit 302 converts a video stream 701 composed of a plurality of video frames and an audio stream 704 composed of a plurality of audio frames into PES packet sequences 702 and 705, respectively.
  • the video stream 701 includes the above-described base view video stream and dependent view video stream.
  • the multiplexing unit 302 converts the PES packet sequences 702 and 705 into TS packet sequences 703 and 706, respectively.
  • the multiplexing unit 302 converts the data of the subtitle stream 707 into a PES packet sequence 708, respectively.
  • the multiplexing unit 302 converts the PES packet sequence 708 into a TS packet sequence 709.
  • the multiplexing unit 302 generates an MPEG-2 transport stream 713 by multiplexing these TS packet sequences 703, 706, and 709 into one stream.
  • FIG. 12 shows the data structure of TS packets constituting the transport stream.
  • the TS packet 801 is a fixed-length packet of 188 bytes.
  • the TS packet 801 includes a 4-byte TS header 802, an adaptation field 804, and a TS payload 805.
  • the TS header 802 is composed of transport_priority (806), PID (807), adaptation_field_control (808), and the like.
  • PID (807) is an ID for identifying a stream multiplexed in a transport stream as described above.
  • the transport_priority (806) is information for identifying the type of packet among TS packets having the same PID.
  • Adaptation_field_control (808) is information for controlling the configuration of the adaptation field 804 and the TS payload 805. Only one of the adaptation field 804 and the TS payload 805 may exist. In addition, both the adaptation field 804 and the TS payload 805 may exist.
  • Adaptation_field_control (808) indicates the presence or absence. When adaptation_field_control (808) is “1”, only TS payload 805 exists. When adaptation_field_control (808) is “2”, only the adaptation field 604 exists. Further, when adaptation_field_control (808) is “3”, it indicates that both the TS payload 805 and the adaptation field 804 exist.
  • the adaptation field 804 is a data storage area for storing information such as PCR and stuffing for making the TS packet a fixed length of 188 bytes.
  • the PES packet is divided and stored.
  • TS packets included in the transport stream include PAT (Program Association Table), PMT (Program Map Reference), PCR (Program Clock Reference), EIT (Event Information Table), in addition to each stream such as video / audio / caption. )and so on. These packets are called PSI (Program Specific Information).
  • PAT indicates what the PID of the PMT used in the transport stream is, and the PID of the PAT itself is registered with “0”.
  • the PMT has the PID of each stream such as video, audio, and subtitles included in the transport stream and the attribute information of the stream corresponding to each PID, and has various descriptors related to the transport stream.
  • the descriptor includes copy control information for instructing permission / non-permission of copying of the AV stream.
  • the PCR is information on the STC time corresponding to the timing at which the PCR packet is transferred to the decoder.
  • the EIT includes detailed information (program name, broadcast date and time, broadcast content, etc.) regarding the program included in each organized channel.
  • FIG. 13 illustrates the data structure of the PMT (811).
  • a PMT header 812 describing the length of data included in the PMT is arranged at the head of the PMT (811).
  • a plurality of descriptors 813 After that, a plurality of descriptors 813,.
  • the copy control information described above is described as a descriptor.
  • a plurality of pieces of stream information 815,..., 816 relating to each stream included in the transport stream are arranged after the descriptor.
  • the stream information 815 is a stream descriptor 819,..., 820 in which a stream type 817, a stream PID (818), and stream attribute information (frame rate, aspect ratio, etc.) are described to identify the compression codec of the stream. Consists of
  • the multiplexing unit 302 may include a shooting flag 819a and difference information 819b in each stream descriptor as shown in FIG.
  • FIG. 13 illustrates the data structure of EIT (830).
  • the EIT (830) stores the program information 832, 833,... In time series for each channel.
  • the corresponding channel is linked to the organization channel defined in the SDT by the service id (831).
  • Each program information included in the EIT (830) is uniquely identified by an event id.
  • Each program information includes a program start time, a broadcast time, an event name, a shooting flag, and difference information.
  • the program information # 1 includes an event id (841), a program start time (842), a broadcast time (843), an event name (844), a shooting flag (845), and difference information (846). Including.
  • the multiplexing unit 302 may include the shooting flag and the difference information in each program information.
  • the video reproduction device 500 receives a broadcast wave, decodes the stream, reproduces the broadcast video, and displays the broadcast video as a stereoscopic video.
  • the video reproduction apparatus 500 is a digital broadcast receiving apparatus as an example.
  • the video playback device 500 is attached with a remote control as a user interface. A user of the video reproduction device 500 selects a broadcast wave channel through a remote controller and enjoys a stereoscopic video.
  • the video playback device 500 is a playback device that displays stereoscopic video by either one of a frame sequential method and a passive display method.
  • the video reproduction apparatus 500 includes a tuner 501, a decoding unit 502, a storage unit 503, a control unit 504, an interpolated video generation unit 505, and a display unit 506.
  • An antenna 511 is connected to the tuner 501.
  • Storage unit 503 The storage unit 503 stores reproduction method information 521 indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced.
  • the playback method information 521 indicates that the left-eye frame image and the right-eye frame image are alternately played back.
  • the playback method information 521 indicates that the left-eye frame image and the right-eye frame image are played back simultaneously.
  • Tuner 501 and decoding unit 502 The tuner 501 selects a channel desired by the user from the received broadcast wave via the antenna 511. Next, a program including stereoscopic video data is received as a broadcast stream via the selected channel.
  • the decoding unit 502 receives the broadcast stream from the tuner 501, and separates the left-eye video data, the right-eye video data, the shooting flag, and the difference information from the stereoscopic video data included in the received broadcast stream.
  • Control unit 504 receives the shooting flag and difference information from the decoding unit 502.
  • control unit 504 determines whether or not the stored playback method information indicates alternate playback, and determines whether or not the received shooting flag indicates shooting at the same time.
  • the control unit 504 selects either left-eye video data or right-eye video data.
  • the control unit 504 instructs the interpolated video generation unit 505 to generate interpolated video data including the frame image at the time when each frame image of the selected video data is shifted by the difference indicated by the difference information.
  • the control unit 504 selects the right-eye video data, and the interpolated video including the frame image at the time when each frame image of the selected right-eye video data is shifted by the difference indicated by the difference information. Instruct to generate data.
  • control unit 504 instructs the decoding unit 502 to output unselected video data (here, as an example, left-eye video data) to the display unit 506. Further, the control unit 504 instructs the interpolated video generation unit 505 to output the interpolated video data to the display unit 506.
  • the decoding unit 502 separates the right eye video data 540 and the left eye video data 530 as shown in FIG. It shall be generated by.
  • the right eye video data 540 includes right eye frame images 541, 542, 543, 544, 545
  • the left-eye video data 530 includes left-eye frame images 531, 532, 533, 534, 535,.
  • the photographing times of the right eye frame images 541, 542, 543, 544, 545,... Are t (L1), t (L2), t (L3), t (L4), and t (L5), respectively. ), ...
  • the shooting times of the left eye frame images 531, 532, 533, 534, 535,... are t (L1), t (L2), t (L3), t (L4), and t (L5), respectively.
  • the photographing times of the right eye frame image 541 and the left eye frame image 531 are the same.
  • the shooting times of the right eye frame image 542 and the left eye frame image 532 are also the same. The same applies to other frame images.
  • control unit 504 indicates the right eye frame images 541, 542, 543, 544, 545,... Of the right eye video data 540 to the interpolated video generation unit 505 as an example by the difference information. It is instructed to generate interpolated video data 550 including interpolated frame images 551, 552, 553, 554, 555,.
  • the decoding unit 502 separates the right eye video data 570 and the left eye video data 560 as shown in FIG. It shall be generated by.
  • the right eye video data 570 includes right eye frame images 571, 572, 573, 574, 575,.
  • the left-eye video data 560 includes left-eye frame images 561, 562, 563, 564, 565,.
  • the photographing times of the right eye frame images 571, 572, 573, 574, 575,... Are t (R1), t (R2), t (R3), t (R4), and t (R5), respectively. ), ...
  • the photographing times of the left eye frame images 561, 562, 563, 564, 565,... are t (L1), t (L2), t (L3), t (L4), and t (L5), respectively. ....
  • the shooting times of the right eye frame image 571 and the left eye frame image 561 differ by ⁇ t.
  • the shooting times of the right eye frame image 572 and the left eye frame image 562 are also different by ⁇ t. The same applies to other frame images.
  • control unit 504 indicates the left eye frame images 561, 562, 563, 564, 565,... Of the left eye video data 560 to the interpolated video generation unit 505 by the difference information. It is instructed to generate interpolated video data 580 including frame images 581, 582, 583, 584, 585,.
  • the control unit 504 instructs the decoding unit 502 to output the right-eye video data and the left-eye video data to the display unit 506. In this case, the control unit 504 instructs the interpolation video generation unit 505 to stop the operation.
  • the interpolated video generation unit 505 receives designation of either the right-eye video data or the left-eye video data from the control unit 504. Also, difference information is received from the control unit 504.
  • the interpolated video generation unit 505 receives the designated video data from the decoding unit 502 in accordance with an instruction from the control unit 504. Next, each frame image included in the received video data is shifted by a difference indicated by the received difference information, and interpolated video data including each interpolated frame image at the time of the shift is generated.
  • the interpolation video generation unit 505 receives the designation of the right eye video data, as illustrated in FIG. 15, as an example, the right eye frame image 541 and the right eye frame image 541 included in the right eye video data 540 are received.
  • An interpolated frame image 551 is generated from the frame image 542.
  • the motion vector included in the right eye frame image 542 is reduced by the ratio of the difference to the time interval between the frame images,
  • An interpolation frame image 551 is generated using the right eye frame image 541 and the reduced motion vector.
  • the interpolated video generation unit 505 outputs the generated interpolated video data to the display unit 506.
  • Display unit 506 The display unit 506 receives the right-eye video data and the left-eye video data from the decoding unit 502. Alternatively, the display unit 506 receives unselected video data (for example, left-eye video data) from the decoding unit 502, and selects the selected video data (for example, the right eye from the interpolated video generation unit 505). Interpolated video data generated based on the video data) is received.
  • unselected video data for example, left-eye video data
  • selects the selected video data for example, the right eye from the interpolated video generation unit 505
  • Interpolated video data generated based on the video data is received.
  • the display unit 506 alternates each frame image of the received right-eye video data and each frame image of the left-eye video data. To display. Alternatively, the display unit 506 alternately displays each frame image of the received left-eye video data and each frame image of the interpolated video data.
  • the display unit 506 displays each frame image of the received right-eye video data and each frame image of the left-eye video data. Are displayed at the same time. Alternatively, the display unit 506 simultaneously displays each frame image of the received left-eye video data and each frame image of the interpolated video data.
  • the control unit 107 reads the shooting flag 121 and the difference information 122 from the storage unit 108 (step S101). Next, the control unit 107 writes the read shooting flag 121 and difference information 122 in the memory card 601 (step S102).
  • the left / right flag is a flag for operating one of the right eye optical system 101 and the left eye optical system 102.
  • the left / right flag is “0”
  • the right eye optical system 101 is operated.
  • the left / right flag is “1”
  • the left-eye optical system 102 is operated (step S103).
  • control unit 107 outputs the left and right flags to the right eye optical system 101, the left eye optical system 102, and the signal processing unit 106 (steps S104, S105, S106).
  • the right eye optical system 101, the left eye optical system 102, and the signal processing unit 106 each receive a left / right flag from the control unit 107 (steps S104, S105, and S106).
  • the light transmitted through the liquid crystal shutter 101c reaches the imaging unit 105 via the focus optical system 103 and the zoom optical system 104 (step S113).
  • the light transmitted through the liquid crystal shutter 102c reaches the imaging unit 105 via the focus optical system 103 and the zoom optical system 104 (step S114).
  • the imaging unit 105 forms a frame image (step S115), and outputs the formed frame image to the signal processing unit 106 (step S116).
  • the signal processing unit 106 receives a frame image from the imaging unit 105 (step S116).
  • the signal processing unit 106 compresses the received frame image (step S117).
  • the signal processing unit 106 outputs a completion notification indicating that the storage is completed to the control unit 107 (step S121).
  • the control unit 107 receives a completion notification from the signal processing unit 106 (step S121).
  • control unit 107 Upon receipt of the completion notification, the control unit 107 inverts the left and right flags (step S122), and then returns to step S104 to repeat the processing.
  • the control unit 216 reads the shooting flag 221 and the difference information 222 from the storage unit 217 (step S141). Next, the control unit 216 writes the read shooting flag 221 and difference information 222 to the memory card 602 (step S142).
  • control unit 216 generates a synchronization signal (step S143).
  • control unit 216 outputs the generated synchronization signal to the right eye optical system 201 and the left eye optical system 211 (steps S144 and S145).
  • the right eye optical system 201 and the left eye optical system 211 each receive a synchronization signal from the control unit 216 (steps S144 and S145).
  • the right-eye optical system 201 When the right-eye optical system 201 receives the synchronization signal (step S144), the right-eye optical system 201 sets the liquid crystal shutter 201c in a transmissive state (step S146). The light transmitted through the liquid crystal shutter 201c reaches the imaging unit 204 through the focus optical system 202 and the zoom optical system 203 (step S147).
  • the imaging unit 204 forms a frame image (step S148), and outputs the formed frame image to the signal processing unit 205 (step S149).
  • the signal processing unit 205 receives a frame image from the imaging unit 204 (step S149).
  • the signal processing unit 205 compresses the received frame image (step S150).
  • the signal processing unit 205 stores the compressed frame image in the memory card 602 as a right eye frame image (step S151).
  • the left-eye optical system 211 When the left-eye optical system 211 receives the synchronization signal (step S145), the left-eye optical system 211 sets the liquid crystal shutter 211c to the transmission state (step S156). The light transmitted through the liquid crystal shutter 211c reaches the imaging unit 214 via the focus optical system 212 and the zoom optical system 213 (step S157).
  • the imaging unit 214 forms a frame image (step S158), and outputs the formed frame image to the signal processing unit 215 (step S159).
  • the signal processing unit 215 receives a frame image from the imaging unit 214 (step S159).
  • the signal processing unit 215 compresses the received frame image (step S160).
  • the signal processing unit 215 stores the compressed frame image as a left eye frame image in the memory card 602 (step S161).
  • the input / output unit 301 reads the shooting flag and the difference information from the memory card 601 (or 602) (step S181). Next, the input / output unit 301 reads the right-eye video data from the memory card 601 (or 602) (step S182), and reads the left-eye video data (step S183).
  • the multiplexing unit 302 multiplexes the shooting flag, difference information, right-eye video data, and left-eye video data to generate stereoscopic video data as a digital stream in the MPEG-2 transport stream format. (Step S184).
  • the output unit 303 outputs stereoscopic video data (step S185).
  • Video Playback Device 500 The operation of the video playback device 500 will be described with reference to the sequence diagram shown in FIG.
  • the control unit 504 reads the reproduction method information 521 from the storage unit 503 (step S201). Next, the antenna 511 receives a broadcast wave (step S202), and the tuner 501 selects a program from the broadcast wave (step S203).
  • the decoding unit 502 extracts stereoscopic video data (step S204), and separates left-eye video data, right-eye video data, shooting flags, and difference information from the extracted stereoscopic video data (step S205).
  • control unit 504 determines whether or not the read reproduction method information 521 indicates alternate reproduction. That is, it is determined whether the reproduction method information 521 indicates a frame sequential method or a passive display method (step S206). Further, the control unit 504 determines whether or not the shooting flag indicates shooting at the same time (steps S207 and S209).
  • the interpolated video generation unit 505 When the reproduction method information indicates a frame sequential method (“frame sequential” in step S206) and the shooting flag indicates shooting at the same time (“simultaneous” in step S207), the interpolated video generation unit 505 generates interpolated video data. (Step S208).
  • the control unit 504 includes the interpolated video generation unit 505. Does not generate interpolated video data.
  • the control unit 504 interpolates to the interpolated video generation unit 505. Do not generate video data.
  • the interpolated video generation unit 505 displays the interpolated video data. Generate (step S210).
  • the display unit 506 displays each frame image of the received right-eye video data and each frame of the left-eye video data. Display images alternately.
  • the display unit 506 generates the frame data of the received unselected video data based on the selected video data. Each frame image of the interpolated video data is displayed alternately.
  • the display unit 506 displays each frame image of the received right-eye video data and each frame image of the left-eye video data. Are displayed at the same time.
  • the display unit 506 When the reproduction method information 521 indicates a passive display method and the shooting flag indicates shooting at a different time, the display unit 506 generates based on each received frame image of the unselected video data and the selected video data. The frame images of the interpolated video data thus displayed are simultaneously displayed (step S211).
  • the video data generation device 300 inserts a shooting flag and difference information into a transport stream.
  • the shooting flag is a flag indicating whether or not the corresponding left and right frame images were shot at the same time when the stereoscopic video data was generated by shooting.
  • the difference information indicates the difference ( ⁇ t) between the shooting times of the corresponding left and right frame images.
  • the difference is a value of a 90 KHz system in accordance with the description of MPEG2 System DTS / PTS.
  • the difference information may be a value indicating the ratio of the difference between the shooting times of the corresponding left and right frame images to the shooting time interval (1 / frame rate). For example, when the frame rates of the left and right videos are 60 Hz, if ⁇ t is 1/120, the difference information is 1 ⁇ 2.
  • the video data generation device 300 inserts a shooting flag and difference information at the following positions.
  • the video data generating apparatus 300 may insert a shooting flag and difference information into User data.
  • the video data generation apparatus 300 may insert the shooting flag and difference information into User Data unregistered.
  • Insertion unit for insertion into a video image-It may be inserted into each picture.
  • ⁇ It may be inserted into both the left and right video image data.
  • ⁇ It may be inserted into either video video data on either side. In this case, it is preferable to put in video video data that is not used (not decoded) in 2D (two-dimensional) reproduction.
  • ⁇ It may be inserted into the top access unit of each GOP of both left and right video image data. Alternatively, it may be inserted into all access units of each GOP of both left and right video image data.
  • It may be inserted into the head access unit of each GOP of either the left or right video image data. Alternatively, it may be inserted into all access units of each GOP of either the left or right video image data. In this case, it is preferable that the video data is not used in 2D playback.
  • Inserting it into the EIT has the advantage of knowing whether the shooting times of the left and right video images are the same for each program.
  • the video playback device 500 selects one of the video video data and deviates from the selected video video data by ⁇ t. Interpolated video data is generated. Next, the video image not selected and the interpolated image are alternately displayed.
  • the video playback device 500 displays the left and right video images as they are (in other words, without processing) at the same time.
  • the video data generation device 300 captures whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time.
  • the multiplexed stereoscopic video data including the flag is output.
  • the video reproduction apparatus 500 can determine whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time using the shooting flag. As a result, it is possible to display a stereoscopic image without making the viewer feel uncomfortable.
  • the stereoscopic image generation / reproduction system 10 of the second embodiment includes a single image sensor 3D camera 100, a two image sensor 3D camera 200, a video data generator 300, a broadcast device 400, and a video player.
  • the apparatus 500 is configured.
  • FIG. 21 it may be composed of one image pickup device 3D camera 100, two image pickup devices 3D camera 200, video data generation device 300, medium manufacturing device 400b, and video reproduction device 500b.
  • the one image sensor 3D camera 100, the two image sensor 3D camera 200, and the video data generation device 300 are the same as the one image sensor 3D camera 100, the two image sensor 3D camera 200, and the video data generation device 300, respectively, according to the second embodiment. is there.
  • the medium manufacturing apparatus 400b receives stereoscopic video data from the video data generation apparatus 300. Next, the received stereoscopic video data is written in a portable recording medium. Examples of portable recording media are DVDs, BDs, memory cards, and the like.
  • the video playback device 500b reads stereoscopic video data from a portable recording medium, and displays the stereoscopic video based on the read stereoscopic video data.
  • HDMI High-Definition Multimedia Interface
  • a digital broadcast receiving device sometimes referred to as “Set Top Box” or the like
  • a shooting flag and difference information inserted in the video / TS is acquired from the 3D broadcast program received by the digital broadcast receiving apparatus, added to the HDMI signal, and transmitted to the monitor apparatus. Accordingly, it is possible to appropriately process the 3D video on the monitor device.
  • the stereoscopic video generation / playback system 10 of the second embodiment may include a reception system 10c shown in FIG. 22 instead of the video playback device 500.
  • the receiving system 10c includes a digital broadcast receiving device 550c and a monitor device 560c.
  • An antenna 511 is connected to the digital broadcast receiving device 550c.
  • the digital broadcast receiving device 550c and the monitor device 560c are each compliant with the HDMI standard.
  • the digital broadcast receiving device 550c and the monitor device 560c are connected by an HDMI cable 20c.
  • the digital broadcast receiving device 550c includes a tuner 501, a decoding unit 502, and a control unit 504 among the components of the video reproduction device 500.
  • the monitor device 560c includes a storage unit 503, an interpolated video generation unit 505, and a display unit 506 among the components of the video playback device 500. Further, a control unit 510 is included.
  • the decoding unit 502 of the digital broadcast receiving device 550c transmits the right-eye video data and the left-eye video data to the monitor device 560c via the HDMI cable 20c. Also, the control unit 504 transmits the shooting flag and difference information separated by the decoding unit 502 to the monitor device 560c via the HDMI cable 20c.
  • the control unit 510 of the monitor device 560c receives the shooting flag and the difference information.
  • control unit 510 reads the reproduction method information 521 from the storage unit 503, and determines whether or not the read reproduction method information 521 indicates alternate reproduction. That is, it is determined whether the reproduction method information 521 indicates a frame sequential method or a passive display method. Further, control unit 510 determines whether or not the received shooting flag indicates shooting at the same time.
  • the interpolated video generation unit 505 of the monitor device 560c selects video data selected from the right-eye video data and the left-eye video data. Interpolated video data is generated based on the above.
  • the control unit 510 does not cause the interpolation video generation unit 505 to generate interpolation video data.
  • the control unit 510 does not cause the interpolation video generation unit 505 to generate interpolation video data.
  • the interpolated video generation unit 505 is based on video data selected from the right-eye video data and the left-eye video data. Generate interpolated video data.
  • the display unit 506 displays each frame image of the received right-eye video data and each frame of the left-eye video data. Display images alternately.
  • the display unit 506 is generated based on each frame image of the unselected video data and the selected video data. Each frame image of the interpolated video data is displayed alternately.
  • the display unit 506 simultaneously displays the received frame images of the right eye video data and the left eye video data. indicate.
  • the display unit 506 is generated based on each frame image of the unselected video data and the selected video data. Each frame image of the interpolated video data is displayed simultaneously.
  • the difference information indicates the difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
  • the difference indicated by the difference information may be a 90 KHz value.
  • the difference indicated by the difference information is a time having a minimum unit of 1/90 Ksec.
  • the difference information includes the shooting time of the left-eye frame image and the right-eye frame with respect to the shooting time interval between two adjacent frame images in either the left-eye video data or the right-eye video data. It may be the ratio of the difference time from the image capturing time.
  • Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, and the like.
  • a computer program is stored in the RAM or the hard disk unit.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • Each device achieves its function by the microprocessor operating according to the computer program. That is, the microprocessor reads each instruction included in the computer program one by one, decodes the read instruction, and operates according to the decoding result.
  • the microprocessor operates in accordance with instructions included in the computer program stored in the RAM or the hard disk unit, the computer program and the microprocessor constitute a single hardware circuit, and this hardware It can appear as if the circuit is operating.
  • a part or all of the components constituting each of the above devices may be configured by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each part of the constituent elements constituting each of the above devices may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI is composed of multiple circuit blocks.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • a part or all of the constituent elements constituting each of the above devices may be configured by an IC card or a single module that can be attached to and detached from each device.
  • the IC card or the module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be a control method for controlling the apparatus described above. Further, the present invention may be a computer program that realizes these control methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention also provides a computer program-readable non-transitory recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc) or a semiconductor memory. Further, the present invention may be the computer program or the digital signal recorded on these recording media.
  • a computer program-readable non-transitory recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc) or a semiconductor memory.
  • the present invention may be the computer program or the digital signal recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention is a computer system including a microprocessor and a memory, and the memory stores the computer program.
  • the microprocessor may operate according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and is executed by another independent computer system. It is good.
  • One aspect of the present invention is a stereoscopic video data generation device that generates stereoscopic video data, the left-eye video data including a plurality of left-eye frame images and the plurality of right-eye frames.
  • data acquisition means for acquiring right-eye video data composed of images, one left-eye frame image, and a right-eye frame image corresponding to the left-eye frame image were captured at the same time
  • a flag acquisition unit that acquires a shooting flag indicating the above
  • a multiplexing unit that multiplexes the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data
  • the generated stereoscopic vision Output means for outputting video data.
  • the flag acquisition unit indicates that the left-eye frame image and the right-eye frame image are not captured at the same time
  • the left-eye frame image is further displayed.
  • Difference information indicating a difference between the shooting time of the right eye and the shooting time of the right-eye frame image is acquired, and the multiplexing unit further multiplexes the acquired difference information to generate the stereoscopic video data It is good.
  • the difference indicated by the difference information acquired by the flag acquisition means may be a time having a minimum unit of 1 / 90K seconds.
  • the flag acquisition means as the difference information, the left-eye frame image with respect to the shooting time interval between two adjacent frame images in either one of the left-eye video data and the right-eye video data.
  • the ratio of the difference time between the shooting time and the shooting time of the corresponding right-eye frame image may be acquired.
  • the multiplexing means may multiplex the shooting flag and the difference information in one or both of the left-eye video data and the right-eye video data.
  • the multiplexing means multiplexes the shooting flag and the difference information in one of the left-eye video data and the right-eye video data, or both user data. Also good.
  • the multiplexing unit is configured to capture the image in at least one frame image among a plurality of left-eye frame images of the left-eye video data and a plurality of right-eye frame images of the right-eye video data.
  • the flag and the difference information may be multiplexed.
  • the multiplexing means may include the shooting flag and the right image in both the plurality of left-eye frame images and the plurality of right-eye frame images, the plurality of left-eye frame images, or the plurality of right-eye frame images.
  • the difference information may be multiplexed.
  • the multiplexing means may multiplex the shooting flag and the difference information in at least one GOP (Group of Pictures).
  • the multiplexing means includes both the plurality of GOPs of the left eye video data and the plurality of GOPs of the right eye video data, the plurality of GOPs of the left eye video data, or the right eye
  • the shooting flag and the difference information may be multiplexed in a plurality of GOPs of video data.
  • the multiplexing means may multiplex the shooting flag and the difference information in the control data relating to the stereoscopic video.
  • the multiplexing means may multiplex the shooting flag and the difference information in EIT (Event Information Table) or PMT (Program Map Table) as the control data.
  • EIT Event Information Table
  • PMT Program Map Table
  • FIG. 1 Another aspect of the present invention is a stereoscopic video playback device that plays back stereoscopic video data, and a playback method that indicates whether left-eye frame images and right-eye frame images are played back alternately or simultaneously.
  • Storage means for storing information, left-eye video data composed of a plurality of left-eye frame images, right-eye video data composed of a plurality of right-eye frame images, and one left eye Acquisition means for acquiring stereoscopic video data generated by multiplexing a frame image and a shooting flag indicating whether or not a right-eye frame image corresponding to the left-eye frame image is shot at the same time
  • Separating means for separating left-eye video data, right-eye video data and a shooting flag from the acquired stereoscopic video data, whether or not the playback method information indicates alternate playback, and the shooting flag
  • a determination means for determining whether or not to indicate shooting at one time; and when the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the play
  • video data is selected from either left-eye video data or right-eye video data, and interpolated video data is generated using the selected video data
  • the generating means and the playback method information indicate alternate playback and the shooting flag indicates shooting at the same time
  • the video data not selected and the interpolated video data are alternately displayed
  • Reproduction means for simultaneously displaying unselected video data and interpolated video data when the reproduction method information indicates simultaneous reproduction and the photographing flag indicates photographing at different times are alternately displayed.
  • the stereoscopic video data is further multiplexed with difference information indicating a difference between the shooting time of the left-eye frame image and the shooting time of the right-eye frame image
  • the acquisition unit includes: The stereoscopic video data in which the difference information is further multiplexed is acquired, the separating means further separates the difference information from the acquired stereoscopic video data, and the generating means is a left-eye video
  • the interpolated video including a plurality of interpolated frame images generated from each frame image of the video data selected from one of the data and the right-eye video data by generating an interpolated frame image at a time shifted by the difference indicated by the difference information Data may be generated.
  • the playback means alternately displays the left-eye video data and the right-eye video data when the playback method information indicates alternate playback and the shooting flag indicates shooting at different times.
  • the playback method information indicates simultaneous playback and the shooting flag indicates shooting at the same time
  • the left-eye video data and the right-eye video data may be played back simultaneously.
  • the stereoscopic video data generation device includes data acquisition means for acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images; Flag acquisition means for acquiring a shooting flag indicating whether or not a single left-eye frame image and a right-eye frame image corresponding to the left-eye frame image were captured at the same time; and the left-eye video A multiplexing unit that multiplexes the data, the right-eye video data, and the shooting flag to generate stereoscopic video data; and an output unit that outputs the generated stereoscopic video data.
  • the stereoscopic video reproduction device includes a storage unit that stores reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced, and the stereoscopic video data.
  • Acquiring means for acquiring, separating means for separating video data for left eye, video data for right eye, and shooting flag from the acquired stereoscopic video data; whether or not the playback method information indicates alternate playback; and Judgment means for determining whether or not the shooting flag indicates shooting at the same time; when the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time; and the playback mode information Indicates simultaneous playback, and when the shooting flag indicates shooting at different times, video data is selected from one of left-eye video data and right-eye video data, and the selected video data is used.
  • Another aspect of the present invention is a control method used in a stereoscopic video data generation device that generates stereoscopic video data, the left-eye video data including a plurality of left-eye frame images and the plurality of right-eye images.
  • a data acquisition step for acquiring right eye video data composed of eye frame images, one left eye frame image, and a right eye frame image corresponding to the left eye frame image are captured at the same time.
  • Another aspect of the present invention is a computer-readable recording medium that stores a computer program for control used in a stereoscopic video data generating device that generates stereoscopic video data
  • the stereoscopic vision is a computer
  • a data acquisition step for acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images in the video data generation device;
  • a flag obtaining step for obtaining a photographing flag indicating whether or not the eye frame image and the right eye frame image corresponding to the left eye frame image were photographed at the same time; the left eye video data;
  • recording the computer program for executing a force step.
  • stereoscopic video data is reproduced, and a stereoscopic view storing reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced is stored.
  • a control method used in a video reproduction device comprising: left-eye video data composed of a plurality of left-eye frame images; right-eye video data composed of a plurality of right-eye frame images; Stereoscopic video data generated by multiplexing a left eye frame image and a shooting flag indicating whether or not the right eye frame image corresponding to the left eye frame image was shot at the same time is acquired.
  • An acquisition step a separation step of separating the left-eye video data, the right-eye video data, and the shooting flag from the acquired stereoscopic video data, whether or not the playback method information indicates alternate playback, and A determination step of determining whether or not the shooting flag indicates shooting at the same time; when the playback method information indicates alternating playback and the shooting flag indicates shooting at the same time; and the playback method
  • video data is selected from either left-eye video data or right-eye video data, and interpolation is performed using the selected video data.
  • the generation step for generating video data and the playback method information indicate alternate playback and the shooting flag indicates shooting at the same time, the video data not selected and the interpolated video data are alternately displayed. If the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times, the video data not selected and the interpolated video data are displayed simultaneously. Characterized in that it comprises a step.
  • stereoscopic video data is reproduced, and a stereoscopic view storing reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced is stored.
  • a computer-readable recording medium recording a computer program for control used in a video reproduction device, the left eye comprising a plurality of left-eye frame images in the stereoscopic video reproduction device being a computer Video data, right-eye video data composed of a plurality of right-eye frame images, a single left-eye frame image, and a right-eye frame image corresponding to the left-eye frame image are captured at the same time
  • a generation step of selecting video data from one of left-eye video data and right-eye video data, and generating interpolated video data using the selected video data, and the playback method information are alternately reproduced.
  • the shooting flag indicates shooting at the same time, the video data not selected and the interpolated video data are alternately displayed, and the playback method information is reproduced simultaneously. Shown, and, indicating imaging time of the shooting flag is different, and recording the computer program for executing a reproducing step of displaying the image data is not selected and the interpolated video data at the same time.
  • the stereoscopic video data generation device and the stereoscopic video playback device according to the present invention have an excellent effect of being able to display a stereoscopic video without causing the viewer to feel uncomfortable, and the video data for the left eye This is useful as a technique for generating stereoscopic video data including video data for the right eye and forming stereoscopic video based on the stereoscopic video data.

Abstract

Provided is a stereoscopic video data generating device that can generate stereoscopic video data without causing discomfort to a viewer. The stereoscopic video data generating device (300a) is provided with: a data obtaining unit (301a) that obtains left-eye video data composed of a plurality of left-eye frame images, and right-eye video data composed of a plurality of right-eye frame images; a flag obtaining unit (302a) that obtains an image capture flag that indicates whether a first left-eye frame image and a right-eye frame image corresponding to the left-eye frame image were captured at the same time; a multiplexing unit (303a) that multiplexes the left-eye video image, the right-eye video image, and the image capture flag to generate stereoscopic video data; and an output unit (304a) that outputs the generated stereoscopic video data.

Description

立体視映像データ生成装置及び立体視映像再生装置Stereoscopic video data generation device and stereoscopic video playback device
　本発明は、左眼用の映像データと右眼用の映像データとを含む立体視映像データを生成し、立体視映像データを基にして、立体視映像を再生する技術に関する。 The present invention relates to a technique for generating stereoscopic video data including video data for the left eye and video data for the right eye, and reproducing the stereoscopic video based on the stereoscopic video data.
　テレビジョン放送におけるデジタル化により、画像がより高画質化するとともに、立体視視聴方式の番組（以下、３Ｄ番組という。）を放送するサービスが開始されている。このサービスにおいては、３Ｄ番組として、左眼用の映像データと右眼用の映像データとを含む立体視映像データが放送される。 With the digitization of television broadcasting, images have become higher in image quality, and a service for broadcasting a stereoscopic viewing program (hereinafter referred to as a 3D program) has been started. In this service, stereoscopic video data including video data for the left eye and video data for the right eye is broadcast as a 3D program.
　撮影による立体視映像データを生成するためには、２台のビデオカメラを人間の両眼の幅（約６５ｍｍ）だけ離して撮影を行う。しかし、両方のビデオカメラを両眼の幅だけ離して固定する必要があるし、また、両方のビデオカメラを完全に同期させる必要があり、これらには困難を伴う。 In order to generate stereoscopic image data by photographing, two video cameras are photographed while being separated by the width of both human eyes (about 65 mm). However, both video cameras need to be fixed apart by the width of both eyes, and both video cameras need to be perfectly synchronized, which is difficult.
　そこで、立体視映像データを撮影により生成することができる１台のビデオカメラが提案されている。このビデオカメラは、左眼光学系、右眼光学系、フォーカス光学系、ズーム光学系及び１個の撮像素子等から構成されている。左眼光学系及び右眼光学系は、それぞれ、複数枚のレンズを組み合わせたレンズ群、複数枚の反射鏡、液晶シャッターなどを含む。左眼光学系と右眼光学系とは、両眼の幅だけ離して固定されている。このビデオカメラを一撮像素子３Ｄカメラと呼ぶ。 Therefore, one video camera capable of generating stereoscopic video data by photographing has been proposed. This video camera is composed of a left-eye optical system, a right-eye optical system, a focus optical system, a zoom optical system, one image sensor, and the like. The left eye optical system and the right eye optical system each include a lens group in which a plurality of lenses are combined, a plurality of reflecting mirrors, a liquid crystal shutter, and the like. The left eye optical system and the right eye optical system are fixed to be separated by the width of both eyes. This video camera is referred to as one image sensor 3D camera.
　撮像素子は、左眼光学系又は右眼光学系から入射される光を、時間軸上交互に、フォーカス光学系及びズーム光学系を介して、受け取る。撮像素子は、受け取った光によりフレーム画像を形成する。具体的には、撮像素子は、時刻ｔ（Ｌ１）、ｔ（Ｌ２）、・・・、ｔ（Ｌｎ）、ｔ（Ｌ（ｎ＋１））、・・・において、それぞれ、左眼用のフレーム画像Ｌ１、Ｌ２、・・・、Ｌｎ、Ｌ（ｎ＋１）、・・・を形成する。ここで、ｔ（Ｌｉ）とｔ（Ｌ（ｉ＋１））の時間間隔は、１／フレームレートである（ｉ＝１、２、・・・、ｎ、ｎ＋１、・・・）。また、撮像素子は、時刻ｔ（Ｒ１）、ｔ（Ｒ２）、・・・、ｔ（Ｒｎ）、ｔ（Ｒ（ｎ＋１））、・・・において、それぞれ、右眼用のフレーム画像Ｒ１、Ｒ２、・・・、Ｒｎ、Ｒ（ｎ＋１）、・・・を形成する。ここで、ｔ（Ｒｉ）とｔ（Ｒ（ｉ＋１））の時間間隔は、１／フレームレートである（ｉ＝１、２、・・・、ｎ、ｎ＋１、・・・）。また、ｔ（Ｌｉ）とｔ（Ｒｉ）との時間差は、典型的には、１／（フレームレート×２）である（ｉ＝１、２、・・・、ｎ、ｎ＋１、・・・）。このように、一撮像素子３Ｄカメラを用いると、左眼用のフレーム画像と右眼用のフレーム画像とは、時間軸上交互に撮影されて生成される。 The image sensor receives light incident from the left eye optical system or the right eye optical system alternately on the time axis via the focus optical system and the zoom optical system. The image sensor forms a frame image with the received light. Specifically, the image pickup device detects the left eye frame image at times t (L1), t (L2),..., T (Ln), t (L (n + 1)),. L1, L2,..., Ln, L (n + 1),. Here, the time interval between t (Li) and t (L (i + 1)) is 1 / frame rate (i = 1, 2,..., N, n + 1,...). In addition, the image sensor has the right eye frame images R1 and R2 at times t (R1), t (R2),..., T (Rn), t (R (n + 1)),. ,..., Rn, R (n + 1),. Here, the time interval between t (Ri) and t (R (i + 1)) is 1 / frame rate (i = 1, 2,..., N, n + 1,...). The time difference between t (Li) and t (Ri) is typically 1 / (frame rate × 2) (i = 1, 2,..., N, n + 1,...). . As described above, when one image sensor 3D camera is used, the left-eye frame image and the right-eye frame image are generated by being alternately photographed on the time axis.
　また、立体視映像データを撮影により生成することができる別の１台のビデオカメラが提案されている。このビデオカメラは、左眼光学系、右眼光学系、左眼フォーカス光学系、右眼フォーカス光学系、左眼ズーム光学系、右眼ズーム光学系、左眼撮像素子及び右眼撮像素子等から構成されている。左眼光学系及び右眼光学系は、それぞれ、複数枚のレンズを組み合わせたレンズ群、複数枚の反射鏡、液晶シャッターなどを含む。左眼光学系と右眼光学系とは、両眼の幅だけ離して固定されている。このビデオカメラを二撮像素子３Ｄカメラと呼ぶ。 Also, another video camera that can generate stereoscopic video data by shooting has been proposed. The video camera includes a left-eye optical system, a right-eye optical system, a left-eye focus optical system, a right-eye focus optical system, a left-eye zoom optical system, a right-eye zoom optical system, a left-eye image sensor, and a right-eye image sensor. It is configured. The left eye optical system and the right eye optical system each include a lens group in which a plurality of lenses are combined, a plurality of reflecting mirrors, a liquid crystal shutter, and the like. The left eye optical system and the right eye optical system are fixed to be separated by the width of both eyes. This video camera is called a two-image sensor 3D camera.
　左眼撮像素子は、左眼光学系から入射される光を、左眼フォーカス光学系及び左眼ズーム光学系を介して、受け取る。左眼撮像素子は、受け取った光により左眼用のフレーム画像を形成する。一方、右眼撮像素子は、右眼光学系から入射される光を、右眼フォーカス光学系及び右眼ズーム光学系を介して、受け取る。右眼撮像素子は、受け取った光により右眼用のフレーム画像を形成する。具体的には、左眼撮像素子は、時刻ｔ（１）、ｔ（２）、・・・、ｔ（ｎ）、ｔ（ｎ＋１）、・・・において、それぞれ、左眼用のフレーム画像Ｌ１、Ｌ２、・・・、Ｌ（ｔ（ｎ））、Ｌ（ｔ（ｎ＋１））、・・・を形成する。また、右眼撮像素子は、時刻ｔ（１）、ｔ（２）、・・・、ｔ（ｎ）、ｔ（ｎ＋１）、・・・において、それぞれ、右眼用のフレーム画像Ｒ１、Ｒ２、・・・、Ｒ（ｔ（ｎ））、Ｒ（ｔ（ｎ＋１））、・・・を形成する。ここで、ｔ（ｉ）とｔ（ｉ＋１）の時間間隔は、１／フレームレートである（ｉ＝１、２、・・・、ｎ、ｎ＋１、・・・）。このように、左眼用のフレーム画像Ｌｎと右眼用のフレーム画像Ｒｎとは、同一時刻に撮影されて生成される。 The left eye imaging device receives light incident from the left eye optical system via the left eye focus optical system and the left eye zoom optical system. The left eye imaging device forms a frame image for the left eye with the received light. On the other hand, the right eye imaging device receives light incident from the right eye optical system via the right eye focus optical system and the right eye zoom optical system. The right eye imaging device forms a frame image for the right eye with the received light. Specifically, the left-eye image sensor has a left-eye frame image L1 at times t (1), t (2),..., T (n), t (n + 1),. , L2,..., L (t (n)), L (t (n + 1)),. In addition, the right-eye image sensor has the right-eye frame images R1, R2, and so on at times t (1), t (2),..., T (n), t (n + 1),. ..., R (t (n)), R (t (n + 1)), ... are formed. Here, the time interval between t (i) and t (i + 1) is 1 / frame rate (i = 1, 2,..., N, n + 1,...). In this way, the left-eye frame image Ln and the right-eye frame image Rn are captured and generated at the same time.
　上記の一撮像素子３Ｄカメラを用いる撮影により生成した立体視映像データは、フレームシーケンシャル方式による立体視映像の再生装置による再生に適している。この再生装置は、左右のフレーム画像を再生時間軸上で交互に切り換えて表示する。この再生装置の利用者は３Ｄ眼鏡を着用する。３Ｄ眼鏡は、利用者の左眼及び右眼にそれぞれ対応する液晶シャッターを備えている。３Ｄ眼鏡は、再生装置による切換えに同期して、液晶シャッターにおける光の透過及び遮蔽を切り換える。再生装置の画面上に左眼用のフレーム画像が表示されている時間帯において、３Ｄ眼鏡は、左眼に対応する液晶シャッターを透過とし、右眼に対応する液晶シャッターを遮蔽とする。一方、画面上に右眼用のフレーム画像が表示されている時間帯において、右眼に対応する液晶シャッターを透過とし、左眼に対応する液晶シャッターを遮蔽とする。こうして、利用者は、立体視映像を楽しむことができる。 The stereoscopic video data generated by photographing using the one image pickup device 3D camera is suitable for reproduction by a stereoscopic video reproduction device using a frame sequential method. This playback apparatus displays the left and right frame images by alternately switching them on the playback time axis. A user of this playback apparatus wears 3D glasses. The 3D glasses are provided with liquid crystal shutters respectively corresponding to the left eye and the right eye of the user. The 3D glasses switch between transmission and shielding of light in the liquid crystal shutter in synchronization with switching by the playback device. In the time zone in which the frame image for the left eye is displayed on the screen of the playback device, the 3D glasses transmit the liquid crystal shutter corresponding to the left eye and block the liquid crystal shutter corresponding to the right eye. On the other hand, in the time zone in which the frame image for the right eye is displayed on the screen, the liquid crystal shutter corresponding to the right eye is transmitted and the liquid crystal shutter corresponding to the left eye is blocked. Thus, the user can enjoy the stereoscopic video.
　一方、上記の二撮像素子３Ｄカメラを用いる撮影により生成した立体視映像データは、パッシブ表示方式による立体視映像の再生装置による再生に適している。この再生装置は、２種の偏光特性を有する表示素子を交互に配列して表示面を構成する。一方の偏光特性を有する表示素子に左眼フレーム画像の各画素を表示させ、他方の偏光特性を有する表示素子に右眼フレーム画像の各画素を表示させる。利用者は、上記２種の偏光特性に対応する偏光フィルタよりなる眼鏡をかけて表示面を見ることにより、立体視映像を楽しむことができる（特許文献１）。 On the other hand, stereoscopic video data generated by shooting using the above-described two-image sensor 3D camera is suitable for playback by a stereoscopic video playback device using a passive display method. In this reproducing apparatus, display elements are configured by alternately arranging display elements having two kinds of polarization characteristics. Each pixel of the left eye frame image is displayed on the display element having one polarization characteristic, and each pixel of the right eye frame image is displayed on the display element having the other polarization characteristic. A user can enjoy a stereoscopic image by wearing glasses made of polarizing filters corresponding to the two types of polarization characteristics and viewing the display surface (Patent Document 1).
日本国特開昭６１－２４１７２２号公報Japanese Patent Laid-Open No. 61-241722
　ＭＰＥＧ－４　ＭＶＣ(Multiview Video Coding)などを用いて左眼用の映像データ及び右眼用の映像データを圧縮し、ＰＥＳ（Packetized Elementary Stream）化する場合、ＭＰＥＧ－２　Ｓｙｓｔｅｍの規定として、対応する左眼用のフレーム画像及び右眼用のフレーム画像に同じＰＴＳを付与することが定められている。 When compressing left eye video data and right eye video data using MPEG-4 MVC (Multiview Video Coding), etc., and converting them to PES (Packetized Elementary Stream), it is supported as MPEG-2 System regulations. It is determined that the same PTS is applied to the frame image for the left eye and the frame image for the right eye.
　従って、立体視映像データを取得して立体視映像を再生する再生装置は、立体視映像データに含まれる左眼用のフレーム画像と対応する右眼用のフレーム画像とが同時刻に撮影されたのか、１／（フレームレート×２）だけ、ずれて撮影されたのかを判別することができない。 Therefore, in a playback device that acquires stereoscopic video data and reproduces stereoscopic video, a left-eye frame image and a corresponding right-eye frame image included in the stereoscopic video data are captured at the same time. Or 1 / (frame rate × 2) cannot be discriminated.
　このため、二撮像素子３Ｄカメラにより撮影して生成した立体視映像データを、フレームシーケンシャル方式により立体視映像を再生する再生装置により、表示する場合、同一の時刻に撮影された左眼用のフレーム画像と右眼用のフレーム画像とが、時間軸上、交互に表示される。つまり、左眼用のフレーム画像の表示時刻ｔ（Ｌ１）と、対応する右眼用のフレーム画像の表示時刻ｔ（Ｒ１）は、同時刻に撮影されたにも関わらず、Δｔ（＝ｔ（Ｌ１）－ｔ（Ｒ１））だけずれて表示される。このように、左眼用のフレーム画像及び右眼用のフレーム画像の撮影タイミングと、それぞれのフレーム画像の表示タイミングとが異なるので、視聴者に違和感を覚えさせる原因となる。 For this reason, when displaying stereoscopic video data generated by shooting with a two-image sensor 3D camera by a playback device that plays back a stereoscopic video by a frame sequential method, a frame for the left eye shot at the same time Images and right-eye frame images are alternately displayed on the time axis. In other words, the display time t (L1) of the left-eye frame image and the display time t (R1) of the corresponding right-eye frame image are Δt (= t ( L1) -t (R1)) are displayed shifted. As described above, the shooting timing of the frame image for the left eye and the frame image for the right eye is different from the display timing of each frame image, which causes the viewer to feel uncomfortable.
　また、一撮像素子３Ｄカメラにより撮影して生成した立体視映像データを、パッシブ表示方式により立体視映像を再生する再生装置により、表示する場合、異なる時刻に撮影された左眼用のフレーム画像と右眼用のフレーム画像とが、同一の時刻に表示されるので、視聴者に違和感を覚えさせる原因となる。 Further, when displaying stereoscopic video data generated by shooting with a single image sensor 3D camera by a playback device that plays back stereoscopic video by a passive display method, a frame image for the left eye shot at different times and Since the frame image for the right eye is displayed at the same time, it causes the viewer to feel uncomfortable.
　本発明は、上記の問題点に鑑み、視聴者に違和感を覚えさせることがないように、立体視映像データを生成することができる立体視映像データ生成装置及び立体視映像を再生することができる立体視映像再生装置を提供することを目的とする。 In view of the above problems, the present invention can reproduce a stereoscopic video data generation apparatus and a stereoscopic video that can generate stereoscopic video data so as not to make the viewer feel uncomfortable. An object of the present invention is to provide a stereoscopic video reproduction apparatus.
　上記目的を達成するために、本発明の一態様は、立体視映像データを生成する立体視映像データ生成装置であって、複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得手段と、一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得手段と、前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化手段と、生成した立体視映像データを出力する出力手段とを備えることを特徴とする。 In order to achieve the above object, one aspect of the present invention provides a stereoscopic video data generation device that generates stereoscopic video data, the left-eye video data including a plurality of left-eye frame images and a plurality of left-eye video data. Data acquisition means for acquiring right-eye video data composed of right-eye frame images, one left-eye frame image, and a right-eye frame image corresponding to the left-eye frame image at the same time A flag acquisition unit that acquires a shooting flag indicating whether or not an image was shot, and a multiplexing unit that multiplexes the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data; Output means for outputting the generated stereoscopic video data.
　この態様によると、左眼用フレーム画像と対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを含めて、多重化した立体視映像データを出力するので、立体視映像再生装置において、当該撮影フラグを用いて、左眼用フレーム画像と対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを判別でき、視聴者に違和感を覚えさせることなく、立体視映像を表示することができるという優れた効果を奏する。 According to this aspect, since the stereoscopic image data including the imaging flag indicating whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time is output, In the video reproduction device, it is possible to determine whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time using the shooting flag, and without making the viewer feel uncomfortable. There is an excellent effect that a visual image can be displayed.
本発明に係る実施の形態１としての立体視映像生成再生システム１０ａの構成を示す。1 shows a configuration of a stereoscopic video generation / playback system 10a according to a first embodiment of the present invention. 本発明に係る実施の形態２としての立体視映像生成再生システム１０の構成を示す。1 shows a configuration of a stereoscopic video generation / playback system 10 according to a second embodiment of the present invention. 一撮像素子３Ｄカメラ１００の構成を示す。The structure of the one image pick-up element 3D camera 100 is shown. 一撮像素子３Ｄカメラ１００により出力される左眼用映像データ１５０、右眼用映像データ１６０、撮影フラグ１２１及び差分情報１２２を示す。The left-eye video data 150, the right-eye video data 160, the shooting flag 121, and the difference information 122 output by the single image sensor 3D camera 100 are shown. 二撮像素子３Ｄカメラ２００の構成を示す。The structure of the two image pick-up element 3D camera 200 is shown. 二撮像素子３Ｄカメラ２００により出力される左眼用映像データ２５０、右眼用映像データ２６０、撮影フラグ２２１及び差分情報２２２を示す。The left-eye video data 250, the right-eye video data 260, the shooting flag 221 and the difference information 222 output by the two-image sensor 3D camera 200 are shown. 映像データ生成装置３００の構成を示す。The structure of the video data generation apparatus 300 is shown. トランスポートストリーム形式のデジタルストリームのデータ構造を示す。The data structure of the digital stream of a transport stream format is shown. ベースビュービデオストリーム及びディペンデントビュービデオストリームのＧＯＰ構成を示す。The GOP structure of a base view video stream and a dependent view video stream is shown. ビデオストリームのデータ構造を示す。The data structure of a video stream is shown. ビデオストリームのアクセスユニットのデータ構造を示す。The data structure of the access unit of a video stream is shown. トランスポートストリームを構成するＴＳパケットのデータ構造を示す。The data structure of the TS packet which comprises a transport stream is shown. ＰＭＴのデータ構造及びＥＩＴのデータ構造を示す。The data structure of PMT and the data structure of EIT are shown. 映像再生装置５００の構成を示す。The structure of the video reproduction apparatus 500 is shown. 補間映像データ５５０の生成の一例を示す。An example of generation of interpolated video data 550 is shown. 補間映像データ５８０の生成の一例を示す。An example of generation of interpolated video data 580 is shown. 一撮像素子３Ｄカメラ１００の動作を示すシーケンス図である。FIG. 6 is a sequence diagram showing an operation of one image pickup device 3D camera 100. 二撮像素子３Ｄカメラ２００の動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the 2 image pick-up element 3D camera 200. FIG. 映像データ生成装置３００の動作を示すフローチャートである。5 is a flowchart showing the operation of the video data generation device 300. 映像再生装置５００の動作を示すフローチャートである。5 is a flowchart showing the operation of the video reproduction device 500. 本発明の変形例としての立体視映像生成再生システム１０ｂの構成を示す。The structure of the stereoscopic vision image production | generation reproduction | regeneration system 10b as a modification of this invention is shown. 本発明の変形例としての受信システム１０ｃの構成を示す。The structure of the receiving system 10c as a modification of this invention is shown.
　１．実施の形態１
　（１）本発明に係る実施の形態１としての立体視映像生成再生システム１０ａについて、説明する。 1. Embodiment 1
(1) A stereoscopic image generation / playback system 10a as Embodiment 1 according to the present invention will be described.
　立体視映像生成再生システム１０ａは、図１に示すように、立体視映像データ生成装置３００ａ及び立体視映像再生装置５００ａから構成されている。 The stereoscopic video generation / reproduction system 10a includes a stereoscopic video data generation device 300a and a stereoscopic video reproduction device 500a as shown in FIG.
　立体視映像データ生成装置３００ａは、データ取得部３０１ａ、フラグ取得部３０２ａ、多重化部３０３ａ及び出力部３０４ａから構成される。 The stereoscopic video data generation device 300a includes a data acquisition unit 301a, a flag acquisition unit 302a, a multiplexing unit 303a, and an output unit 304a.
　データ取得部３０１ａは、複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得する。 The data acquisition unit 301a acquires left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images.
　フラグ取得部３０２ａは、一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得する。 The flag acquisition unit 302a acquires a shooting flag indicating whether one left-eye frame image and a right-eye frame image corresponding to the left-eye frame image are captured at the same time.
　多重化部３０３ａは、前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する。 The multiplexing unit 303a multiplexes the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data.
　出力部３０４ａは、生成した立体視映像データを出力する。 The output unit 304a outputs the generated stereoscopic video data.
　立体視映像再生装置５００ａは、取得部５０１ａ、分離部５０２ａ、記憶部５０３ａ、判断部５０４ａ、生成部５０５ａ及び再生部５０６ａから構成されている。 The stereoscopic video reproduction device 500a includes an acquisition unit 501a, a separation unit 502a, a storage unit 503a, a determination unit 504a, a generation unit 505a, and a reproduction unit 506a.
　記憶部５０３ａは、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している。 The storage unit 503a stores reproduction method information indicating whether the left-eye frame image and the right-eye frame image are reproduced alternately or simultaneously.
　取得部５０１ａは、前記立体視映像データを取得する。 The acquisition unit 501a acquires the stereoscopic video data.
　分離部５０２ａは、取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグを分離する。 The separation unit 502a separates the left-eye video data, the right-eye video data, and the shooting flag from the acquired stereoscopic video data.
　判断部５０４ａは、前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する。 The determining unit 504a determines whether or not the playback method information indicates alternate playback and whether or not the shooting flag indicates shooting at the same time.
　生成部５０５ａは、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する。 The generation unit 505a indicates that the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and the playback mode information indicates simultaneous playback, and the shooting flags are different. In the case of indicating shooting at time, video data is selected from one of left-eye video data and right-eye video data, and interpolation video data is generated using the selected video data.
　再生部５０６ａは、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する。 When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, the playback unit 506a alternately displays unselected video data and interpolated video data, and plays back the playback. When the system information indicates simultaneous playback and the shooting flag indicates shooting at different times, the video data not selected and the interpolated video data are displayed simultaneously.
　（まとめ）
　立体視映像生成再生システム１０ａの立体視映像データ生成装置３００ａは、左眼用フレーム画像と対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを含めて、多重化した立体視映像データを出力する。立体視映像再生装置５００ａは、当該撮影フラグを用いて、左眼用フレーム画像と対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを判別できる。この結果、視聴者に違和感を覚えさせることなく、立体視映像を表示することができるという優れた効果を奏する。 (Summary)
The stereoscopic video data generation device 300a of the stereoscopic video generation / reproduction system 10a includes a shooting flag indicating whether or not the left-eye frame image and the corresponding right-eye frame image were shot at the same time. Output the stereoscopic video data. The stereoscopic video reproduction device 500a can determine whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time using the shooting flag. As a result, it is possible to display a stereoscopic image without making the viewer feel uncomfortable.
　（２）ここで、フラグ取得部３０２ａは、前記撮影フラグにより、前記左眼用フレーム画像と前記右眼用フレーム画像とが同一時刻に撮影されていないことが示される場合、さらに、前記左眼用フレーム画像の撮影時刻と前記右眼用フレーム画像の撮影時刻との差分を示す差分情報を取得してもよい。多重化部３０３ａは、さらに、取得した前記差分情報を多重化して、前記立体視映像データを生成する。 (2) Here, when the flag acquisition unit 302a indicates that the left-eye frame image and the right-eye frame image are not captured at the same time, the left-eye image is further displayed. Difference information indicating a difference between the shooting time of the frame image for use and the shooting time of the frame image for the right eye may be acquired. The multiplexing unit 303a further multiplexes the acquired difference information to generate the stereoscopic video data.
　（３）ここで、フラグ取得部３０２ａにより取得される前記差分情報により示される差分は、１／９０Ｋ秒を最小単位とする時間であるとしてもよい。 (3) Here, the difference indicated by the difference information acquired by the flag acquisition unit 302a may be a time having a minimum unit of 1 / 90K seconds.
　（４）ここで、フラグ取得部３０２ａは、前記差分情報として、左眼用映像データ及び右眼用映像データのいずれか一方における隣接する２個のフレーム画像の撮影時間間隔に対する、前記左眼用フレーム画像の撮影時刻と対応する前記右眼用フレーム画像の撮影時刻との差分時間の比率を取得するとしてもよい。 (4) Here, the flag acquisition unit 302a uses, as the difference information, for the left eye for the imaging time interval between two adjacent frame images in either one of the left-eye video data and the right-eye video data. The ratio of the difference time between the shooting time of the frame image and the shooting time of the corresponding right-eye frame image may be acquired.
　（５）ここで、多重化部３０３ａは、前記左眼用映像データ及び前記右眼用映像データの何れか一方、又は、両方において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (5) Here, the multiplexing unit 303a may multiplex the shooting flag and the difference information in one or both of the left-eye video data and the right-eye video data.
　（６）ここで、多重化部３０３ａは、前記左眼用映像データ及び前記右眼用映像データの何れか一方のユーザデータ、又は、両方のユーザデータにおいて、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (6) Here, the multiplexing unit 303a multiplexes the shooting flag and the difference information in either one of the left-eye video data and the right-eye video data, or both user data. It may be converted.
　（７）ここで、多重化部３０３ａは、前記左眼用映像データの複数の左眼用フレーム画像及び前記右眼用映像データの複数の右眼用フレーム画像のうち、少なくとも一のフレーム画像において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (7) Here, the multiplexing unit 303a performs at least one frame image among the plurality of left-eye frame images of the left-eye video data and the plurality of right-eye frame images of the right-eye video data. The shooting flag and the difference information may be multiplexed.
　（８）ここで、多重化部３０３ａは、複数の左眼用フレーム画像及び複数の右眼用フレーム画像の両方、複数の左眼用フレーム画像、又は、複数の右眼用フレーム画像において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (8) Here, the multiplexing unit 303a performs the above processing on both the plurality of left-eye frame images and the plurality of right-eye frame images, the plurality of left-eye frame images, or the plurality of right-eye frame images. The shooting flag and the difference information may be multiplexed.
　（９）ここで、多重化部３０３ａは、少なくとも一のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (9) Here, the multiplexing unit 303a may multiplex the shooting flag and the difference information in at least one GOP (Group of Pictures).
　（１０）ここで、多重化部３０３ａは、前記左眼用映像データの複数のＧＯＰ及び前記右眼用映像データの複数のＧＯＰの両方、前記左眼用映像データの複数のＧＯＰ、又は、前記右眼用映像データの複数のＧＯＰにおいて、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (10) Here, the multiplexing unit 303a includes both the plurality of GOPs of the left-eye video data and the plurality of GOPs of the right-eye video data, the plurality of GOPs of the left-eye video data, or the The shooting flag and the difference information may be multiplexed in a plurality of GOPs of right-eye video data.
　（１１）ここで、多重化部３０３ａは、立体視映像に係る制御データにおいて、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (11) Here, the multiplexing unit 303a may multiplex the shooting flag and the difference information in the control data related to the stereoscopic video.
　（１２）ここで、多重化部３０３ａは、前記制御データとしてのＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）又はＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）に、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 (12) Here, the multiplexing unit 303a may multiplex the shooting flag and the difference information in EIT (Event Information Table) or PMT (Program Map Table) as the control data.
　（１３）ここで、前記立体視映像データには、さらに、前記左眼用フレーム画像の撮影時刻及び前記右眼用フレーム画像の撮影時刻の差分を示す差分情報が多重化されているとしてもよい。 (13) Here, difference information indicating a difference between the shooting time of the left-eye frame image and the shooting time of the right-eye frame image may be further multiplexed in the stereoscopic video data. .
　取得部５０１ａは、前記差分情報がさらに多重化された前記立体視映像データを取得する。分離部５０２ａは、取得した前記立体視映像データから、さらに、前記差分情報を分離する。生成部５０５ａは、左眼用映像データ及び右眼用映像データの一方から選択した前記映像データの各フレーム画像から、前記差分情報により示される差分だけずらした時点における補間フレーム画像を生成し、複数の補間フレーム画像を含む前記補間映像データを生成する。 The obtaining unit 501a obtains the stereoscopic video data in which the difference information is further multiplexed. The separation unit 502a further separates the difference information from the acquired stereoscopic video data. The generation unit 505a generates an interpolated frame image at a time point shifted by the difference indicated by the difference information from each frame image of the video data selected from one of the left-eye video data and the right-eye video data. The interpolated video data including the interpolated frame image is generated.
　（１４）ここで、再生部５０６ａは、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データと右眼用映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データを同時に再生するとしてもよい。 (14) Here, the playback unit 506a alternates between left-eye video data and right-eye video data when the playback method information indicates alternate playback and the shooting flag indicates shooting at different times. When the playback method information indicates simultaneous playback and the shooting flag indicates shooting at the same time, the left-eye video data and the right-eye video data may be played back simultaneously.
　２．実施の形態２
　本発明に係る実施の形態２としての立体視映像生成再生システム１０について、説明する。 2. Embodiment 2
A stereoscopic video generation / playback system 10 as Embodiment 2 according to the present invention will be described.
　立体視映像生成再生システム１０は、図２に示すように、一撮像素子３Ｄカメラ１００、二撮像素子３Ｄカメラ２００、映像データ生成装置３００、放送装置４００及び映像再生装置５００から構成されている。 As shown in FIG. 2, the stereoscopic video generation / playback system 10 includes a single image pickup device 3D camera 100, a double image pickup device 3D camera 200, a video data generation device 300, a broadcast device 400, and a video playback device 500.
　一撮像素子３Ｄカメラ１００は、左眼光学系、右眼光学系及び１個の撮像素子等から構成されている。撮像素子は、左眼光学系又は右眼光学系から入射される光を、時間軸上、交互に、受け取り、受け取った光によりフレーム画像を形成する。こうして、一撮像素子３Ｄカメラ１００は、時間軸上、交互に左眼用フレーム画像と右眼用フレーム画像とを生成する。次に、複数の左眼用フレーム画像から構成される左眼用映像データを出力する。また、複数の右眼用フレーム画像から構成される右眼用映像データを出力する。このとき、一撮像素子３Ｄカメラ１００は、撮影フラグ及び差分情報を出力する。この撮影フラグは、左眼用フレーム画像と対応する右眼用フレーム画像とが異なる時刻に撮影されたことを示す。また、この差分情報は、左眼用フレーム画像の撮影時刻と対応する右眼用フレーム画像の撮影時刻との差分を示す。 One image pickup device 3D camera 100 includes a left eye optical system, a right eye optical system, one image pickup device, and the like. The imaging device receives light incident from the left eye optical system or the right eye optical system alternately on the time axis, and forms a frame image by the received light. Thus, the one image sensor 3D camera 100 alternately generates a left-eye frame image and a right-eye frame image on the time axis. Next, left-eye video data composed of a plurality of left-eye frame images is output. Also, right-eye video data composed of a plurality of right-eye frame images is output. At this time, the one image sensor 3D camera 100 outputs a shooting flag and difference information. This shooting flag indicates that the left-eye frame image and the corresponding right-eye frame image were shot at different times. The difference information indicates a difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
　二撮像素子３Ｄカメラ２００は、左眼光学系、右眼光学系、左眼撮像素子及び右眼撮像素子等から構成されている。左眼撮像素子は、左眼光学系から入射される光を受け取り、受け取った光により左眼用のフレーム画像を形成する。また、右眼撮像素子は、右眼光学系から入射される光を受け取り、受け取った光により右眼用フレーム画像を形成する。対応する左眼用フレーム画像と右眼用フレーム画像とは、同一時刻に生成されたものである。次に、二撮像素子３Ｄカメラ２００は、複数の左眼用フレーム画像から構成される左眼用映像データを出力する。また、複数の右眼用フレーム画像から構成される右眼用映像データを出力する。このとき、二撮像素子３Ｄカメラ２００は、撮影フラグ及び差分情報を出力する。この撮影フラグは、左眼用フレーム画像と対応する右眼用フレーム画像とが同一時刻に撮影されたことを示す。また、この差分情報は、左眼用フレーム画像の撮影時刻と対応する右眼用フレーム画像の撮影時刻との差が無いことを示す。 The two-image sensor 3D camera 200 includes a left-eye optical system, a right-eye optical system, a left-eye image sensor, a right-eye image sensor, and the like. The left eye image sensor receives light incident from the left eye optical system and forms a frame image for the left eye with the received light. The right-eye image sensor receives light incident from the right-eye optical system and forms a right-eye frame image with the received light. The corresponding left-eye frame image and right-eye frame image are generated at the same time. Next, the two-image sensor 3D camera 200 outputs left-eye video data including a plurality of left-eye frame images. Also, right-eye video data composed of a plurality of right-eye frame images is output. At this time, the two-image sensor 3D camera 200 outputs a shooting flag and difference information. This shooting flag indicates that the left-eye frame image and the corresponding right-eye frame image were shot at the same time. The difference information indicates that there is no difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
　映像データ生成装置３００は、一撮像素子３Ｄカメラ１００又は二撮像素子３Ｄカメラ２００から、左眼用映像データ、右眼用映像データ、撮影フラグ及び差分情報を受け取る。次に、左眼用映像データ、右眼用映像データ、撮影フラグ及び差分情報を多重化して、トランスポートストリームとして立体視映像データを生成し、生成した立体視映像データを出力する。 The video data generation device 300 receives the left-eye video data, the right-eye video data, the shooting flag, and the difference information from the one image sensor 3D camera 100 or the two image sensors 3D camera 200. Next, the left-eye video data, the right-eye video data, the shooting flag, and the difference information are multiplexed to generate stereoscopic video data as a transport stream, and the generated stereoscopic video data is output.
　放送装置４００は、映像データ生成装置３００から立体視映像データを受け取る。次に、受け取った立体視映像データを３Ｄ番組として、デジタルの放送波に乗せて、放送する。 Broadcast apparatus 400 receives stereoscopic video data from video data generation apparatus 300. Next, the received stereoscopic video data is broadcast as a 3D program on a digital broadcast wave.
　映像再生装置５００は、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している。映像再生装置５００は、放送波を受信し、受信した放送波から利用者の所望するチャネルを選択する。次に、選択されたチャネルから、立体視映像データを含む番組を受信し、受信した番組をデコードして、立体視映像データから、左眼用映像データ、右眼用映像データ、撮影フラグ及び差分情報を分離する。次に、映像再生装置５００は、記憶している再生方式情報が交互の再生を示すか否かを判断し、前記撮影フラグが同一時刻の撮影を示すか否かを判断する。前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、映像再生装置５００は、左眼用映像データ及び右眼用映像データから選択した映像データの各フレーム画像を前記差分情報により示される差分だけずらした時点のフレーム画像を含む補間映像データを生成する。次に、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、映像再生装置５００は、選択しなかった映像データと補間映像データとを交互に表示する。また、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、映像再生装置５００は、選択しなかった映像データと補間映像データとを同時に表示する。 The video playback device 500 stores playback method information indicating whether the left-eye frame image and the right-eye frame image are played back alternately or simultaneously. The video reproduction device 500 receives the broadcast wave and selects a channel desired by the user from the received broadcast wave. Next, a program including stereoscopic video data is received from the selected channel, the received program is decoded, and left-eye video data, right-eye video data, a shooting flag and a difference are decoded from the stereoscopic video data. Isolate information. Next, the video playback device 500 determines whether or not the stored playback method information indicates alternate playback, and determines whether or not the shooting flag indicates shooting at the same time. When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times In this case, the video reproduction device 500 generates interpolated video data including a frame image at a time when each frame image of the video data selected from the left-eye video data and the right-eye video data is shifted by the difference indicated by the difference information. To do. Next, when the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, the video playback device 500 alternately displays unselected video data and interpolated video data. To do. When the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times, the video playback device 500 simultaneously displays the video data not selected and the interpolated video data.
　２．１　一撮像素子３Ｄカメラ１００
　一撮像素子３Ｄカメラ１００は、図３に示すように、右眼光学系１０１、左眼光学系１０２、半透明鏡１０９、フォーカス光学系１０３、ズーム光学系１０４、撮像部１０５、信号処理部１０６、制御部１０７、記憶部１０８及びその他の部品から構成されている。 2.1 One image sensor 3D camera 100
As shown in FIG. 3, the single image pickup device 3D camera 100 includes a right eye optical system 101, a left eye optical system 102, a translucent mirror 109, a focus optical system 103, a zoom optical system 104, an imaging unit 105, and a signal processing unit 106. The control unit 107, the storage unit 108, and other components.
　一撮像素子３Ｄカメラ１００には、利用者により、可搬型のメモリカード６０１が装着される。 A portable memory card 601 is attached to one image sensor 3D camera 100 by a user.
　（右眼光学系１０１）
　右眼光学系１０１は、レンズ群１０１ａ、反射鏡１０１ｂ、液晶シャッター１０１ｃ、反射鏡１０１ｄ及びその他の部品を含む。 (Right-eye optical system 101)
The right eye optical system 101 includes a lens group 101a, a reflecting mirror 101b, a liquid crystal shutter 101c, a reflecting mirror 101d, and other components.
　レンズ群１０１ａは、複数枚のレンズを組み合わせて構成される複合レンズである。レンズ群１０１ａは、一撮像素子３Ｄカメラ１００の外部から入射した光を反射鏡１０１ｂに照射する。 The lens group 101a is a compound lens configured by combining a plurality of lenses. The lens group 101a irradiates the reflecting mirror 101b with light incident from the outside of the one image sensor 3D camera 100.
　右眼光学系１０１の内部には、レンズ群１０１ａの光軸に垂直に回転軸１０１ｅが設けられている。平面状に形成された反射鏡１０１ｂは、その反射面の中心点における垂直軸とレンズ群１０１ａの光軸とのなす角度が、制御部１０７により指示された角度と一致するように、回転軸１０１ｅを中心として、回転自在に保持されている。反射鏡１０１ｂは、レンズ群１０１ａから入射された光を、その反射面において反射し、液晶シャッター１０１ｃに照射する。 Inside the right eye optical system 101, a rotation axis 101e is provided perpendicular to the optical axis of the lens group 101a. The reflecting mirror 101b formed in a planar shape has a rotation axis 101e so that the angle formed by the vertical axis at the center point of the reflecting surface and the optical axis of the lens group 101a matches the angle designated by the control unit 107. Is held rotatably around the center. The reflecting mirror 101b reflects the light incident from the lens group 101a on its reflecting surface and irradiates the liquid crystal shutter 101c.
　液晶シャッター１０１ｃは、その液晶面の中心点を通る垂直軸と、レンズ群１０１ａの光軸とが垂直となるように、右眼光学系１０１の内部に設けられている。液晶シャッター１０１ｃは、制御部１０７の制御により、光を透過する状態と、光を遮蔽する状態とを切り換える。光を遮蔽する状態にある場合には、液晶シャッター１０１ｃは、反射鏡１０１ｂから入射された光を遮蔽する。光を透過する状態にある場合には、反射鏡１０１ｂから入射された光を透過する。透過した光は、反射鏡１０１ｄに照射される。 The liquid crystal shutter 101c is provided inside the right eye optical system 101 so that the vertical axis passing through the center point of the liquid crystal surface and the optical axis of the lens group 101a are vertical. The liquid crystal shutter 101c switches between a light transmitting state and a light blocking state under the control of the control unit 107. In a state where the light is shielded, the liquid crystal shutter 101c shields the light incident from the reflecting mirror 101b. When the light is transmitted, the light incident from the reflecting mirror 101b is transmitted. The transmitted light is applied to the reflecting mirror 101d.
　平面状に形成された反射鏡１０１ｄは、反射鏡１０１ｂから照射され反射鏡１０１ｄにより反射する光の光軸が、フォーカス光学系１０３の光軸と一致するように、右眼光学系１０１の内部に設けられている。反射鏡１０１ｄは、反射鏡１０１ｂから照射され、液晶シャッター１０１ｃを透過した光を、その反射面において反射する。さらに、反射鏡１０１ｄの反射面において反射された光は、半透明鏡１０９を透過して、フォーカス光学系１０３に照射される。 The reflecting mirror 101 d formed in a planar shape is placed inside the right eye optical system 101 so that the optical axis of the light emitted from the reflecting mirror 101 b and reflected by the reflecting mirror 101 d coincides with the optical axis of the focus optical system 103. Is provided. The reflecting mirror 101d reflects the light irradiated from the reflecting mirror 101b and transmitted through the liquid crystal shutter 101c on its reflecting surface. Further, the light reflected on the reflecting surface of the reflecting mirror 101d is transmitted through the semi-transparent mirror 109 and irradiated onto the focus optical system 103.
　（左眼光学系１０２）
　左眼光学系１０２は、レンズ群１０２ａ、反射鏡１０２ｂ、液晶シャッター１０２ｃ及びその他の部品を含む。 (Left eye optical system 102)
The left eye optical system 102 includes a lens group 102a, a reflecting mirror 102b, a liquid crystal shutter 102c, and other components.
　レンズ群１０２ａは、複数枚のレンズを組み合わせて構成される複合レンズである。レンズ群１０２ａは、一撮像素子３Ｄカメラ１００の外部から入射した光を反射鏡１０２ｂに照射する。 The lens group 102a is a compound lens configured by combining a plurality of lenses. The lens group 102a irradiates the reflecting mirror 102b with light incident from the outside of the one image sensor 3D camera 100.
　左眼光学系１０２の内部には、レンズ群１０２ａの光軸に垂直に回転軸１０２ｅが設けられている。平面状に形成された反射鏡１０２ｂは、その反射面の中心点における垂直軸とレンズ群１０２ａの光軸とのなす角度が、制御部１０７により指示された角度と一致するように、回転軸１０２ｅを中心として、回転自在に保持されている。反射鏡１０２ｂは、レンズ群１０２ａから入射された光を、その反射面において反射し、液晶シャッター１０２ｃに照射する。 Inside the left eye optical system 102, a rotation axis 102e is provided perpendicular to the optical axis of the lens group 102a. The reflecting mirror 102b formed in a planar shape has a rotating shaft 102e so that the angle formed by the vertical axis at the center point of the reflecting surface and the optical axis of the lens group 102a matches the angle specified by the control unit 107. Is held rotatably around the center. The reflecting mirror 102b reflects the light incident from the lens group 102a on the reflecting surface and irradiates the liquid crystal shutter 102c.
　液晶シャッター１０２ｃは、その液晶面の中心点を通る垂直軸と、レンズ群１０２ａの光軸とが垂直となるように、左眼光学系１０２の内部に設けられている。液晶シャッター１０２ｃは、制御部１０７の制御により、光を透過する状態と、光を遮蔽する状態とを切り換える。光を遮蔽する状態にある場合には、液晶シャッター１０２ｃは、反射鏡１０２ｂから入射された光を遮蔽する。光を透過する状態にある場合には、反射鏡１０２ｂから入射された光を透過する。透過した光は、半透明鏡１０９に照射される。 The liquid crystal shutter 102c is provided inside the left eye optical system 102 so that the vertical axis passing through the center point of the liquid crystal surface and the optical axis of the lens group 102a are perpendicular. The liquid crystal shutter 102c switches between a light transmitting state and a light blocking state under the control of the control unit 107. In the state where the light is shielded, the liquid crystal shutter 102c shields the light incident from the reflecting mirror 102b. When the light is transmitted, the light incident from the reflecting mirror 102b is transmitted. The transmitted light is applied to the translucent mirror 109.
　（半透明鏡１０９）
　半透明鏡１０９は、平面状に形成されており、光の一部を反射し、一部を透過する。半透明鏡１０９における反射光と透過光の強さは、ほぼ１：１である。 (Translucent mirror 109)
The translucent mirror 109 is formed in a planar shape, reflects a part of light and transmits a part thereof. The intensity of reflected light and transmitted light in the semitransparent mirror 109 is approximately 1: 1.
　反射鏡１０１ｄから半透明鏡１０９を透過してフォーカス光学系１０３に照射される光の光軸と、反射鏡１０２ｂから照射され、半透明鏡１０９により反射し、フォーカス光学系１０３に照射される光の光軸とが、一致するように、反射鏡１０１ｄとフォーカス光学系１０３との間の光路上であって、反射鏡１０２ｂとフォーカス光学系１０３との間の光路上に、半透明鏡１０９が設けられている。 The optical axis of light that is transmitted from the reflecting mirror 101d through the semi-transparent mirror 109 and applied to the focus optical system 103, and the light that is applied from the reflecting mirror 102b, reflected by the semi-transparent mirror 109, and applied to the focus optical system 103 The translucent mirror 109 is on the optical path between the reflecting mirror 101d and the focus optical system 103 and on the optical path between the reflecting mirror 102b and the focus optical system 103 so that their optical axes coincide with each other. Is provided.
　半透明鏡１０９は、液晶シャッター１０１ｃを透過し、反射鏡１０１ｄにより反射した光を透過する。半透明鏡１０９を透過した光は、フォーカス光学系１０３に照射される。また、半透明鏡１０９は、反射鏡１０２ｂにより反射され、液晶シャッター１０２ｃを透過した光を、反射する。反射された光は、フォーカス光学系１０３に照射される。 The translucent mirror 109 transmits the liquid crystal shutter 101c and the light reflected by the reflecting mirror 101d. The light transmitted through the semitransparent mirror 109 is irradiated to the focus optical system 103. The translucent mirror 109 reflects the light reflected by the reflecting mirror 102b and transmitted through the liquid crystal shutter 102c. The reflected light is applied to the focus optical system 103.
　（右眼光学系１０１と左眼光学系１０２）
　右眼光学系１０１のレンズ群１０１ａの光軸と左眼光学系１０２のレンズ群１０２ａの光軸とが、人間の両眼の幅（約６５ｍｍ）だけ、離れるように、右眼光学系１０１と左眼光学系１０２とは固定されている。 (Right-eye optical system 101 and left-eye optical system 102)
The right eye optical system 101 and the optical axis of the lens group 101a of the right eye optical system 101 and the optical axis of the lens group 102a of the left eye optical system 102 are separated from each other by the width of human eyes (about 65 mm). The left eye optical system 102 is fixed.
　（フォーカス光学系１０３及びズーム光学系１０４）
　フォーカス光学系１０３は、被写体による像に焦点を合わせるためのレンズ群である。ズーム光学系１０４は、レンズの焦点距離と画角を任意に変化させることができるレンズ群である。 (Focus optical system 103 and zoom optical system 104)
The focus optical system 103 is a lens group for focusing on an image of a subject. The zoom optical system 104 is a lens group that can arbitrarily change the focal length and angle of view of the lens.
　フォーカス光学系１０３の光軸とズーム光学系１０４の光軸とは、一致している。また、フォーカス光学系１０３の光軸とズーム光学系１０４の光軸とは、撮像部１０５の受光面の中心点における垂直軸とも、一致している。 The optical axis of the focus optical system 103 and the optical axis of the zoom optical system 104 are the same. In addition, the optical axis of the focus optical system 103 and the optical axis of the zoom optical system 104 also coincide with the vertical axis at the center point of the light receiving surface of the imaging unit 105.
　（撮像部１０５）
　撮像部１０５は、ＣＣＤイメージセンサ (Charge Coupled Device Image Sensor) により構成されている。撮像部１０５は、右眼光学系１０１又は左眼光学系１０２から入射される光を、フォーカス光学系１０３及びズーム光学系１０４を介して、時間軸上、交互に、受け取る。次に、撮像部１０５は、受け取った光によりフレーム画像を形成し、形成したフレーム画像を、電気信号として、信号処理部１０６に対して出力する。 (Imaging unit 105)
The imaging unit 105 includes a CCD image sensor (Charge Coupled Device Image Sensor). The imaging unit 105 alternately receives light incident from the right eye optical system 101 or the left eye optical system 102 on the time axis via the focus optical system 103 and the zoom optical system 104. Next, the imaging unit 105 forms a frame image with the received light, and outputs the formed frame image to the signal processing unit 106 as an electrical signal.
　撮像部１０５により生成されるフレーム画像の一例を図４に示す。この図において、横軸は、時間の経過を示す。また、時刻ｔ（Ｌ１）、ｔ（Ｒ１）、ｔ（Ｌ２）、ｔ（Ｒ２）、ｔ（Ｌ３）、ｔ（Ｒ３）、ｔ（Ｌ４）、ｔ（Ｒ４）、ｔ（Ｌ５）、ｔ（Ｒ５）、・・・の順に、経過するものとする。ここで、ｔ（Ｌ１）とｔ（Ｌ２）の時間間隔、ｔ（Ｌ２）とｔ（Ｌ３）の時間間隔、ｔ（Ｌ３）とｔ（Ｌ４）の時間間隔、・・・は、それぞれ、１／フレームレートである。また、ｔ（Ｒ１）とｔ（Ｒ２）の時間間隔、ｔ（Ｒ２）とｔ（Ｒ３）の時間間隔、ｔ（Ｒ３）とｔ（Ｒ４）の時間間隔、・・・は、それぞれ、１／フレームレートである。さらに、ｔ（Ｌ１）とｔ（Ｒ２）との時間差Δｔは、典型的には、１／（フレームレート×２）である。 An example of a frame image generated by the imaging unit 105 is shown in FIG. In this figure, the horizontal axis indicates the passage of time. In addition, the times t (L1), t (R1), t (L2), t (R2), t (L3), t (R3), t (L4), t (R4), t (L5), t ( R5),... Here, the time interval between t (L1) and t (L2), the time interval between t (L2) and t (L3), the time interval between t (L3) and t (L4),. / Frame rate. Also, the time interval between t (R1) and t (R2), the time interval between t (R2) and t (R3), the time interval between t (R3) and t (R4),. The frame rate. Further, the time difference Δt between t (L1) and t (R2) is typically 1 / (frame rate × 2).
　Δｔ＝１／（フレームレート×２）
　撮像部１０５は、図４に一例として示すように、時刻ｔ（Ｌ１）、ｔ（Ｌ２）、ｔ（Ｌ３）、ｔ（Ｌ４）、ｔ（Ｌ５）、・・・において、それぞれ、左眼用のフレーム画像Ｌ１（１５１）、Ｌ２（１５２）、Ｌ３（１５３）、Ｌ４（１５４）、Ｌ５（１５５）、・・・を形成する。 Δt = 1 / (frame rate × 2)
As shown in FIG. 4 as an example, the imaging unit 105 is for the left eye at times t (L1), t (L2), t (L3), t (L4), t (L5),. Frame images L1 (151), L2 (152), L3 (153), L4 (154), L5 (155),.
　また、撮像部１０５は、時刻ｔ（Ｒ１）、ｔ（Ｒ２）、ｔ（Ｒ３）、ｔ（Ｒ４）、ｔ（Ｒ５）、・・・において、それぞれ、右眼用のフレーム画像Ｒ１（１６１）、Ｒ２（１６２）、Ｒ３（１６３）、Ｒ４（１６４）、Ｒ５（１６５）、・・・を形成する。 In addition, the imaging unit 105 performs the right eye frame image R1 (161) at times t (R1), t (R2), t (R3), t (R4), t (R5),. , R2 (162), R3 (163), R4 (164), R5 (165),.
　（信号処理部１０６）
　信号処理部１０６は、撮像部１０５から受け取ったフレーム画像の電気信号をデジタルの信号に変換し、デジタルのフレーム画像を圧縮し、圧縮されたフレーム画像をメモリカード６０１に書き込む。 (Signal processing unit 106)
The signal processing unit 106 converts the electrical signal of the frame image received from the imaging unit 105 into a digital signal, compresses the digital frame image, and writes the compressed frame image to the memory card 601.
　（記憶部１０８）
　記憶部１０８は、半導体メモリから構成されており、あらかじめ、撮影フラグ１２１及び差分情報１２２を記憶している。撮影フラグ１２１は、左眼用フレーム画像と対応する右眼用フレーム画像とが異なる時刻に撮影されたことを示す。差分情報１２２は、左眼用フレーム画像の撮影時刻と対応する右眼用フレーム画像の撮影時刻との差分を示す。 (Storage unit 108)
The storage unit 108 is composed of a semiconductor memory, and stores a shooting flag 121 and difference information 122 in advance. The shooting flag 121 indicates that the left-eye frame image and the corresponding right-eye frame image were shot at different times. The difference information 122 indicates the difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
　（制御部１０７）
　制御部１０７は、右眼光学系１０１、左眼光学系１０２、フォーカス光学系１０３、ズーム光学系１０４、撮像部１０５及び信号処理部１０６を制御する。 (Control unit 107)
The control unit 107 controls the right eye optical system 101, the left eye optical system 102, the focus optical system 103, the zoom optical system 104, the imaging unit 105, and the signal processing unit 106.
　また、制御部１０７は、記憶部１０８から撮影フラグ１２１及び差分情報１２２を読み出し、読み出した撮影フラグ１２１及び差分情報１２２をメモリカード６０１に書き込む。 Further, the control unit 107 reads the shooting flag 121 and the difference information 122 from the storage unit 108 and writes the read shooting flag 121 and the difference information 122 to the memory card 601.
　（まとめ）
　以上、説明したように、一撮像素子３Ｄカメラ１００は、時間軸上、交互に左眼用フレーム画像と対応する右眼用フレーム画像とを生成する。次に、複数の左眼用フレーム画像から構成される左眼用映像データ１５０をメモリカード６０１に書き込む。また、複数の右眼用フレーム画像から構成される右眼用映像データ１６０をメモリカード６０１に書き込む。さらに、一撮像素子３Ｄカメラ１００は、撮影フラグ１２１及び差分情報１２２をメモリカード６０１に書き込む。撮影フラグ１２１は、左眼用フレーム画像と対応する右眼用フレーム画像とが異なる時刻に撮影されたことを示す。差分情報１２２は、左眼用フレーム画像の撮影時刻と対応する右眼用フレーム画像の撮影時刻との差分を示す。 (Summary)
As described above, the one image sensor 3D camera 100 alternately generates the left-eye frame image and the corresponding right-eye frame image on the time axis. Next, left-eye video data 150 composed of a plurality of left-eye frame images is written to the memory card 601. Also, the right eye video data 160 composed of a plurality of right eye frame images is written to the memory card 601. Further, the one image sensor 3D camera 100 writes the shooting flag 121 and the difference information 122 in the memory card 601. The shooting flag 121 indicates that the left-eye frame image and the corresponding right-eye frame image were shot at different times. The difference information 122 indicates the difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
　２．２　二撮像素子３Ｄカメラ２００
　二撮像素子３Ｄカメラ２００は、図５に示すように、右眼光学系２０１、フォーカス光学系２０２、ズーム光学系２０３、撮像部２０４、信号処理部２０５、左眼光学系２１１、フォーカス光学系２１２、ズーム光学系２１３、撮像部２１４、信号処理部２１５、制御部２１６及び記憶部２１７から構成されている。 2.2 Two-image sensor 3D camera 200
As shown in FIG. 5, the two-image sensor 3D camera 200 includes a right-eye optical system 201, a focus optical system 202, a zoom optical system 203, an imaging unit 204, a signal processing unit 205, a left-eye optical system 211, and a focus optical system 212. , A zoom optical system 213, an imaging unit 214, a signal processing unit 215, a control unit 216, and a storage unit 217.
　二撮像素子３Ｄカメラ２００には、利用者により、可搬型のメモリカード６０２が装着される。 A portable memory card 602 is attached to the two-image sensor 3D camera 200 by a user.
　（右眼光学系２０１）
　右眼光学系２０１は、レンズ群２０１ａ、反射鏡２０１ｂ、液晶シャッター２０１ｃ、反射鏡２０１ｄ及びその他の部品から構成されている。 (Right-eye optical system 201)
The right eye optical system 201 includes a lens group 201a, a reflecting mirror 201b, a liquid crystal shutter 201c, a reflecting mirror 201d, and other components.
　レンズ群２０１ａは、複数枚のレンズを組み合わせて構成される複合レンズである。レンズ群２０１ａは、二撮像素子３Ｄカメラ２００の外部から入射した光を反射鏡２０１ｂに照射する。 The lens group 201a is a compound lens configured by combining a plurality of lenses. The lens group 201a irradiates the reflecting mirror 201b with light incident from the outside of the two-image sensor 3D camera 200.
　右眼光学系２０１の内部には、レンズ群２０１ａの光軸の延長線上に、その光軸に垂直に回転軸２０１ｅが設けられている。平面状に形成された反射鏡２０１ｂは、その反射面の中心点における垂直軸とレンズ群２０１ａの光軸とのなす角度が、制御部２１６により指示された角度と一致するように、回転軸２０１ｅを中心として、回転自在に保持されている。反射鏡２０１ｂは、レンズ群２０１ａから入射された光を、その反射面において反射し、液晶シャッター２０１ｃに照射する。 In the right-eye optical system 201, a rotation axis 201e is provided on the extension line of the optical axis of the lens group 201a and perpendicular to the optical axis. The reflecting mirror 201b formed in a planar shape has a rotation axis 201e so that the angle formed by the vertical axis at the center point of the reflecting surface and the optical axis of the lens group 201a matches the angle designated by the control unit 216. Is held rotatably around the center. The reflecting mirror 201b reflects the light incident from the lens group 201a on its reflecting surface and irradiates the liquid crystal shutter 201c.
　液晶シャッター２０１ｃは、その液晶面の中心点における垂直軸と、レンズ群２０１ａの光軸とが垂直となるように、右眼光学系２０１の内部に設けられている。液晶シャッター２０１ｃは、制御部２１６の制御により、光を透過する状態と、光を遮蔽する状態とを切り換える。光を遮蔽する状態にある場合には、液晶シャッター２０１ｃは、反射鏡２０１ｂから入射された光を遮蔽する。光を透過する状態にある場合には、反射鏡２０１ｂから入射された光を透過する。透過した光は、反射鏡２０１ｄに照射される。 The liquid crystal shutter 201c is provided inside the right eye optical system 201 so that the vertical axis at the center point of the liquid crystal surface is perpendicular to the optical axis of the lens group 201a. The liquid crystal shutter 201c switches between a light transmitting state and a light blocking state under the control of the control unit 216. In a state where the light is shielded, the liquid crystal shutter 201c shields the light incident from the reflecting mirror 201b. When the light is transmitted, the light incident from the reflecting mirror 201b is transmitted. The transmitted light is applied to the reflecting mirror 201d.
　平面状に形成された反射鏡２０１ｄは、反射鏡２０１ｂから照射された光を、その反射面において反射し、フォーカス光学系２０２に照射する。反射鏡２０１ｄにより反射されてフォーカス光学系２０２に照射される光の光軸は、フォーカス光学系２０２の光軸と一致している。 The reflecting mirror 201d formed in a planar shape reflects the light irradiated from the reflecting mirror 201b on the reflecting surface and irradiates the focus optical system 202. The optical axis of the light reflected by the reflecting mirror 201 d and applied to the focus optical system 202 coincides with the optical axis of the focus optical system 202.
　（フォーカス光学系２０２及びズーム光学系２０３）
　フォーカス光学系２０２は、被写体による像に焦点を合わせるためのレンズ群である。ズーム光学系２０３は、レンズの焦点距離と画角を任意に変化させることができるレンズ群である。 (Focus optical system 202 and zoom optical system 203)
The focus optical system 202 is a lens group for focusing on an image of a subject. The zoom optical system 203 is a lens group that can arbitrarily change the focal length and angle of view of the lens.
　フォーカス光学系２０２の光軸とズーム光学系２０３の光軸とは、一致している。また、フォーカス光学系２０２の光軸とズーム光学系２０３の光軸とは、撮像部２０４の受光面の中心点における垂直軸とも、一致している。 The optical axis of the focus optical system 202 and the optical axis of the zoom optical system 203 are the same. Further, the optical axis of the focus optical system 202 and the optical axis of the zoom optical system 203 coincide with the vertical axis at the center point of the light receiving surface of the imaging unit 204.
　（撮像部２０４）
　撮像部２０４は、ＣＣＤイメージセンサから構成されている。撮像部２０４は、右眼光学系２０１から入射される光を、フォーカス光学系２０２及びズーム光学系２０３を介して、受け取る。次に、撮像部２０４は、受け取った光によりフレーム画像を形成し、形成したフレーム画像を、電気信号として、信号処理部２０５に対して出力する。 (Imaging unit 204)
The imaging unit 204 is composed of a CCD image sensor. The imaging unit 204 receives light incident from the right eye optical system 201 via the focus optical system 202 and the zoom optical system 203. Next, the imaging unit 204 forms a frame image with the received light, and outputs the formed frame image to the signal processing unit 205 as an electrical signal.
　撮像部２０４により生成されるフレーム画像の一例を図６に示す。この図において、横軸は、時間の経過を示す。また、時刻ｔ（１）、ｔ（２）、ｔ（３）、ｔ（４）、ｔ（５）、・・・の順に、経過するものとする。ここで、ｔ（１）とｔ（２）の時間間隔、ｔ（２）とｔ（３）の時間間隔、ｔ（３）とｔ（４）の時間間隔、・・・は、それぞれ、１／フレームレートである。 An example of a frame image generated by the imaging unit 204 is shown in FIG. In this figure, the horizontal axis indicates the passage of time. In addition, it is assumed that time t (1), t (2), t (3), t (4), t (5),. Here, the time interval between t (1) and t (2), the time interval between t (2) and t (3), the time interval between t (3) and t (4),. / Frame rate.
　撮像部２０４は、図６に示すように、時刻ｔ（１）、ｔ（２）、ｔ（３）、ｔ（４）、ｔ（５）、・・・において、それぞれ、右眼用のフレーム画像Ｒ１（２６１）、Ｒ２（２６２）、Ｒ３（２６３）、Ｒ４（２６４）、Ｒ５（２６５）、・・・を形成する。 As shown in FIG. 6, the imaging unit 204 performs the right eye frame at times t (1), t (2), t (3), t (4), t (5),. Images R1 (261), R2 (262), R3 (263), R4 (264), R5 (265),... Are formed.
　（信号処理部２０５）
　信号処理部２０５は、撮像部２０４から受け取ったフレーム画像の電気信号をデジタルの信号に変換し、デジタルのフレーム画像を圧縮し、圧縮されたフレーム画像をメモリカード６０２に書き込む。 (Signal processing unit 205)
The signal processing unit 205 converts the electrical signal of the frame image received from the imaging unit 204 into a digital signal, compresses the digital frame image, and writes the compressed frame image to the memory card 602.
　（左眼光学系２１１、フォーカス光学系２１２及びズーム光学系２１３）
　左眼光学系２１１は、レンズ群２１１ａ、反射鏡２１１ｂ、液晶シャッター２１１ｃ、反射鏡２１１ｄ及びその他の部品から構成されている。左眼光学系２１１は、右眼光学系２０１とは、左右対称に構成されている点を除いて、右眼光学系２０１と同一である。ここでは、左眼光学系２１１についての詳細の説明を省略する。レンズ群２１１ａに入射された光は、反射鏡２１１ｂ及び反射鏡２１１ｄにより、反射され、フォーカス光学系２１２に照射される。 (Left eye optical system 211, focus optical system 212, and zoom optical system 213)
The left eye optical system 211 includes a lens group 211a, a reflecting mirror 211b, a liquid crystal shutter 211c, a reflecting mirror 211d, and other components. The left eye optical system 211 is the same as the right eye optical system 201 except that the left eye optical system 211 and the right eye optical system 201 are configured symmetrically. Here, detailed description of the left-eye optical system 211 is omitted. The light incident on the lens group 211a is reflected by the reflecting mirror 211b and the reflecting mirror 211d, and is applied to the focus optical system 212.
　フォーカス光学系２１２は、被写体による像に焦点を合わせるためのレンズ群である。ズーム光学系２１３は、レンズの焦点距離と画角を任意に変化させることができるレンズ群である。 The focus optical system 212 is a lens group for focusing on an image of a subject. The zoom optical system 213 is a lens group that can arbitrarily change the focal length and angle of view of the lens.
　フォーカス光学系２１２の光軸とズーム光学系２１３の光軸とは、一致している。また、フォーカス光学系２１２の光軸とズーム光学系２１３の光軸とは、撮像部２１４の受光面の中心点における垂直軸とも、一致している。 The optical axis of the focus optical system 212 and the optical axis of the zoom optical system 213 coincide. In addition, the optical axis of the focus optical system 212 and the optical axis of the zoom optical system 213 coincide with the vertical axis at the center point of the light receiving surface of the imaging unit 214.
　右眼光学系２０１のレンズ群２０１ａの光軸と左眼光学系２１１のレンズ群２１１ａの光軸とが、人間の両眼の幅（約６５ｍｍ）だけ、離れるように、右眼光学系２０１と左眼光学系２１１とは固定されている。 The right eye optical system 201 and the optical axis of the lens group 201a of the right eye optical system 201 and the optical axis of the lens group 211a of the left eye optical system 211 are separated from each other by the width of human eyes (about 65 mm). The left eye optical system 211 is fixed.
　（撮像部２１４）
　撮像部２１４は、ＣＣＤイメージセンサから構成されている。撮像部２１４は、左眼光学系２１１から入射される光を、フォーカス光学系２１２及びズーム光学系２１３を介して、受け取る。次に、撮像部２１４は、受け取った光によりフレーム画像を形成し、形成したフレーム画像を、電気信号として、信号処理部２１５に対して出力する。 (Imaging unit 214)
The imaging unit 214 is composed of a CCD image sensor. The imaging unit 214 receives light incident from the left eye optical system 211 via the focus optical system 212 and the zoom optical system 213. Next, the imaging unit 214 forms a frame image with the received light, and outputs the formed frame image to the signal processing unit 215 as an electrical signal.
　撮像部２１４は、図６に示すように、時刻ｔ（１）、ｔ（２）、ｔ（３）、ｔ（４）、ｔ（５）、・・・において、それぞれ、左眼用のフレーム画像Ｌ１（２５１）、Ｌ２（２５２）、Ｌ３（２５３）、Ｌ４（２５４）、Ｌ５（２５５）、・・・を形成する。上述したように、ｔ（１）とｔ（２）の時間間隔、ｔ（２）とｔ（３）の時間間隔、ｔ（３）とｔ（４）の時間間隔、・・・は、それぞれ、１／フレームレートである。 As shown in FIG. 6, the imaging unit 214 performs the left eye frame at times t (1), t (2), t (3), t (4), t (5),. Images L1 (251), L2 (252), L3 (253), L4 (254), L5 (255),. As described above, the time interval between t (1) and t (2), the time interval between t (2) and t (3), the time interval between t (3) and t (4),. 1 / frame rate.
　（信号処理部２１５）
　信号処理部２１５は、撮像部２１４から受け取ったフレーム画像の電気信号をデジタルの信号に変換し、デジタルのフレーム画像を圧縮し、圧縮されたフレーム画像をメモリカード６０２に書き込む。 (Signal processing unit 215)
The signal processing unit 215 converts the electrical signal of the frame image received from the imaging unit 214 into a digital signal, compresses the digital frame image, and writes the compressed frame image to the memory card 602.
　（記憶部２１７）
　記憶部２１７は、半導体メモリから構成されており、あらかじめ、撮影フラグ２２１及び差分情報２２２を記憶している。撮影フラグ２２１は、左眼用フレーム画像と対応する右眼用フレーム画像とが同一の時刻に撮影されたことを示す。また、差分情報２２２は、左眼用フレーム画像の撮影時刻と対応する右眼用フレーム画像の撮影時刻との差分が零であることを示す。言い換えると、差が無いことを示す。 (Storage unit 217)
The storage unit 217 includes a semiconductor memory, and stores a shooting flag 221 and difference information 222 in advance. The shooting flag 221 indicates that the left-eye frame image and the corresponding right-eye frame image are captured at the same time. The difference information 222 indicates that the difference between the shooting time of the left eye frame image and the shooting time of the corresponding right eye frame image is zero. In other words, there is no difference.
　（制御部１０７）
　制御部１０７は、右眼光学系２０１、フォーカス光学系２０２、ズーム光学系２０３、撮像部２０４、信号処理部２０５、左眼光学系２１１、フォーカス光学系２１２、ズーム光学系２１３、撮像部２１４及び信号処理部２１５を制御する。 (Control unit 107)
The control unit 107 includes a right eye optical system 201, a focus optical system 202, a zoom optical system 203, an imaging unit 204, a signal processing unit 205, a left eye optical system 211, a focus optical system 212, a zoom optical system 213, an imaging unit 214, and The signal processing unit 215 is controlled.
　また、制御部２１６は、記憶部２１７から撮影フラグ２２１及び差分情報２２２を読み出し、読み出した撮影フラグ２２１及び差分情報２２２をメモリカード６０２に書き込む。 Further, the control unit 216 reads the shooting flag 221 and the difference information 222 from the storage unit 217, and writes the read shooting flag 221 and the difference information 222 to the memory card 602.
　（まとめ）
　以上、説明したように、二撮像素子３Ｄカメラ２００は、同一時刻において、左眼用フレーム画像と対応する右眼用フレーム画像とを生成する。次に、複数の左眼用フレーム画像から構成される左眼用映像データ２５０をメモリカード６０２に書き込む。また、複数の右眼用フレーム画像から構成される右眼用映像データ２６０をメモリカード６０２に書き込む。さらに、二撮像素子３Ｄカメラ２００は、撮影フラグ２２１及び差分情報２２２をメモリカード６０２に書き込む。撮影フラグ２２１は、左眼用フレーム画像と対応する右眼用フレーム画像とが同一の時刻に撮影されたことを示す。差分情報２２２は、左眼用フレーム画像の撮影時刻と右眼用フレーム画像の撮影時刻との差が無いことを示す。 (Summary)
As described above, the two-image sensor 3D camera 200 generates a left-eye frame image and a corresponding right-eye frame image at the same time. Next, left-eye video data 250 including a plurality of left-eye frame images is written to the memory card 602. Also, right-eye video data 260 composed of a plurality of right-eye frame images is written to the memory card 602. Further, the two-image sensor 3D camera 200 writes the shooting flag 221 and the difference information 222 in the memory card 602. The shooting flag 221 indicates that the left-eye frame image and the corresponding right-eye frame image are captured at the same time. The difference information 222 indicates that there is no difference between the shooting time of the left-eye frame image and the shooting time of the right-eye frame image.
　２．３　映像データ生成装置３００
　映像データ生成装置３００は、図７に示すように、入出力部３０１、多重化部３０２及び出力部３０３から構成されている。 2.3 Video data generation device 300
As shown in FIG. 7, the video data generation apparatus 300 includes an input / output unit 301, a multiplexing unit 302, and an output unit 303.
　映像データ生成装置３００には、利用者により、メモリカード６０１又は６０２が装着される。 The memory card 601 or 602 is attached to the video data generation device 300 by the user.
　入出力部３０１は、メモリカード６０１から、左眼用映像データ１５０、右眼用映像データ１６０、撮影フラグ１２１及び差分情報１２２を読み出す。また、メモリカード６０２から、左眼用映像データ２５０、右眼用映像データ２６０、撮影フラグ２２１及び差分情報２２２を読み出す。 The input / output unit 301 reads the left-eye video data 150, the right-eye video data 160, the shooting flag 121, and the difference information 122 from the memory card 601. Further, the left-eye video data 250, the right-eye video data 260, the shooting flag 221 and the difference information 222 are read from the memory card 602.
　多重化部３０２は、左眼用映像データ１５０、右眼用映像データ１６０、撮影フラグ１２１及び差分情報１２２を多重化して、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームとして、立体視映像データを生成する。また、多重化部３０２は、左眼用映像データ２５０、右眼用映像データ２６０、撮影フラグ２２１及び差分情報２２２を多重化して、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームとして、立体視映像データを生成する。 The multiplexing unit 302 multiplexes the left-eye video data 150, the right-eye video data 160, the shooting flag 121, and the difference information 122, and generates stereoscopic video data as a digital stream in the MPEG-2 transport stream format. To do. Further, the multiplexing unit 302 multiplexes the left-eye video data 250, the right-eye video data 260, the shooting flag 221 and the difference information 222 to generate stereoscopic video data as a digital stream in the MPEG-2 transport stream format. Is generated.
　なお、多重化部３０２による多重化の詳細及びＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームについては、後述する。 The details of multiplexing by the multiplexing unit 302 and the digital stream in the MPEG-2 transport stream format will be described later.
　次に、出力部３０３は、生成した立体視映像データを出力する。 Next, the output unit 303 outputs the generated stereoscopic video data.
　２．４　多重化部３０２による多重化の詳細及びストリームのデータ構造
　ここでは、映像データ生成装置３００の多重化部３０２による多重化の詳細及び多重化部３０２により生成されるストリームのデータ構造について説明する。 2.4 Details of Multiplexing by Multiplexing Unit 302 and Data Structure of Stream Here, details of multiplexing by the multiplexing unit 302 of the video data generating apparatus 300 and the data structure of the stream generated by the multiplexing unit 302 will be described. To do.
　映像データ生成装置３００の多重化部３０２は、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームを生成する。ＭＰＥＧ－２トランスポートストリームは、ＩＳＯ／ＩＥＣ１３８１８－１およびＩＴＵ－Ｔ勧告Ｈ２２２．０において標準化されている規格に基づいている。この規格は、ビデオやオーディオなど様々なストリームを多重化して伝送するためのものである。 The multiplexing unit 302 of the video data generation device 300 generates a digital stream in the MPEG-2 transport stream format. The MPEG-2 transport stream is based on a standard standardized in ISO / IEC13818-1 and ITU-T recommendation H222.0. This standard is for multiplexing and transmitting various streams such as video and audio.
　（ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリーム）
　ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームの構成を図８に示す。この図に示すように、多重化部３０２は、ビデオストリーム７０１、オーディオストリーム７０４、字幕ストリーム７０７などを多重化することにより、トランスポートストリーム７１３を生成する。 (Digital stream in MPEG-2 transport stream format)
The structure of a digital stream in the MPEG-2 transport stream format is shown in FIG. As shown in this figure, the multiplexing unit 302 generates a transport stream 713 by multiplexing a video stream 701, an audio stream 704, a subtitle stream 707, and the like.
　ビデオストリーム７０１は、番組の主映像を格納している。また、オーディオストリーム７０４は、番組の主音声部分や副音声を格納している。さらに、字幕ストリーム７０７は、番組の字幕情報を格納している。 The video stream 701 stores the main video of the program. The audio stream 704 stores the main audio portion and sub audio of the program. Furthermore, the subtitle stream 707 stores the subtitle information of the program.
　ビデオストリーム７０１は、ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣなどの方式を用いて、符号化して記録される。オーディオストリーム７０４は、ドルビーＡＣ－３、ＭＰＥＧ－２　ＡＡＣ、ＭＰＥＧ－４　ＡＡＣ、ＨＥ－ＡＡＣなどの方式を用いて、圧縮・符号化して記録されている。 The video stream 701 is recorded after being encoded using a method such as MPEG-2, MPEG-4, or AVC. The audio stream 704 is recorded after being compressed and encoded using a method such as Dolby AC-3, MPEG-2 AAC, MPEG-4 AAC, HE-AAC.
　（ベースビュービデオストリーム及びディペンデントビュービデオストリーム）
　ここでは、上述した左眼用映像データ及び右眼用映像データを、それぞれ、レフトビュービデオストリーム及びライトビュービデオストリームと呼ぶこととする。 (Base-view video stream and dependent-view video stream)
Here, the above-described left-eye video data and right-eye video data are referred to as a left-view video stream and a right-view video stream, respectively.
　レフトビュービデオストリーム及びライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したビュー間予測符号化によって圧縮されている。一例として、ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの対応するピクチャを参照して圧縮されている。 The left-view video stream and the right-view video stream are compressed by inter-view predictive coding using correlation characteristics between viewpoints in addition to inter-picture predictive coding using temporal direction correlation characteristics. As an example, the pictures of the right-view video stream are compressed with reference to the corresponding pictures of the left-view video stream.
　例えば、ライトビュービデオストリームの先頭Ｐピクチャは、レフトビュービデオストリームのＩピクチャを参照している。ライトビュービデオストリームのＢピクチャは、レフトビュービデオストリームのＢｒピクチャを参照している。また、ライトビュービデオストリームの二つ目のＰピクチャは、レフトビュービデオストリームのＰピクチャを参照している。 For example, the first P picture of the right view video stream refers to the I picture of the left view video stream. The B picture of the right-view video stream refers to the Br picture of the left-view video stream. In addition, the second P picture of the right-view video stream refers to the P picture of the left-view video stream.
　圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号が可能になるものを「ベースビュービデオストリーム」と呼ぶ。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのビュー間でのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、「ディペンデントビュービデオストリーム」と呼ぶ。また、ベースビュービデオストリームとディペンデントビュービデオストリームを合わせて、「マルチビュービデオストリーム」と呼ぶ。ここでは、ベースビュービデオストリームとディペンデントビュービデオストリームは、例えば、ＭＰＥＧ２－ＴＳなどの同一のトランスポートに多重化されているとする。なお、ベースビュービデオストリームとディペンデントビュービデオストリームは、それぞれ別々のストリームとして格納や伝送されるとしてもよい。 The compression-encoded left-view video stream and right-view video stream that can be decoded independently are called “base-view video streams”. In addition, the left-view video stream and the right-view video stream are compression-encoded based on the inter-frame correlation characteristics with the individual picture data constituting the base-view video stream, and the base-view video stream is decoded. The video stream that has been processed and becomes decodable is called a “dependent view video stream”. The base-view video stream and the dependent-view video stream are collectively referred to as “multi-view video stream”. Here, it is assumed that the base-view video stream and the dependent-view video stream are multiplexed on the same transport such as MPEG2-TS, for example. Note that the base-view video stream and the dependent-view video stream may be stored and transmitted as separate streams.
　ベースビュービデオストリーム及びディペンデントビュービデオストリームのＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構成を図９に示す。ベースビュービデオストリームは、複数のＧＯＰから構成されている。また、ディペンデントビュービデオストリームも同様に、複数のＧＯＰから構成されている。 FIG. 9 shows the GOP (Group of Pictures) configuration of the base-view video stream and the dependent-view video stream. The base view video stream is composed of a plurality of GOPs. Similarly, the dependent-view video stream is composed of a plurality of GOPs.
　（ビデオストリームの構造）
　各ビデオストリームは、図１０に示すような階層構造を有している。図１０に示すビデオストリーム７２１は、複数のＧＯＰ７２２、７２３、・・・から構成されている。ＧＯＰを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。 (Video stream structure)
Each video stream has a hierarchical structure as shown in FIG. A video stream 721 shown in FIG. 10 is composed of a plurality of GOPs 722, 723,. By using GOP as a basic unit of encoding processing, editing of moving images and random access are possible.
　また、ＧＯＰ７２２は、１つ以上のビデオアクセスユニット７２４、７２５、７２６、・・・により構成されている。他のＧＯＰについても、同様である。ビデオアクセスユニットは、ピクチャの符号化データを格納する単位である。フレーム構造の場合、ビデオアクセスユニットには、１フレームのデータが格納される。また、フィールド構造の場合、ビデオアクセスユニットには、１フィールドのデータが格納される。 The GOP 722 includes one or more video access units 724, 725, 726,. The same applies to other GOPs. The video access unit is a unit for storing encoded data of a picture. In the case of the frame structure, one frame of data is stored in the video access unit. In the case of a field structure, one field of data is stored in the video access unit.
　ビデオアクセスユニット７２４は、ＡＵ識別コード７３１、シーケンスヘッダ７３２、ピクチャヘッダ７３３、補足データ７３４、圧縮ピクチャデータ７３５、パディングデータ７３６、シーケンス終端コード７３７、ストリーム終端コード７３８などから構成される。他のビデオアクセスユニットについても、同様である。各データは、ＭＰＥＧ－４　ＡＶＣの場合は、ＮＡＬユニットと呼ばれる単位で格納される。 The video access unit 724 includes an AU identification code 731, a sequence header 732, a picture header 733, supplementary data 734, compressed picture data 735, padding data 736, a sequence end code 737, a stream end code 738, and the like. The same applies to other video access units. In the case of MPEG-4 AVC, each data is stored in units called NAL units.
　ＡＵ識別コード７３１は、アクセスユニットの先頭を示す開始符号である。シーケンスヘッダ７３２は、複数のビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダである。シーケンスヘッダ７３２には、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。ピクチャヘッダ７３３は、ピクチャ全体についての符号化の方式などの情報を格納したヘッダである。補足データ７３４は、圧縮データの復号に必須ではない付加情報である。例えば、補足データ７３４には、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。圧縮ピクチャデータ７３５には、圧縮符号化されたピクチャのデータが格納される。パディングデータ７３６は、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コード７３７は、再生シーケンスの終端を示すデータである。ストリーム終端コード７３８は、ビットストリームの終端を示すデータである。 The AU identification code 731 is a start code indicating the head of the access unit. The sequence header 732 is a header storing common information in a playback sequence composed of a plurality of video access units. The sequence header 732 stores information such as resolution, frame rate, aspect ratio, and bit rate. The picture header 733 is a header that stores information such as an encoding method for the entire picture. The supplementary data 734 is additional information that is not essential for decoding the compressed data. For example, the supplemental data 734 stores closed caption character information, GOP structure information, and the like that are displayed on the TV in synchronization with the video. The compressed picture data 735 stores compression-encoded picture data. The padding data 736 stores meaningless data for adjusting the format. For example, it is used as stuffing data for maintaining a predetermined bit rate. The sequence end code 737 is data indicating the end of the reproduction sequence. The stream end code 738 is data indicating the end of the bit stream.
　ＡＵ識別コード７３１、シーケンスヘッダ７３２、ピクチャヘッダ７３３、補足データ７３４、圧縮ピクチャデータ７３５、パディングデータ７３６、シーケンス終端コード７３７、ストリーム終端コード７３８のそれぞれの中身の構成は、ビデオの符号化方式によって異なる。 The configuration of each of the AU identification code 731, the sequence header 732, the picture header 733, the supplementary data 734, the compressed picture data 735, the padding data 736, the sequence end code 737, and the stream end code 738 differs depending on the video encoding method. .
　例えば、ＭＰＥＧ－４　ＡＶＣの場合であれば、ＡＵ識別コード７３１は、ＡＵデリミタ（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｄｅｌｉｍｉｔｅｒ）に対応する。シーケンスヘッダ７３２は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｔｅｒ　Ｓｅｔ）に対応する。ピクチャヘッダ７３３は、ＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）に対応する。圧縮ピクチャデータ７３５は、複数個のスライスに対応する。補足データ７３４は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）に対応する。パディングデータ７３６は、ＦｉｌｌｅｒＤａｔａに対応する。シーケンス終端コード７３７は、Ｅｎｄ　ｏｆ　Ｓｅｑｕｅｎｃｅに対応する。ストリーム終端コード７３８は、Ｅｎｄ　ｏｆ　Ｓｔｒｅａｍに対応する。 For example, in the case of MPEG-4 AVC, the AU identification code 731 corresponds to an AU delimiter (Access Unit Delimiter). The sequence header 732 corresponds to SPS (Sequence Parameter Set). The picture header 733 corresponds to PPS (Picture Parameter Set). The compressed picture data 735 corresponds to a plurality of slices. The supplementary data 734 corresponds to SEI (Supplemental Enhancement Information). Padding data 736 corresponds to FillerData. The sequence end code 737 corresponds to End of Sequence. The stream end code 738 corresponds to End of Stream.
　また、例えば、ＭＰＥＧ－２の場合であれば、シーケンスヘッダ７３２は、ｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに対応する。ピクチャヘッダ７３３は、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎに対応する。圧縮ピクチャデータ７３５は、複数個のスライスに対応する。補足データ７３４は、ｕｓｅｒ＿ｄａｔａに対応する。シーケンス終端コード７３７は、ｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コード７３１は、存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。 For example, in the case of MPEG-2, the sequence header 732 corresponds to sequence_Header, sequence_extension, group_of_picture_header. The picture header 733 corresponds to picture_header and picture_coding_extension. The compressed picture data 735 corresponds to a plurality of slices. The supplemental data 734 corresponds to user_data. The sequence end code 737 corresponds to sequence_end_code. The AU identification code 731 does not exist, but if the start code of each header is used, the break of the access unit can be determined.
　各データは常に必要ではない。例えば、シーケンスヘッダ７３２は、ＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい。また、符号化方式によっては、ピクチャヘッダ７３３については、符号順に前のビデオアクセスユニットのものを参照してもよい。この場合には、自身のビデオアクセスユニット内にピクチャヘッダ７３３がなくてもよい。 * Each data is not always necessary. For example, the sequence header 732 is necessary only in the video access unit at the head of the GOP, and may not be present in other video access units. Further, depending on the encoding method, the picture header 733 may refer to the previous video access unit in the code order. In this case, the picture header 733 may not be in its own video access unit.
　また、図１１に示すように、ＧＯＰ先頭のビデオアクセスユニット７２４ａには、圧縮ピクチャデータ７３５ａとしてＩピクチャのデータが格納される。また、ＡＵ識別コード７３１ａ、シーケンスヘッダ７３２ａ、ピクチャヘッダ７３３ａ、圧縮ピクチャデータ７３５ａが必ず格納される。また、補足データ７３４ａ、パディングデータ７３６ａ、シーケンス終端コード７３７ａ、ストリーム終端コード７３８ａが格納されている、としてもよい。 Also, as shown in FIG. 11, the IOP data is stored as compressed picture data 735a in the video access unit 724a at the head of the GOP. Further, the AU identification code 731a, the sequence header 732a, the picture header 733a, and the compressed picture data 735a are always stored. Further, supplemental data 734a, padding data 736a, sequence end code 737a, and stream end code 738a may be stored.
　ここで、多重化部３０２は、図１１に示すように、撮影フラグ７３４ｃ及び差分情報７３４ｄを補足データ７３４ａに含めるとしてもよい。 Here, as illustrated in FIG. 11, the multiplexing unit 302 may include the shooting flag 734c and the difference information 734d in the supplementary data 734a.
　ＧＯＰ先頭以外のビデオアクセスユニット７２４ｂは、ＡＵ識別コード７３１ｂ、圧縮ピクチャデータ７３５ｂが必ず格納される。また、補足データ７３４ｂ、パディングデータ７３６ｂ、シーケンス終端コード７３７ｂ、ストリーム終端コード７３８ｂが格納されている、としてもよい。 The video access unit 724b other than the head of the GOP always stores the AU identification code 731b and the compressed picture data 735b. Further, supplemental data 734b, padding data 736b, sequence end code 737b, and stream end code 738b may be stored.
　ここで、多重化部３０２は、図１１に示すように、撮影フラグ７３４ｅ及び差分情報７３４ｆを補足データ７３４ｂに含めるとしてもよい。 Here, the multiplexing unit 302 may include the shooting flag 734e and the difference information 734f in the supplementary data 734b as shown in FIG.
　（ＰＩＤ）
　トランスポートストリームに含まれる各ストリームは、ＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することで、映像再生装置５００は、対象のストリームを抽出することが出来る。ＰＩＤとストリームの対応は、以降で説明するＰＭＴパケットのディスクリプタに格納される。 (PID)
Each stream included in the transport stream is identified by a stream identification ID called PID. By extracting the PID packet, the video reproduction device 500 can extract the target stream. The correspondence between the PID and the stream is stored in the descriptor of the PMT packet described later.
　（トランスポートストリームにおける多重化）
　図８には、トランスポートストリーム７１３において、複数のストリームがどのように多重化されるかを模式的に示している。 (Multiplexing in transport stream)
FIG. 8 schematically shows how a plurality of streams are multiplexed in the transport stream 713.
　まず、多重化部３０２は、複数のビデオフレームからなるビデオストリーム７０１及び複数のオーディオフレームからなるオーディオストリーム７０４を、それぞれ、ＰＥＳパケット列７０２及び７０５に変換する。ここで、ビデオストリーム７０１は、上述したベースビュービデオストリーム及びディペンデントビュービデオストリームを含む。さらに、多重化部３０２は、ＰＥＳパケット列７０２及び７０５を、それぞれ、ＴＳパケット列７０３及び７０６に変換する。同じく、多重化部３０２は、字幕ストリーム７０７のデータをそれぞれＰＥＳパケット列７０８に変換する。さらに、多重化部３０２は、ＰＥＳパケット列７０８をＴＳパケット列７０９に変換する。多重化部３０２は、これらのＴＳパケット列７０３、７０６及び７０９を１本のストリームに多重化することにより、ＭＰＥＧ－２トランスポートストリーム７１３を生成する。 First, the multiplexing unit 302 converts a video stream 701 composed of a plurality of video frames and an audio stream 704 composed of a plurality of audio frames into PES packet sequences 702 and 705, respectively. Here, the video stream 701 includes the above-described base view video stream and dependent view video stream. Further, the multiplexing unit 302 converts the PES packet sequences 702 and 705 into TS packet sequences 703 and 706, respectively. Similarly, the multiplexing unit 302 converts the data of the subtitle stream 707 into a PES packet sequence 708, respectively. Further, the multiplexing unit 302 converts the PES packet sequence 708 into a TS packet sequence 709. The multiplexing unit 302 generates an MPEG-2 transport stream 713 by multiplexing these TS packet sequences 703, 706, and 709 into one stream.
　（ＴＳパケット）
　図１２は、トランスポートストリームを構成するＴＳパケットのデータ構造を示している。 (TS packet)
FIG. 12 shows the data structure of TS packets constituting the transport stream.
　ＴＳパケット８０１は、１８８Ｂｙｔｅの固定長のパケットである。ＴＳパケット８０１は、４ＢｙｔｅのＴＳヘッダ８０２、アダプテーションフィールド８０４及びＴＳペイロード８０５から構成される。 The TS packet 801 is a fixed-length packet of 188 bytes. The TS packet 801 includes a 4-byte TS header 802, an adaptation field 804, and a TS payload 805.
　ＴＳヘッダ８０２は、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ（８０６）、ＰＩＤ（８０７）、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（８０８）などから構成される。 The TS header 802 is composed of transport_priority (806), PID (807), adaptation_field_control (808), and the like.
　ＰＩＤ（８０７）は、前述した通り、トランスポートストリームに多重化されているストリームを識別するためのＩＤである。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ（８０６）は、同一ＰＩＤのＴＳパケットの中において、パケットの種別を識別するための情報である。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（８０８）は、アダプテーションフィールド８０４とＴＳペイロード８０５の構成を制御するための情報である。アダプテーションフィールド８０４及びＴＳペイロード８０５については、どちらか一方だけが存在する場合がある。また、アダプテーションフィールド８０４及びＴＳペイロード８０５の両方が存在する場合がある。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（８０８）は、その有無を示す。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（８０８）が「１」の場合は、ＴＳペイロード８０５のみが存在する。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（８０８）が「２」の場合は、アダプテーションフィールド６０４のみが存在する。また、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ（８０８）が「３」の場合は、ＴＳペイロード８０５とアダプテーションフィールド８０４の両方が存在することを示す。 PID (807) is an ID for identifying a stream multiplexed in a transport stream as described above. The transport_priority (806) is information for identifying the type of packet among TS packets having the same PID. Adaptation_field_control (808) is information for controlling the configuration of the adaptation field 804 and the TS payload 805. Only one of the adaptation field 804 and the TS payload 805 may exist. In addition, both the adaptation field 804 and the TS payload 805 may exist. Adaptation_field_control (808) indicates the presence or absence. When adaptation_field_control (808) is “1”, only TS payload 805 exists. When adaptation_field_control (808) is “2”, only the adaptation field 604 exists. Further, when adaptation_field_control (808) is “3”, it indicates that both the TS payload 805 and the adaptation field 804 exist.
　アダプテーションフィールド８０４は、ＰＣＲなどの情報の格納や、ＴＳパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロード８０５にはＰＥＳパケットが分割されて格納される。 The adaptation field 804 is a data storage area for storing information such as PCR and stuffing for making the TS packet a fixed length of 188 bytes. In the TS payload 805, the PES packet is divided and stored.
　（ＰＡＴ、ＰＭＴ、ＰＣＲ、ＥＩＴなど）
　トランスポートストリームに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にも、ＰＡＴ（Ｐｒｏｇｒａｍ　Ａｓｓｏｃｉａｔｉｏｎ　Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）、ＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）などがある。これらのパケットは、ＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。 (PAT, PMT, PCR, EIT, etc.)
TS packets included in the transport stream include PAT (Program Association Table), PMT (Program Map Reference), PCR (Program Clock Reference), EIT (Event Information Table), in addition to each stream such as video / audio / caption. )and so on. These packets are called PSI (Program Specific Information).
　ＰＡＴは、トランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは「０」で登録される。 PAT indicates what the PID of the PMT used in the transport stream is, and the PID of the PAT itself is registered with “0”.
　ＰＭＴは、トランスポートストリーム中に含まれる映像、音声、字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタには、ＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。 The PMT has the PID of each stream such as video, audio, and subtitles included in the transport stream and the attribute information of the stream corresponding to each PID, and has various descriptors related to the transport stream. The descriptor includes copy control information for instructing permission / non-permission of copying of the AV stream.
　ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ、ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるタイミングに対応するＳＴＣ時間の情報を持つ。 In order to synchronize the arrival time of the TS packet to the decoder and the STC (System Time Clock) which is the time axis of the PTS and DTS, the PCR is information on the STC time corresponding to the timing at which the PCR packet is transferred to the decoder. have.
　ＥＩＴには、各編成チャンネルに含まれる番組に関する詳細情報（番組名称、放送日時、放送内容など）が含まれている。 The EIT includes detailed information (program name, broadcast date and time, broadcast content, etc.) regarding the program included in each organized channel.
　（ＰＭＴ）
　図１３に、ＰＭＴ（８１１）のデータ構造を説明する。ＰＭＴ（８１１）の先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダ８１２が配置される。その後ろには、トランスポートストリームに関するディスクリプタ８１３、・・・、８１４が複数個、配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関するストリーム情報８１５、・・・、８１６が複数個、配置される。ストリーム情報８１５は、ストリームの圧縮コーデックなどを識別するためストリームタイプ８１７、ストリームのＰＩＤ（８１８）、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタ８１９、・・・、８２０から構成される。 (PMT)
FIG. 13 illustrates the data structure of the PMT (811). A PMT header 812 describing the length of data included in the PMT is arranged at the head of the PMT (811). After that, a plurality of descriptors 813,. The copy control information described above is described as a descriptor. A plurality of pieces of stream information 815,..., 816 relating to each stream included in the transport stream are arranged after the descriptor. The stream information 815 is a stream descriptor 819,..., 820 in which a stream type 817, a stream PID (818), and stream attribute information (frame rate, aspect ratio, etc.) are described to identify the compression codec of the stream. Consists of
　多重化部３０２は、図１３に示すように、各ストリームディスクリプタに、撮影フラグ８１９ａ及び差分情報８１９ｂを含めるとしてもよい。 The multiplexing unit 302 may include a shooting flag 819a and difference information 819b in each stream descriptor as shown in FIG.
　（ＥＩＴ）
　また、図１３に、ＥＩＴ（８３０）のデータ構造を説明する。 (EIT)
FIG. 13 illustrates the data structure of EIT (830).
　ＥＩＴ（８３０）には、チャンネルごとに時系列にその番組情報８３２、８３３、・・・が格納されている。対応するチャンネルは、サービスｉｄ（８３１）によってＳＤＴ内で定義される編成チャンネルと紐付けられる。 The EIT (830) stores the program information 832, 833,... In time series for each channel. The corresponding channel is linked to the organization channel defined in the SDT by the service id (831).
　ＥＩＴ（８３０）に含まれる各番組情報は、イベントｉｄによってユニークに識別される。各番組情報は、番組の開始時刻、放送時間、イベント名、撮影フラグ、差分情報を含む。 Each program information included in the EIT (830) is uniquely identified by an event id. Each program information includes a program start time, a broadcast time, an event name, a shooting flag, and difference information.
　一例として、番組情報＃１（８３２）は、イベントｉｄ（８４１）、番組の開始時刻（８４２）、放送時間（８４３）、イベント名（８４４）、撮影フラグ（８４５）及び差分情報（８４６）を含む。 As an example, the program information # 1 (832) includes an event id (841), a program start time (842), a broadcast time (843), an event name (844), a shooting flag (845), and difference information (846). Including.
　このように、多重化部３０２は、各番組情報に、撮影フラグ及び差分情報を含めるとしてもよい。 Thus, the multiplexing unit 302 may include the shooting flag and the difference information in each program information.
　２．４　映像再生装置５００
　映像再生装置５００は、放送波を受信し、ストリームをデコードして放送映像を再生し、放送映像を立体視映像として表示する。映像再生装置５００は、一例として、デジタル放送受信装置である。映像再生装置５００には、ユーザインターフェースとしてリモコンが付属している。映像再生装置５００の利用者は、リモコンを通じて、放送波のチャンネルを選択し、立体視映像を楽しむ。 2.4 Video playback device 500
The video reproduction device 500 receives a broadcast wave, decodes the stream, reproduces the broadcast video, and displays the broadcast video as a stereoscopic video. The video reproduction apparatus 500 is a digital broadcast receiving apparatus as an example. The video playback device 500 is attached with a remote control as a user interface. A user of the video reproduction device 500 selects a broadcast wave channel through a remote controller and enjoys a stereoscopic video.
　映像再生装置５００は、フレームシーケンシャル方式及びパッシブ表示方式の何れか一方により、立体視映像を表示する再生装置である。 The video playback device 500 is a playback device that displays stereoscopic video by either one of a frame sequential method and a passive display method.
　映像再生装置５００は、図１４に示すように、チューナ５０１、デコード部５０２、記憶部５０３、制御部５０４、補間映像生成部５０５及び表示部５０６から構成されている。チューナ５０１には、アンテナ５１１が接続されている。 As shown in FIG. 14, the video reproduction apparatus 500 includes a tuner 501, a decoding unit 502, a storage unit 503, a control unit 504, an interpolated video generation unit 505, and a display unit 506. An antenna 511 is connected to the tuner 501.
　（１）記憶部５０３
　記憶部５０３は、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報５２１を記憶している。 (1) Storage unit 503
The storage unit 503 stores reproduction method information 521 indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced.
　映像再生装置５００がフレームシーケンシャル方式により立体視映像を表示する場合には、再生方式情報５２１は、左眼用フレーム画像及び右眼用フレーム画像を交互に再生することを示す。一方、映像再生装置５００がパッシブ表示方式により立体視映像を表示する場合には、再生方式情報５２１は、左眼用フレーム画像及び右眼用フレーム画像を同時に再生することを示す。 When the video playback device 500 displays a stereoscopic video by the frame sequential method, the playback method information 521 indicates that the left-eye frame image and the right-eye frame image are alternately played back. On the other hand, when the video playback device 500 displays a stereoscopic video by the passive display method, the playback method information 521 indicates that the left-eye frame image and the right-eye frame image are played back simultaneously.
　（２）チューナ５０１及びデコード部５０２
　チューナ５０１は、アンテナ５１１を介して、受信した放送波から、利用者の所望するチャネルを選択する。次に、選択されたチャネルを介して、放送ストリームとして、立体視映像データを含む番組を受信する。 (2) Tuner 501 and decoding unit 502
The tuner 501 selects a channel desired by the user from the received broadcast wave via the antenna 511. Next, a program including stereoscopic video data is received as a broadcast stream via the selected channel.
　デコード部５０２は、チューナ５０１から放送ストリームを受け取り、受信した放送ストリームに含まれる立体視映像データから、左眼用映像データ、右眼用映像データ、撮影フラグ及び差分情報を分離する。 The decoding unit 502 receives the broadcast stream from the tuner 501, and separates the left-eye video data, the right-eye video data, the shooting flag, and the difference information from the stereoscopic video data included in the received broadcast stream.
　（３）制御部５０４
　制御部５０４は、デコード部５０２から撮影フラグ及び差分情報を受け取る。 (3) Control unit 504
The control unit 504 receives the shooting flag and difference information from the decoding unit 502.
　次に、制御部５０４は、記憶している再生方式情報が交互の再生を示すか否かを判断し、また、受け取った前記撮影フラグが同一時刻の撮影を示すか否かを判断する。 Next, the control unit 504 determines whether or not the stored playback method information indicates alternate playback, and determines whether or not the received shooting flag indicates shooting at the same time.
　（ａ）前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、制御部５０４は、左眼用映像データ及び右眼用映像データのいずれか一方を選択する。次に、制御部５０４は、選択した映像データの各フレーム画像を前記差分情報により示される差分だけずらした時点のフレーム画像を含む補間映像データを生成するように、補間映像生成部５０５に対して指示を行う。ここでは、一例として、制御部５０４は、右眼用映像データを選択し、選択した右眼用映像データの各フレーム画像を、差分情報により示される差分だけずらした時点のフレーム画像を含む補間映像データを生成するよう、指示する。 (A) When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag is different When imaging is indicated, the control unit 504 selects either left-eye video data or right-eye video data. Next, the control unit 504 instructs the interpolated video generation unit 505 to generate interpolated video data including the frame image at the time when each frame image of the selected video data is shifted by the difference indicated by the difference information. Give instructions. Here, as an example, the control unit 504 selects the right-eye video data, and the interpolated video including the frame image at the time when each frame image of the selected right-eye video data is shifted by the difference indicated by the difference information. Instruct to generate data.
　また、制御部５０４は、デコード部５０２に対して、選択されなかった映像データ（ここでは、一例として、左眼用映像データ）を表示部５０６に対して出力するよう指示する。また、制御部５０４は、補間映像生成部５０５に対して、補間映像データを、表示部５０６に対して出力するよう指示する。 Also, the control unit 504 instructs the decoding unit 502 to output unselected video data (here, as an example, left-eye video data) to the display unit 506. Further, the control unit 504 instructs the interpolated video generation unit 505 to output the interpolated video data to the display unit 506.
　（例示１）
　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、図１５に示すように、デコード部５０２は、右眼映像データ５４０及び左眼映像データ５３０を分離により生成するものとする。右眼映像データ５４０は、右眼フレーム画像５４１、５４２、５４３、５４４、５４５、・・・を含む。また、左眼映像データ５３０は、左眼フレーム画像５３１、５３２、５３３、５３４、５３５、・・・を含む。ここで、右眼フレーム画像５４１、５４２、５４３、５４４、５４５、・・・の撮影時刻は、それぞれ、ｔ（Ｌ１）、ｔ（Ｌ２）、ｔ（Ｌ３）、ｔ（Ｌ４）、ｔ（Ｌ５）、・・・である。また、左眼フレーム画像５３１、５３２、５３３、５３４、５３５、・・・の撮影時刻は、それぞれ、ｔ（Ｌ１）、ｔ（Ｌ２）、ｔ（Ｌ３）、ｔ（Ｌ４）、ｔ（Ｌ５）、・・・である。このように、右眼フレーム画像５４１及び左眼フレーム画像５３１の撮影時刻は、同一である。右眼フレーム画像５４２及び左眼フレーム画像５３２の撮影時刻も、同一である。その他のフレーム画像についても、同様である。 (Example 1)
When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, the decoding unit 502 separates the right eye video data 540 and the left eye video data 530 as shown in FIG. It shall be generated by. The right eye video data 540 includes right eye frame images 541, 542, 543, 544, 545,. The left-eye video data 530 includes left- eye frame images 531, 532, 533, 534, 535,. Here, the photographing times of the right eye frame images 541, 542, 543, 544, 545,... Are t (L1), t (L2), t (L3), t (L4), and t (L5), respectively. ), ... In addition, the shooting times of the left eye frame images 531, 532, 533, 534, 535,... Are t (L1), t (L2), t (L3), t (L4), and t (L5), respectively. .... As described above, the photographing times of the right eye frame image 541 and the left eye frame image 531 are the same. The shooting times of the right eye frame image 542 and the left eye frame image 532 are also the same. The same applies to other frame images.
　この場合、制御部５０４は、補間映像生成部５０５に対して、一例として、右眼映像データ５４０の右眼フレーム画像５４１、５４２、５４３、５４４、５４５、・・・を、差分情報により示される差分Δｔだけ、ずらした時点の補間フレーム画像５５１、５５２、５５３、５５４、５５５、・・・を含む補間映像データ５５０を生成するよう、指示する。 In this case, the control unit 504 indicates the right eye frame images 541, 542, 543, 544, 545,... Of the right eye video data 540 to the interpolated video generation unit 505 as an example by the difference information. It is instructed to generate interpolated video data 550 including interpolated frame images 551, 552, 553, 554, 555,.
　（例示２）
　前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、図１６に示すように、デコード部５０２は、右眼映像データ５７０及び左眼映像データ５６０を分離により生成するものとする。右眼映像データ５７０は、右眼フレーム画像５７１、５７２、５７３、５７４、５７５、・・・を含む。また、左眼映像データ５６０は、左眼フレーム画像５６１、５６２、５６３、５６４、５６５、・・・を含む。ここで、右眼フレーム画像５７１、５７２、５７３、５７４、５７５、・・・の撮影時刻は、それぞれ、ｔ（Ｒ１）、ｔ（Ｒ２）、ｔ（Ｒ３）、ｔ（Ｒ４）、ｔ（Ｒ５）、・・・である。また、左眼フレーム画像５６１、５６２、５６３、５６４、５６５、・・・の撮影時刻は、それぞれ、ｔ（Ｌ１）、ｔ（Ｌ２）、ｔ（Ｌ３）、ｔ（Ｌ４）、ｔ（Ｌ５）、・・・である。このように、右眼フレーム画像５７１及び左眼フレーム画像５６１の撮影時刻は、Δｔだけ異なっている。右眼フレーム画像５７２及び左眼フレーム画像５６２の撮影時刻も、Δｔだけ異なっている。その他のフレーム画像についても、同様である。 (Example 2)
When the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times, the decoding unit 502 separates the right eye video data 570 and the left eye video data 560 as shown in FIG. It shall be generated by. The right eye video data 570 includes right eye frame images 571, 572, 573, 574, 575,. The left-eye video data 560 includes left- eye frame images 561, 562, 563, 564, 565,. Here, the photographing times of the right eye frame images 571, 572, 573, 574, 575,... Are t (R1), t (R2), t (R3), t (R4), and t (R5), respectively. ), ... Also, the photographing times of the left eye frame images 561, 562, 563, 564, 565,... Are t (L1), t (L2), t (L3), t (L4), and t (L5), respectively. .... Thus, the shooting times of the right eye frame image 571 and the left eye frame image 561 differ by Δt. The shooting times of the right eye frame image 572 and the left eye frame image 562 are also different by Δt. The same applies to other frame images.
　この場合、制御部５０４は、補間映像生成部５０５に対して、一例として、左眼映像データ５６０の左眼フレーム画像５６１、５６２、５６３、５６４、５６５、・・・を、差分情報により示される差分Δｔだけ、ずらした時点のフレーム画像５８１、５８２、５８３、５８４、５８５、・・・を含む補間映像データ５８０を生成するよう、指示する。 In this case, for example, the control unit 504 indicates the left eye frame images 561, 562, 563, 564, 565,... Of the left eye video data 560 to the interpolated video generation unit 505 by the difference information. It is instructed to generate interpolated video data 580 including frame images 581, 582, 583, 584, 585,.
　（ｂ）前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、制御部５０４は、デコード部５０２に対して、右眼用映像データ及び左眼用映像データを表示部５０６に対して出力するよう指示する。この場合、制御部５０４は、補間映像生成部５０５に対して、動作を停止するように指示する。 (B) When the playback method information indicates alternate playback and the shooting flag indicates shooting at different times, and when the playback mode information indicates simultaneous playback, and the shooting flag indicates the same time When imaging is indicated, the control unit 504 instructs the decoding unit 502 to output the right-eye video data and the left-eye video data to the display unit 506. In this case, the control unit 504 instructs the interpolation video generation unit 505 to stop the operation.
　（４）補間映像生成部５０５
　補間映像生成部５０５は、制御部５０４から、右眼用映像データ及び左眼用映像データのいずれか一方の指定を受け取る。また、制御部５０４から差分情報を受け取る。 (4) Interpolated video generation unit 505
The interpolated video generation unit 505 receives designation of either the right-eye video data or the left-eye video data from the control unit 504. Also, difference information is received from the control unit 504.
　次に、補間映像生成部５０５は、制御部５０４からの指示により、指定された映像データをデコード部５０２から受け取る。次に、受け取った映像データに含まれる各フレーム画像を、受け取った差分情報により示される差分だけ、ずらして、ずれた時点における各補間フレーム画像を含む補間映像データを生成する。 Next, the interpolated video generation unit 505 receives the designated video data from the decoding unit 502 in accordance with an instruction from the control unit 504. Next, each frame image included in the received video data is shifted by a difference indicated by the received difference information, and interpolated video data including each interpolated frame image at the time of the shift is generated.
　具体的には、補間映像生成部５０５は、右眼映像データの指定を受け取った場合に、一例として、図１５に示すように、右眼映像データ５４０に含まれる右眼フレーム画像５４１及び右眼フレーム画像５４２から、補間フレーム画像５５１を生成する。例えば、右眼フレーム画像５４２が、右眼フレーム画像５４１を参照している場合に、右眼フレーム画像５４２に含まれる動きベクトルを、前記差分のフレーム画像間の時間間隔に対する比率だけ、縮小し、右眼フレーム画像５４１と縮小された動きベクトルを用いて、補間フレーム画像５５１を生成する。 Specifically, when the interpolation video generation unit 505 receives the designation of the right eye video data, as illustrated in FIG. 15, as an example, the right eye frame image 541 and the right eye frame image 541 included in the right eye video data 540 are received. An interpolated frame image 551 is generated from the frame image 542. For example, when the right eye frame image 542 refers to the right eye frame image 541, the motion vector included in the right eye frame image 542 is reduced by the ratio of the difference to the time interval between the frame images, An interpolation frame image 551 is generated using the right eye frame image 541 and the reduced motion vector.
　次に、補間映像生成部５０５は、生成した補間映像データを表示部５０６に対して出力する。 Next, the interpolated video generation unit 505 outputs the generated interpolated video data to the display unit 506.
　（５）表示部５０６
　表示部５０６は、デコード部５０２から、右眼用映像データ及び左眼用映像データを受け取る。又は、表示部５０６は、デコード部５０２から、選択されなかった映像データ（一例として、左眼用映像データ）を受け取り、補間映像生成部５０５から、選択された映像データ（一例とて、右眼用映像データ）を基にして生成された補間映像データを受け取る。 (5) Display unit 506
The display unit 506 receives the right-eye video data and the left-eye video data from the decoding unit 502. Alternatively, the display unit 506 receives unselected video data (for example, left-eye video data) from the decoding unit 502, and selects the selected video data (for example, the right eye from the interpolated video generation unit 505). Interpolated video data generated based on the video data) is received.
　映像再生装置５００がフレームシーケンシャル方式により、立体視映像を表示する再生装置である場合、表示部５０６は、受け取った右眼用映像データの各フレーム画像及び左眼用映像データの各フレーム画像を交互に表示する。又は、表示部５０６は、受け取った左眼用映像データの各フレーム画像及び補間映像データの各フレーム画像を交互に表示する。 When the video playback device 500 is a playback device that displays a stereoscopic video by a frame sequential method, the display unit 506 alternates each frame image of the received right-eye video data and each frame image of the left-eye video data. To display. Alternatively, the display unit 506 alternately displays each frame image of the received left-eye video data and each frame image of the interpolated video data.
　一方、映像再生装置５００がパッシブ表示方式により、立体視映像を表示する再生装置である場合、表示部５０６は、受け取った右眼用映像データの各フレーム画像及び左眼用映像データの各フレーム画像を同時に表示する。又は、表示部５０６は、受け取った左眼用映像データの各フレーム画像及び補間映像データの各フレーム画像を同時に表示する。 On the other hand, when the video playback device 500 is a playback device that displays stereoscopic video using the passive display method, the display unit 506 displays each frame image of the received right-eye video data and each frame image of the left-eye video data. Are displayed at the same time. Alternatively, the display unit 506 simultaneously displays each frame image of the received left-eye video data and each frame image of the interpolated video data.
　２．５　立体視映像生成再生システム１０における動作
　ここでは、立体視映像生成再生システム１０における動作について説明する。 2.5 Operation in Stereoscopic Image Generating / Reproducing System 10 Here, the operation in the stereoscopic image generating / reproducing system 10 will be described.
　（１）一撮像素子３Ｄカメラ１００の動作
　一撮像素子３Ｄカメラ１００の動作について、図１７に示すシーケンス図を用いて説明する。 (1) Operation of One Image Sensor 3D Camera 100 The operation of the one image sensor 3D camera 100 will be described with reference to the sequence diagram shown in FIG.
　制御部１０７は、記憶部１０８から撮影フラグ１２１及び差分情報１２２を読み出す（ステップＳ１０１）。次に、制御部１０７は、読み出した撮影フラグ１２１及び差分情報１２２をメモリカード６０１に書き込む（ステップＳ１０２）。 The control unit 107 reads the shooting flag 121 and the difference information 122 from the storage unit 108 (step S101). Next, the control unit 107 writes the read shooting flag 121 and difference information 122 in the memory card 601 (step S102).
　次に、制御部１０７は、左右フラグを「０」に設定する。左右フラグは、右眼光学系１０１及び左眼光学系１０２の何れか一方を動作させるためのフラグである。左右フラグが「０」である場合に、右眼光学系１０１を動作させる。左右フラグが「１」である場合に、左眼光学系１０２を動作させる（ステップＳ１０３）。 Next, the control unit 107 sets the left / right flag to “0”. The left / right flag is a flag for operating one of the right eye optical system 101 and the left eye optical system 102. When the left / right flag is “0”, the right eye optical system 101 is operated. When the left / right flag is “1”, the left-eye optical system 102 is operated (step S103).
　次に、制御部１０７は、左右フラグを右眼光学系１０１、左眼光学系１０２及び信号処理部１０６に対して出力する（ステップＳ１０４、Ｓ１０５、Ｓ１０６）。右眼光学系１０１、左眼光学系１０２及び信号処理部１０６は、それぞれ、制御部１０７から左右フラグを受け取る（ステップＳ１０４、Ｓ１０５、Ｓ１０６）。 Next, the control unit 107 outputs the left and right flags to the right eye optical system 101, the left eye optical system 102, and the signal processing unit 106 (steps S104, S105, S106). The right eye optical system 101, the left eye optical system 102, and the signal processing unit 106 each receive a left / right flag from the control unit 107 (steps S104, S105, and S106).
　右眼光学系１０１は、受け取った左右フラグが「０」であるか又は「１」であるかを判断する（ステップＳ１０７）。左右フラグが「０」であると判断する場合（ステップＳ１０７で「＝０」）、液晶シャッター１０１ｃを透過の状態にする（ステップＳ１０９）。一方、左右フラグが「１」であると判断する場合（ステップＳ１０７で「＝１」）、液晶シャッター１０１ｃを遮蔽の状態にする（ステップＳ１０８）。 The right eye optical system 101 determines whether the received left / right flag is “0” or “1” (step S107). When it is determined that the left / right flag is “0” (“= 0” in step S107), the liquid crystal shutter 101c is set to a transmissive state (step S109). On the other hand, when it is determined that the left / right flag is “1” (“= 1” in step S107), the liquid crystal shutter 101c is put into a shielding state (step S108).
　液晶シャッター１０１ｃを透過した光は、フォーカス光学系１０３及びズーム光学系１０４を介して、撮像部１０５に到達する（ステップＳ１１３）。 The light transmitted through the liquid crystal shutter 101c reaches the imaging unit 105 via the focus optical system 103 and the zoom optical system 104 (step S113).
　左眼光学系１０２は、受け取った左右フラグが「０」であるか又は「１」であるかを判断する（ステップＳ１１０）。左右フラグが「１」であると判断する場合（ステップＳ１１０で「＝１」）、液晶シャッター１０２ｃを透過の状態にする（ステップＳ１１１）。一方、左右フラグが「０」であると判断する場合（ステップＳ１１０で「＝０」）、液晶シャッター１０２ｃを遮蔽の状態にする（ステップＳ１１２）。 The left eye optical system 102 determines whether the received left / right flag is “0” or “1” (step S110). When it is determined that the left / right flag is “1” (“= 1” in step S110), the liquid crystal shutter 102c is set in a transmissive state (step S111). On the other hand, when it is determined that the left / right flag is “0” (“= 0” in step S110), the liquid crystal shutter 102c is put into a shielding state (step S112).
　液晶シャッター１０２ｃを透過した光は、フォーカス光学系１０３及びズーム光学系１０４を介して、撮像部１０５に到達する（ステップＳ１１４）。 The light transmitted through the liquid crystal shutter 102c reaches the imaging unit 105 via the focus optical system 103 and the zoom optical system 104 (step S114).
　撮像部１０５は、フレーム画像を形成し（ステップＳ１１５）、形成したフレーム画像を信号処理部１０６に対して出力する（ステップＳ１１６）。信号処理部１０６は、撮像部１０５からフレーム画像を受け取る（ステップＳ１１６）。 The imaging unit 105 forms a frame image (step S115), and outputs the formed frame image to the signal processing unit 106 (step S116). The signal processing unit 106 receives a frame image from the imaging unit 105 (step S116).
　信号処理部１０６は、受け取ったフレーム画像を圧縮する（ステップＳ１１７）。 The signal processing unit 106 compresses the received frame image (step S117).
　信号処理部１０６は、受け取った左右フラグが「０」であるか又は「１」であるかを判断する（ステップＳ１１８）。左右フラグが「１」であると判断する場合（ステップＳ１１８で「＝１」）、圧縮されたフレーム画像を左眼フレーム画像としてメモリカード６０１に保存する（ステップＳ１１９）。一方、左右フラグが「０」であると判断する場合（ステップＳ１１８で「＝０」）、圧縮されたフレーム画像を右眼フレーム画像としてメモリカード６０１に保存する（ステップＳ１２０）。 The signal processing unit 106 determines whether the received left / right flag is “0” or “1” (step S118). If it is determined that the left / right flag is “1” (“= 1” in step S118), the compressed frame image is stored in the memory card 601 as a left eye frame image (step S119). On the other hand, if it is determined that the left / right flag is “0” (“= 0” in step S118), the compressed frame image is stored in the memory card 601 as a right eye frame image (step S120).
　次に、信号処理部１０６は、保存が完了したことを示す完了通知を制御部１０７に対して出力する（ステップＳ１２１）。制御部１０７は、信号処理部１０６から完了通知を受け取る（ステップＳ１２１）。 Next, the signal processing unit 106 outputs a completion notification indicating that the storage is completed to the control unit 107 (step S121). The control unit 107 receives a completion notification from the signal processing unit 106 (step S121).
　完了通知を受け取ると、制御部１０７は、左右フラグを反転し（ステップＳ１２２）、次に、ステップＳ１０４に戻って処理を繰り返す。 Upon receipt of the completion notification, the control unit 107 inverts the left and right flags (step S122), and then returns to step S104 to repeat the processing.
　（２）二撮像素子３Ｄカメラ２００の動作
　二撮像素子３Ｄカメラ２００の動作について、図１８に示すシーケンス図を用いて説明する。 (2) Operation of Two Image Sensor 3D Camera 200 The operation of the two image sensor 3D camera 200 will be described with reference to the sequence diagram shown in FIG.
　制御部２１６は、記憶部２１７から撮影フラグ２２１及び差分情報２２２を読み出す（ステップＳ１４１）。次に、制御部２１６は、読み出した撮影フラグ２２１及び差分情報２２２をメモリカード６０２に書き込む（ステップＳ１４２）。 The control unit 216 reads the shooting flag 221 and the difference information 222 from the storage unit 217 (step S141). Next, the control unit 216 writes the read shooting flag 221 and difference information 222 to the memory card 602 (step S142).
　次に、制御部２１６は、同期信号を生成する（ステップＳ１４３）。 Next, the control unit 216 generates a synchronization signal (step S143).
　次に、制御部２１６は、生成した同期信号を右眼光学系２０１及び左眼光学系２１１に対して出力する（ステップＳ１４４、Ｓ１４５）。右眼光学系２０１及び左眼光学系２１１は、それぞれ、制御部２１６から同期信号を受け取る（ステップＳ１４４、Ｓ１４５）。 Next, the control unit 216 outputs the generated synchronization signal to the right eye optical system 201 and the left eye optical system 211 (steps S144 and S145). The right eye optical system 201 and the left eye optical system 211 each receive a synchronization signal from the control unit 216 (steps S144 and S145).
　右眼光学系２０１は、同期信号を受け取ると（ステップＳ１４４）、液晶シャッター２０１ｃを透過の状態にする（ステップＳ１４６）。液晶シャッター２０１ｃを透過した光は、フォーカス光学系２０２及びズーム光学系２０３を介して、撮像部２０４に到達する（ステップＳ１４７）。 When the right-eye optical system 201 receives the synchronization signal (step S144), the right-eye optical system 201 sets the liquid crystal shutter 201c in a transmissive state (step S146). The light transmitted through the liquid crystal shutter 201c reaches the imaging unit 204 through the focus optical system 202 and the zoom optical system 203 (step S147).
　撮像部２０４は、フレーム画像を形成し（ステップＳ１４８）、形成したフレーム画像を信号処理部２０５に対して出力する（ステップＳ１４９）。信号処理部２０５は、撮像部２０４からフレーム画像を受け取る（ステップＳ１４９）。 The imaging unit 204 forms a frame image (step S148), and outputs the formed frame image to the signal processing unit 205 (step S149). The signal processing unit 205 receives a frame image from the imaging unit 204 (step S149).
　信号処理部２０５は、受け取ったフレーム画像を圧縮する（ステップＳ１５０）。 The signal processing unit 205 compresses the received frame image (step S150).
　信号処理部２０５は、圧縮されたフレーム画像を右眼フレーム画像としてメモリカード６０２に保存する（ステップＳ１５１）。 The signal processing unit 205 stores the compressed frame image in the memory card 602 as a right eye frame image (step S151).
　左眼光学系２１１は、同期信号を受け取ると（ステップＳ１４５）、液晶シャッター２１１ｃを透過の状態にする（ステップＳ１５６）。液晶シャッター２１１ｃを透過した光は、フォーカス光学系２１２及びズーム光学系２１３を介して、撮像部２１４に到達する（ステップＳ１５７）。 When the left-eye optical system 211 receives the synchronization signal (step S145), the left-eye optical system 211 sets the liquid crystal shutter 211c to the transmission state (step S156). The light transmitted through the liquid crystal shutter 211c reaches the imaging unit 214 via the focus optical system 212 and the zoom optical system 213 (step S157).
　撮像部２１４は、フレーム画像を形成し（ステップＳ１５８）、形成したフレーム画像を信号処理部２１５に対して出力する（ステップＳ１５９）。信号処理部２１５は、撮像部２１４からフレーム画像を受け取る（ステップＳ１５９）。 The imaging unit 214 forms a frame image (step S158), and outputs the formed frame image to the signal processing unit 215 (step S159). The signal processing unit 215 receives a frame image from the imaging unit 214 (step S159).
　信号処理部２１５は、受け取ったフレーム画像を圧縮する（ステップＳ１６０）。 The signal processing unit 215 compresses the received frame image (step S160).
　信号処理部２１５は、圧縮されたフレーム画像を左眼フレーム画像としてメモリカード６０２に保存する（ステップＳ１６１）。 The signal processing unit 215 stores the compressed frame image as a left eye frame image in the memory card 602 (step S161).
　（３）映像データ生成装置３００の動作
　映像データ生成装置３００の動作について、図１９に示すシーケンス図を用いて説明する。 (3) Operation of Video Data Generation Device 300 The operation of the video data generation device 300 will be described with reference to the sequence diagram shown in FIG.
　入出力部３０１は、メモリカード６０１（又は、６０２）から、撮影フラグ及び差分情報を読み出す（ステップＳ１８１）
　次に、入出力部３０１は、メモリカード６０１（又は、６０２）から、右眼用映像データを読み出し（ステップＳ１８２）、左眼用映像データを読み出す（ステップＳ１８３）。 The input / output unit 301 reads the shooting flag and the difference information from the memory card 601 (or 602) (step S181).
Next, the input / output unit 301 reads the right-eye video data from the memory card 601 (or 602) (step S182), and reads the left-eye video data (step S183).
　次に、多重化部３０２は、撮影フラグ、差分情報、右眼用映像データ及び左眼用映像データを多重化して、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームとして、立体視映像データを生成する（ステップＳ１８４）。 Next, the multiplexing unit 302 multiplexes the shooting flag, difference information, right-eye video data, and left-eye video data to generate stereoscopic video data as a digital stream in the MPEG-2 transport stream format. (Step S184).
　次に、出力部３０３は、立体視映像データを出力する（ステップＳ１８５）。 Next, the output unit 303 outputs stereoscopic video data (step S185).
　（４）映像再生装置５００の動作
　映像再生装置５００の動作について、図２０に示すシーケンス図を用いて説明する。 (4) Operation of Video Playback Device 500 The operation of the video playback device 500 will be described with reference to the sequence diagram shown in FIG.
　制御部５０４は、記憶部５０３から、再生方式情報５２１を読み出す（ステップＳ２０１）。次に、アンテナ５１１は、放送波を受信し（ステップＳ２０２）、チューナ５０１は、放送波から番組を選択する（ステップＳ２０３）。デコード部５０２は、立体視映像データを抽出し（ステップＳ２０４）、抽出した立体視映像データから、左眼用映像データ、右眼用映像データ、撮影フラグ及び差分情報を分離する（ステップＳ２０５）。 The control unit 504 reads the reproduction method information 521 from the storage unit 503 (step S201). Next, the antenna 511 receives a broadcast wave (step S202), and the tuner 501 selects a program from the broadcast wave (step S203). The decoding unit 502 extracts stereoscopic video data (step S204), and separates left-eye video data, right-eye video data, shooting flags, and difference information from the extracted stereoscopic video data (step S205).
　次に、制御部５０４は、読み出した再生方式情報５２１が交互の再生を示すか否かを判断する。つまり、再生方式情報５２１がフレームシーケンシャル方式を示すか、又はパッシブ表示方式を示すかを判断する（ステップＳ２０６）。また、制御部５０４は、撮影フラグが同一時刻の撮影を示すか否かを判断する（ステップＳ２０７、Ｓ２０９）。 Next, the control unit 504 determines whether or not the read reproduction method information 521 indicates alternate reproduction. That is, it is determined whether the reproduction method information 521 indicates a frame sequential method or a passive display method (step S206). Further, the control unit 504 determines whether or not the shooting flag indicates shooting at the same time (steps S207 and S209).
　再生方式情報がフレームシーケンシャル方式を示し（ステップＳ２０６で「フレームシーケンシャル」）、撮影フラグが同一時刻の撮影を示す場合（ステップＳ２０７で「同時」）、補間映像生成部５０５は、補間映像データを生成する（ステップＳ２０８）。 When the reproduction method information indicates a frame sequential method (“frame sequential” in step S206) and the shooting flag indicates shooting at the same time (“simultaneous” in step S207), the interpolated video generation unit 505 generates interpolated video data. (Step S208).
　再生方式情報５２１がフレームシーケンシャル方式を示し（ステップＳ２０６で「フレームシーケンシャル」）、撮影フラグが異なる時刻の撮影を示す場合（ステップＳ２０７で「異なる時」）、制御部５０４は、補間映像生成部５０５に補間映像データを生成させない。 When the reproduction method information 521 indicates the frame sequential method (“frame sequential” in step S206) and the shooting flag indicates shooting at a different time (“different” in step S207), the control unit 504 includes the interpolated video generation unit 505. Does not generate interpolated video data.
　再生方式情報５２１がパッシブ表示方式を示し（ステップＳ２０６で「パッシブ」）、撮影フラグが同一時刻の撮影を示す場合（ステップＳ２０９で「同時」）、制御部５０４は、補間映像生成部５０５に補間映像データを生成させない。 When the reproduction method information 521 indicates a passive display method (“passive” in step S206) and the shooting flag indicates shooting at the same time (“simultaneous” in step S209), the control unit 504 interpolates to the interpolated video generation unit 505. Do not generate video data.
　再生方式情報５２１がパッシブ表示方式を示し（ステップＳ２０６で「パッシブ」）、撮影フラグが異なる時刻の撮影を示す場合（ステップＳ２０９で「異なる時」）、補間映像生成部５０５は、補間映像データを生成する（ステップＳ２１０）。 When the reproduction method information 521 indicates the passive display method (“passive” in step S206) and the shooting flag indicates shooting at a different time (“different” in step S209), the interpolated video generation unit 505 displays the interpolated video data. Generate (step S210).
　次に、再生方式情報５２１がフレームシーケンシャル方式を示し、撮影フラグが異なる時刻の撮影を示す場合、表示部５０６は、受け取った右眼用映像データの各フレーム画像及び左眼用映像データの各フレーム画像を交互に表示する。再生方式情報５２１がフレームシーケンシャル方式を示し、撮影フラグが同一時刻の撮影を示す場合、表示部５０６は、受け取った選択されなかった映像データの各フレーム画像及び選択された映像データを基にして生成された補間映像データの各フレーム画像を交互に表示する。一方、再生方式情報５２１がパッシブ表示方式を示し、撮影フラグが同一時刻の撮影を示す場合、表示部５０６は、受け取った右眼用映像データの各フレーム画像及び左眼用映像データの各フレーム画像を同時に表示する。再生方式情報５２１がパッシブ表示方式を示し、撮影フラグが異なる時刻の撮影を示す場合、表示部５０６は、受け取った選択されなかった映像データの各フレーム画像及び選択された映像データを基にして生成された補間映像データの各フレーム画像を同時に表示する（ステップＳ２１１）。 Next, when the reproduction method information 521 indicates the frame sequential method and the shooting flag indicates shooting at different times, the display unit 506 displays each frame image of the received right-eye video data and each frame of the left-eye video data. Display images alternately. When the reproduction method information 521 indicates the frame sequential method and the shooting flag indicates shooting at the same time, the display unit 506 generates the frame data of the received unselected video data based on the selected video data. Each frame image of the interpolated video data is displayed alternately. On the other hand, when the reproduction method information 521 indicates the passive display method and the shooting flag indicates shooting at the same time, the display unit 506 displays each frame image of the received right-eye video data and each frame image of the left-eye video data. Are displayed at the same time. When the reproduction method information 521 indicates a passive display method and the shooting flag indicates shooting at a different time, the display unit 506 generates based on each received frame image of the unselected video data and the selected video data. The frame images of the interpolated video data thus displayed are simultaneously displayed (step S211).
　２．６　まとめ
　（１）映像データ生成装置３００は、撮影フラグ及び差分情報を、トランスポートストリーム内に挿入する。 2.6 Summary (1) The video data generation device 300 inserts a shooting flag and difference information into a transport stream.
　撮影フラグは、立体視映像データの撮影による生成時に、対応する左右のフレーム画像が同時刻に撮影されたか否かを示すフラグである。 The shooting flag is a flag indicating whether or not the corresponding left and right frame images were shot at the same time when the stereoscopic video data was generated by shooting.
　差分情報は、対応する左右のフレーム画像の撮影時刻の差分（Δｔ）を示す。差分は、ＭＰＥＧ２　ＳｙｓｔｅｍのＤＴＳ／ＰＴＳの記載に合わせて、９０ＫＨｚ系の値である。 The difference information indicates the difference (Δt) between the shooting times of the corresponding left and right frame images. The difference is a value of a 90 KHz system in accordance with the description of MPEG2 System DTS / PTS.
　差分情報は、対応する左右のフレーム画像の撮影時刻の差分の、撮影時間間隔（１／フレームレート）に対する比率を示す値であるとしてもよい。例えば、左右の映像のフレームレートがそれぞれ６０Ｈｚである場合、Δｔが１／１２０であれば、差分情報は、２分の１である。 The difference information may be a value indicating the ratio of the difference between the shooting times of the corresponding left and right frame images to the shooting time interval (1 / frame rate). For example, when the frame rates of the left and right videos are 60 Hz, if Δt is 1/120, the difference information is ½.
　（２）撮影フラグ及び差分情報を挿入する位置
　映像データ生成装置３００は、次に示す位置に、撮影フラグ及び差分情報を挿入する。 (2) Position to Insert Shooting Flag and Difference Information The video data generation device 300 inserts a shooting flag and difference information at the following positions.
　（ａ）ビデオ映像に挿入する場合
　ＭＰＥＧ２の場合、映像データ生成装置３００は、撮影フラグ及び差分情報を、Ｕｓｅｒ　ｄａｔａに挿入してもよい。 (A) When Inserted into Video Video In the case of MPEG2, the video data generating apparatus 300 may insert a shooting flag and difference information into User data.
　また、ＭＰＥＧ－４　ＡＶＣの場合、映像データ生成装置３００は、撮影フラグ及び差分情報を、Ｕｓｅｒ　Ｄａｔａ　ｕｎｒｅｇｉｓｔｅｒｅｄなどに挿入してもよい。 Further, in the case of MPEG-4 AVC, the video data generation apparatus 300 may insert the shooting flag and difference information into User Data unregistered.
　他のＣｏｄｅｃの場合に、デコーダの動作に悪影響を与えない位置であれば、その位置に挿入してもよい。 In the case of another Codec, if it is a position that does not adversely affect the operation of the decoder, it may be inserted at that position.
　（ｂ）ビデオ映像に挿入する際の挿入先の単位
　・各ピクチャに挿入してもよい。 (B) Insertion unit for insertion into a video image-It may be inserted into each picture.
　・左右の両方のビデオ映像データに挿入してもよい。 ・ It may be inserted into both the left and right video image data.
　・左右のどちらか一方のビデオ映像データに挿入してもよい。この場合に、２Ｄ（２次元）再生では使われない（デコードされない）方のビデオ映像データに入れることが好ましい。 ・ It may be inserted into either video video data on either side. In this case, it is preferable to put in video video data that is not used (not decoded) in 2D (two-dimensional) reproduction.
　・ＧＯＰ毎に挿入してもよい。 ・ It may be inserted for each GOP.
　・左右の両方のビデオ映像データの各ＧＯＰの先頭のアクセスユニットに挿入してもよい。また、左右の両方のビデオ映像データの各ＧＯＰの全てのアクセスユニットに挿入してもよい。 ・ It may be inserted into the top access unit of each GOP of both left and right video image data. Alternatively, it may be inserted into all access units of each GOP of both left and right video image data.
　・左右のどちらか一方のビデオ映像データの各ＧＯＰの先頭のアクセスユニットに挿入してもよい。また、左右のどちらか一方のビデオ映像データの各ＧＯＰの全てのアクセスユニットに挿入してもよい。この場合、２Ｄ再生では使われない方の映像データに入れることが好ましい。 • It may be inserted into the head access unit of each GOP of either the left or right video image data. Alternatively, it may be inserted into all access units of each GOP of either the left or right video image data. In this case, it is preferable that the video data is not used in 2D playback.
　（ｃ）Ｔｒａｎｓｐｏｒｔ　ＰａｃｋｅｔのＰＳＩ／ＳＩに挿入してもよい。 (C) You may insert in PSI / SI of Transport Packet.
　・ＥＩＴに挿入してもよい。 ・ It may be inserted into the EIT.
　ＥＩＴに挿入することにより、各番組単位で左右のビデオ映像の撮影時刻が同じか否かが分かるメリットがある。 Inserting it into the EIT has the advantage of knowing whether the shooting times of the left and right video images are the same for each program.
　・ＰＭＴに挿入してもよい。 ・ It may be inserted into the PMT.
　（３）映像再生装置５００の挙動
　（ａ）映像再生装置５００がフレームシーケンシャル方式のＴＶの場合
　・対応する左右のフレーム画像の撮影時刻が異なる場合、映像再生装置５００は、左右のビデオ映像を、そのまま（言い換えると、加工することなく）、交互に表示する。 (3) Behavior of the video playback device 500 (a) When the video playback device 500 is a frame sequential TV • When the corresponding left and right frame images have different shooting times, the video playback device 500 They are displayed alternately as they are (in other words, without processing).
　・対応する左右のフレーム画像が同期している場合、つまり、撮影時刻が同一の場合、映像再生装置５００は、いずれか一方のビデオ映像データを選択し、選択したビデオ映像データから、Δｔだけずれた補間映像データを生成する。次に、選択しなかったビデオ映像と、補間映像とを、交互に、表示する。 When the corresponding left and right frame images are synchronized, that is, when the shooting times are the same, the video playback device 500 selects one of the video video data and deviates from the selected video video data by Δt. Interpolated video data is generated. Next, the video image not selected and the interpolated image are alternately displayed.
　（ｂ）映像再生装置５００がパッシブ方式のＴＶの場合
　・対応する左右のフレーム画像の撮影時刻が異なる場合、映像再生装置５００は、いずれか一方のビデオ映像データを選択し、選択したビデオ映像データから、Δｔだけずれた補間映像データを生成する。次に、選択しなかったビデオ映像と、補間映像とを、同時に、表示する。 (B) In the case where the video playback device 500 is a passive TV • When the corresponding left and right frame images have different shooting times, the video playback device 500 selects one of the video video data and selects the selected video video data Thus, interpolated video data shifted by Δt is generated. Next, the video image not selected and the interpolated image are simultaneously displayed.
　・対応する左右のフレーム画像が同期している場合、つまり、撮影時刻が同一の場合、映像再生装置５００は、左右のビデオ映像を、そのまま（言い換えると、加工することなく）、同時に表示する。 When the corresponding left and right frame images are synchronized, that is, when the shooting times are the same, the video playback device 500 displays the left and right video images as they are (in other words, without processing) at the same time.
　以上、説明したように、立体視映像生成再生システム１０によると、映像データ生成装置３００は、左眼用フレーム画像と対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを含めて、多重化した立体視映像データを出力する。このため、映像再生装置５００は、当該撮影フラグを用いて、左眼用フレーム画像と対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを判別できる。この結果、視聴者に違和感を覚えさせることなく、立体視映像を表示することができるという優れた効果を奏する。 As described above, according to the stereoscopic video generation / playback system 10, the video data generation device 300 captures whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time. The multiplexed stereoscopic video data including the flag is output. For this reason, the video reproduction apparatus 500 can determine whether or not the left-eye frame image and the corresponding right-eye frame image were captured at the same time using the shooting flag. As a result, it is possible to display a stereoscopic image without making the viewer feel uncomfortable.
　３．その他の変形例
　なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。 3. Other Modifications Although the present invention has been described based on the above-described embodiment, it is needless to say that the present invention is not limited to the above-described embodiment. The following cases are also included in the present invention.
　（１）実施の形態２の立体視映像生成再生システム１０は、図２に示すように、一撮像素子３Ｄカメラ１００、二撮像素子３Ｄカメラ２００、映像データ生成装置３００、放送装置４００及び映像再生装置５００から構成されている。 (1) As shown in FIG. 2, the stereoscopic image generation / reproduction system 10 of the second embodiment includes a single image sensor 3D camera 100, a two image sensor 3D camera 200, a video data generator 300, a broadcast device 400, and a video player. The apparatus 500 is configured.
　しかし、本発明は、これには限定されない。 However, the present invention is not limited to this.
　図２１に示すように、一撮像素子３Ｄカメラ１００、二撮像素子３Ｄカメラ２００、映像データ生成装置３００、媒体製造装置４００ｂ及び映像再生装置５００ｂから構成されているとしてもよい。 As shown in FIG. 21, it may be composed of one image pickup device 3D camera 100, two image pickup devices 3D camera 200, video data generation device 300, medium manufacturing device 400b, and video reproduction device 500b.
　一撮像素子３Ｄカメラ１００、二撮像素子３Ｄカメラ２００及び映像データ生成装置３００は、それぞれ、実施の形態２の一撮像素子３Ｄカメラ１００、二撮像素子３Ｄカメラ２００及び映像データ生成装置３００と同一である。 The one image sensor 3D camera 100, the two image sensor 3D camera 200, and the video data generation device 300 are the same as the one image sensor 3D camera 100, the two image sensor 3D camera 200, and the video data generation device 300, respectively, according to the second embodiment. is there.
　媒体製造装置４００ｂは、映像データ生成装置３００から立体視映像データを受け取る。次に、受け取った立体視映像データを可搬型の記録媒体に書き込む。可搬型の記録媒体の例は、ＤＶＤ、ＢＤ、メモリカードなどである。 The medium manufacturing apparatus 400b receives stereoscopic video data from the video data generation apparatus 300. Next, the received stereoscopic video data is written in a portable recording medium. Examples of portable recording media are DVDs, BDs, memory cards, and the like.
　映像再生装置５００ｂは、可搬型の記録媒体から立体視映像データを読み出し、読み出した立体視映像データを基にして、立体視映像を表示する。 The video playback device 500b reads stereoscopic video data from a portable recording medium, and displays the stereoscopic video based on the read stereoscopic video data.
　（２）デジタル放送受信装置（Ｓｅｔ　Ｔｏｐ　Ｂｏｘなどと呼ぶ場合もある）からモニタ装置への接続時にＨＤＭＩ（High-Definition Multimedia Interface）を用いている場合には、このＨＤＭＩの信号に、上記の撮影フラグ及び差分情報を付加してもよい。デジタル放送受信装置により受信した３Ｄ放送番組から、ビデオ／ＴＳ内に挿入されている撮影フラグ及び差分情報を取得して、ＨＤＭＩの信号に付加してモニタ装置へ伝送する。これにより、モニタ装置での３Ｄ映像の表示の際に適切に処理することが可能となる。 (2) When HDMI (High-Definition Multimedia Interface) is used when connecting to a monitor device from a digital broadcast receiving device (sometimes referred to as “Set Top Box” or the like), the above-mentioned shooting is performed on the HDMI signal. A flag and difference information may be added. A shooting flag and difference information inserted in the video / TS is acquired from the 3D broadcast program received by the digital broadcast receiving apparatus, added to the HDMI signal, and transmitted to the monitor apparatus. Accordingly, it is possible to appropriately process the 3D video on the monitor device.
　実施の形態２の立体視映像生成再生システム１０は、映像再生装置５００に代えて、図２２に示す受信システム１０ｃを含むとしてもよい。 The stereoscopic video generation / playback system 10 of the second embodiment may include a reception system 10c shown in FIG. 22 instead of the video playback device 500.
　受信システム１０ｃは、デジタル放送受信装置５５０ｃ及びモニタ装置５６０ｃから構成されている。デジタル放送受信装置５５０ｃには、アンテナ５１１が接続されている。また、デジタル放送受信装置５５０ｃ及びモニタ装置５６０ｃは、それぞれ、ＨＤＭＩ規格に準拠している。デジタル放送受信装置５５０ｃとモニタ装置５６０ｃとは、ＨＤＭＩケーブル２０ｃにより接続されている。 The receiving system 10c includes a digital broadcast receiving device 550c and a monitor device 560c. An antenna 511 is connected to the digital broadcast receiving device 550c. Further, the digital broadcast receiving device 550c and the monitor device 560c are each compliant with the HDMI standard. The digital broadcast receiving device 550c and the monitor device 560c are connected by an HDMI cable 20c.
　デジタル放送受信装置５５０ｃは、映像再生装置５００の構成要素のうち、チューナ５０１、デコード部５０２及び制御部５０４を含む。 The digital broadcast receiving device 550c includes a tuner 501, a decoding unit 502, and a control unit 504 among the components of the video reproduction device 500.
　モニタ装置５６０ｃは、映像再生装置５００の構成要素のうち、記憶部５０３、補間映像生成部５０５及び表示部５０６を含む。さらに、制御部５１０を含む。 The monitor device 560c includes a storage unit 503, an interpolated video generation unit 505, and a display unit 506 among the components of the video playback device 500. Further, a control unit 510 is included.
　デジタル放送受信装置５５０ｃのデコード部５０２は、右眼用映像データ及び左眼用映像データを、ＨＤＭＩケーブル２０ｃを介して、モニタ装置５６０ｃに対して送信する。また、制御部５０４は、デコード部５０２により分離された撮影フラグ及び差分情報を、ＨＤＭＩケーブル２０ｃを介して、モニタ装置５６０ｃに対して送信する。 The decoding unit 502 of the digital broadcast receiving device 550c transmits the right-eye video data and the left-eye video data to the monitor device 560c via the HDMI cable 20c. Also, the control unit 504 transmits the shooting flag and difference information separated by the decoding unit 502 to the monitor device 560c via the HDMI cable 20c.
　モニタ装置５６０ｃの制御部５１０は、撮影フラグ及び差分情報を受け取る。 The control unit 510 of the monitor device 560c receives the shooting flag and the difference information.
　次に、制御部５１０は、記憶部５０３から再生方式情報５２１を読み出し、読み出した再生方式情報５２１が交互の再生を示すか否かを判断する。つまり、再生方式情報５２１がフレームシーケンシャル方式を示すか、又はパッシブ表示方式を示すかを判断する。また、制御部５１０は、受け取った撮影フラグが同一時刻の撮影を示すか否かを判断する。 Next, the control unit 510 reads the reproduction method information 521 from the storage unit 503, and determines whether or not the read reproduction method information 521 indicates alternate reproduction. That is, it is determined whether the reproduction method information 521 indicates a frame sequential method or a passive display method. Further, control unit 510 determines whether or not the received shooting flag indicates shooting at the same time.
　再生方式情報５２１がフレームシーケンシャル方式を示し、撮影フラグが同一時刻の撮影を示す場合、モニタ装置５６０ｃの補間映像生成部５０５は、右眼用映像データ及び左眼用映像データから選択された映像データを基にして、補間映像データを生成する。 When the reproduction method information 521 indicates a frame sequential method and the shooting flag indicates shooting at the same time, the interpolated video generation unit 505 of the monitor device 560c selects video data selected from the right-eye video data and the left-eye video data. Interpolated video data is generated based on the above.
　再生方式情報５２１がフレームシーケンシャル方式を示し、撮影フラグが異なる時刻の撮影を示す場合、制御部５１０は、補間映像生成部５０５に補間映像データを生成させない。 When the reproduction method information 521 indicates the frame sequential method and the shooting flag indicates shooting at different times, the control unit 510 does not cause the interpolation video generation unit 505 to generate interpolation video data.
　再生方式情報５２１がパッシブ表示方式を示し、撮影フラグが同一時刻の撮影を示す場合、制御部５１０は、補間映像生成部５０５に補間映像データを生成させない。 When the reproduction method information 521 indicates a passive display method and the shooting flag indicates shooting at the same time, the control unit 510 does not cause the interpolation video generation unit 505 to generate interpolation video data.
　再生方式情報５２１がパッシブ表示方式を示し、撮影フラグが異なる時刻の撮影を示す場合、補間映像生成部５０５は、右眼用映像データ及び左眼用映像データから選択された映像データを基にして、補間映像データを生成する。 When the reproduction method information 521 indicates the passive display method and the shooting flag indicates shooting at a different time, the interpolated video generation unit 505 is based on video data selected from the right-eye video data and the left-eye video data. Generate interpolated video data.
　次に、再生方式情報５２１がフレームシーケンシャル方式を示し、撮影フラグが異なる時刻の撮影を示す場合、表示部５０６は、受け取った右眼用映像データの各フレーム画像及び左眼用映像データの各フレーム画像を交互に表示する。 Next, when the reproduction method information 521 indicates the frame sequential method and the shooting flag indicates shooting at different times, the display unit 506 displays each frame image of the received right-eye video data and each frame of the left-eye video data. Display images alternately.
　再生方式情報５２１がフレームシーケンシャル方式を示し、撮影フラグが同一時刻の撮影を示す場合、表示部５０６は、選択されなかった映像データの各フレーム画像及び選択された映像データを基にして生成された補間映像データの各フレーム画像を交互に表示する。 When the reproduction method information 521 indicates a frame sequential method and the shooting flag indicates shooting at the same time, the display unit 506 is generated based on each frame image of the unselected video data and the selected video data. Each frame image of the interpolated video data is displayed alternately.
　再生方式情報５２１がパッシブ表示方式を示し、撮影フラグが同一時刻の撮影を示す場合、表示部５０６は、受け取った右眼用映像データの各フレーム画像及び左眼用映像データの各フレーム画像を同時に表示する。 When the reproduction method information 521 indicates the passive display method and the shooting flag indicates shooting at the same time, the display unit 506 simultaneously displays the received frame images of the right eye video data and the left eye video data. indicate.
　再生方式情報５２１がパッシブ表示方式を示し、撮影フラグが異なる時刻の撮影を示す場合、表示部５０６は、選択されなかった映像データの各フレーム画像及び選択された映像データを基にして生成された補間映像データの各フレーム画像を同時に表示する。 When the reproduction method information 521 indicates the passive display method and the shooting flag indicates shooting at a different time, the display unit 506 is generated based on each frame image of the unselected video data and the selected video data. Each frame image of the interpolated video data is displayed simultaneously.
　（３）実施の形態２において、前記差分情報は、左眼用フレーム画像の撮影時刻と対応する右眼用フレーム画像の撮影時刻との差分を示すとしている。 (3) In the second embodiment, the difference information indicates the difference between the shooting time of the left-eye frame image and the shooting time of the corresponding right-eye frame image.
　ここで、前記差分情報により示される差分は、９０ＫＨｚ系の値であるとしてもよい。具体的には、前記差分情報により示される差分は、１／９０Ｋ秒を最小単位とする時間である。 Here, the difference indicated by the difference information may be a 90 KHz value. Specifically, the difference indicated by the difference information is a time having a minimum unit of 1/90 Ksec.
　また、差分情報は、左眼用映像データ及び右眼用映像データのいずれか一方における隣接する２個のフレーム画像の撮影時間間隔に対する、前記左眼用フレーム画像の撮影時刻と前記右眼用フレーム画像の撮影時刻との差分時間の比率であるとしてもよい。 Further, the difference information includes the shooting time of the left-eye frame image and the right-eye frame with respect to the shooting time interval between two adjacent frame images in either the left-eye video data or the right-eye video data. It may be the ratio of the difference time from the image capturing time.
　（４）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニットなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。つまり、前記マイクロプロセッサは、前記コンピュータプログラムに含まれる各命令を１個ずつ読み出し、読み出した命令を解読し、解読結果に従って動作する。 (4) Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, and the like. A computer program is stored in the RAM or the hard disk unit. Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function. Each device achieves its function by the microprocessor operating according to the computer program. That is, the microprocessor reads each instruction included in the computer program one by one, decodes the read instruction, and operates according to the decoding result.
　また、ＲＡＭ又はハードディスクユニットに記憶されているコンピュータプログラムに含まれる命令に従って、マイクロプロセッサが動作することにより、当該コンピュータプログラムとマイクロプロセッサとが、あたかも、一つのハードウェア回路を構成し、このハードウェア回路が動作しているようにみせることができる。 Further, when the microprocessor operates in accordance with instructions included in the computer program stored in the RAM or the hard disk unit, the computer program and the microprocessor constitute a single hardware circuit, and this hardware It can appear as if the circuit is operating.
　（５）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。 (5) A part or all of the components constituting each of the above devices may be configured by one system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
　また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。 Further, each part of the constituent elements constituting each of the above devices may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
　ＬＳＩは、複数の回路ブロックから構成される。 LSI is composed of multiple circuit blocks.
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 Also, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。 Furthermore, if integrated circuit technology that replaces LSI emerges as a result of advances in semiconductor technology or other derived technology, it is naturally also possible to integrate functional blocks using this technology.
　（６）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。 (6) A part or all of the constituent elements constituting each of the above devices may be configured by an IC card or a single module that can be attached to and detached from each device. The IC card or the module is a computer system that includes a microprocessor, ROM, RAM, and the like. The IC card or the module may include the super multifunctional LSI described above. The IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
　（７）本発明は、上記に示す装置を制御するための制御方法であるとしてもよい。また、これらの制御方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。 (7) The present invention may be a control method for controlling the apparatus described above. Further, the present invention may be a computer program that realizes these control methods by a computer, or may be a digital signal composed of the computer program.
　また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。 The present invention also provides a computer program-readable non-transitory recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc) or a semiconductor memory. Further, the present invention may be the computer program or the digital signal recorded on these recording media.
　また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。 In the present invention, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
　また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶している。前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。 Further, the present invention is a computer system including a microprocessor and a memory, and the memory stores the computer program. The microprocessor may operate according to the computer program.
　また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。 In addition, the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and is executed by another independent computer system. It is good.
　（８）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。 (8) The above embodiment and the above modification examples may be combined.
　（９）本発明の一態様は、立体視映像データを生成する立体視映像データ生成装置であって、複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得手段と、一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得手段と、前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化手段と、生成した立体視映像データを出力する出力手段とを備えることを特徴とする。 (9) One aspect of the present invention is a stereoscopic video data generation device that generates stereoscopic video data, the left-eye video data including a plurality of left-eye frame images and the plurality of right-eye frames. Whether data acquisition means for acquiring right-eye video data composed of images, one left-eye frame image, and a right-eye frame image corresponding to the left-eye frame image were captured at the same time A flag acquisition unit that acquires a shooting flag indicating the above, a multiplexing unit that multiplexes the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data, and the generated stereoscopic vision Output means for outputting video data.
　ここで、前記フラグ取得手段は、前記撮影フラグにより、前記左眼用フレーム画像と前記右眼用フレーム画像とが同一時刻に撮影されていないことが示される場合、さらに、前記左眼用フレーム画像の撮影時刻と前記右眼用フレーム画像の撮影時刻との差分を示す差分情報を取得し、前記多重化手段は、さらに、取得した前記差分情報を多重化して、前記立体視映像データを生成するとしてもよい。 Here, when the flag acquisition unit indicates that the left-eye frame image and the right-eye frame image are not captured at the same time, the left-eye frame image is further displayed. Difference information indicating a difference between the shooting time of the right eye and the shooting time of the right-eye frame image is acquired, and the multiplexing unit further multiplexes the acquired difference information to generate the stereoscopic video data It is good.
　ここで、前記フラグ取得手段により取得される前記差分情報により示される差分は、１／９０Ｋ秒を最小単位とする時間であるとしてもよい。 Here, the difference indicated by the difference information acquired by the flag acquisition means may be a time having a minimum unit of 1 / 90K seconds.
　ここで、前記フラグ取得手段は、前記差分情報として、左眼用映像データ及び右眼用映像データのいずれか一方における隣接する２個のフレーム画像の撮影時間間隔に対する、前記左眼用フレーム画像の撮影時刻と対応する前記右眼用フレーム画像の撮影時刻との差分時間の比率を取得するとしてもよい。 Here, the flag acquisition means, as the difference information, the left-eye frame image with respect to the shooting time interval between two adjacent frame images in either one of the left-eye video data and the right-eye video data. The ratio of the difference time between the shooting time and the shooting time of the corresponding right-eye frame image may be acquired.
　ここで、前記多重化手段は、前記左眼用映像データ及び前記右眼用映像データの何れか一方、又は、両方において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing means may multiplex the shooting flag and the difference information in one or both of the left-eye video data and the right-eye video data.
　ここで、前記多重化手段は、前記左眼用映像データ及び前記右眼用映像データの何れか一方のユーザデータ、又は、両方のユーザデータにおいて、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing means multiplexes the shooting flag and the difference information in one of the left-eye video data and the right-eye video data, or both user data. Also good.
　ここで、前記多重化手段は、前記左眼用映像データの複数の左眼用フレーム画像及び前記右眼用映像データの複数の右眼用フレーム画像のうち、少なくとも一のフレーム画像において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing unit is configured to capture the image in at least one frame image among a plurality of left-eye frame images of the left-eye video data and a plurality of right-eye frame images of the right-eye video data. The flag and the difference information may be multiplexed.
　ここで、前記多重化手段は、複数の左眼用フレーム画像及び複数の右眼用フレーム画像の両方、複数の左眼用フレーム画像、又は、複数の右眼用フレーム画像において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing means may include the shooting flag and the right image in both the plurality of left-eye frame images and the plurality of right-eye frame images, the plurality of left-eye frame images, or the plurality of right-eye frame images. The difference information may be multiplexed.
　ここで、前記多重化手段は、少なくとも一のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）において、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing means may multiplex the shooting flag and the difference information in at least one GOP (Group of Pictures).
　ここで、前記多重化手段は、前記左眼用映像データの複数のＧＯＰ及び前記右眼用映像データの複数のＧＯＰの両方、前記左眼用映像データの複数のＧＯＰ、又は、前記右眼用映像データの複数のＧＯＰにおいて、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing means includes both the plurality of GOPs of the left eye video data and the plurality of GOPs of the right eye video data, the plurality of GOPs of the left eye video data, or the right eye The shooting flag and the difference information may be multiplexed in a plurality of GOPs of video data.
　ここで、前記多重化手段は、立体視映像に係る制御データにおいて、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing means may multiplex the shooting flag and the difference information in the control data relating to the stereoscopic video.
　ここで、前記多重化手段は、前記制御データとしてのＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）又はＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）に、前記撮影フラグ及び前記差分情報を多重化するとしてもよい。 Here, the multiplexing means may multiplex the shooting flag and the difference information in EIT (Event Information Table) or PMT (Program Map Table) as the control data.
　本発明の別の態様は、立体視映像データを再生する立体視映像再生装置であって、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している記憶手段と、複数の左眼用フレーム画像から構成される左眼用映像データと、複数の右眼用フレーム画像から構成される右眼用映像データと、一の左眼用フレーム画像及び当該左眼用フレーム画像に対応する右眼用フレーム画像が同一時刻に撮影されたか否かを示す撮影フラグとを多重化することにより生成された立体視映像データを取得する取得手段と、取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグを分離する分離手段と、前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断手段と、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成手段と、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと前記補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生手段とを備えることを特徴とする。 Another aspect of the present invention is a stereoscopic video playback device that plays back stereoscopic video data, and a playback method that indicates whether left-eye frame images and right-eye frame images are played back alternately or simultaneously. Storage means for storing information, left-eye video data composed of a plurality of left-eye frame images, right-eye video data composed of a plurality of right-eye frame images, and one left eye Acquisition means for acquiring stereoscopic video data generated by multiplexing a frame image and a shooting flag indicating whether or not a right-eye frame image corresponding to the left-eye frame image is shot at the same time Separating means for separating left-eye video data, right-eye video data and a shooting flag from the acquired stereoscopic video data, whether or not the playback method information indicates alternate playback, and the shooting flag A determination means for determining whether or not to indicate shooting at one time; and when the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information is simultaneous. When playback is indicated and the shooting flag indicates shooting at a different time, video data is selected from either left-eye video data or right-eye video data, and interpolated video data is generated using the selected video data When the generating means and the playback method information indicate alternate playback and the shooting flag indicates shooting at the same time, the video data not selected and the interpolated video data are alternately displayed, Reproduction means for simultaneously displaying unselected video data and interpolated video data when the reproduction method information indicates simultaneous reproduction and the photographing flag indicates photographing at different times. And features.
　ここで、前記立体視映像データには、さらに、前記左眼用フレーム画像の撮影時刻及び前記右眼用フレーム画像の撮影時刻の差分を示す差分情報が多重化されており、前記取得手段は、前記差分情報がさらに多重化された前記立体視映像データを取得し、前記分離手段は、取得した前記立体視映像データから、さらに、前記差分情報を分離し、前記生成手段は、左眼用映像データ及び右眼用映像データの一方から選択した前記映像データの各フレーム画像から、前記差分情報により示される差分だけずらした時点における補間フレーム画像を生成し、複数の補間フレーム画像を含む前記補間映像データを生成するとしてもよい。 Here, the stereoscopic video data is further multiplexed with difference information indicating a difference between the shooting time of the left-eye frame image and the shooting time of the right-eye frame image, and the acquisition unit includes: The stereoscopic video data in which the difference information is further multiplexed is acquired, the separating means further separates the difference information from the acquired stereoscopic video data, and the generating means is a left-eye video The interpolated video including a plurality of interpolated frame images generated from each frame image of the video data selected from one of the data and the right-eye video data by generating an interpolated frame image at a time shifted by the difference indicated by the difference information Data may be generated.
　ここで、前記再生手段は、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データと右眼用映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データを同時に再生するとしてもよい。 Here, the playback means alternately displays the left-eye video data and the right-eye video data when the playback method information indicates alternate playback and the shooting flag indicates shooting at different times. When the playback method information indicates simultaneous playback and the shooting flag indicates shooting at the same time, the left-eye video data and the right-eye video data may be played back simultaneously.
　本発明の別の態様は、立体視映像データを生成する立体視映像データ生成装置と、前記立体視映像データを再生する立体視映像再生装置とから構成される立体視映像生成再生システムである。前記立体視映像データ生成装置は、複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得手段と、一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得手段と、前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化手段と、生成した立体視映像データを出力する出力手段とを備える。前記立体視映像再生装置は、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している記憶手段と、前記立体視映像データを取得する取得手段と、取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグを分離する分離手段と、前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断手段と、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成手段と、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生手段とを備える。 Another aspect of the present invention is a stereoscopic video generation / playback system including a stereoscopic video data generation device that generates stereoscopic video data and a stereoscopic video playback device that plays back the stereoscopic video data. The stereoscopic video data generation device includes data acquisition means for acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images; Flag acquisition means for acquiring a shooting flag indicating whether or not a single left-eye frame image and a right-eye frame image corresponding to the left-eye frame image were captured at the same time; and the left-eye video A multiplexing unit that multiplexes the data, the right-eye video data, and the shooting flag to generate stereoscopic video data; and an output unit that outputs the generated stereoscopic video data. The stereoscopic video reproduction device includes a storage unit that stores reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced, and the stereoscopic video data. Acquiring means for acquiring, separating means for separating video data for left eye, video data for right eye, and shooting flag from the acquired stereoscopic video data; whether or not the playback method information indicates alternate playback; and Judgment means for determining whether or not the shooting flag indicates shooting at the same time; when the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time; and the playback mode information Indicates simultaneous playback, and when the shooting flag indicates shooting at different times, video data is selected from one of left-eye video data and right-eye video data, and the selected video data is used. If the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, the video data that was not selected and the interpolated video data are alternately displayed. Display means for displaying the video data not selected and the interpolated video data simultaneously when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times.
　本発明の別の態様は、立体視映像データを生成する立体視映像データ生成装置で用いられる制御方法であって、複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得ステップと、一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得ステップと、前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化ステップと、生成した立体視映像データを出力する出力ステップとを含むことを特徴とする。 Another aspect of the present invention is a control method used in a stereoscopic video data generation device that generates stereoscopic video data, the left-eye video data including a plurality of left-eye frame images and the plurality of right-eye images. A data acquisition step for acquiring right eye video data composed of eye frame images, one left eye frame image, and a right eye frame image corresponding to the left eye frame image are captured at the same time. A flag acquisition step of acquiring a shooting flag indicating whether or not the image has been done, a multiplexing step of multiplexing the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data, and generation An output step of outputting the stereoscopic video data.
　本発明の別の態様は、立体視映像データを生成する立体視映像データ生成装置で用いられる制御用のコンピュータプログラムを記憶しているコンピュータ読取可能な記録媒体であって、コンピュータである前記立体視映像データ生成装置に、複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得ステップと、一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得ステップと、前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化ステップと、生成した立体視映像データを出力する出力ステップとを実行させるための前記コンピュータプログラムを記録している。 Another aspect of the present invention is a computer-readable recording medium that stores a computer program for control used in a stereoscopic video data generating device that generates stereoscopic video data, and the stereoscopic vision is a computer A data acquisition step for acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images in the video data generation device; A flag obtaining step for obtaining a photographing flag indicating whether or not the eye frame image and the right eye frame image corresponding to the left eye frame image were photographed at the same time; the left eye video data; Multiplexing step of generating stereoscopic video data by multiplexing the right eye video data and the shooting flag, and outputting the generated stereoscopic video data And recording the computer program for executing a force step.
　本発明の別の態様は、立体視映像データを再生し、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している立体視映像再生装置で用いられる制御方法であって、複数の左眼用フレーム画像から構成される左眼用映像データと、複数の右眼用フレーム画像から構成される右眼用映像データと、一の左眼用フレーム画像及び当該左眼用フレーム画像に対応する右眼用フレーム画像が同一時刻に撮影されたか否かを示す撮影フラグとを多重化することにより生成された立体視映像データを取得する取得ステップと、取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグを分離する分離ステップと、前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断ステップと、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成ステップと、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生ステップとを含むことを特徴とする。 According to another aspect of the present invention, stereoscopic video data is reproduced, and a stereoscopic view storing reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced is stored. A control method used in a video reproduction device, comprising: left-eye video data composed of a plurality of left-eye frame images; right-eye video data composed of a plurality of right-eye frame images; Stereoscopic video data generated by multiplexing a left eye frame image and a shooting flag indicating whether or not the right eye frame image corresponding to the left eye frame image was shot at the same time is acquired. An acquisition step, a separation step of separating the left-eye video data, the right-eye video data, and the shooting flag from the acquired stereoscopic video data, whether or not the playback method information indicates alternate playback, and A determination step of determining whether or not the shooting flag indicates shooting at the same time; when the playback method information indicates alternating playback and the shooting flag indicates shooting at the same time; and the playback method When the information indicates simultaneous playback and the shooting flag indicates shooting at different times, video data is selected from either left-eye video data or right-eye video data, and interpolation is performed using the selected video data. When the generation step for generating video data and the playback method information indicate alternate playback and the shooting flag indicates shooting at the same time, the video data not selected and the interpolated video data are alternately displayed. If the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times, the video data not selected and the interpolated video data are displayed simultaneously. Characterized in that it comprises a step.
　本発明の別の態様は、立体視映像データを再生し、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している立体視映像再生装置で用いられる制御用のコンピュータプログラムを記録しているコンピュータ読取可能な記録媒体であって、コンピュータである前記立体視映像再生装置に、複数の左眼用フレーム画像から構成される左眼用映像データと、複数の右眼用フレーム画像から構成される右眼用映像データと、一の左眼用フレーム画像及び当該左眼用フレーム画像に対応する右眼用フレーム画像が同一時刻に撮影されたか否かを示す撮影フラグとを多重化することにより生成された立体視映像データを取得する取得ステップと、取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグ差分情報を分離する分離ステップと、前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断ステップと、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成ステップと、前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生ステップとを実行させるための前記コンピュータプログラムを記録している。 According to another aspect of the present invention, stereoscopic video data is reproduced, and a stereoscopic view storing reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced is stored. A computer-readable recording medium recording a computer program for control used in a video reproduction device, the left eye comprising a plurality of left-eye frame images in the stereoscopic video reproduction device being a computer Video data, right-eye video data composed of a plurality of right-eye frame images, a single left-eye frame image, and a right-eye frame image corresponding to the left-eye frame image are captured at the same time An acquisition step of acquiring stereoscopic video data generated by multiplexing a shooting flag indicating whether or not the image is displayed, and a left-eye projection from the acquired stereoscopic video data. A separation step of separating data, right-eye video data, and shooting flag difference information, and a determination to determine whether the playback method information indicates alternate playback and whether the shooting flag indicates shooting at the same time And when the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag is different In the case of shooting, a generation step of selecting video data from one of left-eye video data and right-eye video data, and generating interpolated video data using the selected video data, and the playback method information are alternately reproduced. When the shooting flag indicates shooting at the same time, the video data not selected and the interpolated video data are alternately displayed, and the playback method information is reproduced simultaneously. Shown, and, indicating imaging time of the shooting flag is different, and recording the computer program for executing a reproducing step of displaying the image data is not selected and the interpolated video data at the same time.
　本発明にかかる立体視映像データ生成装置及び立体視映像再生装置は、視聴者に違和感を覚えさせることなく、立体視映像を表示することができるという優れた効果を奏し、左眼用の映像データと右眼用の映像データとを含む立体視映像データを生成し、立体視映像データを基にして、立体視映像を形成する技術として有用である。 The stereoscopic video data generation device and the stereoscopic video playback device according to the present invention have an excellent effect of being able to display a stereoscopic video without causing the viewer to feel uncomfortable, and the video data for the left eye This is useful as a technique for generating stereoscopic video data including video data for the right eye and forming stereoscopic video based on the stereoscopic video data.
　　　１０　　立体視映像生成再生システム
　　１００　　一撮像素子３Ｄカメラ
　　１０１　　右眼光学系
　　１０２　　左眼光学系
　　１０３　　フォーカス光学系
　　１０４　　ズーム光学系
　　１０５　　撮像部
　　１０６　　信号処理部
　　１０７　　制御部
　　１０８　　記憶部
　　１０９　　半透明鏡
　　２００　　二撮像素子３Ｄカメラ
　　２０１　　右眼光学系
　　２０２　　フォーカス光学系
　　２０３　　ズーム光学系
　　２０４　　撮像部
　　２０５　　信号処理部
　　２１１　　左眼光学系
　　２１２　　フォーカス光学系
　　２１３　　ズーム光学系
　　２１４　　撮像部
　　２１５　　信号処理部
　　２１６　　制御部
　　２１７　　記憶部
　　３００　　映像データ生成装置
　　３０１　　入出力部
　　３０２　　多重化部
　　３０３　　出力部
　　４００　　放送装置
　　５００　　映像再生装置
　　５０１　　チューナ
　　５０２　　デコード部
　　５０３　　記憶部
　　５０４　　制御部
　　５０５　　補間映像生成部
　　５０６　　表示部
　　５１１　　アンテナ
　　６０１　　メモリカード
　　６０２　　メモリカード
　　　１０ａ　立体視映像生成再生システム
　　３００ａ　立体視映像データ生成装置
　　３０１ａ　映像データ取得部
　　３０２ａ　フラグ取得部
　　３０３ａ　多重化部
　　３０４ａ　出力部
　　５００ａ　立体視映像再生装置
　　５０１ａ　取得部
　　５０２ａ　分離部
　　５０３ａ　記憶部
　　５０４ａ　判断部
　　５０５ａ　生成部
　　５０６ａ　再生部
　　　１０ｂ　立体視映像生成再生システム
　　４００ｂ　媒体製造装置
　　５００ｂ　映像再生装置 DESCRIPTION OF SYMBOLS 10 Stereoscopic image production | generation reproduction | regeneration system 100 One image pick-up element 3D camera 101 Right eye optical system 102 Left eye optical system 103 Focus optical system 104 Zoom optical system 105 Imaging part 106 Signal processing part 107 Control part 108 Storage part 109 Translucent mirror 200 Two Image sensor 3D camera 201 Right eye optical system 202 Focus optical system 203 Zoom optical system 204 Imaging unit 205 Signal processing unit 211 Left eye optical system 212 Focus optical system 213 Zoom optical system 214 Imaging unit 215 Signal processing unit 216 Control unit 217 Storage unit 300 Video Data Generation Device 301 Input / Output Unit 302 Multiplexing Unit 303 Output Unit 400 Broadcasting Device 500 Video Playback Device 501 Tuner 502 Decoding Unit 503 Storage Unit 504 Control Unit 505 Interpolation Generation unit 506 Display unit 511 Antenna 601 Memory card 602 Memory card 10a Stereoscopic video generation / playback system 300a Stereoscopic video data generation device 301a Video data acquisition unit 302a Flag acquisition unit 303a Multiplexing unit 304a Output unit 500a Stereoscopic video playback device 501a Acquisition unit 502a Separation unit 503a Storage unit 504a Judgment unit 505a Generation unit 506a Playback unit 10b Stereoscopic image generation / playback system 400b Medium production device 500b Video playback device

Claims (20)

  1. 　立体視映像データを生成する立体視映像データ生成装置であって、
    　複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得手段と、
    　一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得手段と、
    　前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化手段と、
    　生成した立体視映像データを出力する出力手段と
    　を備えることを特徴とする立体視映像データ生成装置。     A stereoscopic video data generation device that generates stereoscopic video data,
    Data acquisition means for acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images;
    Flag acquisition means for acquiring a shooting flag indicating whether or not one left-eye frame image and a right-eye frame image corresponding to the left-eye frame image were shot at the same time;
    Multiplexing means for multiplexing the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data;
    A stereoscopic video data generation device comprising: output means for outputting the generated stereoscopic video data.
  2. 　前記フラグ取得手段は、前記撮影フラグにより、前記左眼用フレーム画像と前記右眼用フレーム画像とが同一時刻に撮影されていないことが示される場合、さらに、前記左眼用フレーム画像の撮影時刻と前記右眼用フレーム画像の撮影時刻との差分を示す差分情報を取得し、
    　前記多重化手段は、さらに、取得した前記差分情報を多重化して、前記立体視映像データを生成する
    　ことを特徴とする請求項１に記載の立体視映像データ生成装置。     In the case where the flag acquisition means indicates that the left-eye frame image and the right-eye frame image are not captured at the same time by the capturing flag, the capturing time of the left-eye frame image is further And obtaining difference information indicating a difference between the shooting time of the right eye frame image,
    The stereoscopic video data generation apparatus according to claim 1, wherein the multiplexing unit further multiplexes the acquired difference information to generate the stereoscopic video data.
  3. 　前記フラグ取得手段により取得される前記差分情報により示される差分は、１／９０Ｋ秒を最小単位とする時間である
    　ことを特徴とする請求項２に記載の立体視映像データ生成装置。     The stereoscopic video data generation device according to claim 2, wherein the difference indicated by the difference information acquired by the flag acquisition unit is a time having a minimum unit of 1 / 90K seconds.
  4. 　前記フラグ取得手段は、前記差分情報として、左眼用映像データ及び右眼用映像データのいずれか一方における隣接する２個のフレーム画像の撮影時間間隔に対する、前記左眼用フレーム画像の撮影時刻と対応する前記右眼用フレーム画像の撮影時刻との差分時間の比率を取得する
    　ことを特徴とする請求項２に記載の立体視映像データ生成装置。     The flag acquisition means includes, as the difference information, a photographing time of the left-eye frame image with respect to a photographing time interval between two adjacent frame images in either the left-eye video data or the right-eye video data. The stereoscopic video data generation device according to claim 2, wherein a ratio of a difference time from a shooting time of the corresponding right-eye frame image is acquired.
  5. 　前記多重化手段は、前記左眼用映像データ及び前記右眼用映像データの何れか一方、又は、両方において、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項２に記載の立体視映像データ生成装置。     The said multiplexing means multiplexes the said imaging | photography flag and the said difference information in any one or both of the said video data for left eyes, and the said video data for right eyes. Stereoscopic video data generation device.
  6. 　前記多重化手段は、前記左眼用映像データ及び前記右眼用映像データの何れか一方のユーザデータ、又は、両方のユーザデータにおいて、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項５に記載の立体視映像データ生成装置。     The multiplexing means multiplexes the shooting flag and the difference information in either one of the left-eye video data and the right-eye video data, or both user data. The stereoscopic video data generation device according to claim 5.
  7. 　前記多重化手段は、前記左眼用映像データの複数の左眼用フレーム画像及び前記右眼用映像データの複数の右眼用フレーム画像のうち、少なくとも一のフレーム画像において、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項５に記載の立体視映像データ生成装置。     The multiplexing means includes the shooting flag and the at least one frame image among a plurality of left-eye frame images of the left-eye video data and a plurality of right-eye frame images of the right-eye video data. 6. The stereoscopic video data generation device according to claim 5, wherein the difference information is multiplexed.
  8. 　前記多重化手段は、複数の左眼用フレーム画像及び複数の右眼用フレーム画像の両方、複数の左眼用フレーム画像、又は、複数の右眼用フレーム画像において、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項７に記載の立体視映像データ生成装置。     The multiplexing means includes the shooting flag and the difference information in both the plurality of left-eye frame images and the plurality of right-eye frame images, the plurality of left-eye frame images, or the plurality of right-eye frame images. The stereoscopic video data generation device according to claim 7, wherein:
  9. 　前記多重化手段は、少なくとも一のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）において、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項５に記載の立体視映像データ生成装置。     The stereoscopic video data generation device according to claim 5, wherein the multiplexing unit multiplexes the shooting flag and the difference information in at least one GOP (Group of Pictures).
  10. 　前記多重化手段は、前記左眼用映像データの複数のＧＯＰ及び前記右眼用映像データの複数のＧＯＰの両方、前記左眼用映像データの複数のＧＯＰ、又は、前記右眼用映像データの複数のＧＯＰにおいて、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項９に記載の立体視映像データ生成装置。     The multiplexing means includes both a plurality of GOPs of the left-eye video data and a plurality of GOPs of the right-eye video data, a plurality of GOPs of the left-eye video data, or the right-eye video data. The stereoscopic video data generation device according to claim 9, wherein the shooting flag and the difference information are multiplexed in a plurality of GOPs.
  11. 　前記多重化手段は、立体視映像に係る制御データにおいて、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項２に記載の立体視映像データ生成装置。     The stereoscopic video data generation apparatus according to claim 2, wherein the multiplexing unit multiplexes the shooting flag and the difference information in control data related to a stereoscopic video.
  12. 　前記多重化手段は、前記制御データとしてのＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）又はＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）に、前記撮影フラグ及び前記差分情報を多重化する
    　ことを特徴とする請求項１１に記載の立体視映像データ生成装置。     12. The stereoscopic view according to claim 11, wherein the multiplexing unit multiplexes the shooting flag and the difference information on an EIT (Event Information Table) or a PMT (Program Map Table) as the control data. Video data generator.
  13. 　立体視映像データを再生する立体視映像再生装置であって、
    　左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している記憶手段と、
    　複数の左眼用フレーム画像から構成される左眼用映像データと、複数の右眼用フレーム画像から構成される右眼用映像データと、一の左眼用フレーム画像及び当該左眼用フレーム画像に対応する右眼用フレーム画像が同一時刻に撮影されたか否かを示す撮影フラグとを多重化することにより生成された立体視映像データを取得する取得手段と、
    　取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグを分離する分離手段と、
    　前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断手段と、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成手段と、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと前記補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生手段と
    　を備えることを特徴とする立体視映像再生装置。     A stereoscopic video playback device for playing back stereoscopic video data,
    Storage means for storing reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced;
    Left-eye video data composed of a plurality of left-eye frame images, right-eye video data composed of a plurality of right-eye frame images, one left-eye frame image, and the left-eye frame image Acquisition means for acquiring stereoscopic video data generated by multiplexing a shooting flag indicating whether or not the right-eye frame image corresponding to is shot at the same time;
    Separating means for separating left-eye video data, right-eye video data, and a shooting flag from the acquired stereoscopic video data;
    Determining means for determining whether or not the reproduction method information indicates alternate reproduction and whether or not the shooting flag indicates shooting at the same time;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times A generating unit that selects video data from one of the left-eye video data and the right-eye video data, and generates interpolated video data using the selected video data;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, the video data not selected and the interpolated video data are alternately displayed, and the playback mode information is simultaneously displayed. And a reproducing means for simultaneously displaying unselected video data and interpolated video data when the shooting flag indicates shooting at different times.
  14. 　前記立体視映像データには、さらに、前記左眼用フレーム画像の撮影時刻及び前記右眼用フレーム画像の撮影時刻の差分を示す差分情報が多重化されており、
    　前記取得手段は、前記差分情報がさらに多重化された前記立体視映像データを取得し、
    　前記分離手段は、取得した前記立体視映像データから、さらに、前記差分情報を分離し、
    　前記生成手段は、左眼用映像データ及び右眼用映像データの一方から選択した前記映像データの各フレーム画像から、前記差分情報により示される差分だけずらした時点における補間フレーム画像を生成し、複数の補間フレーム画像を含む前記補間映像データを生成する
    　ことを特徴とする請求項１３に記載の立体視映像再生装置。     In the stereoscopic video data, difference information indicating a difference between the shooting time of the left-eye frame image and the shooting time of the right-eye frame image is further multiplexed,
    The acquisition means acquires the stereoscopic video data in which the difference information is further multiplexed,
    The separation means further separates the difference information from the acquired stereoscopic video data,
    The generating means generates an interpolated frame image at a time point shifted by a difference indicated by the difference information from each frame image of the video data selected from one of left-eye video data and right-eye video data. The stereoscopic video reproduction apparatus according to claim 13, wherein the interpolated video data including the interpolated frame image is generated.
  15. 　前記再生手段は、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データと右眼用映像データとを交互に表示し、
    　前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データを同時に再生する
    　ことを特徴とする請求項１３に記載の立体視映像再生装置。     The reproducing means includes
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at different times, the left-eye video data and the right-eye video data are alternately displayed,
    The left-eye video data and the right-eye video data are simultaneously played back when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at the same time. The stereoscopic video reproduction apparatus described.
  16. 　立体視映像データを生成する立体視映像データ生成装置と、前記立体視映像データを再生する立体視映像再生装置とから構成される立体視映像生成再生システムであって、
    　前記立体視映像データ生成装置は、
    　複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得手段と、
    　一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得手段と、
    　前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化手段と、
    　生成した立体視映像データを出力する出力手段とを備え、
    　前記立体視映像再生装置は、
    　左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している記憶手段と、
    　前記立体視映像データを取得する取得手段と、
    　取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグを分離する分離手段と、
    　前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断手段と、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成手段と、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生手段と
    　を備えることを特徴とする立体視映像生成再生システム。     A stereoscopic video generation / playback system including a stereoscopic video data generation device that generates stereoscopic video data and a stereoscopic video playback device that plays back the stereoscopic video data,
    The stereoscopic video data generation device includes:
    Data acquisition means for acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images;
    Flag acquisition means for acquiring a shooting flag indicating whether or not one left-eye frame image and a right-eye frame image corresponding to the left-eye frame image were shot at the same time;
    Multiplexing means for multiplexing the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data;
    Output means for outputting the generated stereoscopic video data,
    The stereoscopic video reproduction device includes:
    Storage means for storing reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced;
    Obtaining means for obtaining the stereoscopic video data;
    Separating means for separating left-eye video data, right-eye video data, and a shooting flag from the acquired stereoscopic video data;
    Determining means for determining whether or not the reproduction method information indicates alternate reproduction and whether or not the shooting flag indicates shooting at the same time;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times A generating unit that selects video data from one of the left-eye video data and the right-eye video data, and generates interpolated video data using the selected video data;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, unselected video data and interpolated video data are alternately displayed, and the playback mode information is simultaneously displayed. A stereoscopic video generation / playback system comprising: playback means for displaying playback and displaying video data not selected and interpolated video data simultaneously when the shooting flag indicates shooting at different times.
  17. 　立体視映像データを生成する立体視映像データ生成装置で用いられる制御方法であって、
    　複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得ステップと、
    　一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得ステップと、
    　前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化ステップと、
    　生成した立体視映像データを出力する出力ステップと
    　を含むことを特徴とする制御方法。     A control method used in a stereoscopic video data generating device for generating stereoscopic video data,
    A data acquisition step of acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images;
    A flag acquisition step of acquiring a shooting flag indicating whether or not one left-eye frame image and a right-eye frame image corresponding to the left-eye frame image were shot at the same time;
    A multiplexing step of multiplexing the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data;
    An output step of outputting the generated stereoscopic video data.
  18. 　立体視映像データを生成する立体視映像データ生成装置で用いられる制御用のコンピュータプログラムを記憶しているコンピュータ読取可能な記録媒体であって、
    　コンピュータである前記立体視映像データ生成装置に、
    　複数の左眼用フレーム画像から構成される左眼用映像データ及び複数の右眼用フレーム画像から構成される右眼用映像データを取得するデータ取得ステップと、
    　一の左眼用フレーム画像と、当該左眼用フレーム画像に対応する右眼用フレーム画像とが同一時刻に撮影されたか否かを示す撮影フラグを取得するフラグ取得ステップと、
    　前記左眼用映像データ、前記右眼用映像データ及び前記撮影フラグを多重化して立体視映像データを生成する多重化ステップと、
    　生成した立体視映像データを出力する出力ステップと
    　を実行させるための前記コンピュータプログラムを記録している記録媒体。     A computer-readable recording medium storing a computer program for control used in a stereoscopic video data generating device that generates stereoscopic video data,
    In the stereoscopic video data generation device which is a computer,
    A data acquisition step of acquiring left-eye video data composed of a plurality of left-eye frame images and right-eye video data composed of a plurality of right-eye frame images;
    A flag acquisition step of acquiring a shooting flag indicating whether or not one left-eye frame image and a right-eye frame image corresponding to the left-eye frame image were shot at the same time;
    A multiplexing step of multiplexing the left-eye video data, the right-eye video data, and the shooting flag to generate stereoscopic video data;
    A recording medium on which the computer program for executing the output step of outputting the generated stereoscopic video data is recorded.
  19. 　立体視映像データを再生し、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している立体視映像再生装置で用いられる制御方法であって、
    　複数の左眼用フレーム画像から構成される左眼用映像データと、複数の右眼用フレーム画像から構成される右眼用映像データと、一の左眼用フレーム画像及び当該左眼用フレーム画像に対応する右眼用フレーム画像が同一時刻に撮影されたか否かを示す撮影フラグとを多重化することにより生成された立体視映像データを取得する取得ステップと、
    　取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグを分離する分離ステップと、
    　前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断ステップと、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成ステップと、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生ステップと
    　を含むことを特徴とする制御方法。     Control method used in a stereoscopic video reproduction apparatus that reproduces stereoscopic video data and stores reproduction method information indicating whether the left-eye frame image and the right-eye frame image are alternately reproduced or simultaneously reproduced Because
    Left-eye video data composed of a plurality of left-eye frame images, right-eye video data composed of a plurality of right-eye frame images, one left-eye frame image, and the left-eye frame image An acquisition step of acquiring stereoscopic video data generated by multiplexing a shooting flag indicating whether or not the right-eye frame image corresponding to is shot at the same time;
    A separation step of separating the left-eye video data, the right-eye video data, and the shooting flag from the acquired stereoscopic video data;
    A determination step of determining whether or not the playback method information indicates alternate playback and whether or not the shooting flag indicates shooting at the same time;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times A generation step of selecting video data from one of the left-eye video data and the right-eye video data, and generating interpolated video data using the selected video data;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, unselected video data and interpolated video data are alternately displayed, and the playback mode information is simultaneously displayed. And a playback step of simultaneously displaying unselected video data and interpolated video data when the shooting flag indicates shooting at different times.
  20. 　立体視映像データを再生し、左眼用フレーム画像及び右眼用フレーム画像を交互に再生するか又は同時に再生するかを示す再生方式情報を記憶している立体視映像再生装置で用いられる制御用のコンピュータプログラムを記録しているコンピュータ読取可能な記録媒体であって、
    　コンピュータである前記立体視映像再生装置に、
    　複数の左眼用フレーム画像から構成される左眼用映像データと、複数の右眼用フレーム画像から構成される右眼用映像データと、一の左眼用フレーム画像及び当該左眼用フレーム画像に対応する右眼用フレーム画像が同一時刻に撮影されたか否かを示す撮影フラグとを多重化することにより生成された立体視映像データを取得する取得ステップと、
    　取得した立体視映像データから、左眼用映像データ、右眼用映像データ及び撮影フラグ差分情報を分離する分離ステップと、
    　前記再生方式情報が交互の再生を示すか否か及び前記撮影フラグが同一時刻の撮影を示すか否かを判断する判断ステップと、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一時刻の撮影を示す場合、及び、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、左眼用映像データ及び右眼用映像データの一方から映像データを選択し、選択した映像データを用いて補間映像データを生成する生成ステップと、
    　前記再生方式情報が交互の再生を示し、かつ、前記撮影フラグが同一の時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを交互に表示し、前記再生方式情報が同時の再生を示し、かつ、前記撮影フラグが異なる時刻の撮影を示す場合、選択しなかった映像データと補間映像データとを同時に表示する再生ステップと
    　を実行させるための前記コンピュータプログラムを記録している記録媒体。     For control used in a stereoscopic video playback apparatus that plays back stereoscopic video data and stores playback method information indicating whether the left-eye frame image and the right-eye frame image are played back alternately or simultaneously. A computer-readable recording medium recording the computer program of
    In the stereoscopic video reproduction device which is a computer,
    Left-eye video data composed of a plurality of left-eye frame images, right-eye video data composed of a plurality of right-eye frame images, one left-eye frame image, and the left-eye frame image An acquisition step of acquiring stereoscopic video data generated by multiplexing a shooting flag indicating whether or not the right-eye frame image corresponding to is shot at the same time;
    A separation step of separating left-eye video data, right-eye video data, and shooting flag difference information from the acquired stereoscopic video data;
    A determination step of determining whether or not the playback method information indicates alternate playback and whether or not the shooting flag indicates shooting at the same time;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, and when the playback method information indicates simultaneous playback and the shooting flag indicates shooting at different times A generation step of selecting video data from one of the left-eye video data and the right-eye video data, and generating interpolated video data using the selected video data;
    When the playback method information indicates alternate playback and the shooting flag indicates shooting at the same time, unselected video data and interpolated video data are alternately displayed, and the playback mode information is simultaneously displayed. A recording that records the computer program for executing the reproduction step of simultaneously displaying the video data that has not been selected and the interpolated video data when the shooting flag indicates shooting at a different time. Medium.
PCT/JP2012/007672 2011-12-01 2012-11-29 Stereoscopic video data generating device and stereoscopic video playing apparatus WO2013080555A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161565608P 2011-12-01 2011-12-01
US61/565,608 2011-12-01

Publications (1)

Publication Number Publication Date
WO2013080555A1 true WO2013080555A1 (en) 2013-06-06

Family

ID=48535044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007672 WO2013080555A1 (en) 2011-12-01 2012-11-29 Stereoscopic video data generating device and stereoscopic video playing apparatus

Country Status (1)

Country Link
WO (1) WO2013080555A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD895628S1 (en) 2017-08-04 2020-09-08 Apple Inc. Housing module for an electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274091A (en) * 2003-01-15 2004-09-30 Sharp Corp Image data creating apparatus, image data reproducing apparatus, image data recording system, and image data recording medium
JP2005006114A (en) * 2003-06-12 2005-01-06 Sharp Corp Broadcast data transmission device, broadcast data transmitting method, and broadcast data reception device
JP2005094168A (en) * 2003-09-12 2005-04-07 Sharp Corp File structure, image recording apparatus and image reproducing apparatus employing the same
WO2007072870A1 (en) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. Video content recording device, video content recording method, video content recording program, video content reproduction device, video content reproduction method, video content reproduction program, video content edition device, and information recording medium
JP2008252731A (en) * 2007-03-30 2008-10-16 Sanyo Electric Co Ltd Image display apparatus
JP2010263382A (en) * 2009-05-01 2010-11-18 Sony Corp Transmitter, transmission method of 3d image data, receiver, receiving method of 3d image data, relay device and relay method of 3d image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274091A (en) * 2003-01-15 2004-09-30 Sharp Corp Image data creating apparatus, image data reproducing apparatus, image data recording system, and image data recording medium
JP2005006114A (en) * 2003-06-12 2005-01-06 Sharp Corp Broadcast data transmission device, broadcast data transmitting method, and broadcast data reception device
JP2005094168A (en) * 2003-09-12 2005-04-07 Sharp Corp File structure, image recording apparatus and image reproducing apparatus employing the same
WO2007072870A1 (en) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. Video content recording device, video content recording method, video content recording program, video content reproduction device, video content reproduction method, video content reproduction program, video content edition device, and information recording medium
JP2008252731A (en) * 2007-03-30 2008-10-16 Sanyo Electric Co Ltd Image display apparatus
JP2010263382A (en) * 2009-05-01 2010-11-18 Sony Corp Transmitter, transmission method of 3d image data, receiver, receiving method of 3d image data, relay device and relay method of 3d image data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD895628S1 (en) 2017-08-04 2020-09-08 Apple Inc. Housing module for an electronic device

Similar Documents

Publication Publication Date Title
US10341636B2 (en) Broadcast receiver and video data processing method thereof
DK2230844T3 (en) REGISTRATION MEDIUM, WHICH 3D VIDEO IS REGISTERED, REGISTRATION MEDIUM FOR REGISTERING 3D VIDEO AND REPLACEMENT DEVICE AND METHOD OF REPRESENTING 3D VIDEO
JP5336666B2 (en) Encoding method, display device, and decoding method
JP6229962B2 (en) Encoding apparatus and encoding method
KR101578740B1 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
US20120050476A1 (en) Video processing device
JP2004357156A (en) Video reception apparatus and video playback apparatus
TW201123847A (en) Recording medium, playback device, and integrated circuit
JPWO2012111325A1 (en) Video encoding apparatus, video encoding method, video encoding program, video playback apparatus, video playback method, and video playback program
KR20110064161A (en) Method and apparatus for encoding a stereoscopic 3d image, and display apparatus and system for displaying a stereoscopic 3d image
WO2013099290A1 (en) Image playback device, image playback method, image playback program, image transmission device, image transmission method and image transmission program
US9357200B2 (en) Video processing device and video processing method
WO2012029293A1 (en) Video processing device, video processing method, computer program and delivery method
KR20140105367A (en) Playback device, transmission device, playback method and transmission method
JP6008292B2 (en) Video stream video data creation device and playback device
US20150130897A1 (en) Method for generating, transporting and reconstructing a stereoscopic video stream
WO2013080555A1 (en) Stereoscopic video data generating device and stereoscopic video playing apparatus
JP2004336492A (en) Image processor and image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12853285

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12853285

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP