WO2010122711A1 - 立体画像表示装置、立体画像再生装置および立体画像目視システム - Google Patents

立体画像表示装置、立体画像再生装置および立体画像目視システム Download PDF

Info

Publication number
WO2010122711A1
WO2010122711A1 PCT/JP2010/001837 JP2010001837W WO2010122711A1 WO 2010122711 A1 WO2010122711 A1 WO 2010122711A1 JP 2010001837 W JP2010001837 W JP 2010001837W WO 2010122711 A1 WO2010122711 A1 WO 2010122711A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
transmission
stereoscopic image
information
video data
Prior art date
Application number
PCT/JP2010/001837
Other languages
English (en)
French (fr)
Inventor
小川英
石村勇
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2010122711A1 publication Critical patent/WO2010122711A1/ja
Priority to US13/277,015 priority Critical patent/US20120033048A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to a stereoscopic image display device, a stereoscopic image reproduction device, and a stereoscopic image viewing system, and in particular, to simplify the wiring of a transmission cable for transmitting video data as a source of a stereoscopic image from a plurality of video cameras.
  • a transmission cable for transmitting video data as a source of a stereoscopic image from a plurality of video cameras.
  • the stereoscopic image viewing system is a system that can recognize a stereoscopic image using binocular parallax information (difference information between an image recognized by the human right eye and an image recognized by the left eye).
  • the display unit is arranged in a planar shape, and the viewer is in any positional relationship with respect to the planar display unit (in addition to the normal position, the opposite side position and the left side The position and the position on the right side can be stereoscopically viewed as expected, but the transmission cable is still individual.
  • the present invention was created in view of this situation, and an object of the present invention is to simplify the wiring of a transmission cable for transmitting video data that is a source of a stereoscopic image from a plurality of video cameras. Yes.
  • the present invention provides the following means for each of the stereoscopic image display device, the stereoscopic image reproduction device, and the stereoscopic image viewing system.
  • a stereoscopic image display device includes: A transmission / reception unit that generates video signals based on the video data after receiving video data including a plurality of pieces of image information as original data of a stereoscopic image from a stereoscopic image reproduction device via a transmission cable; A display unit for displaying an image of the image signal; A control signal transmitter that transmits a control signal for controlling light transmission of each of the binocular transmission parts of the shutter glasses to shutter glasses worn by a viewer of the display unit; With The transmission / reception unit generates the image signal and the synchronization signal based on the received video data after receiving the video data from the stereoscopic image reproduction device via the single transmission cable, The synchronization signal indicates which of the plurality of pieces of image information the image signal currently being output includes, The control signal transmitter generates the control signal based on the synchronization signal.
  • the transmission cable connected to the transmission / reception unit of the stereoscopic image display apparatus is unified, the transmission cable can be easily and simply wired. Needless to say, even if the posture of the viewer wearing the shutter glasses is tilted, the function that stereoscopic viewing is possible is exhibited as expected.
  • the wiring of the transmission cable can be made easy and simple.
  • FIG. 1 is a block diagram showing the overall configuration of the stereoscopic image viewing system according to Embodiment 1 of the present invention.
  • FIG. 2 is a processing flowchart of the receiving unit according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing the overall configuration of the stereoscopic image viewing system according to Embodiment 2 of the present invention.
  • FIG. 4 is a table showing how the control signal to be supplied to the shutter glasses is defined by the correlation between the visual posture information and the image information at a plurality of positions in the second embodiment of the present invention.
  • FIG. 5 is a table showing the relationship between the viewing posture in which the viewer is placed in the transmission / reception unit on the playback device side according to Embodiment 2 of the present invention, that is, the viewing posture information and the image information to be selected accordingly.
  • FIG. 6 is a perspective view of an image photographing unit of a general stereoscopic image viewing system.
  • FIG. 7 is a diagram showing an example of visual observation by an image display unit and a viewer of a general stereoscopic image viewing system.
  • FIG. 8 is a block diagram showing the overall configuration of a general stereoscopic image viewing system.
  • FIG. 9 is a table showing how a control signal to be supplied to the shutter glasses is defined by the correlation between the viewing posture information and the image information at a plurality of positions in a general stereoscopic image viewing system.
  • FIG. 6 is a perspective view showing a state of an image photographing unit of a general stereoscopic image viewing system
  • FIG. 7 is a perspective view showing a display unit of the general stereoscopic image viewing system, a device associated therewith, and a visual example by a viewer.
  • FIG. 8 is a block diagram showing the overall configuration of a general stereoscopic image viewing system.
  • FIG. 9 is a table showing the contents of the control signal S4 from the control signal transmitter 24.
  • the first to fourth video cameras V1, V2, V3, and V4 are separated by the same distance in the left direction, the upward direction, the right direction, and the downward direction with the viewfinder 40 as the center.
  • the positions are fixed in parallel with each other.
  • the viewfinder 40 and the four video cameras V1, V2, V3, V4 are directed toward the subject 50.
  • the viewing position of the first viewer U1 wearing the first shutter glasses m1 is in a state where the head is not tilted with respect to the display screen.
  • the display portion viewing posture of the second viewer U2 wearing the second shutter glasses m2 is a state in which the head is inclined by 90 degrees with respect to the display screen.
  • the shutter glasses include liquid crystal glasses having an electronic shutter that switches between transmission and non-transmission of the transmission part for the left eye and the transmission part for the right eye by controlling the liquid crystal shutter.
  • the display unit 22 such as a liquid crystal display has a visual posture sensor 23 that detects the visual posture of the viewer through detection of a relative posture relationship with respect to the display unit 22 such as the inclination of the shutter glasses m1 and m2 worn by the viewers U1 and U2.
  • a control signal transmitter 24 for controlling the shutter glasses m1 and m2 is provided.
  • the shutter glasses m1 and m2 are provided with a transmission / reception unit (not shown) for measuring the relative posture relationship of the viewers U1 and U2 with respect to the display unit 22 through wireless transmission and reception with the visual posture sensor 23. Yes.
  • the control signal S4 transmitted by the control signal transmitter 24 performs timing control for switching between transmission and non-transmission of the left eye transmission part or the right eye transmission part or both transmission parts in the shutter glasses m1 and m2. ing.
  • the stereoscopic image viewing system includes four video cameras V1 to V4, an image selection device E3, a display unit 22, a visual attitude sensor 23, a control signal transmitter 24, a first and a second It is composed of second shutter glasses m1 and m2.
  • the image selection device E3 sequentially selects the captured images of the four video cameras V1 to V4 for each video frame, outputs them to the display unit 22 as image signals S1, and outputs four image signals S1 that are currently output.
  • the synchronization signal S2 for indicating which of the image information P1 to P4 by each of the video cameras V1 to V4 is output to the control signal transmitter 24.
  • the display unit 22 is configured to display an image based on the image signal S1.
  • the four video cameras V1 to V4 and the image selection device E3 are connected to each other by independent transmission cables C1 to C4.
  • the visual attitude sensor 23 is based on signals received from the first and second shutter glasses m1 and m2, and is relative to the display screen of the display unit 22 such as the tilt of the heads of the first and second viewers U1 and U2.
  • Visual posture information S3 indicating the posture relationship is generated and output to the control signal transmitter 24.
  • the visual posture information S3 is in any of the states of “no tilt”, “left 90 ° tilt”, “right 90 ° tilt”, and “180 ° tilt” regarding the tilt of the head with respect to the screen.
  • the direction of inclination of the viewer's head means which direction the viewer is inclined from the display unit 22 when viewing the viewer. It should be noted that the second viewer U2 drawn to be tilted “right” in FIG. 7 is tilted to “left” when viewed from the display unit 22, and the second viewer U2 The head tilt is treated as “left”.
  • the control signal transmitter 24 generates a control signal S4 for each of the first and second shutter glasses m1 and m2 based on the synchronization signal S2 from the image selection device E3 and the visual posture information S3 from the visual posture sensor 23. And configured to make outgoing calls.
  • the control signal S4 is sent to the left eye of the shutter glasses m1 and m2 so that each viewer U1 and U2 can view a stereoscopic image according to the relative posture relationship of the viewers U1 and U2 with respect to the display unit 22.
  • This is a signal for timing control to switch between transmission and non-transmission for the transmission part for right and the transmission part for right eye.
  • FIG. 9 shows the content of the control signal S4 by the control signal transmitter 24.
  • Relative posture relationship (“No tilt”, “Left 90 degrees tilt” with respect to the display units 22 of the four video cameras V1 to V4 identified by the synchronization signal S2 and the viewers U1, U2 identified by the viewing posture information S3 ”,“ 90-degree tilt right ”, and“ 180-degree tilt ”, switching between transmission and non-transmission for the transmission part for the left eye or the transmission part for the right eye or both transmission parts of the shutter glasses m1 and m2.
  • the timing control for this is tabulated.
  • Example 1 In the case of the first viewer U1> A case where the first viewer U1 views the display unit 22 from the front will be described.
  • the visual posture sensor 23 detects the visual posture of the first viewer U1 from the relative posture relationship of the first shutter glasses m1. Since the first viewer U1 is viewing the screen without tilting the head, the visual posture sensor 23 determines that the visual posture of the first viewer U1 is “no tilt”, and this is the visual posture information S3. To the control signal transmitter 24.
  • the control signal transmitter 24 generates a control signal S4 that complies with the provisions of the table diagram of FIG. 9 and outputs it to the first shutter glasses m1.
  • the left-eye transmission unit is displayed.
  • the transparent state is set to the transparent state and the transparent portion for the right eye is set to the non-transmissive state and the image information P3 of the video camera V3 is displayed on the display unit 22, the transparent portion for the right eye is set to the transparent state and the transparent portion for the left eye is transmitted.
  • Control is performed so that both the right-eye transmissive part and the left-eye transmissive part are non-transmissive while the image information P2 and P4 of the video cameras V2 and V4 are displayed on the display unit 22.
  • the signal S4 is output.
  • the liquid crystal shutter is controlled based on the control signal S4. Therefore, the first viewer U1 displays the display unit 22 through the first shutter glasses m1.
  • the image information P1 of the video camera V1 is viewed with the left eye
  • the image information P3 of the video camera V3 is viewed with the right eye. Since the video camera V1 and the video camera V3 are arranged on the left and right sides with the viewfinder 40 as the center as shown in FIG. 6, the image information P1 and the image information P3 are images having parallax information on the left and right. These are combinations, and stereoscopic viewing is possible by viewing each with the left eye and the right eye.
  • Example 2 In the case of the second viewer U2> A case where the second viewer U2 lies down and looks at the display unit 22 will be described.
  • the visual posture sensor 23 detects the visual posture of the second viewer U2 from the relative posture relationship with the second shutter glasses m2. Since the second viewer U2 is viewing the display unit 22 with the head tilted 90 degrees to the left (not right) as viewed from the display unit 22, the visual attitude sensor 23 is the second viewer U2. Is determined to be “90 degrees left”, and this is output to the control signal transmitter 24 as visual attitude information S3.
  • the control signal transmitter 24 generates a control signal S4 that complies with the provisions of the table diagram of FIG. 9, and outputs it to the second shutter glasses m2.
  • the transmission unit for the left eye Is set to the transparent state and the right-eye transmission portion is set to the non-transmission state
  • the image information P4 of the video camera V4 is displayed on the display unit 22, the right-eye transmission portion is set to the transmission state and the left-eye transmission portion is displayed.
  • both the right-eye transmissive part and the left-eye transmissive part are in the non-transmissive state.
  • the control signal S4 is output.
  • the liquid crystal shutter is controlled based on the control signal S4. Therefore, the second viewer U2 displays the display unit 22 through the second shutter glasses m2.
  • the image information P2 of the video camera V2 is viewed with the left eye
  • the image information P4 of the video camera V4 is viewed with the right eye. Since the video camera V2 and the video camera V4 are arranged above and below the finder 40 as shown in FIG. 6, the image information P2 and the image information P4 are combinations of images having parallax information above and below.
  • the second viewer U2 can view stereoscopically by viewing each with the left eye and the right eye. This is because, for the second viewer U2 who looks at the display unit 22 tilted by 90 degrees, the horizontal direction is equivalent to the vertical direction of the actual space.
  • FIG. 1 is a block diagram showing the overall configuration of the stereoscopic image viewing system according to Embodiment 1 of the present invention.
  • E1 is a stereoscopic image reproducing device.
  • the stereoscopic image reproduction device E1 includes an image output unit 11 and a transmission unit 12.
  • E2 is a stereoscopic image display device.
  • the stereoscopic image display device E ⁇ b> 2 includes a receiving unit 21, a display unit 22, a visual attitude sensor 23, and a control signal transmitter 24.
  • Reference numeral 30 denotes a single transmission cable (HDMI cable).
  • the transmission cable 30 connects the transmission unit 12 of the stereoscopic image reproduction device E1 and the reception unit 21 of the stereoscopic image display device E2.
  • m1 is the first shutter glasses worn by the first viewer U1
  • m2 is the second shutter glasses worn by the second viewer U2.
  • P1 is first image information output from the image output unit 11
  • P2 is second image information output from the image output unit 11
  • P3 is third image information output from the image output unit 11.
  • P4 is fourth image information output by the image output unit 11.
  • the image output unit 11 is configured to record image information P1 to P4 at a plurality of positions obtained by the four video cameras V1 to V4 respectively shooting from a plurality of different positions. Further, the image output unit 11 is configured to cyclically output the video information as a video data in a predetermined order after associating the image information P1 to P4 with the shooting position information regarding each position.
  • the image information P1 to P4 is image data that is a source of a stereoscopic image.
  • the transmission unit 12 transmits each frame of the image information P1 to P4 (including shooting position information) output from the image output unit 11 via the HDMI cable 30 which is a single transmission cable (High Definition Definition Multimedia Interface). It is configured to transmit and output as video data. At this time, the image information P1 to P4 are transmitted and output at a frame rate four times that of the image information P1 to P4 while being sequentially and cyclically switched frame by frame. Further, the transmission unit 12 is configured to transmit a switching notification packet using an HDMI VSI packet. The switching notification packet is transmitted in synchronization with the timing of outputting the first image information P1.
  • HDMI was established as a new standard for the interface between digital AV devices.
  • This HDMI standard is an interface standard for next-generation digital television that can transmit high-resolution video signals and multi-channel digital audio signals in high quality with a single cable without compression, and can also transmit control signals together. It is a specification.
  • the VSI (Vendor Specific Info Frames) packet of HDMI is a packet for extending information transmitted via HDMI according to the use, and the switching notification packet is transmitted as HDMI video data. It is a packet for identifying the shooting position information of the frame.
  • the data of the image information P1 to P4 is described as being transmitted as HDMI video data without being compressed.
  • frame rate decimation, resolution downscaling, interlace / progressive conversion, and the like may be performed.
  • the receiving unit 21 receives video data and packet data (these data correspond to image information P1 to P4 at a plurality of positions) via the HDMI cable 30, and receives the received video data as an image.
  • the signal S1 is output to the display unit 22. Further, the receiving unit 21 is configured to output a synchronization signal S2 indicating which of the plurality of positions the image signal S1 currently being output corresponds to.
  • data transmission according to the HDMI standard is performed in three periods of a video data period, a data island period, and a control period.
  • pixel data (video data) of a video signal formatted according to the EIA / CEA-86IB standard is transmitted in the video data period
  • packet data of an audio stream signal formatted in accordance with the IEC06958 standard is transmitted in the data island period.
  • the encoded horizontal synchronizing signal and vertical synchronizing signal are transmitted.
  • the packet data transmitted in the data island period includes packet data generated by encoding 4-bit data into 10-bit data by the TERC4 (TMDS Error Reducing Coding in 4bit) coding method.
  • the display unit 22 is configured to receive the image signal S1 output from the receiving unit 21 and display an image based on the image signal S1.
  • the visual attitude sensor 23 detects a relative attitude relationship such as the inclination of the attitude of the shutter glasses m1 and m2 attached to the first and second viewers U1 and U2 with respect to the display unit 22, and displays the display apparatus visual attitude information S3 (hereinafter, referred to as the visual attitude information S3). (Abbreviated as visual orientation information S3) and output to the control signal transmitter 24.
  • position of shutter glasses m1 and m2 here means the following. That is, the display unit 22 is usually installed so that the horizontal / vertical direction is defined and the horizontal direction is parallel to the floor surface.
  • the direction connecting both eye parts of the shutter glasses m1 and m2 is substantially horizontal.
  • the posture of the shutter glasses m ⁇ b> 1 and m ⁇ b> 2 in this state is a parallel posture with respect to the display unit 22.
  • the direction connecting both eyes of the shutter glasses m1 and m2 is a substantially vertical direction.
  • the posture of the shutter glasses m ⁇ b> 1 and m ⁇ b> 2 in this state is a vertical posture with respect to the display unit 22.
  • the varying arrangement inclination is referred to as the attitude of the shutter glasses m1 and m2.
  • the posture of the shutter glasses m1 and m2 is important for the viewer to recognize the stereoscopic image.
  • the shutter glasses m1 and m2 are controlled according to the selection ( It is necessary to perform control of light transmission of each binocular transmission unit.
  • the present invention is made closer to the implementation product by providing a configuration (viewing posture sensor 23) that detects the posture of the shutter glasses m1 and m2.
  • the visual attitude sensor 23 generates the visual attitude information S3 based on the visual attitude of the viewer (head inclination, etc.) and the relative visual orientation (visual orientation) of the viewer with respect to the display unit 22. .
  • the viewing direction indicates a viewing direction relative to the display unit 22 of the viewer. Specifically, it is direction information indicating in what positional relationship (orientation) the viewer faces the flatly arranged display unit 22 in a state where the display unit 22 is arranged in a planar shape.
  • the control signal transmitter 24 receives the visual posture information S3 from the visual posture sensor 23 and the synchronization signal S1 from the receiving unit 21, and controls the shutter glasses m1 and m2 according to the received visual posture information S3 and the synchronization signal S2.
  • the control signal S4 is generated and transmitted and output.
  • the transmission / non-transmission timing of the transmission part for the left eye and the transmission part for the right eye of the shutter glasses m1, m2 worn by the first and second viewers U1, U2 is controlled according to the control signal S4. Yes.
  • the shutter glasses m1 and m2 include a transmission / reception unit (not shown) for measuring the relative posture relationship of the viewer with respect to the display unit 22 of the viewers U1 and U2 through wireless transmission and reception with the visual posture sensor 23. ) Is provided.
  • step n1 the receiving unit 21 initializes an internal variable i to “1” at the start of operation.
  • step n2 it is determined whether or not a switching notification packet indicating the output timing of the first image information P1 has been received. If it is determined in step n2 that it has been received, the process branches to step n3, and if not, the process branches to step n4.
  • the receiving unit 21 decodes TMDS (Transition Minimized Differential Signaling) transmitted from the transmitting unit 12 and performs BCH error correction processing.
  • TMDS Transition Minimized Differential Signaling
  • TMDS is encoded by TERC4 (TMDS Error Reduction Coding-4).
  • TMDS is a digital signal transmission method used for data communication between a personal computer or tuner and a television, a display, or the like, and is also referred to as a “transition time shortest differential signal transmission method”.
  • step n2 it may be determined only whether the normally received VSI packet is a switching notification packet. In this case, it is preferable that the TMRC TERC4 decoding and BCH error correction processing transmitted from the transmission unit 12 is performed in parallel with steps other than step n2.
  • step n4 As a result of determining that the switching notification packet has been received in step n2, in step n3 branched, the internal counter i is initialized to “1”, and then the process proceeds to step n4.
  • the receiving unit 21 determines whether or not a video frame is received depending on whether VSYNC (vertical synchronization signal) that has been TERC4 encoded or control period encoded is detected in the TMDS packet data transmitted from the transmitting unit 12. .
  • step n5 the received video frame is output as the i-th image signal S1 (i is an internal variable), and a synchronization signal S2 indicating that the output image signal S1 is an image of the i-th video camera is output. Output.
  • step n6 the internal variable i is incremented, and the process returns to step n2.
  • the stereoscopic image reproducing device E1 sequentially switches the image information P1 to P4 at a plurality of positions frame by frame via the HDMI cable 30 that is a single transmission cable, and transmits it as HDMI video data.
  • a switching notification packet is transmitted in the data island period.
  • the data island period is a period in which video data is not output before the first image information P1 is transmitted.
  • the switching notification packet is transmitted while satisfying the following conditions.
  • the receiving unit 21 before outputting the vertical synchronization signal VSYNC of the first image information P1 in the control period or data island period, the receiving unit 21 can complete the reception of the data island period and perform error correction processing.
  • the switch notification packet is transmitted with a sufficient period.
  • the reception unit 21 in the stereoscopic image display device E2 detects the start of reception of video data or packet data via the HDMI cable 30, the reception unit 21 starts reception processing according to the flowchart shown in FIG. That is, the received video frame is output to the display unit 22 as the image signal S1. As a result, the image information P1 to P4 photographed by the video cameras V1 to V4 are sequentially switched cyclically and output as the image signal S1. In synchronism with this, the receiving unit 21 determines which image information of the image information P1 to P4 captured by the first to fourth video cameras V1 to V4 is the image signal S1 currently being output. Is output to the control signal transmitter 24. If the receiving unit 21 receives a video frame but has not received any switching notification packet, it cannot uniquely determine which of the image information P1 to P4 is the video frame. Therefore, in such a case, the received video frame may not be output as the image signal S1.
  • the control signal transmitter 24 outputs the control signal S4 at a timing synchronized with the image signal S1 output to the display unit 22 based on the visual posture information S3 from the visual posture sensor 23 and the synchronization signal S2 from the receiving unit 21.
  • the transmission control / non-transmission timing control of the transmission part for the left eye and the transmission part for the right eye of the shutter glasses m1 and m2 respectively worn by the first and second viewers U1 and U2 is performed.
  • the first viewer U1 wearing the first shutter glasses m1 and the second viewer U2 wearing the second shutter glasses m2 can each stereoscopically view.
  • the receiving unit 21 generates the synchronization signal S2 based on the detection of the switching notification packet, and the control signal transmitter 24 generates the control signal S4 according to the synchronization signal S2. Therefore, the light transmission timing control in the shutter glasses m1 and m2 is accurate.
  • the other operations are the same as the basic configuration of the stereoscopic image viewing system described with reference to FIGS.
  • the stereoscopic image reproducing device E1 and the stereoscopic image display device E2 are connected by the HDMI cable 30 that is a single transmission cable, and therefore will be described with reference to FIGS. Compared to the configuration in which wiring is required from each of the plurality of video cameras, wiring is greatly simplified and easy.
  • image data can be transmitted and received in a state that conforms to the existing HDMI standard.
  • a data island packet in the existing HDMI standard can be extended and used. That is, when realizing the stereoscopic image reproduction device E1 and the stereoscopic image display device E2, it is possible to cope with only a few circuit changes by using a transmission unit / reception unit compliant with the existing HDMI standard.
  • the frame rate of image display can be increased. Furthermore, the transmission efficiency of the transmission cable is improved by narrowing down the data transmitted by the transmission cable based on the visual attitude information S3. As a result, video data including a plurality of types of image information can be efficiently transmitted with a single transmission cable. Needless to say, even if the posture of the viewer wearing the shutter glasses m1 and m2 is inclined, the function of enabling stereoscopic viewing as expected is exhibited.
  • the video data stores image information that is periodically switched in a predetermined order, and the video data further includes a switching notification packet that indicates that the switching cycle of the plurality of image information is completed. Therefore, it is possible to accurately control the light transmission timing in the shutter glasses m1 and m2.
  • FIG. 3 is a block diagram showing the overall configuration of the stereoscopic image viewing system according to Embodiment 2 of the present invention.
  • the same reference numerals as those in FIG. 1 of the first embodiment indicate the same components, and thus detailed description thereof is omitted.
  • a transmission / reception unit 12a on the reproduction device side is provided instead of the transmission unit 12 in the first embodiment.
  • a transmission / reception unit 21a on the display device side is provided instead of the reception unit 21 in the case of the first embodiment.
  • the transmission / reception unit 12a on the reproduction device side in the stereoscopic image reproduction device E1 and the transmission / reception unit 21a on the display device side in the stereoscopic image display device E2 are capable of bidirectional transmission via the HDMI cable 30 which is a single transmission cable. It is connected to the.
  • the visual posture sensor 23 of the stereoscopic image display device E2 is configured to have a function of outputting the generated visual posture information S3 to the transmission / reception unit 21a on the display device side.
  • the transmission / reception unit 21a on the display device side in the stereoscopic image display device E2 is a single transmission cable for the visual posture information S3 supplied from the visual posture sensor 23 in addition to the function of the receiving unit 21 in the first embodiment.
  • the stereoscopic image reproducing apparatus E1 is configured to have a function of transmitting to the transmitting / receiving unit 12a on the reproducing apparatus side via the HDMI cable 30.
  • the transmission / reception unit 21a on the display device side notifies the visual attitude information S3 to the transmission / reception unit 12a on the playback device side using HDMI CEC (Consumer Electronics Control).
  • the transmission / reception unit 12a on the playback device side in the stereoscopic image playback device E1 follows the visual orientation information S3 received from the stereoscopic image display device E2. Selecting one or more pieces of image information (hereinafter referred to as frame information) of each frame in the image information P1 to P4 (imaging positions are different from each other) supplied from the image output unit 11; The selected frame information is output as HDMI video data one frame at a time.
  • a switch notification packet is transmitted using a VSI packet in synchronization with the video data output timing. Configured as a thing.
  • the transmitting / receiving unit 12a on the playback device side Selecting a left-eye image signal and a right-eye image signal for the first shutter glasses m1 of the first viewer U1 from the image information P1 to P4 at a plurality of positions according to the viewing posture information S3;
  • the selected left-eye image signal and right-eye image signal are output as first and second image information (HDMI video data).
  • the selected left-eye image signal and right-eye image signal are output as third and fourth image information (HDMI video data). It is configured as follows.
  • the selection of the image information according to the visual attitude information S3 is a process in which an image most suitable for stereoscopic viewing is selected when the display unit 22 is viewed in the visual attitude of the viewers U1 and U2.
  • the timing at which the transmission / reception unit 12a on the playback device side transmits the switching notification packet is the timing at which the first image information is output.
  • FIG. 4 shows how the control signal S4 to be supplied to the shutter glasses m1 and m2 is defined in the correlation between the visual attitude information S3 from the visual attitude sensor 23 and the image information P1 to P4 at a plurality of positions. Show.
  • FIG. 5 shows the relationship between the visual attitude information S3 indicating the visual attitudes of the first and second viewers U1 and U2 and the image information to be selected in accordance with the transmission / reception unit 12a on the playback device side.
  • Other configurations are the same as those in the first embodiment, and thus description thereof is omitted.
  • the operation of the stereoscopic image viewing system of the present embodiment having the above configuration will be described.
  • the first viewer U1 tilts 90 degrees to the right with respect to the display unit 22 to view the display unit 22, and the second viewer U2 tilts 90 degrees to the left with respect to the display unit 22.
  • the case where 22 is visually observed is demonstrated.
  • it is the inclination of the posture when viewing the viewers U1 and U2 from the display unit 22.
  • the fact that the first viewer U1 is tilted 90 degrees to the right with respect to the display unit 22 means that the first viewer U1 is tilted 90 degrees to the left in the drawing in the positional relationship of FIG. It corresponds.
  • the fact that the second viewer U2 is inclined 90 degrees to the left with respect to the display unit 22 corresponds to the state shown in FIG. It should be noted that the inclination directions of the viewers U1 and U2 with respect to the display unit 22 are opposite to the positional relationship of FIG.
  • the first shutter glasses m1 worn by the first viewer U1 tilted 90 degrees to the right with respect to the display unit 22 requires an image obtained by the fourth video camera V4 in the left eye transmission unit.
  • Information P4 which is image information P2 from the second video camera V2 in the right-eye transmission unit.
  • the second shutter glasses m2 worn by the second viewer U2 tilted 90 degrees to the left with respect to the display unit 22 require the second video camera V2 in the left eye transmission unit.
  • the visual posture information S3 from the visual posture sensor 23 is sent to the transmission / reception unit 21a on the display device side in the stereoscopic image display device E2, and further the playback device of the stereoscopic image playback device E1 via the HDMI cable 30.
  • the transmission / reception unit 12a on the reproduction apparatus side is based on the visual orientation information S3 from the four pieces of image information P1 to P4 supplied from the image output unit 11.
  • the second image information P2 and the fourth image information P4 that are necessary for the determination are selected, and the first image information P1 and the third image information P3 that are unnecessary for the determination based on the visual posture information S3 are selected. And are excluded from selection. This will be described in detail below.
  • the visual posture sensor 23 detects the visual postures of the first and second viewers U1 and U2, and the visual posture information S3 is output to the transmission / reception unit 21a on the display device side. Further, the visual attitude information S3 is notified to the transmission / reception unit 12a on the playback device side of the stereoscopic image playback device E1 via the HDMI cable 30 which is a single transmission cable.
  • the first viewer U1 takes a viewing posture inclined 90 degrees to the right with respect to the display unit 22.
  • image information P4 from the fourth video camera V4 corresponds to the image signal for the left eye
  • P2 is applicable.
  • the second viewer U2 takes a viewing posture inclined 90 degrees to the left with respect to the display unit 22.
  • the image information P2 from the second video camera V2 corresponds to the image signal for the left eye
  • the fourth video camera V4 as the image signal for the right eye. This corresponds to the image information P4.
  • image information P1 from the first video camera V1 image information is not transmitted in either the viewing posture tilted 90 degrees to the right or the viewing posture tilted 90 degrees to the left.
  • image information P3 by the third video camera V3 neither image information is transmitted in the viewing posture tilted 90 degrees to the right or the viewing posture tilted 90 degrees to the left.
  • the transmission / reception unit 12a on the playback device side of the stereoscopic image playback device E1 that has received the visual posture information S3 receives the fourth image signal for the left eye for the first shutter glasses m1 worn by the first viewer U1.
  • the second image information P2 is selected as the right eye image signal for the first shutter glasses m1.
  • the transmission / reception unit 12a selects the second image information P2 as the left-eye image signal for the second shutter glasses m2 worn by the second viewer U2, and for the second shutter glasses m2.
  • the fourth image information P4 is selected as the right-eye image signal.
  • the transmission / reception unit 12a repeatedly transmits the image information P4, P2, P2, and P4 as HDMI video data to the transmission / reception unit 21a of the stereoscopic image display device E2 via the HDMI cable 30.
  • the image information P1 from the first video camera V1 and the image information P3 from the third video camera V3 are not transmitted from the transmission / reception unit 12a on the playback device side.
  • a switch notification packet is transmitted to a data island period during which video data is not output before the left eye image signal for the first shutter glasses m1, which is the first image information, is transmitted as video data.
  • the transmission / reception unit on the display device side is temporally before outputting the vertical synchronization signal VSYNC of the image signal for the left eye for the first shutter glasses m1 to the control period or the data island period.
  • the transmission / reception unit 21a on the display device side in the stereoscopic image display device E2 detects the start of reception of video data or packet data from the HDMI cable 30, it starts reception processing according to the flowchart shown in FIG.
  • the transmission / reception unit 21a on the display device side outputs the received video data as an image signal S1. Further, the transmission / reception unit 21 outputs the synchronization signal S2 in synchronization with the output of the image signal S1.
  • the synchronization signal S2 is a signal indicating which image information of the first to fourth image information is the image signal S1.
  • this video frame is any of the first to fourth image information. Cannot be uniquely determined. In this case, the received video frame may not be output as the image signal S1.
  • the control signal transmitter 24 displays the first image information (the image signal for the left eye for the first shutter glasses m1 worn by the first viewer U1) on the display unit 22. While -The transmission part for the left eye of the first shutter glasses m1 is set to the transmission state. A transmission part other than the transmission part for the left eye of the first shutter glasses m1 (the transmission part for the right eye of the first shutter glasses m1, the transmission part for the right eye and the transmission part for the left eye of the second shutter glasses m2) ) To be non-transparent, Perform the process.
  • control signal transmitter 24 is displaying the second image information (the image signal for the right eye for the first shutter glasses m1) on the display unit 22, -The transmission part for the right eye of the first shutter glasses m1 is set to the transmission state.
  • Transmission parts other than the first shutter glasses m1 right-eye transmission part (the left-eye transmission part of the first shutter glasses m1, the right-eye transmission part and the left-eye transmission part of the second shutter glasses m2) Make it non-transparent, Perform the process.
  • control signal transmitter 24 displays the third image information (the image signal for the left eye for the second shutter glasses m2 worn by the second viewer U2) on the display unit 22.
  • the left eye transmission part of the second shutter glasses m2 is set to the transmission state.
  • a transmission part other than the transmission part for the left eye of the second shutter glasses m2 (the transmission part for the right eye of the second shutter glasses m2, the transmission part for the right eye and the transmission part for the left eye of the first shutter glasses m1) ) To be non-transparent, Perform the process.
  • control signal transmitter 24 displays the fourth image information (the image signal for the right eye for the second shutter glasses m2 worn by the second viewer U2) on the display unit 22.
  • the transmission part for the right eye of the second shutter glasses m2 is set to the transmission state.
  • -Transmission parts other than the right eye transmission part of the second shutter glasses m2 (the left eye transmission part of the second shutter glasses m2, the right eye transmission part and the left eye transmission part of the first shutter glasses m1) ) To be non-transparent, Perform the process.
  • the image information selected for the plurality of viewers by the transmission / reception unit 12a on the playback device side is correctly stereoscopically viewed by the first and second viewers U1 and U2 appropriately wearing the shutter glasses m1 and m2. It will be.
  • the transmission efficiency in the HDMI cable 30 that is a single transmission cable is improved, and the frame rate of image display can be increased.
  • the transmission / reception unit 12a on the playback device side transmits the fifth and sixth image information.
  • the control signal transmitter 24 is capable of responding by making the transmission part for the left eye and the transmission part for the right eye of the third viewer transparent while displaying the fifth and sixth image information. The same applies when there are four or more viewers.
  • the present invention limits the number and arrangement of video cameras to be used.
  • the stereoscopic image system according to the present invention can be implemented even when an image by computer graphics using three-dimensional data is used instead of an image taken by a video camera. That is, a configuration in which a home game machine or the like capable of simultaneously drawing computer graphics from a plurality of angles based on a 3D model is used instead of a video camera.
  • the first and second viewers U1 and U2 view the screen almost directly facing the display unit 22, but from a set of a plurality of video cameras.
  • the number of image capturing units is further increased, and the plurality of image capturing units are arranged at a plurality of different positions with respect to the subject, and the position of the viewer with respect to the display unit 22 can be changed from any position.
  • stereoscopic viewing may be performed as expected.
  • the display unit is arranged in a planar shape, and regardless of the positional relationship of the viewer with respect to the planar display unit (the opposite side position other than the normal position) Or the position on the left side or the position on the right side), which is suitable for enabling stereoscopic viewing as expected.
  • control signal transmitter 24 is configured to transmit a control signal according to a relative viewing direction relative to the display unit 22 of the viewer in addition to the tilt of the viewer's head, thereby displaying the viewer's display. It is possible to cope with a change in the viewing direction relative to the part.
  • the control signal S4 from the control signal transmitter 24 makes all the shutter glasses opaque both left and right, and for the image that cannot be seen by all viewers, the transmission / reception unit 12a on the playback device side
  • the transmission / reception unit 12a on the playback device side is configured not to transmit an image to the stereoscopic image display device E2. Simultaneous viewing from multiple viewpoints is also possible.
  • the present embodiment it is possible to selectively transmit only necessary image information from a plurality of pieces of image information based on the visual attitude information S3. Can be raised. Furthermore, the transmission efficiency of the transmission cable is improved by narrowing down the data transmitted by the transmission cable based on the visual attitude information S3. As a result, video data including a plurality of types of image information can be efficiently transmitted with a single transmission cable. Needless to say, even if the posture of the viewer wearing the shutter glasses m1 and m2 is inclined, the function of enabling stereoscopic viewing as expected is exhibited.
  • the technique of the present invention is useful as a stereoscopic image display device, a stereoscopic image reproduction device, and a stereoscopic image visualizing system applied to visual observation of a stereoscopic image in a home theater or the like, or a home game machine using computer graphics.
  • data island packet is extended and used for transmission of shooting position information, data can be transmitted / received using a transmitter / receiver compliant with the existing HDMI standard, and a stereoscopic image reproducing device can be used with few circuit changes. realizable.
  • E1 to C4 transmission cable E1 stereoscopic image reproduction device E2 stereoscopic image display device E3 image selection device m1 first shutter glasses (liquid crystal glasses) m2 Second shutter glasses (liquid crystal glasses) n1 to n6 Processing steps of receiving unit P1 to P4 First to fourth images S1 Image signal S2 Synchronization signal S3 Visual attitude information S4 Control signal U1 First viewer U2 Second viewer V1 to V4 First to fourth 4 video camera 11 image output unit 12 transmission unit 12a transmission / reception unit on playback device side 21 reception unit 21a transmission / reception unit on display device side 22 display unit 23 visual attitude sensor 24 control signal transmitter 30 HDMI cable 40 viewfinder of image capturing unit 50 subject

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 立体画像表示装置は送受信部と制御信号発信器とを備える。送受信部は、複数の画像情報を含み立体画像の元データとなるビデオデータを、立体画像再生装置から伝送ケーブルを介して受信したうえで画像信号を生成する。制御信号発信器は、両眼用透過部それぞれの光透過を制御する制御信号をシャッタメガネに送信する。送受信部は、単一の前記伝送ケーブルを介して、立体画像再生装置からビデオデータを受信して画像信号と同期信号とを生成する。同期信号は現在出力中の画像信号が複数の画像情報のいずれを含むものであるのかを示す。制御信号発信器は、同期信号に基づいて制御信号を生成する。

Description

立体画像表示装置、立体画像再生装置および立体画像目視システム
 本発明は立体画像表示装置,立体画像再生装置および立体画像目視システムにかかわり、特には、複数のビデオカメラから立体画像の元になるビデオデータを伝送するための伝送ケーブルの配線を簡素化するための技術に関する。
 立体画像目視システムとは、両眼視差情報(人間の右眼で認識する像と左眼で認識する像との差分情報)を利用して立体を認識することができるようにしたシステムである。
特開平11-341518号公報
 ところで、従来技術においては、立体画像の元になる画像情報として複数のアングルの画像を撮影する複数のビデオカメラごとにそれぞれ別々の伝送ケーブルを用いているため、配線が複雑になるという技術的課題がある。
 特許文献1については、表示部が平面状に配置され、目視者が平面状の表示部に対してどのような位置関係にあっても(正規の位置以外に反対の向かい側の位置や左横の位置や右横の位置いずれでも)、所期通りに立体視ができるものであるが、伝送ケーブルが個別であることに変わりはない。
 本発明は、この事情に鑑みて創作したものであり、複数のビデオカメラから立体画像の元になるビデオデータを伝送するための伝送ケーブルについて、その配線を簡素化できるようにすることを目的としている。
 本発明は、上記の課題を解決するべく、立体画像表示装置と、立体画像再生装置と、立体画像目視システムのそれぞれについて、以下のような手段を講じるものである。
 (1)本発明による立体画像表示装置は、
 複数の画像情報を含み立体画像の元データとなるビデオデータを、立体画像再生装置から伝送ケーブルを介して受信したうえで、前記ビデオデータに基づいて画像信号を生成する送受信部と、
 前記画像信号の画像を表示する表示部と、
 前記表示部の目視者が装着するシャッタメガネに、当該シャッタメガネが有する両眼用透過部それぞれの光透過を制御する制御信号を送信する制御信号発信器と、
 を備え、
 前記送受信部は、単一の前記伝送ケーブルを介して、前記立体画像再生装置から前記ビデオデータを受信したうえで、受信した前記ビデオデータに基づいて、前記画像信号と同期信号とを生成し、前記同期信号は現在出力中の前記画像信号が前記複数の画像情報のいずれを含むものであるのかを示すものであり、
 前記制御信号発信器は、前記同期信号に基づいて前記制御信号を生成する。
 この構成によれば、立体画像表示装置の送受信部に接続される伝送ケーブルを単一化しているので、伝送ケーブルの配線を容易かつ簡素なものにすることが可能となる。なお、シャッタメガネを装着する目視者の姿勢が傾いているとしても所期通りに立体視が可能であるとの機能が発揮されることはいうまでもない。
 本発明によれば、立体画像再生装置と立体画像表示装置とを単一の伝送ケーブルで接続するものであるため、伝送ケーブルの配線を容易かつ簡素なものにすることができる。
図1は本発明の実施の形態1における立体画像目視システムの全体の構成を示すブロック図である。 図2は本発明の実施の形態1における受信部の処理フローチャートである。 図3は本発明の実施の形態2における立体画像目視システムの全体の構成を示すブロック図である。 図4は本発明の実施の形態2において目視姿勢情報と複数位置の画像情報との相関関係でシャッタメガネに供給すべき制御信号がどのように規定されるかを示すテーブル図である。 図5は本発明の実施の形態2の再生装置側の送受信部において目視者がおかれている目視姿勢すなわち目視姿勢情報とそれに応じて選択すべき画像情報との関係を示すテーブル図である。 図6は一般的な立体画像目視システムの画像撮影部の斜視図である。 図7は一般的な立体画像目視システムの画像表示部と目視者による目視例を示す図である。 図8は一般的な立体画像目視システムの全体の構成を示すブロック図である。 図9は一般的な立体画像目視システムにおいて目視姿勢情報と複数位置の画像情報との相関関係でシャッタメガネに供給すべき制御信号がどのように規定されるかを示すテーブル図である。
 本発明の立体画像目視システムの実施形態を説明する前に、図6ないし図9を参照して、立体画像目視システムの基本的な構成を説明する。図6は一般的な立体画像目視システムの画像撮影部の様子を示す斜視図であり、図7は一般的な立体画像目視システムの表示部とそれに付随する装置および目視者による目視例を示す斜視図であり、図8は一般的な立体画像目視システムの全体の構成を示すブロック図であり、図9は制御信号発信器24による制御信号S4の内容を示すテーブルである。なお、図6~図9を参照して説明するシステムは、立体画像目視システムの基本構成ではあるものの、本発明の実施形態ではない。
 図6に示すように、第1ないし第4の4台のビデオカメラV1,V2,V3,V4がファインダ40を中心として、それぞれ左方向,上方向,右方向,および下方向に同じ距離隔てた位置に互いに平行姿勢で固定されている。ファインダ40および4台のビデオカメラV1,V2,V3,V4は被写体50に向けられている。
 図7に示すように、第1の目視者U1,第2の目視者U2はそれぞれ表示部22の表示画面に対して正面から向き合う状態となっている。第1のシャッタメガネm1を装着した第1の目視者U1の表示部目視姿勢は、表示画面に対し頭部を傾けない状態である。第2のシャッタメガネm2を装着した第2の目視者U2の表示部目視姿勢は、表示画面に対し頭部を90度傾けた状態である。シャッタメガネは、液晶シャッタの制御により左眼用透過部および右眼用透過部が透過と非透過を切り換える電子式シャッタを有する液晶メガネを備える。
 液晶ディスプレイ等の表示部22には、目視者U1,U2が装着するシャッタメガネm1,m2の傾きなど表示部22に対する相対姿勢関係の検出を通じて目視者の目視姿勢を検出する目視姿勢センサ23と、シャッタメガネm1,m2を制御する制御信号発信器24とが設けられている。
 シャッタメガネm1,m2には、目視姿勢センサ23との間での無線の送受信を通じて目視者U1,U2の表示部22に対する相対姿勢関係を測定するための送受信部(図示せず)が設けられている。
 制御信号発信器24が発信する制御信号S4は、シャッタメガネm1,m2における左眼用透過部または右眼用透過部または両透過部を透過と非透過を切り換えるためのタイミング制御を行うようになっている。
 図8に示すように、立体画像目視システムは、4台のビデオカメラV1~V4と、画像選択装置E3と、表示部22と、目視姿勢センサ23と、制御信号発信器24と、第1および第2のシャッタメガネm1,m2とから構成されている。
 画像選択装置E3は、4台のビデオカメラV1~V4の撮影画像をビデオのフレーム毎に順に選択し、画像信号S1として表示部22に出力するとともに、現在出力されている画像信号S1が4台のビデオカメラV1~V4のそれぞれによる画像情報P1~P4のうちのどれであるかを示すための同期信号S2を制御信号発信器24に出力するように構成されている。表示部22は、画像信号S1による画像を表示するものとして構成されている。
 4台のビデオカメラV1~V4と画像選択装置E3とはそれぞれが独立した伝送ケーブルC1~C4によって接続されている。目視姿勢センサ23は、第1および第2のシャッタメガネm1,m2から受信した信号を基に表示部22の表示画面に対する第1および第2の目視者U1,U2の頭部の傾きなどの相対姿勢関係を示す目視姿勢情報S3を生成し、制御信号発信器24に出力するものとして構成されている。
 その目視姿勢情報S3は、ここでは特に画面に対する頭部の傾きについて、「傾きなし」,「左90度傾き」,「右90度傾き」,「180度傾き」の状態のうちどれであるかの判断が可能な情報を含む。ここで、目視者の頭部の傾きの方向は、表示部22の方から目視者を見ていずれの方向に傾いているかを意味している。留意すべきは、図7において「右」に傾いて描かれている第2の目視者U2は、表示部22から見ると「左」に傾いていることになり、第2の目視者U2の頭部の傾きは「左」という扱いになるということである。
 制御信号発信器24は、画像選択装置E3からの同期信号S2と目視姿勢センサ23からの目視姿勢情報S3とに基づいて、第1および第2のシャッタメガネm1,m2それぞれに対する制御信号S4を生成し、発信するように構成されている。
 その制御信号S4は、各目視者U1,U2の表示部22に対する相対姿勢関係に応じて、各目視者U1,U2のいずれもが立体画像を視覚できるように、シャッタメガネm1,m2の左眼用透過部および右眼用透過部に対して透過と非透過とを切り換えるためにタイミング制御する信号である。
 図9は制御信号発信器24による制御信号S4の内容を示す。同期信号S2によって識別される4台のビデオカメラV1~V4と、目視姿勢情報S3で識別される各目視者U1,U2の表示部22に対する相対姿勢関係(「傾きなし」,「左90度傾き」,「右90度傾き」,「180度傾き」との組み合わせにおいて、シャッタメガネm1,m2の左眼用透過部または右眼用透過部または両透過部に対して透過と非透過とを切り換えるためのタイミング制御をテーブル化している。
 次に、この立体画像目視システムの動作を説明する。
 <例1:第1の目視者U1の場合>
 第1の目視者U1が表示部22を正面から目視する場合を説明する。目視姿勢センサ23は、第1の目視者U1の目視姿勢を第1のシャッタメガネm1の相対姿勢関係から検知する。第1の目視者U1は画面を頭部を傾けずに目視しているため、目視姿勢センサ23は第1の目視者U1の目視姿勢は「傾きなし」と判断し、これを目視姿勢情報S3として制御信号発信器24に出力する。
 制御信号発信器24は、図9のテーブル図の規定に従う制御信号S4を生成し、第1のシャッタメガネm1に出力する。ここでは、「傾きなし」の第1の目視者U1の第1のシャッタメガネm1に対して、ビデオカメラV1の画像情報P1が表示部22に表示されている間は、左眼用透過部を透過状態にするとともに右眼用透過部を非透過状態にし、ビデオカメラV3の画像情報P3が表示部22に表示されている間は、右眼用透過部を透過状態にするとともに左眼用透過部を非透過状態にし、ビデオカメラV2およびV4の画像情報P2,P4が表示部22に表示されている間は、右眼用透過部,左眼用透過部ともに非透過状態にするよう、制御信号S4を出力する。
 第1の目視者U1が装着する第1のシャッタメガネm1では、制御信号S4に基づいて液晶シャッタが制御されるため、第1の目視者U1はこの第1のシャッタメガネm1を通して表示部22を目視することにより、ビデオカメラV1の画像情報P1を左眼によって目視し、ビデオカメラV3の画像情報P3を右眼によって目視することになる。ビデオカメラV1とビデオカメラV3とは、図6に示すようにファインダ40を中心として左方と右方に配されているため、画像情報P1と画像情報P3とは左右に視差情報を有する画像の組み合わせであり、それぞれを左眼と右眼とで目視することにより立体視が可能となる。
 <例2:第2の目視者U2の場合>
 第2の目視者U2が横になって表示部22を目視する場合を説明する。目視姿勢センサ23は、第2の目視者U2の目視姿勢を第2のシャッタメガネm2との相対姿勢関係から検知する。第2の目視者U2は表示部22から見て左に(右ではない)90度頭部を傾けた状態で表示部22を目視しているため、目視姿勢センサ23は第2の目視者U2の目視姿勢は「左90度」と判断し、これを目視姿勢情報S3として制御信号発信器24に出力する。
 制御信号発信器24は、図9のテーブル図の規定に従う制御信号S4を生成し、第2のシャッタメガネm2に出力する。ここでは、「左90度」の第2の目視者U2の第2のシャッタメガネm2に対して、ビデオカメラV2の画像情報P2が表示部22に表示されている間は、左眼用透過部を透過状態にするとともに右眼用透過部を非透過状態にし、ビデオカメラV4の画像情報P4が表示部22に表示されている間は、右眼用透過部を透過状態にするとともに左眼用透過部を非透過状態にし、ビデオカメラV1およびV3の画像情報P1,P3が表示部22に表示されている間は、右眼用透過部,左眼用透過部ともに非透過状態になるように、制御信号S4を出力する。
 第2の目視者U2の装着する第2のシャッタメガネm2では、制御信号S4に基づいて液晶シャッタが制御されるため、第2の目視者U2はこの第2のシャッタメガネm2を通して表示部22を目視することにより、ビデオカメラV2の画像情報P2を左眼によって目視し、ビデオカメラV4の画像情報P4を右眼によって目視することになる。ビデオカメラV2とビデオカメラV4とは、図6に示すようにファインダ40を中心として上方と下方に配されているため、画像情報P2と画像情報P4とは上下に視差情報を有する画像の組み合わせであり、それぞれを左眼と右眼で目視することにより第2の目視者U2は立体視が可能となる。表示部22に対して90度傾いた状態で目視する第2の目視者U2にとっては、その左右方向は実際の空間の上下方向と等価であるからである。
 以上が立体画像目視システムの基本的な構成の説明である。次に本発明の立体画像目視システムの実施の形態を説明する。
 (実施の形態1)
 図1は本発明の実施の形態1における立体画像目視システムの全体の構成を示すブロック図である。図1において、E1は立体画像再生装置である。立体画像再生装置E1は、画像出力部11と送信部12とを含む。E2は立体画像表示装置である。立体画像表示装置E2は、受信部21と表示部22と目視姿勢センサ23と制御信号発信器24とを含む。30は単一の伝送ケーブル(HDMIケーブル)である。伝送ケーブル30は、立体画像再生装置E1の送信部12と立体画像表示装置E2の受信部21とを接続する。m1は第1の目視者U1が装着する第1のシャッタメガネであり、m2は第2の目視者U2が装着する第2のシャッタメガネである。
 P1は画像出力部11が出力する第1の画像情報であり、P2は画像出力部11が出力する第2の画像情報であり、P3は画像出力部11が出力する第3の画像情報であり、P4は画像出力部11が出力する第4の画像情報である。
 立体画像再生装置E1において、画像出力部11は、4つのビデオカメラV1~V4が互いに異なる複数の位置からそれぞれ撮影して得られる複数位置の画像情報P1~P4を記録するものとして構成される。さらに画像出力部11は、画像情報P1~P4をそれぞれの位置に関する撮影位置情報と関連付けた上でビデオデータとして所定の順序でサイクリックに出力するものとして構成される。画像情報P1~P4は立体画像の元になる画像データである。
 送信部12は、画像出力部11が出力する画像情報P1~P4(撮影位置情報を含む)の各フレームを、単一の伝送ケーブルであるHDMIケーブル30を介して、HDMI(High Definition Multimedia Interface)のビデオデータとして送信出力するように構成される。その際、画像情報P1~P4は、1フレームずつ順次サイクリックに切り替えられながら、画像情報P1~P4の4倍のフレームレートで送信出力される。さらに送信部12は、HDMIのVSIパケットを用いて切替通知パケットを送信するように構成される。切替通知パケットは、1番目の画像情報P1を出力するタイミングに同期して送信される。
 なお、HDMIはデジタルAV機器間のインターフェースの新しい標準規格として制定された。このHDMI規格では、1本のケーブルで高解像度のビデオ信号とマルチチャンネルのデジタルオーディオ信号とを非圧縮で高品質のまま伝送できるとともに、制御信号も合わせて伝送できる次世代デジタルテレビ向けのインターフェース規格仕様となっている。
 ここでHDMIのVSI(Vendor Specific Info Frames)パケットとはHDMIを経由して送信する情報を用途に応じて拡張するためのパケットであり、また、切替通知パケットとはHDMIのビデオデータとして送信されたフレームの撮影位置情報を識別するためのパケットである。
 本システムでは、画像情報P1~P4のデータはすべてを圧縮せずにHDMIのビデオデータとして送信するものとして説明される。ただし、フレームレートの間引き、解像度のダウンスケール,インターレース・プログレッシブ変換などを行ってもよいのはいうまでもない。
 立体画像表示装置E2において、受信部21は、HDMIケーブル30を介して、ビデオデータとパケットデータ(これらのデータは複数位置の画像情報P1~P4に対応する)を受信し受信したビデオデータを画像信号S1として表示部22に出力するものとして構成される。さらに受信部21は、現在出力中の画像信号S1が複数の位置のいずれに対応するかを示す同期信号S2を併せて出力するものとして構成される。
 ここで、HDMI規格におけるデータ伝送は、ビデオデータピリオド,データアイランドピリオド,コントロールピリオドの3つの期間に分けて行われる。このうちのビデオデータピリオドでEIA/CEA-86IB規格でフォーマットされたビデオ信号のピクセルデータ(ビデオデータ)が伝送され、データアイランドピリオドではIEC06958規格でフォーマットされたオーディオストリーム信号のパケットデータが伝送される。また、コントロールピリオドまたはデータアイランドピリオドでは、エンコードされた水平同期信号と垂直同期信号とが伝送される。また、データアイランドピリオドで伝送されるパケットデータには、TERC4(TMDS Error Reducing Coding in 4bit)符号法により4ビットデータを10ビットデータにエンコードして生成したパケットデータが含まれる。
 表示部22は、受信部21から出力される画像信号S1を入力し、その画像信号S1に基づく画像を表示するものとして構成される。目視姿勢センサ23は、第1および第2の目視者U1,U2が装着するシャッタメガネm1,m2の表示部22に対する姿勢の傾きなどの相対姿勢関係を検出し表示装置目視姿勢情報S3(以下、目視姿勢情報S3と略する)を生成して制御信号発信器24に出力するものとして構成される。なお、なお、ここでいうシャッタメガネm1,m2の姿勢とは次のものをいう。すなわち、通常、表示部22は、その水平/垂直方向が規定されたうえでその水平方向が床面と平行になるように設置される。このようにして設置される表示部22を、シャッタメガネm1,m2を装着した目視者が椅子等に座って目視する場合、シャッタメガネm1,m2の両眼部位を結ぶ方向は略水平方向となる。この状態でのシャッタメガネm1,m2の姿勢は、表示部22に対して平行姿勢であるといえる。一方、両目を結ぶ方向を略垂直方向にして横臥した状態で目視者が表示部22を目視する場合、シャッタメガネm1,m2の両眼を結ぶ方向は略垂直方向となる。この状態でのシャッタメガネm1,m2の姿勢は、表示部22に対して垂直姿勢であるといえる。目視者の目視姿勢に応じて表示部22に対する配置の傾きが変動するシャッタメガネm1,m2において、変動する配置の傾きをシャッタメガネm1,m2の姿勢と称する。目視者に立体画像を認識させるうえで、シャッタメガネm1,m2の姿勢は重要であって、その姿勢に応じた画像情報を選択したうえで、その選択に応じてシャッタメガネm1,m2の制御(両眼用透過部それぞれの光透過の制御)を行う必要がある。本実施の形態では、シャッタメガネm1,m2の姿勢を検知する構成(目視姿勢センサ23)を設けることで本発明をより実施品に近づけたものとしている。
 また目視者の目視姿勢(頭部の傾き等)と、目視者の表示部22に対する相対的な目視の向き(目視方位)とに基づいて、目視姿勢センサ23は、目視姿勢情報S3を生成する。これにより表示部22に対する目視者の相対的な目視方位の変化に対応した立体画像の表示が可能となる。ここで目視の向きとは、目視者の表示部22に対する相対的な目視方位を示す。具体的には、表示部22が平面状に配置された状態において、目視者が平面配置の表示部22に対してどのような位置関係(向き)で対向するかを示す方向情報である。
 制御信号発信器24は、目視姿勢センサ23から目視姿勢情報S3を、受信部21から同期信号S1をそれぞれ受け取り、受け取った目視姿勢情報S3と同期信号S2とに応じてシャッタメガネm1,m2を制御するための制御信号S4を生成して発信出力するものとして構成される。
 第1および第2の目視者U1,U2が装着するシャッタメガネm1,m2それぞれの左眼用透過部、右眼用透過部が制御信号S4に従って透過/非透過がタイミング制御されるようになっている。なお、シャッタメガネm1,m2には、目視姿勢センサ23との間での無線の送受信を通じて目視者U1,U2の表示部22に対する目視者の相対姿勢関係を測定するための送受信部(図示せず)が設けられている。
 次に、立体画像表示装置E2における受信部21の動作を図2のフローチャートを用いて説明する。まず、ステップn1で、受信部21は動作開始において内部変数iを「1」に初期化する。次いでステップn2において、1番目の画像情報P1の出力タイミングを示す切替通知パケットを受信したかを判別する。ステップn2において、受信したと判断したときはステップn3に分岐し、そうでないときはステップn4に分岐する。受信部21は、送信部12から送信されてくるTMDS(Transition Minimized Differential Signaling)の復号化およびBCHエラー訂正処理を行う。さらに受信部21は、正常受信したVSIパケットに切替通知パケットが存在するかどうかの判断を行う。TMDSはTERC4(TMDS Error Reduction Coding‐4)で符号化されている。TMDSは、パソコンやチューナとテレビ、ディスプレイとの間などでデータ通信のために用いられるデジタル信号伝送方式であり、「遷移時間最短差動信号伝送方式」とも呼ばれる。なお、ステップn2では、正常受信したVSIパケットが切替通知パケットかどうかの判断のみを行ってもよい。その場合、送信部12から送信されてくるTMDSのTERC4復号化およびBCHエラー訂正処理は、ステップn2以外のステップと並行して行うのが好ましい。
 ステップn2で切替通知パケットを受信したと判断した結果、分岐したステップn3においては、内部カウンタiを「1」に初期化し、次いでステップn4に進む。ステップn2またはステップn3の次のステップn4においては、ビデオフレームを受信したかどうかを判断し、受信していないと判断する場合はステップn2に戻り、受信したと判断する場合はステップn5に移行する。受信部21は、送信部12から送信されてくるTMDSのパケットデータにおいて、TERC4符号化またはコントロールピリオド符号化されたVSYNC(垂直同期信号)を検出したかどうかをもって、ビデオフレーム受信の有無を判断する。
 次いでステップn5において、受信したビデオフレームをi番目(iは内部変数)の画像信号S1として出力するとともに、出力した画像信号S1が第i番目のビデオカメラの画像であることを示す同期信号S2を出力する。次いでステップn6において、内部変数iをインクリメントし、ステップn2に戻る。
 次に、上記構成の本実施の形態の立体画像目視システムの動作を説明する。立体画像再生装置E1は単一の伝送ケーブルであるHDMIケーブル30を介して複数位置の画像情報P1~P4を1フレームずつ順に切り替えてHDMIのビデオデータとして送信する。このとき、1番目の画像情報P1を送信するたびに、データアイランドピリオドにおいて切替通知パケットを送信する。データアイランドピリオドとは、1番目の画像情報P1を送信する前の、ビデオデータを出力しない期間のことである。また、切替通知パケットは次の条件を満たして送信される。すなわち、コントロールピリオドまたはデータアイランドピリオドにおいて1番目の画像情報P1の垂直同期信号VSYNCを出力するより前に、受信部21がデータアイランドピリオドの受信を完了してエラー訂正処理を行うことが可能となる十分な期間をあけた状態で、切替通知パケットが送信される。
 立体画像表示装置E2における受信部21は、HDMIケーブル30を介してビデオデータまたはパケットデータの受信開始を検出すると、図2に示すフローチャートに従って受信処理を開始する。すなわち、受信したビデオフレームを画像信号S1として表示部22に出力する。結果として、ビデオカメラV1~V4の撮影した画像情報P1~P4が順次サイクリックに切り替えられて画像信号S1として出力される。そして、受信部21は、これと同期して、現在出力中の画像信号S1が、第1~第4のビデオカメラV1~V4の撮影した画像情報P1~P4のうちのどの画像情報であるかを示す同期信号S2を制御信号発信器24に出力する。なお、受信部21がビデオフレームを受信するものの切替通知パケットを1つも受信していない場合は、そのビデオフレームが画像情報P1~P4のうちどれであるかを一意に判別することができない。そのため、そのような場合には受信したビデオフレームを画像信号S1として出力しなくてもよい。
 制御信号発信器24は、目視姿勢センサ23からの目視姿勢情報S3と受信部21からの同期信号S2に基づいて、表示部22に出力する画像信号S1に同期したタイミングで制御信号S4を出力し、第1および第2の目視者U1,U2がそれぞれ装着するシャッタメガネm1,m2の左眼用透過部,右眼用透過部の透過/非透過のタイミング制御を行う。これにより、第1のシャッタメガネm1を装着する第1の目視者U1と、第2のシャッタメガネm2を装着する第2の目視者U2とは、それぞれ立体視が可能となる。また、受信部21は切替通知パケットの検出に基づいて同期信号S2を生成し、制御信号発信器24は同期信号S2に応じて制御信号S4を生成する。そのため、シャッタメガネm1,m2における光透過のタイミング制御は正確になる。その他の動作については、図6~図9で説明した立体画像目視システムの基本構成と同様であるので説明を省略する。
 本実施の形態の立体画像目視システムによれば、立体画像再生装置E1と立体画像表示装置E2とを単一の伝送ケーブルであるHDMIケーブル30で接続しているため、図6~図9で説明した複数のビデオカメラのそれぞれから配線しなければならない構成に比べて、配線が大幅に簡素・容易なものとなる。
 また、既存のHDMI規格に準拠したままの状態で、画像データの送受信を行うことができる。また、位置情報の伝送については、既存のHDMI規格におけるデータアイランドパケットを拡張して使用することができる。すなわち、立体画像再生装置E1,立体画像表示装置E2の実現に際して、既存のHDMI規格に準拠した送信部・受信部を用いて、少ない回路変更だけで対応することができる。
 また、複数の画像情報から必要な画像情報だけを選択的に伝送することが可能になるので、画像表示のフレームレートを上げることが可能になる。さらには、目視姿勢情報S3に基づいて、伝送ケーブルで伝送するデータの絞り込みを行うことで、伝送ケーブルの伝送効率が向上する。その結果、複数種の画像情報を含むビデオデータを単一の伝送ケーブルで効率よく伝送することが可能になる。なお、シャッタメガネm1,m2を装着する目視者の姿勢が傾いているとしても所期通りに立体視が可能であるとの機能が発揮されることはいうまでもない。
 また、ビデオデータには、画像情報が所定順序で周期的に切り替えられて格納されており、かつビデオデータは、複数の画像情報の切り替え周期が一巡したことを示す切替通知パケットをさらに含んでいるので、シャッタメガネm1,m2における光透過のタイミング制御を正確に行うことが可能となる。
 (実施の形態2)
 本発明の実施の形態2では、複数の画像情報P1~P4のうち目視者U1,U2の表示部22に対する相対姿勢関係に基づいて不要となることがあらかじめ判別された画像情報については、これを立体画像再生装置E1から立体画像表示装置E2に伝送しないようにするものである。そのため、実施の形態2では、立体画像表示装置E2における目視姿勢センサ23による目視姿勢情報S3を立体画像再生装置E1側に通知し、立体画像再生装置E1において受け取った目視姿勢情報S3に基づいて不要となる画像情報は選択候補から除外し、必要とされる画像情報のみを選択して送信している。つまり、表示する必要のない画像情報を除去する目視者位置感応型に構成したものである。その狙いは、単一の伝送ケーブルであるHDMIケーブル30における伝送効率を向上させ、画像表示のフレームレートを上げることにある。
 図3は本発明の実施の形態2における立体画像目視システムの全体の構成を示すブロック図である。図3において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。
 立体画像再生装置E1において、実施の形態1の場合の送信部12に代えて、再生装置側の送受信部12aが設けられている。また、立体画像表示装置E2において、実施の形態1の場合の受信部21に代えて、表示装置側の送受信部21aが設けられている。立体画像再生装置E1における再生装置側の送受信部12aと立体画像表示装置E2における表示装置側の送受信部21aとは、単一の伝送ケーブルであるHDMIケーブル30を介して双方向に伝送可能なように接続されている。
 立体画像表示装置E2の目視姿勢センサ23は、生成した目視姿勢情報S3を表示装置側の送受信部21aに出力する機能を有するものとして構成される。
 立体画像表示装置E2における表示装置側の送受信部21aは、実施の形態1における受信部21が有する機能に加えて、目視姿勢センサ23から供給される目視姿勢情報S3を単一の伝送ケーブルであるHDMIケーブル30を介して立体画像再生装置E1における再生装置側の送受信部12aに送信する機能を有するものとして構成される。表示装置側の送受信部21aは、目視姿勢情報S3を、HDMIのCEC(Consumer Electronics Control)を用いて再生装置側の送受信部12aに通知するようになっている。
 立体画像再生装置E1における再生装置側の送受信部12aは、実施の形態1における送信部12が有する機能に加えて、立体画像表示装置E2から受け取った目視姿勢情報S3に従って、
・画像出力部11から供給される画像情報P1~P4(撮像位置が互いに異なる)における各フレームの画像情報(以下、フレーム情報という)の中から1つ以上を選択する、
・選択したフレーム情報について1フレームずつ順にHDMIのビデオデータとして出力する、
・ビデオデータの出力タイミングに同期してVSIパケットを用いて切替通知パケットを送信する、
ものとして構成される。
 より詳しくは、再生装置側の送受信部12aは、
・複数位置の画像情報P1~P4のうちから、目視姿勢情報S3に従って第1の目視者U1の第1のシャッタメガネm1用として、左眼用画像信号と右眼用画像信号とを選択する、
・選択した左眼用画像信号と右眼用画像信号とを、第1,第2の画像情報(HDMIのビデオデータ)として出力する、
・複数位置の画像情報P1~P4のうちから、目視姿勢情報S3に従って第2の目視者U2の第2のシャッタメガネm2用として、左眼用画像信号と右眼用画像信号を選択する、
・選択した左眼用画像信号と右眼用画像信号とを、第3,第4の画像情報(HDMIのビデオデータ)として出力する、
ように構成されている。
 これら目視姿勢情報S3に従う画像情報の選択においては、目視者U1,U2の目視姿勢において表示部22を目視した場合に最も立体視に好適な画像が選択されるような処理である。再生装置側の送受信部12aが切替通知パケットを送信するタイミングは、第1の画像情報を出力するタイミングである。
 図4は、目視姿勢センサ23からの目視姿勢情報S3と複数位置の画像情報P1~P4との相関関係において、シャッタメガネm1,m2に供給すべき制御信号S4がどのように規定されるかを示している。
 図5は、再生装置側の送受信部12aにおいて、第1および第2の目視者U1,U2の目視姿勢を示す目視姿勢情報S3とそれに応じて選択すべき画像情報との関係を示す。その他の構成については、実施の形態1と同様であるので説明を省略する。
 次に、上記構成の本実施の形態の立体画像目視システムの動作を説明する。一例として、第1の目視者U1は表示部22に対して右に90度傾いて表示部22を目視し、第2の目視者U2は表示部22に対して左に90度傾いて表示部22を目視している場合について説明する。ここで注意すべきことは、表示部22の方から目視者U1,U2を見たときの姿勢の傾きであるということである。第1の目視者U1が表示部22に対して右に90度傾いているということは、図7の位置関係において、第1の目視者U1が図面上左方向へ90度傾いていることに対応している。また、第2の目視者U2が表示部22に対して左に90度傾いているということは、図7に示す状態に対応している。表示部22に対する目視者U1,U2の傾き方向については、図7の位置関係に対して逆になっていることに留意すべきである。
 表示部22に対して右に90度傾いている第1の目視者U1が装着する第1のシャッタメガネm1が必要とするのは、その左眼用透過部では第4のビデオカメラV4による画像情報P4であり、右眼用透過部では第2のビデオカメラV2による画像情報P2である。
 また、表示部22に対して左に90度傾いている第2の目視者U2が装着する第2のシャッタメガネm2が必要とするのは、その左眼用透過部では第2のビデオカメラV2による画像情報P2であり、右眼用透過部では第4のビデオカメラV4による画像情報P4である。
 以上を踏まえると、第1および第2のシャッタメガネm1,m2のいずれに対しても、第3のビデオカメラV3による画像情報P3も第4のビデオカメラV4による画像情報P4も表示が必要ないということになる。したがって、本動作例では、立体画像表示装置E2において目視姿勢センサ23からの目視姿勢情報S3が表示装置側の送受信部21aに送られ、さらにHDMIケーブル30を介して立体画像再生装置E1の再生装置側の送受信部12aに目視姿勢情報S3が通知されると、再生装置側の送受信部12aは画像出力部11から供給される4つの画像情報P1~P4の中から、目視姿勢情報S3に基づいた判断で必要とされる第2の画像情報P2と第4の画像情報P4とを選択し、目視姿勢情報S3に基づいた判断で不要とされる第1の画像情報P1と第3の画像情報P3とを選択対象から除外する。以下、詳しく説明する。
 立体画像表示装置E2において目視姿勢センサ23によって第1,第2の目視者U1,U2の目視姿勢が検出され、目視姿勢情報S3が表示装置側の送受信部21aに出力される。さらに、単一の伝送ケーブルであるHDMIケーブル30を介して立体画像再生装置E1の再生装置側の送受信部12aに目視姿勢情報S3が通知される。
 本動作例の場合、上述したように、第1の目視者U1は表示部22に対して右に90度傾いた目視姿勢をとっている。図4を参照すると、右90度の目視姿勢においては、左眼用画像信号として第4のビデオカメラV4による画像情報P4が該当し、右眼用画像信号として第2のビデオカメラV2による画像情報P2が該当する。また、第2の目視者U2は表示部22に対して左に90度傾いた目視姿勢をとっている。図4を参照すると、左に90度傾いた目視姿勢においては、左眼用画像信号として、第2のビデオカメラV2による画像情報P2が該当し、右眼用画像信号として第4のビデオカメラV4による画像情報P4が該当する。第1のビデオカメラV1による画像情報P1においては、右に90度傾いた目視姿勢でも左に90度傾いた目視姿勢でも、ともに画像情報を送信しないとなっている。第3のビデオカメラV3による画像情報P3においては、右に90度傾いた目視姿勢でも左に90度傾いた目視姿勢でも、ともに画像情報を送信しないとなっている。
 そこで、目視姿勢情報S3を受け取った立体画像再生装置E1の再生装置側の送受信部12aは、第1の目視者U1が装着する第1のシャッタメガネm1のための左眼用画像信号として第4の画像情報P4を選択するとともに、第1のシャッタメガネm1のための右眼用画像信号として第2の画像情報P2を選択する。さらに、送受信部12aは、第2の目視者U2が装着する第2のシャッタメガネm2のための左眼用画像信号として第2の画像情報P2を選択するとともに、第2のシャッタメガネm2のための右眼用画像信号として第4の画像情報P4を選択する。これら画像情報P4,P2,P2,P4は順に第1の画像情報,第2の画像情報,第3の画像情報,第4の画像情報となる。そのうえで送受信部12aは、これら画像情報P4,P2,P2,P4を、HDMIケーブル30を介してHDMIのビデオデータとして繰り返し立体画像表示装置E2の送受信部21aに向けて送信する。以上の送信形態においては、第1のビデオカメラV1による画像情報P1と第3のビデオカメラV3による画像情報P3とは再生装置側の送受信部12aから送信されることはない。
 また、1番目の画像情報である第1のシャッタメガネm1のための左眼用画像信号をビデオデータとして送信する前の、ビデオデータを出力しない期間であるデータアイランドピリオドに切替通知パケットを送信する。切替通知パケットの送信においては、第1のシャッタメガネm1のための左眼用画像信号の垂直同期信号VSYNCをコントロールピリオドまたはデータアイランドピリオドに出力するより時間的に前において、表示装置側の送受信部21aでデータアイランドピリオドの受信が完了することで、エラー訂正処理を行うのに十分な時間的余裕を表示装置に与えることが可能となるように、パケットの送信間隔を確保する。
 立体画像表示装置E2における表示装置側の送受信部21aは、HDMIケーブル30からビデオデータまたはパケットデータの受信開始を検出すると、図2に示すフローチャートに従って受信処理を開始する。表示装置側の送受信部21aは、受信したビデオデータを画像信号S1として出力する。さらに送受信部21は、同期信号S2を画像信号S1の出力と同期して出力する。同期信号S2は、画像信号S1が第1~第4の画像情報のうちのどの画像情報であるかを示す信号である。なお、表示装置側の送受信部21aがビデオフレームを受信しても、切替通知パケットを1つも受信していない場合には、このビデオフレームが第1~第4の画像情報のうちのどれであるかを一意に判別することができない。この場合は、受信したビデオフレームを画像信号S1として出力しなくてもよい。
 制御信号発信器24は、図5に示す通り、第1の画像情報(第1の目視者U1が装着する第1のシャッタメガネm1のための左眼用画像信号)を表示部22で表示している間においては、
・第1のシャッタメガネm1の左眼用透過部を透過状態にする、
・第1のシャッタメガネm1の左眼用透過部以外の透過部(第1のシャッタメガネm1の右眼用透過部と、第2のシャッタメガネm2の右眼用透過部並びに左眼用透過部)を非透過状態にする、
という処理を行う。
 さらに、制御信号発信器24は、第2の画像情報(第1のシャッタメガネm1のための右眼用画像信号)を表示部22で表示している間においては、
・第1のシャッタメガネm1の右眼用透過部を透過状態にする、
・第1のシャッタメガネm1右眼用透過部以外の透過部(第1のシャッタメガネm1の左眼用透過部と、第2のシャッタメガネm2の右眼用透過部並びに左眼用透過部)を非透過状態にする、
という処理を行う。
 さらに、制御信号発信器24は、第3の画像情報(第2の目視者U2が装着する第2のシャッタメガネm2のための左眼用画像信号)を表示部22で表示している間においては、
・第2のシャッタメガネm2の左眼用透過部を透過状態にする、
・第2のシャッタメガネm2の左眼用透過部以外の透過部(第2のシャッタメガネm2の右眼用透過部と、第1のシャッタメガネm1の右眼用透過部並びに左眼用透過部)を非透過状態にする、
という処理を行う。
 さらに、制御信号発信器24は、第4の画像情報(第2の目視者U2が装着する第2のシャッタメガネm2のための右眼用画像信号)を表示部22で表示している間においては、
・第2のシャッタメガネm2の右眼用透過部を透過状態にする、
・第2のシャッタメガネm2の右眼用透過部以外の透過部(第2のシャッタメガネm2の左眼用透過部と、第1のシャッタメガネm1の右眼用透過部並びに左眼用透過部)を非透過状態にする、
という処理を行う。
 以上により、再生装置側の送受信部12aが複数の各目視者について選択した画像情報が、シャッタメガネm1,m2を適切に装着した第1,第2の目視者U1,U2によって正しく立体視されることになる。
 本実施の形態によれば、単一の伝送ケーブルであるHDMIケーブル30における伝送効率が向上し、画像表示のフレームレートを上げることができる。
 なお、本実施の形態では、目視者が2名の場合について説明したが、例えば第3の目視者を追加する場合は、再生装置側の送受信部12aが第5,第6の画像情報の送信を行い、制御信号発信器24が第5,第6の画像情報を表示中に、それぞれ第3の目視者の左眼用透過部,右眼用透過部を透過状態することにより対応可能であり、目視者が4名以上の場合も同様である。
 また、実施の形態1,2では説明のため、4台のビデオカメラによって撮影された画像を用いた立体画像目視システムの例を示したが、本発明は使用するビデオカメラの数や配置を限定するものではなく、また、ビデオカメラが撮影した画像の代わりに3次元データを使用するコンピュータグラフィックスによる画像などを用いた場合でも、本発明による立体画像システムは実施可能である。つまり、3Dモデルを基に複数アングルからのコンピュータグラフィックスを同時に描画可能な家庭用ゲーム機などをビデオカメラの代わりに使用した構成が考えられる。
 なお、上記の実施の形態1,2では、第1,第2の目視者U1,U2が表示部22にほぼ正対して画面を目視するようになっているが、複数のビデオカメラの集合からなる画像撮影部の数をさらに増やし、その複数の画像撮影部を被写体に対して互いに異なる複数箇所に配置し、表示部22に対する目視者の位置がどのように変化しても、いずれの位置からでも所期通りに立体視ができるようにしてもよい。これは、特許文献1と同様に、表示部が平面状に配置され、目視者が平面状の表示部に対してどのような位置関係にあっても(正規の位置以外に反対の向かい側の位置や左横の位置や右横の位置いずれであっても)、所期通りに立体視できるようにするうえで好適である。
 この場合、制御信号発信器24について、目視者の頭部の傾き以外に、目視者の表示部22に対する相対的な目視方位に応じた制御信号を発信するよう構成することで、目視者の表示部に対する相対的な目視方位の変化に対応することが可能である。このとき、制御信号発信器24からの制御信号S4によってすべてのシャッタメガネが左右ともに不透過となり、すべての目視者が目視できない画像に関しては、再生装置側の送受信部12aは目視姿勢センサ23からの目視姿勢情報S3に従って、再生装置側の送受信部12aから立体画像表示装置E2に画像が送信されない構成にする。多視点からの同時目視も可能である。
 以上説明したように、本実施の形態によれば、目視姿勢情報S3に基づいて、複数の画像情報から必要な画像情報だけを選択的に伝送することが可能になるので、画像表示のフレームレートを上げることが可能になる。さらには、目視姿勢情報S3に基づいて、伝送ケーブルで伝送するデータの絞り込みを行うことで、伝送ケーブルの伝送効率が向上する。その結果、複数種の画像情報を含むビデオデータを単一の伝送ケーブルで効率よく伝送することが可能になる。なお、シャッタメガネm1,m2を装着する目視者の姿勢が傾いているとしても所期通りに立体視が可能であるとの機能が発揮されることはいうまでもない。
 本発明の技術は、ホームシアター等における立体画像の目視や、コンピュータグラフィックスを使用した家庭用ゲーム機などに応用される立体画像表示装置,立体画像再生装置および立体画像目視システムとして有用である。
 なお、撮影位置情報の伝送にデータアイランドパケットを拡張して使用すれば、既存のHDMI規格に準拠した送信部・受信部を用いてデータの送受信が可能となり、少ない回路変更で立体画像再生装置を実現できる。
 C1~C4 伝送ケーブル
 E1 立体画像再生装置
 E2 立体画像表示装置
 E3 画像選択装置
 m1 第1のシャッタメガネ(液晶メガネ)
 m2 第2のシャッタメガネ(液晶メガネ)
 n1~n6 受信部の処理ステップ
 P1~P4 第1~第4の画像
 S1 画像信号
 S2 同期信号
 S3 目視姿勢情報
 S4 制御信号
 U1 第1の目視者
 U2 第2の目視者
 V1~V4 第1~第4のビデオカメラ
 11 画像出力部
 12 送信部
 12a 再生装置側の送受信部
 21 受信部
 21a 表示装置側の送受信部
 22 表示部
 23 目視姿勢センサ
 24 制御信号発信器
 30 HDMIケーブル
 40 画像撮影部のファインダ
 50 被写体

Claims (10)

  1.  複数の画像情報を含み立体画像の元データとなるビデオデータを、立体画像再生装置から伝送ケーブルを介して受信したうえで、前記ビデオデータに基づいて画像信号を生成する送受信部と、
     前記画像信号の画像を表示する表示部と、
     前記表示部の目視者が装着するシャッタメガネに、当該シャッタメガネが有する両眼用透過部それぞれの光透過を制御する制御信号を送信する制御信号発信器と、
     を備え、
     前記送受信部は、単一の前記伝送ケーブルを介して、前記立体画像再生装置から前記ビデオデータを受信したうえで、受信した前記ビデオデータに基づいて、前記画像信号と同期信号とを生成し、当該同期信号は現在出力中の前記画像信号が前記複数の画像情報のいずれを含むものであるのかを示すものであり、
     前記制御信号発信器は、前記同期信号に基づいて前記制御信号を生成する、
     立体画像表示装置。
  2.  前記表示部に相対する前記シャッタメガネの姿勢を検知したうえでその姿勢検知結果に基づいて、前記目視者の表示装置目視姿勢情報を生成する目視姿勢センサを、
     さらに備え、
     前記制御信号発信器は、前記表示装置目視姿勢情報と、前記同期信号とに基づいて前記制御信号を生成する、
     請求項1の立体画像表示装置。
  3.  前記目視姿勢センサは、前記表示部に相対する前記シャッタメガネの向きをさらに検知したうえで、その向き検知結果と、前記姿勢検知結果とに基づいて、前記表示装置目視姿勢情報を生成する、
     請求項2の立体画像表示装置。
  4.  前記送受信部は、前記表示装置目視姿勢情報を前記伝送ケーブルを介して前記立体画像再生装置に送信し、
     前記立体画像再生装置は、前記表示装置目視姿勢情報に基づいて、前記目視者の表示部目視姿勢に適した最適画像情報を選択したうえで当該最適画像情報を含んで前記ビデオデータを生成して前記伝送ケーブルを介して当該立体画像表示装置に送信し、
     前記送受信部は、前記ビデオデータを前記伝送ケーブルから受信する、
     請求項2の立体画像表示装置。
  5.  前記ビデオデータには、前記画像情報が所定順序で周期的に切り替えられて格納されており、かつ当該ビデオデータは、前記複数の画像情報の切り替え周期が一巡したことを示す切替通知パケットをさらに含み、
     前記送受信部は、前記切替通知パケットに基づいて前記同期信号を生成する、
     請求項1の立体画像表示装置。
  6.  前記制御信号は、前記シャッタメガネの左眼用透過部と右眼用透過部とを互いに独立した状態で光透過を制御するものである、
     請求項1の立体画像表示装置。
  7.  複数の画像情報を含み立体画像の元になるビデオデータと、前記画像情報それぞれにおける前記位置を示す撮影位置情報とを互いに関連付けて生成する画像出力部と、
     前記ビデオデータと前記撮影位置情報とを、単一の前記伝送ケーブルを介して立体画像表示装置に送信する送受信部と、
     を備える、
     立体画像再生装置。
  8.  前記送受信部は、前記立体画像表示装置の目視者の表示装置目視姿勢情報を、前記立体画像表示装置から受信し、
     かつ前記送受信部は、前記表示装置目視姿勢情報に基づいて、前記目視者の表示部目視姿勢に適した最適画像情報を選択したうえで当該最適画像情報を含んで前記ビデオデータを生成して前記伝送ケーブルを介して当該立体画像表示装置に送信する、
     請求項7の立体画像再生装置。
  9.  前記ビデオデータには、前記画像情報が所定順序で周期的に切り替えられて格納されており、かつ当該ビデオデータは、前記複数の画像情報の切り替え周期が一巡したことを示す切替通知パケットをさらに含む、
     請求項7の立体画像再生装置。
  10.  請求項7の立体画像再生装置と、
     請求項1の立体画像表示装置と、
     を備え、
     前記立体画像再生装置と前記立体画像表示装置とが単一の伝送ケーブルを介して接続されている、
     立体画像目視システム。
PCT/JP2010/001837 2009-04-22 2010-03-15 立体画像表示装置、立体画像再生装置および立体画像目視システム WO2010122711A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/277,015 US20120033048A1 (en) 2009-04-22 2011-10-19 3d image display apparatus, 3d image playback apparatus, and 3d image viewing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-104015 2009-04-22
JP2009104015A JP2010258583A (ja) 2009-04-22 2009-04-22 立体画像表示装置、立体画像再生装置および立体画像視認システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/277,015 Continuation US20120033048A1 (en) 2009-04-22 2011-10-19 3d image display apparatus, 3d image playback apparatus, and 3d image viewing system

Publications (1)

Publication Number Publication Date
WO2010122711A1 true WO2010122711A1 (ja) 2010-10-28

Family

ID=43010841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001837 WO2010122711A1 (ja) 2009-04-22 2010-03-15 立体画像表示装置、立体画像再生装置および立体画像目視システム

Country Status (3)

Country Link
US (1) US20120033048A1 (ja)
JP (1) JP2010258583A (ja)
WO (1) WO2010122711A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724533A (zh) * 2011-03-28 2012-10-10 卡西欧计算机株式会社 显示系统、显示装置以及显示辅助装置
US9398285B2 (en) 2011-05-04 2016-07-19 Scott Andrew Campbell Methods and apparatus for producing and capturing three dimensional images

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8402502B2 (en) 2010-06-16 2013-03-19 At&T Intellectual Property I, L.P. Method and apparatus for presenting media content
US8640182B2 (en) * 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US9787974B2 (en) * 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
WO2012066997A1 (ja) * 2010-11-16 2012-05-24 シャープ株式会社 立体表示システム
JP2012129845A (ja) * 2010-12-16 2012-07-05 Jvc Kenwood Corp 画像処理装置
FR2970682B1 (fr) * 2011-01-25 2013-01-11 Renault Sas Procede de pilotage d'un moyen de recuperation de l'energie generee au freinage d'un vehicule automobile
WO2012140841A1 (ja) * 2011-04-11 2012-10-18 ルネサスエレクトロニクス株式会社 画像表示方法、制御装置、眼鏡、画像システム及び合成装置
EP2717096A4 (en) * 2011-05-27 2015-11-25 Nec Corp IMAGING DEVICE, PICTURE SELECTION PROCEDURE AND RECORDING MEDIUM
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
EP2717580A1 (en) * 2012-10-05 2014-04-09 BlackBerry Limited Methods and devices for generating a stereoscopic image
US9148651B2 (en) 2012-10-05 2015-09-29 Blackberry Limited Methods and devices for generating a stereoscopic image
WO2015034157A1 (ko) * 2013-09-04 2015-03-12 삼성전자주식회사 Eia 생성 방법 및 이를 수행할 수 있는 장치
JP6732617B2 (ja) 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143523A (ja) * 1993-11-20 1995-06-02 Ikuo Ishii 三次元画像表示システムにおける観察点位置検出装置並びにスタイラス操作装置
JPH07250350A (ja) * 1994-03-09 1995-09-26 Sanyo Electric Co Ltd 立体動画像符号化装置
JP2008042645A (ja) * 2006-08-08 2008-02-21 Nikon Corp カメラおよび画像表示装置並びに画像記憶装置
JP2009017207A (ja) * 2007-07-04 2009-01-22 Minoru Inaba 立体テレビジョンシステム及び立体テレビジョン受像機

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3397602B2 (ja) * 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
KR101362771B1 (ko) * 2008-09-17 2014-02-14 삼성전자주식회사 입체 영상 표시 방법 및 장치
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143523A (ja) * 1993-11-20 1995-06-02 Ikuo Ishii 三次元画像表示システムにおける観察点位置検出装置並びにスタイラス操作装置
JPH07250350A (ja) * 1994-03-09 1995-09-26 Sanyo Electric Co Ltd 立体動画像符号化装置
JP2008042645A (ja) * 2006-08-08 2008-02-21 Nikon Corp カメラおよび画像表示装置並びに画像記憶装置
JP2009017207A (ja) * 2007-07-04 2009-01-22 Minoru Inaba 立体テレビジョンシステム及び立体テレビジョン受像機

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724533A (zh) * 2011-03-28 2012-10-10 卡西欧计算机株式会社 显示系统、显示装置以及显示辅助装置
US9398285B2 (en) 2011-05-04 2016-07-19 Scott Andrew Campbell Methods and apparatus for producing and capturing three dimensional images

Also Published As

Publication number Publication date
JP2010258583A (ja) 2010-11-11
US20120033048A1 (en) 2012-02-09

Similar Documents

Publication Publication Date Title
WO2010122711A1 (ja) 立体画像表示装置、立体画像再生装置および立体画像目視システム
JP5745822B2 (ja) 再生モード切替方法、出力モード切替方法及びこれを用いたディスプレイ装置と3d映像提供システム
JP5293500B2 (ja) 表示装置および制御方法
US20110063422A1 (en) Video processing system and video processing method
US20110248989A1 (en) 3d display apparatus, method for setting display mode, and 3d display system
JP2012518317A (ja) 3d観察者メタデータの転送
WO2010092823A1 (ja) 表示制御装置
US20140092218A1 (en) Apparatus and method for stereoscopic video with motion sensors
JP2011525075A (ja) 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法
US20110149052A1 (en) 3d image synchronization apparatus and 3d image providing system
EP2424259A2 (en) Stereoscopic video display system with 2D/3D shutter glasses
US20130286158A1 (en) Dual-channel three-dimension projector
US20110134226A1 (en) 3d image display apparatus and method for determining 3d image thereof
US20110134215A1 (en) Method and apparatus for providing 3d image and method and apparatus for displaying 3d image
JP2012186652A (ja) 電子機器、画像処理方法及び画像処理プログラム
JP2012089906A (ja) 表示制御装置
JP2012244625A (ja) 適応型タイミングコントローラ及びその駆動方法
KR101638959B1 (ko) 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 3d 영상 제공 시스템
WO2011114767A1 (ja) 立体画像表示装置、立体画像撮像装置、テレビジョン受像機、遊技装置、記録媒体および立体画像の伝送方法
JP2013062839A (ja) 映像伝送システム、映像入力装置および映像出力装置
US8830150B2 (en) 3D glasses and a 3D display apparatus
JP2014027351A (ja) 画像処理装置、画像処理方法及びプログラム
JP4481275B2 (ja) 3次元映像情報の伝送方法
US20130222536A1 (en) 3d glasses, 3d image display apparatus and a control method thereof
US20130044102A1 (en) Method for outputting three-dimensional (3d) image and display apparatus thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10766774

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10766774

Country of ref document: EP

Kind code of ref document: A1