WO2010092823A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2010092823A1
WO2010092823A1 PCT/JP2010/000871 JP2010000871W WO2010092823A1 WO 2010092823 A1 WO2010092823 A1 WO 2010092823A1 JP 2010000871 W JP2010000871 W JP 2010000871W WO 2010092823 A1 WO2010092823 A1 WO 2010092823A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereoscopic video
display
display control
stereoscopic
Prior art date
Application number
PCT/JP2010/000871
Other languages
English (en)
French (fr)
Inventor
奥田忠義
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009101822A external-priority patent/JP2012089906A/ja
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2010092823A1 publication Critical patent/WO2010092823A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Definitions

  • the present invention relates to a display control device that displays a stereoscopic image on a display device, and in particular, displays a display device or an image generated by the display control device (for example, channel information, volume information, luminance / contrast amount / color temperature of the display device, etc.).
  • the present invention relates to a display control apparatus that superimposes and displays on a stereoscopic image information for adjustment, information for adjusting image quality of a display device, and the like.
  • Patent Document 1 discloses a display control device capable of displaying a stereoscopic image with captions superimposed thereon. This display control apparatus adjusts the display position in the depth direction for the viewer of the caption so that the caption is arranged at an appropriate position with respect to the stereoscopic video.
  • display devices and playback devices have a function of superimposing and displaying an image generated by these devices (hereinafter referred to as “device image”) on a stereoscopic video.
  • the device image includes, for example, channel information, volume information, information for adjusting the brightness / contrast amount / color temperature of the display device, information for adjusting the image quality of the display device, and the like (OSD: On Screen Display).
  • the display control device When displaying a stereoscopic image, the display control device needs to adjust the display position in the depth direction for the viewer, not only for the caption but also for the device image. This is because if the device image is displayed in the back of the stereoscopic image, the viewer will have a visually uncomfortable image. That is, in order to realize a video without a sense of incongruity, parallax adjustment is necessary for the device image as well as the caption.
  • the present invention has been made in view of the above problems, and when a device image is superimposed on a stereoscopic video, the device image can be superimposed on the stereoscopic video by a simpler means.
  • An object of the present invention is to provide a display control device that can reduce the sense of incongruity in the depth direction.
  • a display control device for controlling a stereoscopic image display operation of a display device.
  • the display control device includes a first acquisition unit that acquires stereoscopic video information indicating a stereoscopic video and first additional information indicating a first additional image that can be displayed superimposed on the stereoscopic video, and displays the superimposed information on the stereoscopic video.
  • Second acquisition means for acquiring second additional information indicating a possible second additional image
  • generation means for generating a superimposed image obtained by superimposing the second additional image on a stereoscopic video, and output for outputting the generated superimposed image Means.
  • the generation unit generates the superimposed image so that when the superimposed image is stereoscopically viewed by the viewer, the second additional image is displayed in front of a position where the first additional image is displayed or a position where the first additional image can be displayed.
  • a display control device for controlling a stereoscopic image display operation of a display device.
  • the display control device displays stereoscopic video information indicating stereoscopic video, first additional information indicating first additional image that can be displayed superimposed on the stereoscopic video, and display of the first additional image in the depth direction with respect to the display screen of the display device.
  • a first acquisition unit that acquires first position information indicating a position
  • a second acquisition unit that acquires second additional information indicating a second additional image that can be displayed superimposed on a stereoscopic video
  • a first position information that acquires first position information indicating a position
  • second acquisition unit that acquires second additional information indicating a second additional image that can be displayed superimposed on a stereoscopic video
  • the second position information indicating the display position of the second additional image in the depth direction is generated, and based on the second position information, a superimposed image is generated by superimposing the second additional image on the stereoscopic video.
  • a display control device for controlling a stereoscopic image display operation of a display device.
  • the display control device superimposes on the stereoscopic video, first acquisition means for acquiring stereoscopic video information indicating the stereoscopic video and first position information indicating the display position of the stereoscopic video in the depth direction with respect to the display screen of the display device.
  • a second acquisition unit configured to acquire additional information indicating a displayable additional image; a determination unit configured to determine second position information indicating a display position in a depth direction of the additional image based on the first position information; A generating unit configured to generate a superimposed image obtained by superimposing the additional image on the stereoscopic video based on the information; and an output unit configured to output the generated superimposed image.
  • the parallax information of the second additional information (device image (OSD)) is determined based on the parallax information of the first additional information (for example, caption video) or stereoscopic video (main information), it is simpler. Therefore, it is possible to superimpose the second additional information (device image (OSD)) on the stereoscopic video, and to easily reduce the sense of discomfort in the depth direction of the second additional information (device image (OSD)) with respect to the stereoscopic video.
  • the figure which shows the relationship between a stereoscopic video display control apparatus and another apparatus The figure which shows the structural example of a three-dimensional video display control apparatus. The figure which shows the structural example of a three-dimensional video display apparatus. The figure for demonstrating the display method of a three-dimensional image The figure for demonstrating the display method of a three-dimensional image Diagram showing an example of a stereoscopic video stream The figure for demonstrating the example at the time of superimposing a caption image and an apparatus image on stereoscopic video data The figure for demonstrating the example at the time of superimposing a caption image and an apparatus image on stereoscopic video data A flowchart showing an operation example of the stereoscopic video display control device Flow chart showing an example of operation of the stereoscopic video display control device
  • the stereoscopic video display control device described in the present embodiment in stereoscopic display, the parallax information of the device image so that the device image (OSD) displayed superimposed on the stereoscopic video is displayed closer to the viewer than the caption. Adjust.
  • FIG. 1 shows the configuration of the stereoscopic video display system of this embodiment.
  • the stereoscopic video display system includes a stereoscopic video display control device 1 and a stereoscopic video display device 2.
  • FIG. 2 shows a configuration example of the stereoscopic video display control device 1.
  • FIG. 3 shows a configuration example of the stereoscopic video display device 2.
  • the stereoscopic video display control device 1 is connected to a stereoscopic video display device 2 that displays a stereoscopic video, a server 3 that stores a stereoscopic video stream, and an antenna 5.
  • a stereoscopic video display control device 1 acquires a stereoscopic video stream for displaying a stereoscopic video or information for generating a stereoscopic video stream from the server 3, the optical disc 4, the antenna 5, or the memory card 6.
  • the stereoscopic video display device 2 includes a display 24 and displays video data.
  • the display 24 is composed of, for example, a liquid crystal display, a plasma display, or an organic EL display.
  • the stereoscopic video display device 2 can display the video data transmitted from the stereoscopic video display control device 1.
  • the stereoscopic video display device 2 can transmit information related to the screen size to the stereoscopic video display control device 1 based on a request signal from the stereoscopic video display control device 1.
  • the stereoscopic video display device 2 includes a controller 22, a memory 23, a display 24, a data transmission interface 21, and a communication interface 25.
  • the memory 23 information related to the screen size of the stereoscopic video display device 2 is stored in advance.
  • the memory 23 can be realized by a flash memory or FRAM, for example.
  • the controller 22 When the controller 22 receives the request signal from the stereoscopic video display control device 1, the controller 22 reads out information related to the screen size stored in the memory 23 and transmits the information to the stereoscopic video display control device 1. Accordingly, the stereoscopic video display control device 1 can acquire information related to the screen size from the stereoscopic video display device 2.
  • the controller 22 can be realized by a microprocessor, for example.
  • the data transmission interface 21 is an interface for transmitting and receiving data to and from the stereoscopic video display control device 1.
  • the data transmission interface 21 can be realized by, for example, an HDMI (High Definition Multimedia Interface) connector or the like.
  • the communication interface 25 is an interface for communicating with the active shutter glasses 7.
  • the communication interface 25 establishes communication with the active shutter glasses 7 by wireless or wired such as infrared rays or Bluetooth, for example.
  • the server 3 is a network server in which a stereoscopic video stream is accumulated.
  • the server 3 is connected to a network and can be connected to the stereoscopic video display control device 1 placed in the home.
  • the server 3 can transmit a stereoscopic video stream to the stereoscopic video display control device 1 (network communication interface 13) in response to an access request from the stereoscopic video display control device 1.
  • the optical disc 4 is a recording medium on which a stereoscopic video stream is recorded.
  • the optical disk 4 can be inserted into the disk drive 11 of the stereoscopic video display control device 1.
  • the stereoscopic video display control device 1 (disk drive 11) can read a stereoscopic video stream recorded on the optical disc 4.
  • the antenna 5 is an antenna for receiving a broadcast wave including a stereoscopic video stream broadcast from a broadcasting device of a broadcasting station.
  • the antenna 5 transmits a broadcast wave including the received stereoscopic video stream to the stereoscopic video display control device 1 (tuner 12).
  • the memory card 6 is a semiconductor memory card in which a stereoscopic video stream is recorded, or a recording medium having a semiconductor memory inside.
  • the memory card 6 can be inserted into the stereoscopic video display control device 1 (data transmission interface 15). Note that the stereoscopic video display control apparatus 1 (data transmission interface 15) can read the stereoscopic video stream recorded on the memory card 6.
  • the stereoscopic video display device 2 displays video for enabling viewing of stereoscopic video using the active shutter glasses 7 (see FIG. 4A).
  • the stereoscopic video display control device 1 provides the stereoscopic video display device 2 with image data and video for the right eye (hereinafter, “right”) that are indicated by the video for the left eye (hereinafter, “left eye video”). Screen data indicated by “eye image”) are alternately output.
  • the stereoscopic video display device 2 sequentially displays the screen data acquired from the stereoscopic video display control device 1 on the screen of the display 24 (see FIG. 4B). The user can recognize the stereoscopic video by viewing the video displayed on the stereoscopic video display device 2 in this way through the active shutter glasses 7.
  • the active shutter glasses 7 are provided with a shutter that can block either the left or right visual field of the user.
  • the active shutter glasses 7 block the right eye field of view of the user's stereoscopic image display device 2, while the right eye image is displayed on the stereoscopic image display device 2. Then, the visual field of the left eye with respect to the stereoscopic video display device 2 of the user is blocked. That is, as shown in FIGS. 4A and 4B, when the screen showing the left eye image is displayed on the stereoscopic video display device 2, the user views the video with the left eye, and the right image is displayed on the stereoscopic video display device 2. When a screen showing an eye image is displayed, the user views the image with the right eye. Thereby, the user can visually recognize the screens sequentially displayed on the stereoscopic video display device 2 as a stereoscopic video.
  • the stereoscopic video stream acquired by the stereoscopic video display control device 1 from the server 3 or the like has a configuration as shown in FIG.
  • the stereoscopic video stream is composed of stereoscopic video data 31 and related information 33 of the stereoscopic video data.
  • the stereoscopic video data 31 is information obtained by encoding video captured by the left and right cameras of the compound eye camera using an arbitrary compression method.
  • Optional compression methods include MVC (Multi-view Video Coding) and MPEG4-AVC / H. H.264 is conceivable, but is not limited to this. Since the compressed stereoscopic video data is compressed by the above compression method, information (decoding information) necessary for decoding is added.
  • the related information 33 of the stereoscopic video data includes the parallax information of the stereoscopic video, the sub-video added to the stereoscopic video, the subtitle video, the parallax information of the sub-video added to the stereoscopic video, and the parallax information of the subtitle video.
  • the sub-video is a pop-up menu video or a bonus view video added to the stereoscopic video, and is prepared in the video content.
  • the parallax information of the stereoscopic video corresponds to the amount of shift in the horizontal display position of a certain object when the left eye video and the right eye video are displayed on the display.
  • a certain object refers to an image that is most visible to the viewer in the depth direction when stereoscopically viewed.
  • the parallax information of the caption video corresponds to a shift amount of the display position in the horizontal direction of the caption video when the caption video is displayed on the display. The same applies to the parallax information of the sub-picture added to the stereoscopic video.
  • the disparity information corresponding to the shift amount may be expressed by the number of pixels or may be expressed in mm.
  • the shift amount indicated by the parallax information of the image corresponds to the display position in the depth direction of the screen when the image is stereoscopically displayed.
  • the stereoscopic video display control apparatus 1 includes a disk drive 11, a tuner 12, a network communication interface 13, a memory device interface 14, a data transmission interface 15, a buffer memory (frame memory) 16, an HD drive 17, and a flash memory 19. And an LSI 18.
  • the disk drive 11 includes an optical pickup and reads a stereoscopic video stream from the optical disk 4.
  • the disk drive 11 is connected to the LSI 18 and transmits a stereoscopic video stream read from the optical disk 4 to the LSI 18.
  • the disc drive 11 reads a stereoscopic video stream from the optical disc 4 and transmits it to the LSI 18 in accordance with the control from the LSI 18.
  • the tuner 12 acquires a broadcast wave including a stereoscopic video stream received by the antenna 5.
  • the tuner 12 extracts a stereoscopic video stream having a frequency specified by the LSI 18 from the acquired broadcast wave.
  • the tuner 12 is connected to the LSI 18 and transmits the extracted stereoscopic video stream to the LSI 18.
  • the network communication interface 13 can be connected to the server 3 via a network.
  • the network communication interface 13 acquires the stereoscopic video stream transmitted from the server 3.
  • the memory device interface 14 is configured so that the memory card 6 can be mounted, and can read a stereoscopic video stream from the mounted memory card 6.
  • the memory device interface 14 transmits the stereoscopic video stream read from the memory card 6 to the LSI 18.
  • the HD drive 17 incorporates a recording medium such as a hard disk, and transmits data read from the recording medium to the LSI 18.
  • the HD drive 17 records the data received from the LSI 18 on a recording medium.
  • the data transmission interface 15 is an interface for transmitting data transmitted from the LSI 18 to the external stereoscopic video display device 2.
  • the data transmission interface 15 is configured to be able to transmit and receive data signals and control signals to and from the stereoscopic video display device 2. Therefore, the LSI 18 can control the stereoscopic video display device 2 via the data transmission interface 15.
  • the data transmission interface 15 can be realized by an HDMI connector, for example.
  • the data transmission interface 15 may have any configuration as long as it can transmit a data signal to the stereoscopic video display device 2.
  • the buffer memory 16 functions as a work memory when the LSI 18 performs processing.
  • the buffer memory 16 can be realized by, for example, a DRAM or an SRAM.
  • the flash memory 19 stores device images in advance.
  • the device image includes, for example, an image indicating channel information and volume information, information for adjusting the brightness / contrast amount / color temperature of the display, and information for adjusting the image quality of the playback device. That is, the LSI 18 can display the device image read from the flash memory 19 on the stereoscopic video display device 2 by superimposing it on the video data. As a result, the LSI 18 can present device information to the viewer. Further, the LSI 18 can display a setting screen for the viewer and accept settings from the viewer.
  • the LSI 18 is a system controller that controls each part of the stereoscopic video display control apparatus 1. It may be realized by a microcomputer or a hard wired circuit.
  • a CPU 181 In the LSI 18, a CPU 181, a stream controller 182, a decoder 183, an AV input / output circuit 184, a system bus 185, and a memory controller 186 are mounted.
  • the CPU 181 controls the entire LSI 18. Each part of the LSI 18 is configured to perform various controls based on the control from the LSI 18.
  • the CPU 181 also controls communication with the outside. For example, the CPU 181 can transmit a request signal to the stereoscopic video display device 2 via the data transmission interface 15 and acquire information regarding the screen size. The CPU 181 records information regarding the acquired screen size in the buffer memory 16 via the memory controller 186. Further, the CPU 181 transmits a control signal to the disk drive 11, the tuner 12, the network communication interface 13, and the memory device interface 14 when acquiring a stereoscopic video stream from the server 3 or the like. As a result, the disk drive 11, the tuner 12, the network communication interface 13, and the memory device interface 14 can acquire a stereoscopic video stream from a recording medium, a broadcasting station, or the like.
  • the stream controller 182 controls transmission / reception of data among the server 3, the optical disk 4, the antenna 5, the memory card 6, and the active shutter glasses 7.
  • the CPU 181 transmits the stereoscopic video stream acquired from the server 3 to the memory controller 186.
  • the memory controller 186 writes the data transmitted from each part of the LSI 18 into the buffer memory 16. For example, the memory controller 186 records the stereoscopic video stream acquired from the stream controller 182 in the buffer memory 16. The memory controller 186 reads data recorded in the buffer memory 16 from the buffer memory 16. Then, the buffer memory 16 transmits the read data to each part of the LSI 18.
  • the decoder 183 When the decoder 183 acquires data from the memory controller 186, the decoder 183 decodes the acquired data.
  • the data input to the decoder 183 is based on the control of the CPU 181.
  • the CPU 181 controls the memory controller 186 to read the stereoscopic video stream recorded in the buffer memory 16.
  • the CPU 181 controls the memory controller 186 to transmit the read stereoscopic video stream to the decoder 183.
  • the stereoscopic video stream is input from the memory controller 186 to the decoder 183.
  • the decoder 183 separates the input stereoscopic video stream into the stereoscopic video data 31 and related information 33. Then, the decoder 183 records the related information 33 in the buffer memory 16.
  • the decoder 183 decodes the compressed stereoscopic video data 31 based on the decoding information included in the stereoscopic video data 31.
  • the decoder 183 transmits the decoded information to the memory controller 186.
  • the memory controller 186 records the acquired stereoscopic video data in the buffer memory 16.
  • the AV input / output circuit 184 reads the stereoscopic video data 31, the related information 33, and information on the screen size from the buffer memory 16, and generates a display image to be displayed on the stereoscopic video display device 2. Then, the AV input / output circuit 184 transmits the generated display image to the stereoscopic video display device 2 via the data transmission interface 15.
  • the AV input / output circuit 184 reads out information regarding the stereoscopic video data and the screen size.
  • the AV input / output circuit 184 outputs the stereoscopic video data to the stereoscopic video display device 2 via the data transmission interface 15.
  • the AV input / output circuit 184 when the AV input / output circuit 184 is set to superimpose the caption video (or the sub video added to the stereoscopic video) on the stereoscopic video data, the AV input / output circuit 184 performs the following control.
  • the AV input / output circuit 184 obtains the related information 33 from the buffer memory 16, and superimposes the caption video on the left-eye video or the right-eye video based on the parallax information of the caption video included in the related information 33. For example, as shown in FIG. 6, when the parallax information (deviation amount) of the caption video is Y pixels, the AV input / output circuit 184 shifts the caption video 51 in the Y pixel left direction with respect to the left eye video 50a. Superimpose and superimpose the subtitle video 51 on the right eye video 50b by shifting Y pixels to the right. The same applies to the sub-picture 53 added to the three-dimensional pictures 50a and 50b.
  • the CPU 181 when the CPU 181 receives an instruction to display the device image superimposed on the stereoscopic video data, the CPU 181 performs the following control.
  • the CPU 181 receives an instruction from the user via the remote controller.
  • An instruction from the remote controller is received by an infrared sensor provided in the stereoscopic video display control device 1.
  • the CPU 181 acquires a device image (for example, a function menu image provided by the stereoscopic video display control device 1) corresponding to the instruction from the flash memory 19.
  • the CPU 181 acquires the parallax information of the caption video from the buffer memory 16.
  • the CPU 181 determines the parallax information of the device image based on the acquired parallax information of the caption video.
  • the CPU 181 displays the device image in front of the viewer in the depth direction of the screen in the depth direction of the screen in the stereoscopic display, that is, the parallax of the device image is larger than the parallax of the caption video.
  • the parallax information is determined so that For example, as shown in FIG. 7, in the stereoscopic display, in a situation where the object 110 and the caption 51 based on the stereoscopic video are displayed on the viewer 200 side from the screen 30 of the stereoscopic video display device 2, The parallax information of the device image 55 is determined so that the device image 55 is displayed on the viewer side.
  • the three-dimensional object 110 is the object displayed on the viewer 200 most of the objects displayed on the three-dimensional image, and the caption 51 is displayed on the viewer 200 side than the object 110. It is said.
  • the viewer can visually recognize the device image 55 without a sense of incongruity.
  • the CPU 181 is configured such that the parallax of the device image is larger than the parallax of the caption video.
  • the parallax of the device image is added to the stereoscopic video (pop-up menu). You may comprise so that it may become larger than the parallax of an image
  • the CPU 181 inputs the parallax information determined as described above to the AV input / output circuit 184, and instructs the AV input / output circuit 184 to superimpose the device image on the stereoscopic image.
  • the parallax information (deviation amount) of the device image 55 is Z pixels
  • the device image 55 is shifted and overlapped with the left eye image 50a in the Z pixel left direction, and the right eye image is superimposed.
  • the device image 55 is shifted to the right of Z pixels and overlapped with respect to 50b.
  • the AV input / output circuit 184 generates video data indicating the left eye video 50a and the right eye video 50b in which the device images 55 are superimposed in this way.
  • the AV input / output circuit 184 outputs the video data generated in this way to the stereoscopic video display device 2.
  • the stereoscopic video display control device 1 can superimpose the image (device image) added by the stereoscopic video display control device 1 on the stereoscopic video by a simple device, and displays the image to the user. Discomfort in the depth direction of the inner image (device image) can be reduced.
  • the stereoscopic video display control apparatus 1 When the stereoscopic video display control apparatus 1 is set to reproduce a stereoscopic video stream included in the received broadcast wave, the stereoscopic video display control apparatus 1 performs the following operation.
  • the LSI 18 of the stereoscopic video display control device 1 transmits a request signal to the stereoscopic video display device 2 and acquires information regarding the screen size of the stereoscopic video display device 2.
  • the LSI 18 stores information on the acquired screen size in the buffer memory 16 (S1).
  • the LSI 18 controls the tuner 12 to acquire a stereoscopic video stream from the broadcast wave received by the antenna 5 (S2).
  • the LSI 18 stores the acquired stereoscopic video stream in the buffer memory 16 (S3).
  • the LSI 18 reads the stereoscopic video stream stored in the buffer memory 16 and separates the stereoscopic video stream into the stereoscopic video data 31 and the related information 33 (S4).
  • the LSI 18 stores the separated related information 33 in the buffer memory 16.
  • the LSI 18 decodes the separated stereoscopic video data 31 and stores the decoded stereoscopic video data in the buffer memory 16 (S5).
  • the LSI 18 adjusts the parallax between the left eye video and the right eye video of the stereoscopic video data, if necessary, based on the information regarding the screen size stored in the buffer memory 16 (S6).
  • the LSI 18 shifts the display positions of the left eye video and the right eye video as a whole in accordance with the screen size. For example, if the screen size is large, the parallax of objects included in the left-eye video and the right-eye video may exceed the allowable range of the viewer's parallax.
  • the entire left eye image is displayed while being shifted to the right and the entire right eye image is displayed while being shifted to the left so as not to exceed the allowable range of the parallax of the viewer. In this way, it is possible to reduce a certain object from becoming a double image when stereoscopically viewing an image.
  • the LSI 18 generates screen data of a left eye video or a right eye video included in the decoded stereoscopic video data based on the adjusted parallax information (S7).
  • the LSI 18 outputs screen data indicating the left eye video or the right eye video to the stereoscopic video display device 2 (S8).
  • the LSI 18 repeats the above operation and sequentially outputs display screen data to the stereoscopic video display device 2. As described above, the stereoscopic video data is output to the stereoscopic video display device 2.
  • Steps T1 to T5 in FIG. 9 are the same as steps S1 to S5 in FIG.
  • the LSI 18 After decoding the stereoscopic video data 31 (step T5), the LSI 18 acquires the parallax information of the subtitle video from the buffer memory 16, and calculates the parallax information of the device image based on the acquired parallax information of the subtitle video (T6). . Then, based on the calculated parallax information of the device image, the LSI 18 generates a video in which the device image is superimposed on the stereoscopic video data (T7).
  • the device image is preferably displayed in front of the caption image when viewed stereoscopically. As a result, the device image becomes a video that does not feel uncomfortable with the stereoscopic video.
  • the LSI 18 performs the same operation as steps S6 to S8 (T8 to T10).
  • the LSI 18 repeats the above operation and sequentially outputs display screens to the stereoscopic video display device 2. Note that when the above operation is repeated, the operation of step T6 may be omitted from the second time onward.
  • the parallax information of the device image is adjusted based on the parallax information of the caption video. For this reason, it is possible to reduce the uncomfortable feeling of the display of the device image with respect to the stereoscopic video by simple means.
  • the stereoscopic video display control device 1 is an example of a display control device.
  • the stereoscopic video data is an example of stereoscopic video information.
  • the caption video is an example of a first additional image.
  • the device image is an example of a second additional image.
  • the parallax information of the caption video is an example of first position information.
  • the parallax information of the device image is an example of second position information.
  • the LSI 18 is an example of first and second acquisition means, determination means, and generation means.
  • the stereoscopic video display control device 1 is a display control device that controls the stereoscopic video display operation of the stereoscopic video display device 2.
  • the stereoscopic video display control device 1 acquires stereoscopic video information indicating stereoscopic video and caption video information indicating subtitles that can be displayed superimposed on the stereoscopic video, and can display the device image (OSD) superimposed on the stereoscopic video. ), And a data transmission interface 15 for outputting the generated superimposed image.
  • the LSI 18 generates a superimposed image obtained by superimposing the device image (OSD) on the stereoscopic video.
  • the LSI 18 generates the superimposed image so that the device image (OSD) is displayed in front of the position where the caption is displayed or the position where the caption can be displayed when the superimposed image is stereoscopically viewed by the viewer.
  • the parallax information of the device image is determined based on the parallax information of the caption video in this way, when the device image is superimposed on the stereoscopic video, the device image can be superimposed on the stereoscopic video by simpler means. The discomfort in the depth direction of the device image with respect to the video can be reduced.
  • the parallax information of the caption video is expressed by information relative to the stereoscopic video data.
  • the parallax information of the caption video may be expressed as absolute information.
  • the AV input / output circuit 184 can obtain the parallax information of the caption video expressed by the relative information with respect to the stereoscopic video data by considering the parallax information of the stereoscopic information expressed by the absolute information. it can.
  • the parallax information is an example of information indicating the display position in the depth direction with respect to the viewer.
  • the parallax information of the device image may be obtained using the parallax information of the up-menu video, bonus view video, etc.) or stereoscopic video (main video). That is, the parallax information of the device image may be obtained based on the parallax information of the sub video so that the device image is displayed in front of the sub video in the stereoscopic view.
  • the parallax information of the device image may be obtained so that the device image is displayed in front of the object displayed closest to the stereoscopic video in stereoscopic viewing. .
  • the device image 55 is displayed in front of the three-dimensional object 110 and the caption 51 as shown in FIG.
  • the device image 55 is displayed in the depth direction. You may display in the position equivalent to 51.
  • the device image 55 may be displayed slightly shifted from the position of the object 110 or the caption 51 on the screen 30 side within a range in which the viewer can visually recognize the device image 55 without feeling uncomfortable.
  • the present invention can be applied to a television receiver capable of displaying a stereoscopic video or a device capable of outputting a stereoscopic video to a display (for example, a video recording device or an optical disk reproducing device).

Abstract

 表示装置の立体映像表示動作を制御する表示制御装置(2)は、立体映像を示す立体映像情報と、立体映像に重畳させて表示可能な第1付加画像(例えば、字幕映像)を示す第1付加情報とを取得する第1取得手段(18)と、立体映像に重畳させて表示可能な第2付加画像(例えば、装置画像、OSD)を示す第2付加情報を取得する第2取得手段(18)と、立体映像に第2付加画像を重畳させた重畳画像を生成する生成手段(18)と、生成された重畳画像を出力する出力手段(15)とを備える。生成手段(18)は、視聴者により重畳画像が立体視された際に第2付加画像が、第1付加画像が表示される位置または表示され得る位置よりも手前に表示されるように重畳画像を生成する。

Description

表示制御装置
 本発明は、立体映像を表示装置に表示させる表示制御装置に関し、特に、表示装置または表示制御装置が生成した画像(例えば、チャンネル情報、音量情報、表示装置の輝度・コントラスト量・色温度などを調整するための情報、表示装置の画質を調整するための情報等を示す画像)を立体映像に重畳して表示させる表示制御装置に関する。
 特許文献1に、立体映像に字幕を重ねて表示可能な表示制御装置が開示されている。この表示制御装置は、立体映像に対して字幕が適切な位置に配置されるよう、字幕の視聴者に対する奥行き方向の表示位置を調整する。
特開2004-274125号公報
 従来、表示装置や再生装置は、それらの装置が生成した画像(以下「装置画像」という。)を立体映像に重畳して表示させる機能がある。ここで、装置画像は、例えば、チャンネル情報、音量情報、表示装置の輝度・コントラスト量・色温度などを調整するための情報、表示装置の画質を調整するための情報等を示す画像(OSD: On Screen Display)である。
 表示制御装置は立体映像を表示する際には、字幕だけでなく、装置画像も、視聴者に対する奥行き方向の表示位置を調整する必要がある。これは、装置画像が立体映像よりも奥に表示されると、視聴者にとって見た目に違和感のある映像になってしまうからである。つまり、違和感のない映像を実現するためには、装置画像に関しても字幕と同様に視差の調整が必要となる。
 本発明は、上記の問題を鑑みてなされたものであり、装置画像を立体映像に重ね合わせる場合において、より簡易な手段で立体映像に装置画像を重ねあわせることができ、立体映像に対する装置画像の奥行き方向の違和感を軽減できる表示制御装置を提供することを目的とする。
 本発明の第1の態様において、表示装置の立体映像表示動作を制御する表示制御装置が提供される。表示制御装置は、立体映像を示す立体映像情報と、立体映像に重畳させて表示可能な第1付加画像を示す第1付加情報とを取得する第1取得手段と、立体映像に重畳させて表示可能な第2付加画像を示す第2付加情報を取得する第2取得手段と、立体映像に第2付加画像を重畳させた重畳画像を生成する生成手段と、生成された重畳画像を出力する出力手段とを備える。生成手段は、視聴者により重畳画像が立体視された際に第2付加画像が、第1付加画像が表示される位置または表示され得る位置よりも手前に表示されるように、重畳画像を生成する。
 本発明の第2の態様において、表示装置の立体映像表示動作を制御する表示制御装置が提供される。表示制御装置は、立体映像を示す立体映像情報と、立体映像に重畳させて表示可能な第1付加画像を示す第1付加情報と、表示装置の表示画面に対する奥行き方向における第1付加画像の表示位置を示す第1位置情報とを取得する第1取得手段と、立体映像に重畳させて表示可能な第2付加画像を示す第2付加情報を取得する第2取得手段と、第1位置情報に基づいて、第2付加画像の奥行き方向の表示位置を示す第2位置情報を決定する決定手段と、第2位置情報に基づいて、立体映像に第2付加画像を重畳させた重畳画像を生成する生成手段と、生成された重畳画像を出力する出力手段と、を備える。
 本発明の第3の態様において、表示装置の立体映像表示動作を制御する表示制御装置が提供される。表示制御装置は、立体映像を示す立体映像情報と、表示装置の表示画面に対する奥行き方向における立体映像の表示位置を示す第1位置情報とを取得する第1取得手段と、立体映像に重畳させて表示可能な付加画像を示す付加情報を取得する第2取得手段と、第1位置情報に基づいて、付加画像の奥行き方向の表示位置を示す第2位置情報を決定する決定手段と、第2位置情報に基づいて、立体映像に付加画像を重畳させた重畳画像を生成する生成手段と、生成された重畳画像を出力する出力手段と、を備える。
 本発明によれば、第1付加情報(例えば、字幕映像)または立体映像(主情報)の視差情報に基づいて第2付加情報(装置画像(OSD))の視差情報を決定するため、より簡易な手段で立体映像に第2付加情報(装置画像(OSD))を重ね合わせることができ、立体映像に対する第2付加情報(装置画像(OSD))の奥行き方向の違和感をより簡易に軽減できる。
立体映像表示制御装置と他の装置の関係を示す図 立体映像表示制御装置の構成例を示す図 立体映像表示装置の構成例を示す図 立体映像の表示方法を説明するための図 立体映像の表示方法を説明するための図 立体映像ストリームの一例を示す図 字幕映像や装置画像を立体映像データに重ね合わせた場合の例を説明するための図 字幕映像や装置画像を立体映像データに重ね合わせた場合の例を説明するための図 立体映像表示制御装置の動作例を示すフローチャート 立体映像表示制御装置の動作例を示すフローチャート
 以下、添付の図面を参照して本発明の実施形態を説明する。本実施の形態にて説明する立体映像表示制御装置は、立体表示において、立体映像に重ねて表示される装置画像(OSD)を字幕よりも視聴者側に表示されるように装置画像の視差情報を調整する。
1.立体映像表示システム
 図1に、本実施形態の立体映像表示システムの構成を示す。立体映像表示システムは、立体映像表示制御装置1と立体映像表示装置2を含む。図2に、立体映像表示制御装置1の構成例を示す。図3に立体映像表示装置2の構成例を示す。
 図1に示すように、立体映像表示制御装置1は、立体映像を表示する立体映像表示装置2と、立体映像ストリームが蓄積されているサーバ3と、及びアンテナ5とに接続されている。また、立体映像表示制御装置1には、光ディスク4及びメモリカード6が挿入されている。立体映像表示制御装置1は、サーバ3、光ディスク4、アンテナ5、またはメモリカード6から、立体映像を表示するための立体映像ストリームまたは立体映像ストリームを生成するための情報を取得する。
 図3に示すように、立体映像表示装置2はディスプレイ24を備え、映像データを表示する。ディスプレイ24は例えば、液晶ディスプレイ、プラズマディスプレイ又は有機ELディスプレイで構成される。立体映像表示装置2は、立体映像表示制御装置1から送信された映像データを表示可能である。立体映像表示装置2は、立体映像表示制御装置1からの要求信号に基づき、画面サイズに関する情報を立体映像表示制御装置1に送信可能である。
 より具体的に、立体映像表示装置2は、コントローラ22、メモリ23、ディスプレイ24、データ伝送インターフェース21および通信インターフェース25で構成されている。
 メモリ23には、立体映像表示装置2の画面サイズに関する情報が予め記憶されている。メモリ23は例えばフラッシュメモリやFRAMで実現可能である。
 コントローラ22は、立体映像表示制御装置1から要求信号を受け付けると、メモリ23に記憶された画面サイズに関する情報を読み出して、立体映像表示制御装置1に送信する。これによって、立体映像表示制御装置1は、立体映像表示装置2から画面サイズに関する情報を取得できる。なお、コントローラ22は、例えば、マイクロプロセッサで実現できる。
 データ伝送インターフェース21は、立体映像表示制御装置1との間でデータの送受信を行なうためのインターフェースである。データ伝送インターフェース21は、例えば、HDMI(High Definition Multimedia Interface)コネクタ等で実現できる。
 通信インターフェース25は、アクティブシャッターメガネ7と通信を行なうためのインターフェースである。通信インターフェース25は、例えば、赤外線やBluetoothなどの無線又は有線により、アクティブシャッターメガネ7との通信を確立する。
 図1を参照し、サーバ3は、立体映像ストリームが蓄積されているネットワークサーバである。サーバ3は、ネットワークに接続されており、家庭内におかれた立体映像表示制御装置1と接続可能である。サーバ3は、立体映像表示制御装置1からのアクセス要求に対応して、立体映像ストリームを立体映像表示制御装置1(ネットワーク通信インターフェース13)に送信することが可能である。
 光ディスク4は、立体映像ストリームが記録された記録メディアである。光ディスク4は、立体映像表示制御装置1のディスクドライブ11に挿入可能である。立体映像表示制御装置1(ディスクドライブ11)は、光ディスク4に記録された立体映像ストリームを読み出すことが可能である。
 アンテナ5は、放送局の放送装置から放送された立体映像ストリームを含む放送波を受信するためのアンテナである。アンテナ5は、立体映像表示制御装置1(チューナ12)に対して、受信した立体映像ストリームを含む放送波を送信する。
 メモリカード6は、立体映像ストリームが記録された半導体メモリカード、又は半導体メモリを内部に有した記録媒体である。メモリカード6は、立体映像表示制御装置1(データ伝送インターフェース15)に挿入可能である。なお、立体映像表示制御装置1(データ伝送インターフェース15)は、メモリカード6に記録された立体映像ストリームを読み出すことが可能である。
2.立体映像の表示方法
 図4A及び図4Bを参照して立体映像の表示方法について説明する。立体映像表示装置2は、アクティブシャッターメガネ7を用いて立体映像を視聴可能にするための映像を表示する(図4A参照)。具体的には、立体映像表示制御装置1は、立体映像表示装置2に対して、左眼用の映像(以下「左眼映像」という)が示す画像データと右眼用の映像(以下「右眼映像」という)が示す画面データを交互に出力する。立体映像表示装置2は、立体映像表示制御装置1から取得した画面データをディスプレイ24の画面上に順次表示する(図4B参照)。ユーザは、このようにして立体映像表示装置2に表示された映像を、アクティブシャッターメガネ7を通して視認することで立体映像を認識できる。
 アクティブシャッターメガネ7は、ユーザの左右の何れかの視野を遮ることが可能なシャッタを備えている。アクティブシャッターメガネ7は、立体映像表示装置2に左眼映像が表示されると、ユーザの立体映像表示装置2に対する右眼の視野を遮る一方で、立体映像表示装置2に右眼映像が表示されると、ユーザの立体映像表示装置2に対する左眼の視野を遮る。つまり、図4A、4Bのように、立体映像表示装置2に左眼映像を示す画面が表示されている場合は、ユーザは、左眼で映像を見ることになり、立体映像表示装置2に右眼映像を示す画面が表示されている場合は、ユーザは、右眼で映像を見ることになる。これによって、ユーザは、立体映像表示装置2に順次表示された画面を立体映像として視認することができる。
 なお、本実施の形態では、アクティブシャッターメガネ7を用いた例を説明したが、立体映像表示装置2に表示された右眼映像と左眼映像を使用者が別々に見ることができるのであれば、この方法に限られない。
3.立体映像ストリームの説明
 本実施の形態において、立体映像表示制御装置1が、サーバ3等から取得する立体映像ストリームは図5に示すような構成を持っている。立体映像ストリームは、立体映像データ31と、立体映像データの関連情報33とで構成される。
 立体映像データ31は、複眼カメラの左右のカメラで撮影された映像を、任意の圧縮方式で符号化した情報である。任意の圧縮方式には、MVC(Multi-view Video Coding)やMPEG4-AVC/H.264などが考えられるが、これに限られない。なお、圧縮された立体映像データには、上記圧縮方式で圧縮されているため、デコードするために必要な情報(デコード情報)が付加されている。
 立体映像データの関連情報33は、立体映像の視差情報、立体映像に付加される副映像、字幕映像、そして、立体映像に付加される副映像の視差情報、及び、字幕映像の視差情報を含む。ここで、副映像は、立体映像に付加されるポップ・アップ・メニュー映像やボーナス・ビュー映像等であり、映像コンテンツにおいて用意されている。
 本実施の形態では、立体映像の視差情報は、左眼映像と右眼映像をディスプレイに表示した際における、ある物体の水平方向の表示位置のズレ量に対応する。本実施の形態では、ある物体は、立体視した場合に奥行き方向において視聴者に対して最も手前に見える映像を指す。また、字幕映像の視差情報は、字幕映像をディスプレイに表示した際における、字幕映像の水平方向の表示位置のズレ量に対応する。立体映像に付加される副映像の視差情報も同様である。ズレ量に対応する視差情報は、ピクセル数で表現してもよいし、mm単位で表現してもよい。画像の視差情報が示すズレ量は、その画像が立体表示された場合の、画面の奥行き方向の表示位置に対応する。
4.立体映像表示制御装置の構成
 立体映像表示制御装置1の構成を説明する。図2に戻り、立体映像表示制御装置1は、ディスクドライブ11、チューナ12、ネットワーク通信インターフェース13、メモリデバイスインターフェース14、データ伝送インターフェース15、バッファメモリ(フレームメモリ)16、HDドライブ17、フラッシュメモリ19及びLSI18を備える。
 ディスクドライブ11は、光ピックアップを含み、光ディスク4から立体映像ストリームを読み出す。ディスクドライブ11は、LSI18と接続されており、光ディスク4から読み出した立体映像ストリームをLSI18に送信する。ディスクドライブ11は、LSI18からの制御に応じて、光ディスク4から立体映像ストリームを読み出し、LSI18に送信する。
 チューナ12は、アンテナ5で受信した立体映像ストリームを含む放送波を取得する。チューナ12は、取得した放送波から、LSI18によって指定された周波数の立体映像ストリームを取り出す。チューナ12はLSI18に接続されており、取り出した立体映像ストリームをLSI18に送信する。
 ネットワーク通信インターフェース13は、ネットワークを介してサーバ3と接続可能である。ネットワーク通信インターフェース13は、サーバ3から送信された立体映像ストリームを取得する。
 メモリデバイスインターフェース14は、メモリカード6を装着可能に構成されており、装着されたメモリカード6から立体映像ストリームを読み出すことが可能である。メモリデバイスインターフェース14は、メモリカード6から読み出された立体映像ストリームを、LSI18に送信する。
 HDドライブ17は、ハードディスクなどの記録媒体を内蔵し、記録媒体から読み出されたデータをLSI18に送信する。また、HDドライブ17は、LSI18から受信したデータを記録媒体に記録する。
 データ伝送インターフェース15は、LSI18から送信されたデータを、外部の立体映像表示装置2に送信するためのインターフェースである。データ伝送インターフェース15は、データ信号及びコントロール信号を、立体映像表示装置2との間で送受信可能に構成されている。したがって、LSI18は、データ伝送インターフェース15を介して、立体映像表示装置2を制御することが可能である。データ伝送インターフェース15は、例えば、HDMIコネクタ等で実現可能である。なお、データ伝送インターフェース15は、データ信号を立体映像表示装置2に送信できれば、どのような構成であってもかまわない。
 バッファメモリ16は、LSI18が処理を行う際に、ワークメモリとして機能する。バッファメモリ16は、例えば、DRAMやSRAMなどで実現可能である。
 フラッシュメモリ19は装置画像を予め格納している。装置画像は、例えば、チャンネルの情報や音量の情報、ディスプレイの輝度・コントラスト量・色温度などを調整するための情報、再生装置の画質を調整するための情報を示す画像を含む。すなわち、LSI18は、フラッシュメモリ19から読み出した装置画像を映像データに重ね合わせて立体映像表示装置2に表示させることができる。これによって、LSI18は、装置の情報を視聴者に提示できる。また、LSI18は視聴者に設定画面を表示して、視聴者からの設定を受け付けることが可能になる。
 LSI18は、立体映像表示制御装置1の各部を制御するシステムコントローラである。マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現してもよい。
 LSI18の内部には、CPU181、ストリームコントローラ182、デコーダ183、AV入出力回路184、システムバス185及びメモリコントローラ186が実装されている。
 CPU181はLSI18全体を制御する。LSI18の各部は、LSI18からの制御に基づいて各種制御を行なうように構成されている。また、CPU181は外部との通信も制御する。例えば、CPU181は、データ伝送インターフェース15を介して立体映像表示装置2に要求信号を送信し、画面サイズに関する情報を取得することが可能である。CPU181は、取得した画面サイズに関する情報を、メモリコントローラ186を介してバッファメモリ16に記録する。また、CPU181は、サーバ3等から立体映像ストリームを取得する際、ディスクドライブ11やチューナ12、ネットワーク通信インターフェース13、メモリデバイスインターフェース14に制御信号を送信する。これによってディスクドライブ11やチューナ12、ネットワーク通信インターフェース13、メモリデバイスインターフェース14は、記録メディアや放送局等から立体映像ストリームを取得することができる。
 ストリームコントローラ182は、サーバ3や光ディスク4、アンテナ5、メモリカード6、アクティブシャッターメガネ7との間のデータの送受信を制御する。例えば、CPU181は、サーバ3から取得した立体映像ストリームを、メモリコントローラ186に送信する。
 メモリコントローラ186は、LSI18の各部から送信されたデータを、バッファメモリ16に書き込む。例えば、メモリコントローラ186は、ストリームコントローラ182から取得した立体映像ストリームを、バッファメモリ16に記録する。また、メモリコントローラ186は、バッファメモリ16に記録されたデータを、バッファメモリ16から読み出す。そして、バッファメモリ16は、読み出したデータをLSI18の各部に送信する。
 デコーダ183は、メモリコントローラ186からデータを取得すると、取得したデータをデコードする。ここで、デコーダ183に入力されるデータは、CPU181の制御に基づいている。具体的には、CPU181は、メモリコントローラ186を制御して、バッファメモリ16に記録された立体映像ストリームを読み出させる。そして、CPU181は、読み出した立体映像ストリームをデコーダ183に送信するようメモリコントローラ186を制御する。これによって、メモリコントローラ186からデコーダ183に立体映像ストリームが入力される。
 具体的にデコーダ183は、入力された立体映像ストリームを、立体映像データ31と、その関連情報33とに分離する。そして、デコーダ183は関連情報33をバッファメモリ16に記録する。
 また、デコーダ183は、立体映像データ31に含まれるデコード情報に基づいて、圧縮された立体映像データ31をデコードする。なお、デコーダ183は、デコードした情報をメモリコントローラ186に送信する。メモリコントローラ186では、取得した立体映像データを、バッファメモリ16に記録する。
 AV入出力回路184は、バッファメモリ16から立体映像データ31及び関連情報33、画面サイズに関する情報を読み出して、立体映像表示装置2に表示させる表示画像を生成する。そして、AV入出力回路184は、生成した表示画像を、データ伝送インターフェース15を介して立体映像表示装置2に送信する。
 具体的には、AV入出力回路184は、立体映像データ及び画面サイズに関する情報を読み出す。そしてAV入出力回路184は、立体映像データを、データ伝送インターフェース15を介して立体映像表示装置2に出力する。
 また、AV入出力回路184は、字幕映像(又は、立体映像に付加される副映像)を立体映像データに重ね合わせるよう設定された場合、以下のように制御を行なう。
 AV入出力回路184は、関連情報33をバッファメモリ16から取得し、関連情報33に含まれる、字幕映像の視差情報に基づいて、左眼映像又は右眼映像に字幕映像を重ね合わせる。例えば、図6に示すように、AV入出力回路184は、字幕映像の視差情報(ズレ量)が Y ピクセルである場合、左眼映像50aに対して字幕映像51を Y ピクセル左方向にずらして重ね合わせ、右眼映像50bに対して字幕映像51を Y ピクセル右方向にずらして重ね合わせる。立体映像50a、50bに付加される副映像53も同様である。
 また、CPU181は、装置画像を立体映像データに重ねて表示されるよう指示を受けた場合、以下の制御を行なう。
 まず、CPU181はリモコンを介してユーザからの指示を受け付ける。リモコンからの指示は、立体映像表示制御装置1に設けられる赤外線センサで受信する。CPU181は、フラッシュメモリ19から、指示に対応する装置画像(例えば、立体映像表示制御装置1が提供する機能メニュー画像)を取得する。そして、CPU181は、バッファメモリ16から字幕映像の視差情報を取得する。CPU181は、取得した字幕映像の視差情報に基づいて装置画像の視差情報を決定する。具体的には、CPU181は、立体表示において装置画像が字幕映像よりも画面の奥行き方向において手前(視聴者側)に表示されるように、すなわち、装置画像の視差が字幕映像の視差よりも大きくなるように視差情報を決定する。例えば、図7に示すように、立体表示において、立体映像表示装置2の画面30よりも視聴者200側に立体映像による物体110及び字幕51が表示されている状況において、字幕115よりも手前(視聴者側)に装置画像55が表示されるように、装置画像55の視差情報が決定される。なお、立体映像による物体110は、立体映像により表示される物体の中で最も視聴者200側に表示される物体であるとし、字幕51はその物体110よりも視聴者200側に表示されるものとしている。このように、装置画像55を立体映像による物体110や字幕51よりも手前に表示することで、視聴者は違和感なく装置画像55を視認できる。
 なお、本実施の形態では、CPU181は、装置画像の視差が字幕映像の視差よりも大きくなるように構成したが、装置画像の視差が、立体映像に付加される副映像(ポップ・アップ・メニュー映像等)の視差よりも大きくなるように構成してもかまわない。すなわち、CPU181は、立体映像に関連する付加情報のうちの少なくとも1つの付加情報の視差よりも、装置画像の視差が大きくできるのであれば、どのような構成であってもかまわない。すなわち、CPU181は、立体映像に関連する全ての付加情報の視差よりも装置画像の視差を大きくするようにしてもよい。
 CPU181は、以上のようにして決定した視差情報をAV入出力回路184に入力し、AV入出力回路184に装置画像を立体画像に重ね合わせるよう指示を出す。
 例えば、図6に示すように、装置画像55の視差情報(ズレ量)が Z ピクセルである場合、左眼映像50aに対して装置画像55を Z ピクセル左方向にずらして重ね合わせ、右眼映像50bに対して装置画像55を Z ピクセル右方向にずらして重ね合わせる。AV入出力回路184は、このようにして装置画像55を重ね合わせた左眼映像50a及び右眼映像50bを示す映像データを生成する。AV入出力回路184は、このようにして生成された映像データを立体映像表示装置2に出力する。
 これによって、立体映像表示制御装置1は、簡単な手段で装置により立体映像表示制御装置1によって付加される画像(装置画像)を立体映像に重ねることができ、また、ユーザに対して表示する装置内の画像(装置画像)の奥行き方向の違和感を軽減できる。
5.立体映像表示制御装置の動作
 立体映像表示制御装置1の動作を説明する。以下では、アンテナ5を介して受信した放送波に含まれる立体映像ストリームを立体映像表示装置2に表示させる場合を例にして説明を行なう。
 最初に、図8のフローチャートを参照して、立体映像に字幕映像及び装置画像が重畳されない場合の立体映像表示制御装置1の動作例を説明する。立体映像表示制御装置1は、受信放送波に含まれる立体映像ストリームを再生するように設定されると、以下の動作を行う。
 まず、立体映像表示制御装置1のLSI18は、立体映像表示装置2に要求信号を送信して、立体映像表示装置2の画面サイズに関する情報を取得する。LSI18は、取得した画面サイズに関する情報をバッファメモリ16に記憶する(S1)。LSI18は、チューナ12を制御して、アンテナ5で受信した放送波から立体映像ストリームを取得する(S2)。LSI18は、取得した立体映像ストリームをバッファメモリ16に記憶する(S3)。LSI18は、バッファメモリ16に記憶された立体映像ストリームを読み出し、立体映像ストリームを立体映像データ31及び関連情報33に分離する(S4)。LSI18は、分離した関連情報33をバッファメモリ16に記憶する。一方でLSI18は、分離した立体映像データ31をデコードし、デコードした立体映像データをバッファメモリ16に記憶する(S5)。LSI18は、バッファメモリ16に記憶された画面サイズに関する情報に基づいて、必要であれば、立体映像データの左眼映像と右眼映像の視差を調整する(S6)。具体的には、LSI18は、画面サイズに応じて左眼映像と右眼映像の表示位置を全体としてずらす。例えば、画面サイズが大きければ、左眼映像と右眼映像に含まれる物体の視差が視聴者の視差の許容範囲を超えてしまうことがある。そのため、この場合は、視聴者の視差の許容範囲を超えないように、左眼映像全体を右方向にずらして表示し、右眼映像全体を左方向にずらして表示する。このようにすれば、映像を立体視しようとした場合に、ある物体が二重像になってしまうことを軽減できる。
 LSI18は、調整された視差情報に基づき、デコードされた立体映像データに含まれる左眼映像又は右眼映像の画面データを生成する(S7)。LSI18は、左眼映像又は右眼映像を示す画面データを立体映像表示装置2に出力する(S8)。LSI18は、上記動作を繰り返し行なって立体映像表示装置2に表示画面のデータを順次出力する。以上のようにして、立体映像データが立体映像表示装置2に出力される。
 次に、図9のフローチャートを参照して、立体映像に字幕映像及び装置画像が重畳されて表示される場合の立体映像表示制御装置1の動作例を説明する。
 図9におけるステップT1~T5は、図8のステップS1~S5と同様であるので説明を省略する。立体映像データ31のデコード(ステップT5)の後、LSI18は、バッファメモリ16から字幕映像の視差情報を取得し、取得した字幕映像の視差情報に基づいて装置画像の視差情報を算出する(T6)。そして、LSI18は、算出した装置画像の視差情報に基づき、立体映像データに装置画像を重ね合わせた映像を生成する(T7)。
 ここで、装置画像に加えて字幕画像を立体映像データに重ね合わせることも可能である。そのような場合、装置画像は字幕画像よりも立体視された際に手前に表示されるのが好ましい。これによって装置画像が立体映像に対して違和感のない映像となる。
 この後、LSI18は、ステップS6~S8と同様の動作を行なう(T8~T10)。なおLSI18は、上記動作を繰り返し行ない、立体映像表示装置2に表示画面を順次出力する。なお、上記動作を繰り返し行なう際、ステップT6の動作は二回目以降省略するようにしてもよい。
 以上のように、本実施形態では、字幕映像の視差情報に基づいて装置画像の視差情報を調整する。このため、簡単な手段で、立体映像に対する装置画像の表示の違和感を軽減することが可能となる。
6.用語の対応
 立体映像表示制御装置1は表示制御装置の一例である。また、立体映像データは立体映像情報の一例である。字幕映像は第1付加画像の一例である。装置画像は第2付加画像の一例である。字幕映像の視差情報は第1位置情報の一例である。装置画像の視差情報は第2位置情報の一例である。LSI18は第1及び第2取得手段、決定手段、生成手段の一例である。
7.まとめ
 本実施の形態の立体映像表示制御装置1は、立体映像表示装置2の立体映像表示動作を制御する表示制御装置である。立体映像表示制御装置1は、立体映像を示す立体映像情報と、立体映像に重畳させて表示可能な字幕を示す字幕映像情報とを取得し、立体映像に重畳させて表示可能な装置画像(OSD)を示す装置画像情報を取得し、立体映像に装置画像(OSD)を重畳させた重畳画像を生成するLSI18と、生成された重畳画像を出力するデータ伝送インターフェース15と、を備える。LSI18は、視聴者により重畳画像が立体視された際に装置画像(OSD)が、字幕が表示される位置または表示され得る位置よりも手前に表示されるように重畳画像を生成する。
 このように字幕映像の視差情報に基づいて装置画像の視差情報を決定するため、装置画像を立体映像に重ね合わせる場合において、より簡易な手段で立体映像に装置画像を重ね合わせることができ、立体映像に対する装置画像の奥行き方向の違和感を軽減できる。
8.他の実施の形態
 本発明の一実施の形態として上記の例を説明した。しかし、本発明の思想はこれに限られず種々の形態で実現することが可能である。以下、他の実施の形態を説明する。
 上記の実施の形態では、字幕映像の視差情報を、立体映像データに対する相対的な情報で表現した。しかし、これに限られず、字幕映像の視差情報を絶対的な情報で表現されてもよい。この場合、AV入出力回路184は、絶対的な情報で表現された立体情報の視差情報を考慮することで、立体映像データに対する相対的な情報で表現された字幕映像の視差情報を得ることができる。
 上記の実施形態において、視差情報は、視聴者に対する奥行き方向の表示位置を示す情報の一例である。
 また、上記の実施の形態では、字幕映像の視差情報に基づいて装置画像の視差情報を求める例を説明したが、字幕の視差情報に替えて、立体映像に付加される副映像(例えば、ポップ・アップ・メニュー映像やボーナス・ビュー映像等)や立体映像(主映像)の視差情報を用いて、装置画像の視差情報を求めてもよい。すなわち、副映像の視差情報に基づき、立体視において副映像よりも手前に装置画像が表示されるように装置画像の視差情報を求めてもよい。または、立体映像(主映像)の視差情報に基づき、立体視において、立体映像により最も手前に表示される物体よりも手前に装置画像が表示されるように装置画像の視差情報を求めてもよい。この場合、立体映像データを解析し、最も前面に存在する物体の奥行き方向の位置を算出し、その位置に基づき装置画像の視差情報を決定できる。
 また、上記の実施の形態では、図7に示すように装置画像55を立体映像による物体110や字幕51よりも手前に表示する例を示した。しかし、必ずしも、装置画像55を物体110や字幕51よりも手前に表示する必要はなく、視聴者が違和感なく装置画像55を視認できるのであれば、装置画像55を、奥行き方向において物体110や字幕51と同等の位置に表示してもよい。又は、視聴者が違和感なく装置画像55を視認できる範囲で、装置画像55を、物体110や字幕51の位置から画面30側に若干ずらして表示してもよい。
 本発明は、立体映像を表示可能なテレビ受像機やディスプレイに対して立体映像を出力可能な装置(例えば、映像記録装置や光ディスク再生装置)に適用可能である。
1 立体映像表示制御装置
2 立体映像表示装置
3 サーバ
4 光ディスク
5 アンテナ
6 メモリカード
7 アクティブシャッターメガネ
11 ディスクドライブ
12 チューナ
13 ネットワーク通信インターフェース
14 メモリデバイスインターフェース
15 データ伝送インターフェース
16 バッファメモリ
17 HDドライブ
18 LSI
181 CPU
182 ストリームコントローラ
183 デコーダ
184 AV入出力回路
185 システムバス
186 メモリコントローラ
19 フラッシュメモリ
21 データ伝送インターフェース
22 コントローラ
23 メモリ
24 ディスプレイ
25 通信インターフェース

Claims (9)

  1.  表示装置の立体映像表示動作を制御する表示制御装置であって、
     立体映像を示す立体映像情報と、前記立体映像に重畳させて表示可能な第1付加画像を示す第1付加情報と、を取得する第1取得手段と、
     前記立体映像に重畳させて表示可能な第2付加画像を示す第2付加情報を取得する第2取得手段と、
     前記立体映像に前記第2付加画像を重畳させた重畳画像を生成する生成手段と、
     前記生成された重畳画像を出力する出力手段と、を備え、
     前記生成手段は、視聴者により前記重畳画像が立体視された際に前記第2付加画像が、前記第1付加画像が表示される位置または表示され得る位置よりも手前に表示されるように、前記重畳画像を生成する、
    表示制御装置。
  2.  表示装置の立体映像表示動作を制御する表示制御装置であって、
     立体映像を示す立体映像情報と、前記立体映像に重畳させて表示可能な第1付加画像を示す第1付加情報と、前記表示装置の表示画面に対する奥行き方向における前記第1付加画像の表示位置を示す第1位置情報とを取得する第1取得手段と、
     前記立体映像に重畳させて表示可能な第2付加画像を示す第2付加情報を取得する第2取得手段と、
     前記第1位置情報に基づいて、前記第2付加画像の前記奥行き方向の表示位置を示す第2位置情報を決定する決定手段と、
     前記第2位置情報に基づいて、前記立体映像に前記第2付加画像を重畳させた重畳画像を生成する生成手段と、
     前記生成された重畳画像を出力する出力手段と、
    を備える表示制御装置。
  3.  前記立体映像に前記第2付加画像に加えてさらに前記第1付加画像が重畳されて前記重畳画像が生成される場合、
     前記決定手段は、視聴者により前記第1及び第2付加画像が立体視された際に前記第2付加画像が前記第1付加画像よりも手前に表示されるように前記第2位置情報を決定する、請求項2記載の表示制御装置。
  4.  前記第1付加画像は、当該表示制御装置の外部から取得される画像であり、前記第2付加画像は、当該表示制御装置が前記立体映像と独立して生成する画像である、請求項2に記載の表示制御装置。
  5.  前記第1付加画像は、字幕を示す画像であり、前記第2付加画像は、当該表示制御装置の機能の設定、または、状態の表示を行うための画像である、請求項4に記載の表示制御装置。
  6.  表示装置の立体映像表示動作を制御する表示制御装置であって、
     立体映像を示す立体映像情報と、前記表示装置の表示画面に対する奥行き方向における前記立体映像の表示位置を示す第1位置情報とを取得する第1取得手段と、
     前記立体映像に重畳させて表示可能な付加画像を示す付加情報を取得する第2取得手段と、
     前記第1位置情報に基づいて、前記付加画像の奥行き方向の表示位置を示す第2位置情報を決定する決定手段と、
     前記第2位置情報に基づいて、前記立体映像に前記付加画像を重畳させた重畳画像を生成する生成手段と、
     前記生成された重畳画像を出力する出力手段と、
    を備える表示制御装置。
  7.  前記決定手段は、視聴者により前記重畳画像が立体視された際に前記付加画像が前記立体映像よりも手前に表示されるように前記第2位置情報を決定する、請求項6記載の表示制御装置。
  8.  前記付加画像は、当該表示制御装置が前記立体映像と独立して生成する画像である、請求項6に記載の表示制御装置。
  9.  前記付加画像は、当該表示制御装置の機能の設定、又は、状態の表示を行うための画像である、
    請求項8に記載の表示制御装置。
PCT/JP2010/000871 2009-02-13 2010-02-12 表示制御装置 WO2010092823A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15253109P 2009-02-13 2009-02-13
US61/152,531 2009-02-13
JP2009101822A JP2012089906A (ja) 2009-02-13 2009-04-20 表示制御装置
JP2009-101822 2009-04-20

Publications (1)

Publication Number Publication Date
WO2010092823A1 true WO2010092823A1 (ja) 2010-08-19

Family

ID=42561671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000871 WO2010092823A1 (ja) 2009-02-13 2010-02-12 表示制御装置

Country Status (1)

Country Link
WO (1) WO2010092823A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4892105B1 (ja) * 2011-02-21 2012-03-07 株式会社東芝 映像処理装置、映像処理方法および映像表示装置
WO2012032997A1 (ja) * 2010-09-06 2012-03-15 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
WO2012036120A1 (ja) * 2010-09-15 2012-03-22 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
GB2485140A (en) * 2010-10-26 2012-05-09 Sony Corp A Method and Apparatus For Inserting Object Data into a Stereoscopic Image
WO2012063675A1 (ja) * 2010-11-08 2012-05-18 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
WO2012073823A1 (ja) * 2010-12-03 2012-06-07 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012113078A (ja) * 2010-11-24 2012-06-14 Seiko Epson Corp 表示装置、表示装置の制御方法、及び、プログラム
JP2012134726A (ja) * 2010-12-21 2012-07-12 Toshiba Corp 画像処理装置、及び画像処理方法
JP2012134634A (ja) * 2010-12-20 2012-07-12 Toshiba Corp 立体映像信号処理装置及び方法
WO2012098803A1 (ja) * 2011-01-17 2012-07-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012175698A (ja) * 2011-12-13 2012-09-10 Toshiba Corp 映像処理装置、映像処理方法および映像表示装置
JP2012186652A (ja) * 2011-03-04 2012-09-27 Toshiba Corp 電子機器、画像処理方法及び画像処理プログラム
JP2013546220A (ja) * 2010-10-01 2013-12-26 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置および信号処理装置並びにその方法
US8737811B2 (en) 2010-08-06 2014-05-27 Panasonic Corporation Playback device, integrated circuit, playback method, and program
EP2495981A4 (en) * 2010-10-01 2017-08-16 Sony Corporation 3d-image data transmitting device, 3d-image data transmitting method, 3d-image data receiving device and 3d-image data receiving method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331598A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 立体映像表示装置
JPH10327430A (ja) * 1997-05-27 1998-12-08 Sanyo Electric Co Ltd ディジタル立体放送によるテロップ表示装置
JPH11164329A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2005065162A (ja) * 2003-08-20 2005-03-10 Matsushita Electric Ind Co Ltd 表示装置、送信装置、送受信システム、送受信方法、表示方法、送信方法、およびリモコン

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331598A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 立体映像表示装置
JPH10327430A (ja) * 1997-05-27 1998-12-08 Sanyo Electric Co Ltd ディジタル立体放送によるテロップ表示装置
JPH11164329A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2005065162A (ja) * 2003-08-20 2005-03-10 Matsushita Electric Ind Co Ltd 表示装置、送信装置、送受信システム、送受信方法、表示方法、送信方法、およびリモコン

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737811B2 (en) 2010-08-06 2014-05-27 Panasonic Corporation Playback device, integrated circuit, playback method, and program
CN102714746A (zh) * 2010-09-06 2012-10-03 索尼公司 立体图像数据传送设备、立体图像数据传送方法、以及立体图像数据接收设备
WO2012032997A1 (ja) * 2010-09-06 2012-03-15 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
JP2012060267A (ja) * 2010-09-06 2012-03-22 Sony Corp 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
WO2012036120A1 (ja) * 2010-09-15 2012-03-22 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2012065066A (ja) * 2010-09-15 2012-03-29 Sharp Corp 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
US9224232B2 (en) 2010-09-15 2015-12-29 Sharp Kabushiki Kaisha Stereoscopic image generation device, stereoscopic image display device, stereoscopic image adjustment method, program for causing computer to execute stereoscopic image adjustment method, and recording medium on which the program is recorded
EP2495981A4 (en) * 2010-10-01 2017-08-16 Sony Corporation 3d-image data transmitting device, 3d-image data transmitting method, 3d-image data receiving device and 3d-image data receiving method
JP2013546220A (ja) * 2010-10-01 2013-12-26 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置および信号処理装置並びにその方法
GB2485140A (en) * 2010-10-26 2012-05-09 Sony Corp A Method and Apparatus For Inserting Object Data into a Stereoscopic Image
JP2012120142A (ja) * 2010-11-08 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
WO2012063675A1 (ja) * 2010-11-08 2012-05-18 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
JP2012113078A (ja) * 2010-11-24 2012-06-14 Seiko Epson Corp 表示装置、表示装置の制御方法、及び、プログラム
WO2012073823A1 (ja) * 2010-12-03 2012-06-07 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012134634A (ja) * 2010-12-20 2012-07-12 Toshiba Corp 立体映像信号処理装置及び方法
JP2012134726A (ja) * 2010-12-21 2012-07-12 Toshiba Corp 画像処理装置、及び画像処理方法
WO2012098803A1 (ja) * 2011-01-17 2012-07-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP4892105B1 (ja) * 2011-02-21 2012-03-07 株式会社東芝 映像処理装置、映像処理方法および映像表示装置
JP2012186652A (ja) * 2011-03-04 2012-09-27 Toshiba Corp 電子機器、画像処理方法及び画像処理プログラム
JP2012175698A (ja) * 2011-12-13 2012-09-10 Toshiba Corp 映像処理装置、映像処理方法および映像表示装置

Similar Documents

Publication Publication Date Title
WO2010092823A1 (ja) 表示制御装置
US20100265315A1 (en) Three-dimensional image combining apparatus
US8810563B2 (en) Transmitting apparatus, stereoscopic image data transmitting method, receiving apparatus, and stereoscopic image data receiving method
JP5809064B2 (ja) 3d画像データの転送
EP2380357B1 (en) Method and device for overlaying 3d graphics over 3d video
US9117396B2 (en) Three-dimensional image playback method and three-dimensional image playback apparatus
US20150381960A1 (en) 3d image reproduction device and method capable of selecting 3d mode for 3d image
US8994787B2 (en) Video signal processing device and video signal processing method
US20110063422A1 (en) Video processing system and video processing method
US20110012993A1 (en) Image reproducing apparatus
US20110221874A1 (en) Method for adjusting 3d image quality, 3d display apparatus, 3d glasses, and system for providing 3d image
US20110141233A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
US20130038611A1 (en) Image conversion device
KR20110129903A (ko) 3d 시청자 메타데이터의 전송
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 3d 비디오 및 3d 오버레이들을 합성하기 위한 방법 및 시스템
US20110310099A1 (en) Three-dimensional image processing apparatus and method of controlling the same
JP5390016B2 (ja) 映像処理装置
EP2424259A2 (en) Stereoscopic video display system with 2D/3D shutter glasses
JP5390017B2 (ja) 映像処理装置
JP2012100102A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2012057048A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012089906A (ja) 表示制御装置
US20110134215A1 (en) Method and apparatus for providing 3d image and method and apparatus for displaying 3d image
JP2012044625A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20130215225A1 (en) Display apparatus and method for adjusting three-dimensional effects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10741103

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10741103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP