WO2012127539A1 - Video image conversion device - Google Patents
Video image conversion device Download PDFInfo
- Publication number
- WO2012127539A1 WO2012127539A1 PCT/JP2011/002846 JP2011002846W WO2012127539A1 WO 2012127539 A1 WO2012127539 A1 WO 2012127539A1 JP 2011002846 W JP2011002846 W JP 2011002846W WO 2012127539 A1 WO2012127539 A1 WO 2012127539A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- unit
- image
- eye image
- depth
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Definitions
- This technical field relates to a video conversion device, and more particularly to a video conversion device that outputs a stereoscopically viewable video signal.
- Patent Document 1 discloses a video conversion device capable of displaying a stereoscopic video by presenting a right-eye video and a left-eye video having parallax to a user.
- the user synthesizes an image viewed through the right eye (right eye image) and an image viewed through the left eye (left eye image) in the brain, and recognizes it as a stereoscopic image.
- the video source may be a stereoscopically viewable video shot with a 3D camera, such as a video phone.
- the stereoscopically viewable video imaged by the 3D camera is transmitted as a video stream from its own video conversion device to the other video conversion device via a network or the like.
- the other party's video can be received as a video stream by the own video conversion device via a network or the like.
- the video converted by the video conversion device is displayed on a display device such as a television. At this time, the display device may display its own video together with the video of the other party.
- the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video conversion apparatus capable of outputting a self video and a partner video in a natural video format. There is.
- the video conversion device of the present invention includes a decoder, a first inversion unit, and a first frame conversion unit.
- the decoder decodes the first stereoscopic video stream data into a stereoscopic video signal including the first left-eye image and the first right-eye image.
- the first inversion unit inverts the left and right of the first left-eye image and inverts the left and right of the first right-eye image.
- the first frame conversion unit sets the first left-eye image inverted left and right as the right-eye inverted image, and the first right-eye image inverted left and right as the left-eye inverted image and the first right-eye image and the first The left-eye image is replaced and output.
- video can be output in a natural video form.
- the self image can be displayed on the display device in a natural form.
- FIG. 6 shows an example of display on the monitor 301 in Embodiment 1
- FIG. 10 shows an example of display on the monitor 301 in the second embodiment.
- FIG. 10 shows an example of display on the monitor 301 in the second embodiment.
- Embodiment 9 shows an example of display on the monitor 301 in Embodiment 3
- the figure which shows an example of the display on the monitor in a prior art Diagram for explaining horizontal reversal
- the figure for demonstrating the effect of swapping the image for left eyes, and the image for right eyes
- FIG. 1 is an overall configuration diagram of a video conversion system such as a videophone according to the first embodiment.
- This video conversion system includes a communication device 100.
- a display device 300 is a display device such as a display for displaying a stereoscopic video.
- the communication device 100 converts its own video captured by the camera / microphone 200 and its surrounding video, and transmits the converted video to a medium such as a network.
- the communication apparatus 100 receives a partner's video and a video around the partner from a medium such as a network, and decodes the partner's video and the video around the partner. Further, the communication device 100 transmits a video signal to the display device 300, and the display device 300 displays a video based on the video signal.
- FIG. 2 is a diagram showing details of the configuration of the communication device 100 in each embodiment described in this specification.
- the communication device 100 is controlled by the control LSI 101 while using the flash memory 112 as appropriate.
- the communication device 100 is connected to the camera / microphone 200 via the USB interface 105.
- the communication device 100 is connected to the network via the network interface 103.
- the communication device 100 is connected to the display device 300 via the HDMI interface 107.
- the communication device 100 is connected to an input unit such as a remote controller 400 via the wireless light receiving unit 104. When the user operates remote controller 400, communication device 100 receives the signal from remote controller 400 and starts operation.
- the camera / microphone 200 captures an image around the camera / microphone 200.
- the 3D camera 201 captures a 3D video, and the microphone 202 records audio.
- the encoder 203 encodes the 3D video imaged by the camera 201 and the audio recorded by the microphone 202, and converts them into stream data that can be transmitted. After the 3D video and audio are converted into stream data by the encoder 203, the stream data is output from the camera / microphone 200 to the communication apparatus 100 via an interface such as the USB interface 105.
- the video signal input from the camera / microphone 200 to the communication apparatus 100 is controlled by the control LSI 101 and distributed to the network via the network interface 103.
- the video signal distributed to the network is transmitted to a conversation partner in the form of a so-called videophone.
- the video of the partner user is displayed on the display device 300.
- the other user also uses a system similar to the above system to transmit / receive a stereoscopically viewable video stream captured by the camera via the network. Thereby, each user can make a videophone call with the partner user while viewing the video of the partner user displayed on the display device 300.
- An image input to the communication apparatus 100 from the network via the network interface 103, for example, an image of the partner user, is decoded and visualized under the control of the control LSI 101.
- the video decoded here is output to the display device 300 via the HDMI interface 107.
- an image input from the network to the communication device 100 via the network interface 103 for example, an image of the other user is synthesized with an image input from the camera / microphone 200 to the communication device 100 under the control of the control LSI 101. It is sent to the display device 300.
- An image input to the communication apparatus 100 from the camera / microphone 200 and an image input to the communication apparatus 100 from the network via the network interface 103 are stereoscopically viewable images.
- the stereoscopic video signal output from the communication device 100 is output to the display device 300 via the HDMI interface 107.
- the HDMI interface 107 is preferably composed of a signal communication unit compatible with, for example, HDMI (High Definition Multimedia Interface) Ver1.4.
- Display device 300 sends a switching signal for controlling the opening and closing of the shutters of the left and right lenses to stereoscopic glasses worn by the user.
- the monitor 301 sends a switching signal to the stereoscopic glasses in accordance with the video output from the communication apparatus 100 to the monitor 301 via the HDMI interface 107.
- the user wearing stereoscopic glasses can appreciate the video output to the monitor 301 as a stereoscopic video.
- FIG. 3 is a block diagram showing details of the control LSI 101 in the first embodiment.
- Stream data (data passing through the transmission path) input from the camera / microphone 200 to the control LSI 101 is decoded by the decoder 1011 and converted into a baseband video signal.
- the baseband video signal output from the decoder 1011 is converted into a video signal obtained by inverting the left and right of the video by the reverse scanning unit 1012, and this video signal is output.
- the reverse scanning unit 1012 has a function of inverting the left and right patterns.
- the reverse scan unit 1012 When the reverse scan unit 1012 reads out the frame video recorded in the memory unit from the memory unit, the reverse scan unit 1012 reads the video in a direction opposite to the direction recorded in the memory unit, thereby inverting the video. For example, in the left diagram of FIG. 11, when the video is addressed to the memory means from the left side to the right side, the reverse scanning unit 1012 moves the video recorded in the memory means from the right side to the left side of the left diagram of FIG. Invert the video by reading from the memory means in the direction.
- the output video of the reverse scan unit 1012 is input to the frame delay conversion unit 1013.
- the frame delay conversion unit 1013 is means for adding a delay to the transmitted video frame.
- the scaler 1014 is a means for changing the size of an image. In the present embodiment, for example, as shown in FIG. 5, the video of the other party received from the network is displayed on the display device 300. On the other hand, the self-portrait photographed by the camera / microphone 200 is reduced and synthesized with the partner's image at the lower right of the screen. As described above, in this embodiment, a conversation with the other party is realized while viewing the reduced self-viewed video.
- the decoder 1015 converts the video stream received from the network into a baseband video signal by the decoder 1015.
- the video synthesis unit 1016 synthesizes the video signal whose size has been changed by the scaler 1014 and the video signal converted by the decoder 1015. In this way, the video signal output from the video synthesizing unit 1016 is a video signal obtained by synthesizing the partner video and the self video.
- the output of the video composition unit 1016 is sent to the display device 300 via the HDMI interface 107 and displayed on the display device 300.
- the decoder 1011 shown in FIG. 3 outputs a stereoscopically viewable video signal by a method called frame sequential.
- the stereoscopically viewable video signal is composed of a video frame (L) having a parallax for the left eye and a video frame (R) having a parallax for the right eye.
- the video frame (L) having the left-eye parallax and the video frame (R) having the right-eye parallax are alternately transmitted in time.
- the reverse scanning unit 1012 outputs the video signal by horizontally inverting it. In FIG. 4, the inversion notation of Ln and Rn indicates that the video is reversed left and right.
- the frame delay conversion unit 1013 delays the video frame by one video frame. That is, the frame delay conversion unit 1013 outputs Ln output from the inverse scan unit 1012 as a left-eye video frame at the timing of the right-eye video. In addition, the frame delay conversion unit 1013 outputs Rn output as a video frame for the right eye from the inverse scanning unit 1012 at the timing of the video of the left eye.
- the scaler 1014 changes the size of the video frame output from the frame delay conversion unit 1013.
- the decoder 1015 decodes the input video of the other party of the videophone and outputs it as a baseband video signal.
- the video composition unit 1016 synthesizes and outputs the output of the scaler 1014 (own video) and the output of the decoder 1015 (partner video).
- the reverse scan unit 1012 mirrors the own video
- the frame delay conversion unit 1013 delays the own video.
- the video composition unit 1016 synthesizes its own L0 and the partner R′0, and synthesizes its own R0 and the partner L′ 1.
- the mirrored video is synthesized with the other video in a state delayed by one frame.
- the output video of the reverse scanning unit 1012 is to invert the left and right.
- the output video of the reverse scanning unit 1012 is a video with parallax.
- the L0 video has a depth of parallax on the left side as shown by an arrow A, as compared with a video without parallax indicated by a dotted line.
- the R0 video has a depth of parallax on the right side as indicated by an arrow B, as compared to a video without parallax indicated by a dotted line.
- the image reversed left and right by the reverse scanning unit 1012 has the opposite parallax direction as indicated by arrows A and B. In this way, simply reversing the video will reverse the depth information of the stereoscopic view.
- the 3D video that has jumped out to the near side is recognized as a 3D video that has been retracted to the back side, or conversely, the 3D video that has been retracted to the back side, Or it may be recognized as a 3D video that pops out toward you.
- a video frame that is mirrored using the inverse scanning unit 1012 is generated, and the previous mirrored video frame is generated using the frame delay conversion unit 1013. By setting it as the current video frame, it maintains the depth of its own video.
- the self video output from the frame delay conversion unit 1013 is enlarged and / or reduced by the scaler 1014, and is synthesized with the other video by the video synthesis unit 1016.
- the inverted self L0 video is synthesized with the partner's R'0 video
- the inverted self R0 video is the partner's L'1 video. And synthesized.
- FIG. 6 is a block diagram showing the operation of the control LSI 101 of the video composition apparatus in the second embodiment of the present invention.
- the difference between the second embodiment and the first embodiment is the presence or absence of a depth detection unit 1017 and a depth correction unit 1018. For this reason, the description of the same configuration as in the first embodiment is omitted.
- the parallax is detected by the depth detection unit 1017.
- the depth detection unit 1017 detects information related to parallax (parallax information) based on the configuration of the camera. For example, the parallax information is detected based on the focus position, tilt, and the like of a stereoscopic camera such as a binocular camera at the time of shooting.
- the disparity information is recognized by the communication apparatus 100, and is transmitted from the communication apparatus 100 to the outside along with the video stream.
- the depth detection unit 1017 can also set the parallax information based on the video.
- the parallax information is detected based on the shift amount with respect to the left and right videos.
- the parallax information is detected based on the shift amount in the self video.
- the depth is detected by recognizing a human face in the image and detecting the parallax thereof.
- the depth correction unit 1018 corrects the depth of its own video, and can add parallax by shifting the object in the left and right video in the horizontal direction.
- the parallax depth of the partner's video with respect to the parallax depth of the self video is set. For example, when the user operates the remote controller 400, the depth of parallax is set to a predetermined pattern. Here, three patterns from the first to the third are prepared.
- the first pattern is a pattern in which the parallax depth of the partner video is deeper than the parallax depth of the self video.
- the second pattern is a pattern in which the parallax depth of the partner video is shallower than the parallax depth of the self video.
- the third pattern is a pattern in which the depth of the parallax of the partner's video is substantially the same as the depth of the parallax of the own video.
- the partner image appears farther than the self image.
- the partner's figure can be displayed with a more three-dimensional effect.
- the depth of the parallax of the self video is deeper than the depth of the parallax of the other video (in the case of the second pattern)
- the self video does not get in the way, for example, concentrate on the conversation. It becomes possible.
- the parallax depth of the self video and the parallax depth of the other video are almost the same (in the case of the third pattern), it seems that the self video is blended in the other video.
- Embodiment 3 will be described with reference to the drawings.
- the difference between the third embodiment and the second embodiment is the presence or absence of the reverse scan unit 1019 and the frame delay conversion unit 1020. For this reason, the description of the same configuration as that of the second embodiment is omitted.
- a decoder 1015 converts a video signal received from a network into a baseband video signal.
- the reverse scanning unit 1019 converts the baseband video signal into a video signal obtained by reversing the left and right sides of the video.
- the reverse scan unit 1019 functions in the same manner as the reverse scan unit 1012 described above.
- the frame delay conversion unit 1020 delays the video frame.
- the frame delay conversion unit 1020 functions in the same manner as the frame delay conversion unit 1013 described above.
- the communication device 100 notifies the display device 300 on a frame-by-frame basis which video is being sent via the HDMI interface 107. This is because in this embodiment, frame sequential is used.
- the notification of the left and right video shown here is determined by the decoding result of the other video. This notification is updated in a frame cycle.
- the frame delay conversion unit 1020 delays the video that has been horizontally reversed by the reverse scanning unit 1019 by one frame. By synthesizing such a partner's image and the above-described self image, both the partner's image and the self image are displayed as a mirror image. That is, as shown in FIG. 9, the video can be displayed in a state where the self video is copied in the video of the other party.
- the image can be blended in three dimensions with various patterns. Further, as described above, the images are mirrored together and displayed in a manner superimposed on the other's image, so that the composition of the photograph can be easily determined as if looking at the mirror.
- the self's image appears to be blended in the other's image. You can feel a sense of unity with the other party. Thereby, it is possible to generate a composite photograph of the other party and the self as if taking a commemorative photo. For example, by adjusting the parallax depth of the video with the remote control 400 or adjusting the position of the other party or one's own position, the adjusted video is made into a still image by operating the remote control 400, You can take a commemorative photo.
- the operability when determining the composition can be improved.
- the still image can be obtained by storing the moment in a memory like a camera shutter using the remote controller 400.
- the number of subjects is not limited to the above-described embodiment, and any number of subjects may be used as long as the number is two or more. In this case, the same effect as described above can be obtained.
- the video whose composition has been determined as described above can be made into a commemorative photo by making it a still image.
- the still image created in this way can be easily created as a two-dimensional commemorative photo by converting from 3D to 2D.
- the other party's video received from a network or the like may be combined with an enlargement and / or reduction by providing a scaler function such as the scaler 1014.
- the camera / microphone 200 has the encoder 203 and is encoded and input to the communication apparatus 100 as a stream.
- the camera / microphone 200 does not necessarily have an encoding function. It does not have to be.
- a baseband video signal is transmitted from the camera / microphone 200 to the communication apparatus 100.
- the control LSI 101 since it is not necessary to decode the baseband video signal, a decoder is unnecessary. Therefore, the control LSI 101 executes the various processes described above based on the baseband video signal.
- an encoder used for transmitting a video signal to another device is prepared inside the communication device 100 excluding the control LSI 101. That is, the baseband video signal is encoded by the encoder and then transmitted to another device.
- the communication device 100 is an example of a video conversion device.
- Embodiment 1-3 the description has been given using the frame sequential as an example of a stereoscopically viewable video signal transmitted between devices.
- the present invention is not limited to frame sequential, and can be applied to other types of video signals that can be viewed stereoscopically.
- Other methods include side-by-side, top-and-bottom, checker pattern, and line-by-line.
- the decoder 1011 decodes the side-by-side baseband video signal, and then reverses the video by the reverse scanning unit 1012.
- the frame delay conversion unit 1013 When a side-by-side signal is input to the decoder 1011, the frame delay conversion unit 1013 does not perform time delay, but reverses the left-eye and right-eye images. Can be applied. Subsequent operations are the same as those disclosed in Embodiment 1-3.
- the stereoscopically viewable video signal received by the decoder 1015 may be of a different system from the frame sequential.
- the present invention can be applied to a video conversion device.
- the present invention can be applied to a BD recorder, a BD player, and the like.
- DESCRIPTION OF SYMBOLS 100 Communication apparatus 200 Camera / microphone 300 Television 400 Remote control 500 Network 600 Personal computer 700 Television 800 Base station 900 Portable terminal 1000 Terminal 2000 Call server 101 Control LSI 103 Network interface (receiver) DESCRIPTION OF SYMBOLS 104 Wireless light-receiving part 105 USB interface 107 HDMI interface 112 Flash memory 201 Camera 202 Microphone 203 Encoder 205 USB interface 301 Monitor 302 Speaker 303, 304 D / A converter 305 HDMI interface 401 Operation part 402 Processing circuit 403 Wireless transmission part 1011 Decoder 1012 Reverse Scan unit (first inversion unit) 1013 Frame delay conversion unit (first frame conversion unit) 1014 Scaler (image size converter) 1015 Decoder 1016 Video composition unit (composition unit) 1017 Depth detection unit 1018 Depth correction unit (depth adjustment unit) 1019 Reverse scan unit (second inversion unit) 1020 Frame delay conversion unit (second frame conversion unit)
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
To provide a video image in which there is no sense of incongruity even when a video image of the self is converted into a mirror image and synthesized with a video image of another person. This video image conversion device is provided with a decoder, a first inverter, and a first frame converter. The decoder decodes first stereoscopic video image stream data into a stereoscopic video image signal comprising a first left-eye image and a first right-eye image. The first inverter inverts the left and right of the first left-eye image, and inverts the left and right of the first right-eye image. The first frame converter designates the first left-eye image, in which the left and right have been inverted, as a right-eye inverted image, designates the first right-eye image, in which the left and right have been inverted, as a left-eye inverted image, and thereby switches and outputs the first right-eye image and the first left-eye image.
Description
本技術分野は、映像変換装置に関し、特に、立体視可能な映像信号を出力する映像変換装置に関する。
This technical field relates to a video conversion device, and more particularly to a video conversion device that outputs a stereoscopically viewable video signal.
近年、立体視可能な映像(立体映像)を表示するために、映像変換装置に関する技術開発が、進んでいる。立体映像を表示する際、映像変換装置は、光ディスク等の映像媒体に記録されたコンテンツのデータに基づいて、左目用の映像および右目用の映像を生成し、映像表示装置へ送出する。映像表示装置は、左目用の映像および右目用の映像を交互に表示する。
特許文献1には、視差を有する右目映像および左目映像を、ユーザに提示することによって、立体映像を表示可能な映像変換装置が、開示されている。ユーザは、右目を通じて視認する映像(右目映像)と、左目を通じて視認する映像(左目映像)とを、脳内で合成し、立体映像として認識する。
また、映像ソースとしては、テレビ電話のように、3Dカメラで撮影した立体視可能な映像であってもよい。3Dカメラで撮影した立体視可能な映像は、映像ストリームとして、ネットワーク等を介して、自己の映像変換装置から相手の映像変換装置へと送信される。また、相手の映像は、映像ストリームとして、ネットワーク等を介して、自己の映像変換装置で受信することができる。映像変換装置で変換された映像は、テレビ等の表示装置に映し出される。この時、表示装置には、相手の映像とともに、自己の映像を映し出してもよい。 In recent years, in order to display a stereoscopically viewable video (stereoscopic video), technical development relating to a video conversion device has been advanced. When displaying a stereoscopic video, the video conversion device generates a left-eye video and a right-eye video based on content data recorded on a video medium such as an optical disk and sends the generated video to the video display device. The video display device alternately displays the left-eye video and the right-eye video.
Patent Document 1 discloses a video conversion device capable of displaying a stereoscopic video by presenting a right-eye video and a left-eye video having parallax to a user. The user synthesizes an image viewed through the right eye (right eye image) and an image viewed through the left eye (left eye image) in the brain, and recognizes it as a stereoscopic image.
Also, the video source may be a stereoscopically viewable video shot with a 3D camera, such as a video phone. The stereoscopically viewable video imaged by the 3D camera is transmitted as a video stream from its own video conversion device to the other video conversion device via a network or the like. Also, the other party's video can be received as a video stream by the own video conversion device via a network or the like. The video converted by the video conversion device is displayed on a display device such as a television. At this time, the display device may display its own video together with the video of the other party.
特許文献1には、視差を有する右目映像および左目映像を、ユーザに提示することによって、立体映像を表示可能な映像変換装置が、開示されている。ユーザは、右目を通じて視認する映像(右目映像)と、左目を通じて視認する映像(左目映像)とを、脳内で合成し、立体映像として認識する。
また、映像ソースとしては、テレビ電話のように、3Dカメラで撮影した立体視可能な映像であってもよい。3Dカメラで撮影した立体視可能な映像は、映像ストリームとして、ネットワーク等を介して、自己の映像変換装置から相手の映像変換装置へと送信される。また、相手の映像は、映像ストリームとして、ネットワーク等を介して、自己の映像変換装置で受信することができる。映像変換装置で変換された映像は、テレビ等の表示装置に映し出される。この時、表示装置には、相手の映像とともに、自己の映像を映し出してもよい。 In recent years, in order to display a stereoscopically viewable video (stereoscopic video), technical development relating to a video conversion device has been advanced. When displaying a stereoscopic video, the video conversion device generates a left-eye video and a right-eye video based on content data recorded on a video medium such as an optical disk and sends the generated video to the video display device. The video display device alternately displays the left-eye video and the right-eye video.
Also, the video source may be a stereoscopically viewable video shot with a 3D camera, such as a video phone. The stereoscopically viewable video imaged by the 3D camera is transmitted as a video stream from its own video conversion device to the other video conversion device via a network or the like. Also, the other party's video can be received as a video stream by the own video conversion device via a network or the like. The video converted by the video conversion device is displayed on a display device such as a television. At this time, the display device may display its own video together with the video of the other party.
従来の映像変換装置では、自己の3Dカメラで撮影した映像と、ネットワーク等から受信した相手の映像とをデコードして合成すると、図10に示すように、自己の映像が反転して表示されていた。このため、この映像がユーザに対して違和感を与えてしまうという問題が、生じていた。
本発明は、上記のような問題点を解決すべくなされたものであり、本発明の目的は、自己の映像と相手の映像とを自然な映像形態で出力可能な映像変換装置を、提供することにある。 In the conventional video conversion device, when the video shot by the own 3D camera and the video of the other party received from the network or the like are decoded and combined, the video of the player is inverted and displayed as shown in FIG. It was. For this reason, the problem that this video gives a sense of incongruity to the user has occurred.
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video conversion apparatus capable of outputting a self video and a partner video in a natural video format. There is.
本発明は、上記のような問題点を解決すべくなされたものであり、本発明の目的は、自己の映像と相手の映像とを自然な映像形態で出力可能な映像変換装置を、提供することにある。 In the conventional video conversion device, when the video shot by the own 3D camera and the video of the other party received from the network or the like are decoded and combined, the video of the player is inverted and displayed as shown in FIG. It was. For this reason, the problem that this video gives a sense of incongruity to the user has occurred.
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a video conversion apparatus capable of outputting a self video and a partner video in a natural video format. There is.
本発明の映像変換装置は、デコーダと、第1反転部と、第1フレーム変換部とを、備えている。デコーダは、第1立体映像ストリームデータを、第1左目用画像と第1右目用画像からなる立体映像信号に、デコードする。第1反転部は、第1左目用画像の左右を反転し、第1右目用画像の左右を反転する。第1フレーム変換部は、左右が反転した第1左目用画像を右目用反転画像とし、左右が反転した第1右目用画像を左目用反転画像とすることによって、第1右目用画像と第1左目用画像とを入れ替えて出力する。
The video conversion device of the present invention includes a decoder, a first inversion unit, and a first frame conversion unit. The decoder decodes the first stereoscopic video stream data into a stereoscopic video signal including the first left-eye image and the first right-eye image. The first inversion unit inverts the left and right of the first left-eye image and inverts the left and right of the first right-eye image. The first frame conversion unit sets the first left-eye image inverted left and right as the right-eye inverted image, and the first right-eye image inverted left and right as the left-eye inverted image and the first right-eye image and the first The left-eye image is replaced and output.
以上のような本発明の映像変換装置では、映像を自然な映像形態で出力することができる。例えば、自己の映像を、自然な形態で表示装置に表示することができる。
In the video conversion apparatus of the present invention as described above, video can be output in a natural video form. For example, the self image can be displayed on the display device in a natural form.
以下では、実施の形態について、詳細に説明する。
(実施の形態1)
1.立体映像再生表示システムの構成
ここでは、実施の形態1における映像変換システムについて、説明する。図1は、実施の形態1におけるテレビ電話等の映像変換システムの全体構成図である。この映像変換システムは、通信装置100を備えている。図1において、表示装置300は、立体映像を表示するディスプレイなどの表示装置である。通信装置100は、カメラ・マイク200によって撮影された自分の映像や自分の周囲の映像を変換して、ネットワーク等の媒体に送出する。また、通信装置100は、相手の映像や相手の周囲の映像を、ネットワーク等の媒体から受信して、相手の映像や相手の周囲の映像をデコード加工する。さらに、通信装置100は、表示装置300に映像信号を送出し、この映像信号に基づいて、表示装置300が映像を表示する。 Hereinafter, embodiments will be described in detail.
(Embodiment 1)
1. Configuration of Stereoscopic Video Reproduction Display System Here, the video conversion system inEmbodiment 1 will be described. FIG. 1 is an overall configuration diagram of a video conversion system such as a videophone according to the first embodiment. This video conversion system includes a communication device 100. In FIG. 1, a display device 300 is a display device such as a display for displaying a stereoscopic video. The communication device 100 converts its own video captured by the camera / microphone 200 and its surrounding video, and transmits the converted video to a medium such as a network. In addition, the communication apparatus 100 receives a partner's video and a video around the partner from a medium such as a network, and decodes the partner's video and the video around the partner. Further, the communication device 100 transmits a video signal to the display device 300, and the display device 300 displays a video based on the video signal.
(実施の形態1)
1.立体映像再生表示システムの構成
ここでは、実施の形態1における映像変換システムについて、説明する。図1は、実施の形態1におけるテレビ電話等の映像変換システムの全体構成図である。この映像変換システムは、通信装置100を備えている。図1において、表示装置300は、立体映像を表示するディスプレイなどの表示装置である。通信装置100は、カメラ・マイク200によって撮影された自分の映像や自分の周囲の映像を変換して、ネットワーク等の媒体に送出する。また、通信装置100は、相手の映像や相手の周囲の映像を、ネットワーク等の媒体から受信して、相手の映像や相手の周囲の映像をデコード加工する。さらに、通信装置100は、表示装置300に映像信号を送出し、この映像信号に基づいて、表示装置300が映像を表示する。 Hereinafter, embodiments will be described in detail.
(Embodiment 1)
1. Configuration of Stereoscopic Video Reproduction Display System Here, the video conversion system in
立体視の映像は、左(L)映像/右(R)映像を時間的に交互に伝送する方法、すなわちフレームシーケンシャルと呼ばれる送出方法を用いて、表示される。
次に、図2を参照し、通信装置100の詳細を説明する。図2は、本明細書に記載の各実施の形態における通信装置100の構成の詳細を示す図である。
通信装置100は、フラッシュメモリ112を適宜利用しながら、制御LSI101によって制御される。通信装置100は、USBインタフェース105を介してカメラ・マイク200に接続される。通信装置100は、ネットワークインターフェース103を介して、ネットワークに接続される。通信装置100は、HDMIインタフェース107を介して、表示装置300に接続されている。通信装置100は、無線受光部104を介して、入力部例えばリモコン400に接続されている。通信装置100は、ユーザがリモコン400を操作した場合、リモコン400の信号を受信し動作を開始する。 The stereoscopic video is displayed by using a method of alternately transmitting the left (L) video / right (R) video in terms of time, that is, a sending method called frame sequential.
Next, the details of thecommunication apparatus 100 will be described with reference to FIG. FIG. 2 is a diagram showing details of the configuration of the communication device 100 in each embodiment described in this specification.
Thecommunication device 100 is controlled by the control LSI 101 while using the flash memory 112 as appropriate. The communication device 100 is connected to the camera / microphone 200 via the USB interface 105. The communication device 100 is connected to the network via the network interface 103. The communication device 100 is connected to the display device 300 via the HDMI interface 107. The communication device 100 is connected to an input unit such as a remote controller 400 via the wireless light receiving unit 104. When the user operates remote controller 400, communication device 100 receives the signal from remote controller 400 and starts operation.
次に、図2を参照し、通信装置100の詳細を説明する。図2は、本明細書に記載の各実施の形態における通信装置100の構成の詳細を示す図である。
通信装置100は、フラッシュメモリ112を適宜利用しながら、制御LSI101によって制御される。通信装置100は、USBインタフェース105を介してカメラ・マイク200に接続される。通信装置100は、ネットワークインターフェース103を介して、ネットワークに接続される。通信装置100は、HDMIインタフェース107を介して、表示装置300に接続されている。通信装置100は、無線受光部104を介して、入力部例えばリモコン400に接続されている。通信装置100は、ユーザがリモコン400を操作した場合、リモコン400の信号を受信し動作を開始する。 The stereoscopic video is displayed by using a method of alternately transmitting the left (L) video / right (R) video in terms of time, that is, a sending method called frame sequential.
Next, the details of the
The
カメラ・マイク200は、カメラ・マイク200の周辺の映像を、撮影するものである。3Dカメラ201は3次元映像を撮影し、マイク202は音声を収録する。エンコーダ203は、カメラ201で撮像した3次元映像と、マイク202で録音した音声とを、エンコードし、伝送可能なストリームデータに変換する。3次元映像と音声とがエンコーダ203によってストリームデータに変換された後、ストリームデータは、USBインタフェース105等のインタフェースを介して、カメラ・マイク200から通信装置100へと出力される。
カメラ・マイク200から通信装置100に入力された映像信号は、制御LSI101によって制御され、ネットワークインターフェース103を介して、ネットワークに配信される。ここでネットワーに配信される映像信号は、いわゆるテレビ電話の形態で、会話の相手に向かって、送信される。 The camera /microphone 200 captures an image around the camera / microphone 200. The 3D camera 201 captures a 3D video, and the microphone 202 records audio. The encoder 203 encodes the 3D video imaged by the camera 201 and the audio recorded by the microphone 202, and converts them into stream data that can be transmitted. After the 3D video and audio are converted into stream data by the encoder 203, the stream data is output from the camera / microphone 200 to the communication apparatus 100 via an interface such as the USB interface 105.
The video signal input from the camera /microphone 200 to the communication apparatus 100 is controlled by the control LSI 101 and distributed to the network via the network interface 103. Here, the video signal distributed to the network is transmitted to a conversation partner in the form of a so-called videophone.
カメラ・マイク200から通信装置100に入力された映像信号は、制御LSI101によって制御され、ネットワークインターフェース103を介して、ネットワークに配信される。ここでネットワーに配信される映像信号は、いわゆるテレビ電話の形態で、会話の相手に向かって、送信される。 The camera /
The video signal input from the camera /
一方で、相手ユーザの映像信号が通信装置100によって受信されると、相手ユーザの映像が表示装置300に表示される。ここで、相手ユーザも、上記のシステムと同様のシステムを用いて、カメラで撮影された立体視可能な映像ストリームを、ネットワークを介して送受信する。これにより、各ユーザは、表示装置300に表示された相手ユーザの映像を見ながら、相手ユーザとテレビ電話を行うことができる。
ネットワークインターフェース103を介してネットワークから通信装置100に入力された映像、例えば相手ユーザの映像は、制御LSI101の制御により、デコードされて映像化される。そして、ここでデコードされた映像は、HDMIインタフェース107を介して、表示装置300に出力される。
この時、ネットワークインターフェース103を介してネットワークから通信装置100に入力された映像、例えば相手ユーザの映像は、制御LSI101の制御により、カメラ・マイク200から通信装置100に入力された映像と合成され、表示装置300に送られる。 On the other hand, when the video signal of the partner user is received by thecommunication device 100, the video of the partner user is displayed on the display device 300. Here, the other user also uses a system similar to the above system to transmit / receive a stereoscopically viewable video stream captured by the camera via the network. Thereby, each user can make a videophone call with the partner user while viewing the video of the partner user displayed on the display device 300.
An image input to thecommunication apparatus 100 from the network via the network interface 103, for example, an image of the partner user, is decoded and visualized under the control of the control LSI 101. The video decoded here is output to the display device 300 via the HDMI interface 107.
At this time, an image input from the network to thecommunication device 100 via the network interface 103, for example, an image of the other user is synthesized with an image input from the camera / microphone 200 to the communication device 100 under the control of the control LSI 101. It is sent to the display device 300.
ネットワークインターフェース103を介してネットワークから通信装置100に入力された映像、例えば相手ユーザの映像は、制御LSI101の制御により、デコードされて映像化される。そして、ここでデコードされた映像は、HDMIインタフェース107を介して、表示装置300に出力される。
この時、ネットワークインターフェース103を介してネットワークから通信装置100に入力された映像、例えば相手ユーザの映像は、制御LSI101の制御により、カメラ・マイク200から通信装置100に入力された映像と合成され、表示装置300に送られる。 On the other hand, when the video signal of the partner user is received by the
An image input to the
At this time, an image input from the network to the
カメラ・マイク200から通信装置100に入力された映像や、ネットワークインターフェース103を介してネットワークから通信装置100に入力された映像は、立体視可能な映像である。通信装置100から出力される立体映像信号は、HDMIインタフェース107を介して、表示装置300に出力される。HDMIインタフェース107は、例えばHDMI(High Definition Multimedia Interface) Ver1.4対応の信号通信部などで、構成されていることが望ましい。
表示装置300は、ユーザが装着する立体視めがねに対して、左右のレンズのシャッタの開閉を制御する切換信号を、送出する。例えば、通信装置100がHDMIインタフェース107を介してモニタ301に出力する映像に合わせて、モニタ301が切換信号を立体視めがねに対して送出する。これにより、立体視めがねを装着したユーザは、モニタ301に出力された映像を、立体映像として鑑賞することができる。 An image input to thecommunication apparatus 100 from the camera / microphone 200 and an image input to the communication apparatus 100 from the network via the network interface 103 are stereoscopically viewable images. The stereoscopic video signal output from the communication device 100 is output to the display device 300 via the HDMI interface 107. The HDMI interface 107 is preferably composed of a signal communication unit compatible with, for example, HDMI (High Definition Multimedia Interface) Ver1.4.
Display device 300 sends a switching signal for controlling the opening and closing of the shutters of the left and right lenses to stereoscopic glasses worn by the user. For example, the monitor 301 sends a switching signal to the stereoscopic glasses in accordance with the video output from the communication apparatus 100 to the monitor 301 via the HDMI interface 107. Thereby, the user wearing stereoscopic glasses can appreciate the video output to the monitor 301 as a stereoscopic video.
表示装置300は、ユーザが装着する立体視めがねに対して、左右のレンズのシャッタの開閉を制御する切換信号を、送出する。例えば、通信装置100がHDMIインタフェース107を介してモニタ301に出力する映像に合わせて、モニタ301が切換信号を立体視めがねに対して送出する。これにより、立体視めがねを装着したユーザは、モニタ301に出力された映像を、立体映像として鑑賞することができる。 An image input to the
続いて、制御LSI101で実行される映像変換装置の処理フローを、図3のブロック図を用いて、説明する。
図3は、実施の形態1における制御LSI101の詳細を示すブロック図である。カメラ・マイク200から制御LSI101に入力されたストリームデータ(伝送路を通るデータ)は、デコーダ1011によりデコードされ、ベースバンドの映像信号に変換される。デコーダ1011から出力されたベースバンドの映像信号は、逆スキャン部1012によって、映像の左右が反転した映像信号に変換され、この映像信号が出力される。
例えば、図11に示すように、1枚の画像から構成される映像に着目すると、逆スキャン部1012は、左右の絵柄を反転させる機能を有している。逆スキャン部1012は、メモリ手段に記録されたフレーム映像を、メモリ手段から読み出す時に、映像を、メモリ手段に記録した方向とは反対の方向に、読み出すことによって、映像を反転させる。例えば、図11の左図において、映像を左側から右側に向けてメモリ手段にアドレッシングした場合、逆スキャン部1012は、メモリ手段に記録された映像を、図11の左図の右側から左側に向かう方向に、メモリ手段から読み出すことによって、映像を反転する。 Next, the processing flow of the video conversion apparatus executed by thecontrol LSI 101 will be described using the block diagram of FIG.
FIG. 3 is a block diagram showing details of thecontrol LSI 101 in the first embodiment. Stream data (data passing through the transmission path) input from the camera / microphone 200 to the control LSI 101 is decoded by the decoder 1011 and converted into a baseband video signal. The baseband video signal output from the decoder 1011 is converted into a video signal obtained by inverting the left and right of the video by the reverse scanning unit 1012, and this video signal is output.
For example, as shown in FIG. 11, focusing on a video composed of one image, thereverse scanning unit 1012 has a function of inverting the left and right patterns. When the reverse scan unit 1012 reads out the frame video recorded in the memory unit from the memory unit, the reverse scan unit 1012 reads the video in a direction opposite to the direction recorded in the memory unit, thereby inverting the video. For example, in the left diagram of FIG. 11, when the video is addressed to the memory means from the left side to the right side, the reverse scanning unit 1012 moves the video recorded in the memory means from the right side to the left side of the left diagram of FIG. Invert the video by reading from the memory means in the direction.
図3は、実施の形態1における制御LSI101の詳細を示すブロック図である。カメラ・マイク200から制御LSI101に入力されたストリームデータ(伝送路を通るデータ)は、デコーダ1011によりデコードされ、ベースバンドの映像信号に変換される。デコーダ1011から出力されたベースバンドの映像信号は、逆スキャン部1012によって、映像の左右が反転した映像信号に変換され、この映像信号が出力される。
例えば、図11に示すように、1枚の画像から構成される映像に着目すると、逆スキャン部1012は、左右の絵柄を反転させる機能を有している。逆スキャン部1012は、メモリ手段に記録されたフレーム映像を、メモリ手段から読み出す時に、映像を、メモリ手段に記録した方向とは反対の方向に、読み出すことによって、映像を反転させる。例えば、図11の左図において、映像を左側から右側に向けてメモリ手段にアドレッシングした場合、逆スキャン部1012は、メモリ手段に記録された映像を、図11の左図の右側から左側に向かう方向に、メモリ手段から読み出すことによって、映像を反転する。 Next, the processing flow of the video conversion apparatus executed by the
FIG. 3 is a block diagram showing details of the
For example, as shown in FIG. 11, focusing on a video composed of one image, the
逆スキャン部1012の出力映像は、フレーム遅延変換部1013に入力される。フレーム遅延変換部1013は、伝送されてきた映像のフレームに遅延を加える手段である。スケーラ1014は、映像の大きさを変える手段である。
本実施の形態では、例えば、図5に記載するように、ネットワークから受信した相手の映像が、表示装置300に大映しされる。一方で、カメラ・マイク200で撮影している自己の映像は、縮小され、画面の右下において相手の映像の中に合成される。このように、本実施の形態では、縮小表示した自己の映像を見ながら、相手との会話が実現される。
デコーダ1015は、ネットワークから受信した映像ストリームを、デコーダ1015によってベースバンド映像信号に変換する。映像合成部1016は、スケーラ1014によって大きさが変更された映像信号と、デコーダ1015によって変換された映像信号とを、合成する。このようにして、映像合成部1016から出力される映像信号は、相手の映像と自己の映像とが合成された映像信号となる。 The output video of thereverse scan unit 1012 is input to the frame delay conversion unit 1013. The frame delay conversion unit 1013 is means for adding a delay to the transmitted video frame. The scaler 1014 is a means for changing the size of an image.
In the present embodiment, for example, as shown in FIG. 5, the video of the other party received from the network is displayed on thedisplay device 300. On the other hand, the self-portrait photographed by the camera / microphone 200 is reduced and synthesized with the partner's image at the lower right of the screen. As described above, in this embodiment, a conversation with the other party is realized while viewing the reduced self-viewed video.
Thedecoder 1015 converts the video stream received from the network into a baseband video signal by the decoder 1015. The video synthesis unit 1016 synthesizes the video signal whose size has been changed by the scaler 1014 and the video signal converted by the decoder 1015. In this way, the video signal output from the video synthesizing unit 1016 is a video signal obtained by synthesizing the partner video and the self video.
本実施の形態では、例えば、図5に記載するように、ネットワークから受信した相手の映像が、表示装置300に大映しされる。一方で、カメラ・マイク200で撮影している自己の映像は、縮小され、画面の右下において相手の映像の中に合成される。このように、本実施の形態では、縮小表示した自己の映像を見ながら、相手との会話が実現される。
デコーダ1015は、ネットワークから受信した映像ストリームを、デコーダ1015によってベースバンド映像信号に変換する。映像合成部1016は、スケーラ1014によって大きさが変更された映像信号と、デコーダ1015によって変換された映像信号とを、合成する。このようにして、映像合成部1016から出力される映像信号は、相手の映像と自己の映像とが合成された映像信号となる。 The output video of the
In the present embodiment, for example, as shown in FIG. 5, the video of the other party received from the network is displayed on the
The
映像合成部1016の出力は、HDMIインタフェース107を介して、表示装置300に送出され、表示装置300に表示される。
次に、図4を用いて、本実施の形態1の処理動作を説明する。図3のデコーダ1011からは、立体視可能な映像信号が、フレームシーケンシャルと呼ばれる方式で、出力される。立体視可能な映像信号は、左目用の視差を持った映像フレーム(L)と、右目用の視差を持った映像のフレーム(R)とから構成されている。これら左目用の視差を持った映像フレーム(L)と、右目用の視差を持った映像のフレーム(R)とが、時間的に交互に伝送される。
ここでは、デコーダ1011から逆スキャン部1012に入力される映像信号のうち、左目用の視差を持った映像フレームをLn(n=0,1,…)と表記し、右目用の視差を持った映像フレームをRn(n=0,1,…)と表記する。逆スキャン部1012は、映像信号を、左右反転して出力する。図4において、LnおよびRnの反転表記は、映像が左右反転していることを示している。 The output of thevideo composition unit 1016 is sent to the display device 300 via the HDMI interface 107 and displayed on the display device 300.
Next, the processing operation of the first embodiment will be described with reference to FIG. Thedecoder 1011 shown in FIG. 3 outputs a stereoscopically viewable video signal by a method called frame sequential. The stereoscopically viewable video signal is composed of a video frame (L) having a parallax for the left eye and a video frame (R) having a parallax for the right eye. The video frame (L) having the left-eye parallax and the video frame (R) having the right-eye parallax are alternately transmitted in time.
Here, among the video signals input from thedecoder 1011 to the reverse scan unit 1012, a video frame having a parallax for the left eye is denoted as Ln (n = 0, 1,...) And has a parallax for the right eye. A video frame is denoted as Rn (n = 0, 1,...). The reverse scanning unit 1012 outputs the video signal by horizontally inverting it. In FIG. 4, the inversion notation of Ln and Rn indicates that the video is reversed left and right.
次に、図4を用いて、本実施の形態1の処理動作を説明する。図3のデコーダ1011からは、立体視可能な映像信号が、フレームシーケンシャルと呼ばれる方式で、出力される。立体視可能な映像信号は、左目用の視差を持った映像フレーム(L)と、右目用の視差を持った映像のフレーム(R)とから構成されている。これら左目用の視差を持った映像フレーム(L)と、右目用の視差を持った映像のフレーム(R)とが、時間的に交互に伝送される。
ここでは、デコーダ1011から逆スキャン部1012に入力される映像信号のうち、左目用の視差を持った映像フレームをLn(n=0,1,…)と表記し、右目用の視差を持った映像フレームをRn(n=0,1,…)と表記する。逆スキャン部1012は、映像信号を、左右反転して出力する。図4において、LnおよびRnの反転表記は、映像が左右反転していることを示している。 The output of the
Next, the processing operation of the first embodiment will be described with reference to FIG. The
Here, among the video signals input from the
フレーム遅延変換部1013は、映像フレームを1映像フレーム分、遅延する。すなわち、フレーム遅延変換部1013は、逆スキャン部1012から左目用の映像フレームとして出力されたLnを、右目の映像のタイミングで、出力する。また、フレーム遅延変換部1013は、逆スキャン部1012から右目用の映像フレームとして出力されたRnを、左目の映像のタイミングで出力する。
スケーラ1014は、フレーム遅延変換部1013から出力された映像フレームの大きさを変更する。
一方で、ネットワーク等からネットワークインターフェース103を介して受信した、テレビ電話の相手の映像のうち、左目用の視差を持った映像フレームをL'n(n=0,1,…)と表記し、右目用の視差を持った映像フレームをR'n(n=0,1,…)と表記する。 The framedelay conversion unit 1013 delays the video frame by one video frame. That is, the frame delay conversion unit 1013 outputs Ln output from the inverse scan unit 1012 as a left-eye video frame at the timing of the right-eye video. In addition, the frame delay conversion unit 1013 outputs Rn output as a video frame for the right eye from the inverse scanning unit 1012 at the timing of the video of the left eye.
Thescaler 1014 changes the size of the video frame output from the frame delay conversion unit 1013.
On the other hand, a video frame having parallax for the left eye among video of the other party of the video phone received from the network or the like via thenetwork interface 103 is denoted as L′ n (n = 0, 1,...) A video frame having parallax for the right eye is denoted as R′n (n = 0, 1,...).
スケーラ1014は、フレーム遅延変換部1013から出力された映像フレームの大きさを変更する。
一方で、ネットワーク等からネットワークインターフェース103を介して受信した、テレビ電話の相手の映像のうち、左目用の視差を持った映像フレームをL'n(n=0,1,…)と表記し、右目用の視差を持った映像フレームをR'n(n=0,1,…)と表記する。 The frame
The
On the other hand, a video frame having parallax for the left eye among video of the other party of the video phone received from the network or the like via the
この場合、デコーダ1015は、入力されたテレビ電話の相手の映像を、デコードし、ベースバンドの映像信号として出力する。映像合成部1016は、スケーラ1014の出力(自分の映像)とデコーダ1015の出力(相手の映像)とを、合成し出力する。
このように、まず、映像合成部1016が自分の映像と相手の映像とを合成する前に、逆スキャン部1012が自分の映像を鏡像化し、フレーム遅延変換部1013が自分の映像を遅延させる。次に、映像合成部1016が、自分のL0と相手のR'0とを合成し、自分のR0と相手のL'1とを合成する。すなわち、鏡像化した自分の映像が、1フレーム分だけ遅延した状態で、相手の映像に合成される。
この理由を、図12を用いて説明する。逆スキャン部1012の出力映像は、左右を反転させるものである。しかし、図12に示すように、逆スキャン部1012の出力映像は視差を持った映像である。例えば、図12の上部に示すように、L0映像は、点線で示す視差のない映像に比べて、矢印Aで示すように、左側に視差の深度を持っている。また、R0映像は、点線で示す視差のない映像に比べて、矢印Bで示すように右側に視差の深度を持っている。この場合、図12の下部に示すように、逆スキャン部1012によって、左右反転された映像は、矢印A、矢印Bで示すように、視差の方向も逆になる。このように単に映像を反転させるだけでは、立体視の深度の情報が逆転する。 In this case, thedecoder 1015 decodes the input video of the other party of the videophone and outputs it as a baseband video signal. The video composition unit 1016 synthesizes and outputs the output of the scaler 1014 (own video) and the output of the decoder 1015 (partner video).
In this way, first, before thevideo composition unit 1016 synthesizes the own video and the partner video, the reverse scan unit 1012 mirrors the own video, and the frame delay conversion unit 1013 delays the own video. Next, the video composition unit 1016 synthesizes its own L0 and the partner R′0, and synthesizes its own R0 and the partner L′ 1. In other words, the mirrored video is synthesized with the other video in a state delayed by one frame.
The reason for this will be described with reference to FIG. The output video of thereverse scanning unit 1012 is to invert the left and right. However, as shown in FIG. 12, the output video of the reverse scanning unit 1012 is a video with parallax. For example, as shown in the upper part of FIG. 12, the L0 video has a depth of parallax on the left side as shown by an arrow A, as compared with a video without parallax indicated by a dotted line. In addition, the R0 video has a depth of parallax on the right side as indicated by an arrow B, as compared to a video without parallax indicated by a dotted line. In this case, as shown in the lower part of FIG. 12, the image reversed left and right by the reverse scanning unit 1012 has the opposite parallax direction as indicated by arrows A and B. In this way, simply reversing the video will reverse the depth information of the stereoscopic view.
このように、まず、映像合成部1016が自分の映像と相手の映像とを合成する前に、逆スキャン部1012が自分の映像を鏡像化し、フレーム遅延変換部1013が自分の映像を遅延させる。次に、映像合成部1016が、自分のL0と相手のR'0とを合成し、自分のR0と相手のL'1とを合成する。すなわち、鏡像化した自分の映像が、1フレーム分だけ遅延した状態で、相手の映像に合成される。
この理由を、図12を用いて説明する。逆スキャン部1012の出力映像は、左右を反転させるものである。しかし、図12に示すように、逆スキャン部1012の出力映像は視差を持った映像である。例えば、図12の上部に示すように、L0映像は、点線で示す視差のない映像に比べて、矢印Aで示すように、左側に視差の深度を持っている。また、R0映像は、点線で示す視差のない映像に比べて、矢印Bで示すように右側に視差の深度を持っている。この場合、図12の下部に示すように、逆スキャン部1012によって、左右反転された映像は、矢印A、矢印Bで示すように、視差の方向も逆になる。このように単に映像を反転させるだけでは、立体視の深度の情報が逆転する。 In this case, the
In this way, first, before the
The reason for this will be described with reference to FIG. The output video of the
具体的には、逆スキャン部1012の出力映像をそのまま表示すると、手前側に飛び出していた3D映像が、奥側に引っ込んだ3D映像として認識されたり、逆に奥側に引っ込んだ3D映像が、手前側に飛び出した3D映像として認識されたりする。
この課題を解決するために、本実施の形態1では、逆スキャン部1012を用いて鏡像化した映像フレームを生成し、フレーム遅延変換部1013を用いて一つ前の鏡像化した映像フレームを、現在の映像フレームとして設定することによって、自己の映像の深度を保持している。
また、フレーム遅延変換部1013から出力された自己の映像は、スケーラ1014によって拡大及び/又は縮小され、映像合成部1016によって相手の映像と合成される。
このような一連の処理により、図4の最下部に示すように、反転された自己のL0映像は相手のR'0映像と合成され、反転された自己のR0映像は相手のL'1映像と合成される。 Specifically, when the output video of thereverse scanning unit 1012 is displayed as it is, the 3D video that has jumped out to the near side is recognized as a 3D video that has been retracted to the back side, or conversely, the 3D video that has been retracted to the back side, Or it may be recognized as a 3D video that pops out toward you.
In order to solve this problem, in the first embodiment, a video frame that is mirrored using theinverse scanning unit 1012 is generated, and the previous mirrored video frame is generated using the frame delay conversion unit 1013. By setting it as the current video frame, it maintains the depth of its own video.
Also, the self video output from the framedelay conversion unit 1013 is enlarged and / or reduced by the scaler 1014, and is synthesized with the other video by the video synthesis unit 1016.
Through such a series of processing, as shown in the lowermost part of FIG. 4, the inverted self L0 video is synthesized with the partner's R'0 video, and the inverted self R0 video is the partner's L'1 video. And synthesized.
この課題を解決するために、本実施の形態1では、逆スキャン部1012を用いて鏡像化した映像フレームを生成し、フレーム遅延変換部1013を用いて一つ前の鏡像化した映像フレームを、現在の映像フレームとして設定することによって、自己の映像の深度を保持している。
また、フレーム遅延変換部1013から出力された自己の映像は、スケーラ1014によって拡大及び/又は縮小され、映像合成部1016によって相手の映像と合成される。
このような一連の処理により、図4の最下部に示すように、反転された自己のL0映像は相手のR'0映像と合成され、反転された自己のR0映像は相手のL'1映像と合成される。 Specifically, when the output video of the
In order to solve this problem, in the first embodiment, a video frame that is mirrored using the
Also, the self video output from the frame
Through such a series of processing, as shown in the lowermost part of FIG. 4, the inverted self L0 video is synthesized with the partner's R'0 video, and the inverted self R0 video is the partner's L'1 video. And synthesized.
この結果、図5に示すように、相手の映像に対して自己の映像を合成したとしても、ユーザは、両方の映像を違和感なく立体視することができる。詳細には、自己の映像は、鏡像化した方が、自己の動作の予測がしやすい。また、相手の映像は、鏡像化しない方が、相手の動作を把握しやすい。このことから、本実施の形態1では、ユーザは、映像を違和感のない映像として立体視することができる。
(実施の形態2)
次に、実施の形態2について、図6を参照しながら説明する。図6は、本発明の実施の形態2における、映像合成装置の制御LSI101の動作を、ブロック図化したものである。
実施の形態2と実施の形態1と違いは、深度検出部1017及び深度補正部1018の有無である。このため、実施の形態1と同様の構成については、説明を省略する。 As a result, as shown in FIG. 5, even if the user's video is synthesized with the other's video, the user can stereoscopically view both videos without a sense of incongruity. Specifically, it is easier to predict the self-motion if the self-video is mirrored. In addition, it is easier to grasp the other party's operation if the other party's video is not mirrored. For this reason, in the first embodiment, the user can stereoscopically view the video as a video with no sense of incongruity.
(Embodiment 2)
Next,Embodiment 2 will be described with reference to FIG. FIG. 6 is a block diagram showing the operation of the control LSI 101 of the video composition apparatus in the second embodiment of the present invention.
The difference between the second embodiment and the first embodiment is the presence or absence of adepth detection unit 1017 and a depth correction unit 1018. For this reason, the description of the same configuration as in the first embodiment is omitted.
(実施の形態2)
次に、実施の形態2について、図6を参照しながら説明する。図6は、本発明の実施の形態2における、映像合成装置の制御LSI101の動作を、ブロック図化したものである。
実施の形態2と実施の形態1と違いは、深度検出部1017及び深度補正部1018の有無である。このため、実施の形態1と同様の構成については、説明を省略する。 As a result, as shown in FIG. 5, even if the user's video is synthesized with the other's video, the user can stereoscopically view both videos without a sense of incongruity. Specifically, it is easier to predict the self-motion if the self-video is mirrored. In addition, it is easier to grasp the other party's operation if the other party's video is not mirrored. For this reason, in the first embodiment, the user can stereoscopically view the video as a video with no sense of incongruity.
(Embodiment 2)
Next,
The difference between the second embodiment and the first embodiment is the presence or absence of a
デコーダ1011、逆スキャン部1012、フレーム遅延変換部1013、スケーラ1014を通った映像は、左右映像に視差を持っているので、実施の形態2では、その視差を深度検出部1017により、検出する。
深度検出部1017は、視差に関する情報(視差情報)を、カメラの構成に基づいて、検出する。例えば、視差情報は、撮影時の立体視カメラ例えば2眼カメラの焦点位置や傾き等に基づいて検出される。視差情報は、通信装置100において認識され、映像ストリームに乗せて通信装置100から外部へと送出される。そして、この視差情報は、受信側の装置(相手側の装置)において、取得され、用いられる。
一方で、深度検出部1017は、視差情報を、映像に基づいて設定することも可能である。例えば、左右の映像に対するずれ量に基づいて、視差情報が検出される。この場合、視差情報は、自己の映像におけるずれ量に基づいて、検出される。例えば、自己の映像において、映像の中の人の顔を認識し、その視差を検出することによって、深度が検出される。 Since the video that has passed through thedecoder 1011, the reverse scan unit 1012, the frame delay conversion unit 1013, and the scaler 1014 has parallax in the left and right video, in the second embodiment, the parallax is detected by the depth detection unit 1017.
Thedepth detection unit 1017 detects information related to parallax (parallax information) based on the configuration of the camera. For example, the parallax information is detected based on the focus position, tilt, and the like of a stereoscopic camera such as a binocular camera at the time of shooting. The disparity information is recognized by the communication apparatus 100, and is transmitted from the communication apparatus 100 to the outside along with the video stream. Then, this disparity information is acquired and used in a receiving device (a partner device).
On the other hand, thedepth detection unit 1017 can also set the parallax information based on the video. For example, the parallax information is detected based on the shift amount with respect to the left and right videos. In this case, the parallax information is detected based on the shift amount in the self video. For example, in the self image, the depth is detected by recognizing a human face in the image and detecting the parallax thereof.
深度検出部1017は、視差に関する情報(視差情報)を、カメラの構成に基づいて、検出する。例えば、視差情報は、撮影時の立体視カメラ例えば2眼カメラの焦点位置や傾き等に基づいて検出される。視差情報は、通信装置100において認識され、映像ストリームに乗せて通信装置100から外部へと送出される。そして、この視差情報は、受信側の装置(相手側の装置)において、取得され、用いられる。
一方で、深度検出部1017は、視差情報を、映像に基づいて設定することも可能である。例えば、左右の映像に対するずれ量に基づいて、視差情報が検出される。この場合、視差情報は、自己の映像におけるずれ量に基づいて、検出される。例えば、自己の映像において、映像の中の人の顔を認識し、その視差を検出することによって、深度が検出される。 Since the video that has passed through the
The
On the other hand, the
なお、ここでは、深度検出部1017が、自己の映像に基づいて、視差情報を設定する場合の例を示すが、上記と同様の形態で、相手の映像に基づいて、視差情報を設定するようにしてもよい。
深度補正部1018は、自己の映像の深度を補正するもので、左右映像における対象を、横方向にずらすことによって、視差をつけることができる。
ここでは、入力部例えばリモコン400から通信装置100に入力された信号に基づいて、自己の映像の視差の深さに対する相手の映像の視差の深さが、設定される。例えば、ユーザがリモコン400を操作することによって、視差の深さが所定のパターンに設定される。ここでは、第1から第3までの3つのパターンが用意されている。第1のパターンは、相手の映像の視差の深さが、自己の映像の視差の深さより深くなるパターンである。第2のパターンは、相手の映像の視差の深さが、自己の映像の視差の深さより浅くなるパターンである。第3のパターンは、相手の映像の視差の深さと、自己の映像の視差の深さとがほぼ同じになるパターンである。 Here, an example in which thedepth detection unit 1017 sets the parallax information based on its own video is shown, but the parallax information is set based on the other party's video in the same manner as described above. It may be.
Thedepth correction unit 1018 corrects the depth of its own video, and can add parallax by shifting the object in the left and right video in the horizontal direction.
Here, based on a signal input to thecommunication apparatus 100 from the input unit, for example, the remote controller 400, the parallax depth of the partner's video with respect to the parallax depth of the self video is set. For example, when the user operates the remote controller 400, the depth of parallax is set to a predetermined pattern. Here, three patterns from the first to the third are prepared. The first pattern is a pattern in which the parallax depth of the partner video is deeper than the parallax depth of the self video. The second pattern is a pattern in which the parallax depth of the partner video is shallower than the parallax depth of the self video. The third pattern is a pattern in which the depth of the parallax of the partner's video is substantially the same as the depth of the parallax of the own video.
深度補正部1018は、自己の映像の深度を補正するもので、左右映像における対象を、横方向にずらすことによって、視差をつけることができる。
ここでは、入力部例えばリモコン400から通信装置100に入力された信号に基づいて、自己の映像の視差の深さに対する相手の映像の視差の深さが、設定される。例えば、ユーザがリモコン400を操作することによって、視差の深さが所定のパターンに設定される。ここでは、第1から第3までの3つのパターンが用意されている。第1のパターンは、相手の映像の視差の深さが、自己の映像の視差の深さより深くなるパターンである。第2のパターンは、相手の映像の視差の深さが、自己の映像の視差の深さより浅くなるパターンである。第3のパターンは、相手の映像の視差の深さと、自己の映像の視差の深さとがほぼ同じになるパターンである。 Here, an example in which the
The
Here, based on a signal input to the
例えば、自己の映像の視差の深さが、相手の映像の視差の深さよりも、浅い場合(第1のパターンの場合)には、自己の映像よりも、相手の映像が遠くに見えるために、相手の姿を、より立体感のあるものとして表示することができる。また、自己の映像の視差の深さが、相手の映像の視差の深さよりも、深い場合(第2のパターンの場合)には、自己の映像が邪魔にならないので、例えば、会話に集中することが可能となる。さらに、自己の映像の視差の深さと、相手の映像の視差の深さが、ほぼ同じ場合(第3のパターンの場合)には、自己の映像が相手の映像の中に溶け込んだように見えるため、映像に対して相手と自己との一体感を感じることができる。
なお、自己の映像が相手の映像よりも遠くに見えるように、相手の映像を表示する形態(第2のパターン)より、自分の映像が相手の映像よりも近くに見えるように、相手の映像を表示する形態(第1のパターン)の方が、空間の広がりを、ユーザに感じさせることができる。このため、上記の第1のパターンでは、この事項を、“立体感”という文言で表現している。 For example, when the parallax depth of the self image is shallower than the parallax depth of the partner image (in the case of the first pattern), the partner image appears farther than the self image. The partner's figure can be displayed with a more three-dimensional effect. Further, when the depth of the parallax of the self video is deeper than the depth of the parallax of the other video (in the case of the second pattern), since the self video does not get in the way, for example, concentrate on the conversation. It becomes possible. Furthermore, when the parallax depth of the self video and the parallax depth of the other video are almost the same (in the case of the third pattern), it seems that the self video is blended in the other video. Therefore, it is possible to feel a sense of unity between the other party and the self with respect to the video.
In addition, from the form (second pattern) in which the other party's video is displayed so that the user's own video can be seen farther than the other party's video, the other party's video The form (first pattern) for displaying the image can make the user feel the expanse of the space. For this reason, in the first pattern described above, this matter is expressed by the word “three-dimensional effect”.
なお、自己の映像が相手の映像よりも遠くに見えるように、相手の映像を表示する形態(第2のパターン)より、自分の映像が相手の映像よりも近くに見えるように、相手の映像を表示する形態(第1のパターン)の方が、空間の広がりを、ユーザに感じさせることができる。このため、上記の第1のパターンでは、この事項を、“立体感”という文言で表現している。 For example, when the parallax depth of the self image is shallower than the parallax depth of the partner image (in the case of the first pattern), the partner image appears farther than the self image. The partner's figure can be displayed with a more three-dimensional effect. Further, when the depth of the parallax of the self video is deeper than the depth of the parallax of the other video (in the case of the second pattern), since the self video does not get in the way, for example, concentrate on the conversation. It becomes possible. Furthermore, when the parallax depth of the self video and the parallax depth of the other video are almost the same (in the case of the third pattern), it seems that the self video is blended in the other video. Therefore, it is possible to feel a sense of unity between the other party and the self with respect to the video.
In addition, from the form (second pattern) in which the other party's video is displayed so that the user's own video can be seen farther than the other party's video, the other party's video The form (first pattern) for displaying the image can make the user feel the expanse of the space. For this reason, in the first pattern described above, this matter is expressed by the word “three-dimensional effect”.
このように映像合成部1016で合成した映像を用いることによって、図5、図7、及び図9のように、相手の映像に対して、自己の映像の立体的な位置を調整することができる。これにより、相手の映像に対して、自己の映像を、適当な深度位置に設定することができる。
(実施の形態3)
次に、実施の形態3について、図面を参照しながら説明する。実施の形態3と実施の形態2との差違は、逆スキャン部1019とフレーム遅延変換部1020との有無である。このため、実施の形態2と同様の構成については、説明を省略する。
図8において、デコーダ1015は、ネットワークから受信した映像信号を、ベースバンド映像信号に変換する。逆スキャン部1019は、ベースバンド映像信号を、映像の左右を逆転させた映像信号に変換する。なお、この逆スキャン部1019は、上述した逆スキャン部1012と同様に機能する。 By using the video synthesized by thevideo synthesis unit 1016 in this way, the three-dimensional position of the own video can be adjusted with respect to the other video, as shown in FIGS. 5, 7, and 9. . Thereby, the self image can be set at an appropriate depth position with respect to the image of the other party.
(Embodiment 3)
Next,Embodiment 3 will be described with reference to the drawings. The difference between the third embodiment and the second embodiment is the presence or absence of the reverse scan unit 1019 and the frame delay conversion unit 1020. For this reason, the description of the same configuration as that of the second embodiment is omitted.
In FIG. 8, adecoder 1015 converts a video signal received from a network into a baseband video signal. The reverse scanning unit 1019 converts the baseband video signal into a video signal obtained by reversing the left and right sides of the video. The reverse scan unit 1019 functions in the same manner as the reverse scan unit 1012 described above.
(実施の形態3)
次に、実施の形態3について、図面を参照しながら説明する。実施の形態3と実施の形態2との差違は、逆スキャン部1019とフレーム遅延変換部1020との有無である。このため、実施の形態2と同様の構成については、説明を省略する。
図8において、デコーダ1015は、ネットワークから受信した映像信号を、ベースバンド映像信号に変換する。逆スキャン部1019は、ベースバンド映像信号を、映像の左右を逆転させた映像信号に変換する。なお、この逆スキャン部1019は、上述した逆スキャン部1012と同様に機能する。 By using the video synthesized by the
(Embodiment 3)
Next,
In FIG. 8, a
フレーム遅延変換部1020は、映像フレームを遅延させるものである。このフレーム遅延変換部1020は、上述したフレーム遅延変換部1013と同様に機能する。
映像が表示装置300に表示される場合、通信装置100は、HDMIインタフェース107を経由して、左右映像のいずれの映像を送っているかを、毎フレームごとに表示装置300に通知している。この理由は、本実施の形態では、フレームシーケンシャルが用いられているからである。
ここに示した左右映像の通知は、相手の映像のデコード結果によって決定されている。この通知の更新は、フレーム周期で行われる。フレーム遅延変換部1020は、逆スキャン部1019によって左右反転された映像を、1フレーム分だけ遅延させている。このような相手の映像と、上述した自己の映像とを合成することによって、相手の映像と自己の映像が共に鏡像化して表示される。すなわち、図9に示すように、相手の映像の中に自己の映像を写し込んだ状態で、映像を表示することができる。 The framedelay conversion unit 1020 delays the video frame. The frame delay conversion unit 1020 functions in the same manner as the frame delay conversion unit 1013 described above.
When the video is displayed on thedisplay device 300, the communication device 100 notifies the display device 300 on a frame-by-frame basis which video is being sent via the HDMI interface 107. This is because in this embodiment, frame sequential is used.
The notification of the left and right video shown here is determined by the decoding result of the other video. This notification is updated in a frame cycle. The framedelay conversion unit 1020 delays the video that has been horizontally reversed by the reverse scanning unit 1019 by one frame. By synthesizing such a partner's image and the above-described self image, both the partner's image and the self image are displayed as a mirror image. That is, as shown in FIG. 9, the video can be displayed in a state where the self video is copied in the video of the other party.
映像が表示装置300に表示される場合、通信装置100は、HDMIインタフェース107を経由して、左右映像のいずれの映像を送っているかを、毎フレームごとに表示装置300に通知している。この理由は、本実施の形態では、フレームシーケンシャルが用いられているからである。
ここに示した左右映像の通知は、相手の映像のデコード結果によって決定されている。この通知の更新は、フレーム周期で行われる。フレーム遅延変換部1020は、逆スキャン部1019によって左右反転された映像を、1フレーム分だけ遅延させている。このような相手の映像と、上述した自己の映像とを合成することによって、相手の映像と自己の映像が共に鏡像化して表示される。すなわち、図9に示すように、相手の映像の中に自己の映像を写し込んだ状態で、映像を表示することができる。 The frame
When the video is displayed on the
The notification of the left and right video shown here is determined by the decoding result of the other video. This notification is updated in a frame cycle. The frame
また、自己の映像の深度を検出して、自己の映像の深度を調整することにより(上記のパターン1~3を参照)、映像を、様々なパターンで立体的に溶け込ませることができる。さらに、上述したように映像を共に鏡像化して、相手の映像と重ねて表示することにより、写真の構図を、あたかも鏡を見るかのように、簡単に決定することができる。
上述したように、例えば、相手の映像の視野の深さと、自己の映像の視差の深さがほぼ同じ場合には、自己の映像が、相手の映像の中に溶け込んだかのように見えるため、相手と自己の一体感を感じることができる。これにより、記念撮影を行っているかように、相手と自己の合成写真を生成することができる。
例えば、リモコン400によって、映像の視差の深さを調整したり、相手の位置や自分の位置を調整したりした後に、調整された映像を、リモコン400の操作により、静止画化することにより、記念写真を撮ることができる。 Further, by detecting the depth of the self image and adjusting the depth of the self image (see the above-describedpatterns 1 to 3), the image can be blended in three dimensions with various patterns. Further, as described above, the images are mirrored together and displayed in a manner superimposed on the other's image, so that the composition of the photograph can be easily determined as if looking at the mirror.
As mentioned above, for example, when the depth of field of view of the other party's image is almost the same as the depth of parallax of the person's own image, the self's image appears to be blended in the other's image. You can feel a sense of unity with the other party. Thereby, it is possible to generate a composite photograph of the other party and the self as if taking a commemorative photo.
For example, by adjusting the parallax depth of the video with theremote control 400 or adjusting the position of the other party or one's own position, the adjusted video is made into a still image by operating the remote control 400, You can take a commemorative photo.
上述したように、例えば、相手の映像の視野の深さと、自己の映像の視差の深さがほぼ同じ場合には、自己の映像が、相手の映像の中に溶け込んだかのように見えるため、相手と自己の一体感を感じることができる。これにより、記念撮影を行っているかように、相手と自己の合成写真を生成することができる。
例えば、リモコン400によって、映像の視差の深さを調整したり、相手の位置や自分の位置を調整したりした後に、調整された映像を、リモコン400の操作により、静止画化することにより、記念写真を撮ることができる。 Further, by detecting the depth of the self image and adjusting the depth of the self image (see the above-described
As mentioned above, for example, when the depth of field of view of the other party's image is almost the same as the depth of parallax of the person's own image, the self's image appears to be blended in the other's image. You can feel a sense of unity with the other party. Thereby, it is possible to generate a composite photograph of the other party and the self as if taking a commemorative photo.
For example, by adjusting the parallax depth of the video with the
相手の映像の中に、自己の映像を溶け込ませる方法として、自己の映像の所定の視差深以上の深さのところを透明にして、相手の映像に重ねると、相手のいる場面に自己の姿を重ねることができる。また、自分の背面に幕などを実際に配置し、この幕の色や輝度を通信装置100において調節することによって、自分の周囲を透明にして、相手の映像と重ねあわせてもよい。
映像変換システムを利用している全員が記念撮影を行うために、静止画の構図(写真の構図)を決定しようとした場合、全員が各人のモニタに鏡像化されて表示されている方が、動作の予測がしやすい。すなわち、本実施の形態3では、全員が各人のモニタに鏡像化されて表示されているので、構図を決定するときの操作性を、向上することができる。なお、構図が決まった場合には、その瞬間を、リモコン400を用いてカメラのシャッタのようにメモリに保存することにより、静止画を得ることができる。 As a method of blending your own video into the other party's video, make your own video transparent when you place it at a depth greater than the predetermined parallax depth of your video, Can be stacked. Alternatively, a curtain or the like may be actually arranged on the back of the player, and the color and brightness of the curtain may be adjusted in thecommunication device 100 to make the surroundings transparent and overlap with the image of the other party.
When everyone who uses the video conversion system wants to take a commemorative photo, when trying to determine the composition of the still image (the composition of the photograph), it is better that everyone is mirrored and displayed on each person's monitor Easy to predict the operation. That is, in the third embodiment, since all the members are displayed as mirror images on each person's monitor, the operability when determining the composition can be improved. When the composition is determined, the still image can be obtained by storing the moment in a memory like a camera shutter using theremote controller 400.
映像変換システムを利用している全員が記念撮影を行うために、静止画の構図(写真の構図)を決定しようとした場合、全員が各人のモニタに鏡像化されて表示されている方が、動作の予測がしやすい。すなわち、本実施の形態3では、全員が各人のモニタに鏡像化されて表示されているので、構図を決定するときの操作性を、向上することができる。なお、構図が決まった場合には、その瞬間を、リモコン400を用いてカメラのシャッタのようにメモリに保存することにより、静止画を得ることができる。 As a method of blending your own video into the other party's video, make your own video transparent when you place it at a depth greater than the predetermined parallax depth of your video, Can be stacked. Alternatively, a curtain or the like may be actually arranged on the back of the player, and the color and brightness of the curtain may be adjusted in the
When everyone who uses the video conversion system wants to take a commemorative photo, when trying to determine the composition of the still image (the composition of the photograph), it is better that everyone is mirrored and displayed on each person's monitor Easy to predict the operation. That is, in the third embodiment, since all the members are displayed as mirror images on each person's monitor, the operability when determining the composition can be improved. When the composition is determined, the still image can be obtained by storing the moment in a memory like a camera shutter using the
なお、実施の形態3では、被写体が2人である場合の例を示したが、被写体の数は、前記の実施形態に限定されず、2人以上であれば、何人であってもよい。この場合も、上記と同様の効果を得ることができる。
上記のように構図を決定した映像は、静止画化することにより、記念写真とすることができる。また、このようにして作成した静止画は、3Dから2Dへと変換することにより、2次元の記念写真を容易に作ることができる。
なお、ネットワーク等から受信する相手の映像にも、スケーラ1014のようなスケーラ機能を設けて、拡大及び/又は縮小して合成してもよい。
また、上記の実施の形態では、カメラ・マイク200にエンコーダ203があり、エンコードしてストリームとして通信装置100に入力されるとしたが、カメラ・マイク200は、必ずしも、エンコードの機能を有していなくてもよい。この場合、ベースバンドの映像信号が、カメラ/マイク200から通信装置100へと送信される。制御LSI101では、ベースバンドの映像信号をデコードする必要がないので、デコーダが不用である。このため、制御LSI101では、ベースバンドの映像信号に基づいて、上記の各種の処理が実行される。なお、制御LSI101の除く通信装置100の内部には、他の装置に映像信号を送信するために用いるエンコーダが、用意されている。すなわち、ベースバンドの映像信号は、このエンコーダによってエンコードされた後、他の装置に送信される。 In the third embodiment, an example in which there are two subjects has been described. However, the number of subjects is not limited to the above-described embodiment, and any number of subjects may be used as long as the number is two or more. In this case, the same effect as described above can be obtained.
The video whose composition has been determined as described above can be made into a commemorative photo by making it a still image. In addition, the still image created in this way can be easily created as a two-dimensional commemorative photo by converting from 3D to 2D.
Note that the other party's video received from a network or the like may be combined with an enlargement and / or reduction by providing a scaler function such as thescaler 1014.
In the above embodiment, the camera /microphone 200 has the encoder 203 and is encoded and input to the communication apparatus 100 as a stream. However, the camera / microphone 200 does not necessarily have an encoding function. It does not have to be. In this case, a baseband video signal is transmitted from the camera / microphone 200 to the communication apparatus 100. In the control LSI 101, since it is not necessary to decode the baseband video signal, a decoder is unnecessary. Therefore, the control LSI 101 executes the various processes described above based on the baseband video signal. Note that an encoder used for transmitting a video signal to another device is prepared inside the communication device 100 excluding the control LSI 101. That is, the baseband video signal is encoded by the encoder and then transmitted to another device.
上記のように構図を決定した映像は、静止画化することにより、記念写真とすることができる。また、このようにして作成した静止画は、3Dから2Dへと変換することにより、2次元の記念写真を容易に作ることができる。
なお、ネットワーク等から受信する相手の映像にも、スケーラ1014のようなスケーラ機能を設けて、拡大及び/又は縮小して合成してもよい。
また、上記の実施の形態では、カメラ・マイク200にエンコーダ203があり、エンコードしてストリームとして通信装置100に入力されるとしたが、カメラ・マイク200は、必ずしも、エンコードの機能を有していなくてもよい。この場合、ベースバンドの映像信号が、カメラ/マイク200から通信装置100へと送信される。制御LSI101では、ベースバンドの映像信号をデコードする必要がないので、デコーダが不用である。このため、制御LSI101では、ベースバンドの映像信号に基づいて、上記の各種の処理が実行される。なお、制御LSI101の除く通信装置100の内部には、他の装置に映像信号を送信するために用いるエンコーダが、用意されている。すなわち、ベースバンドの映像信号は、このエンコーダによってエンコードされた後、他の装置に送信される。 In the third embodiment, an example in which there are two subjects has been described. However, the number of subjects is not limited to the above-described embodiment, and any number of subjects may be used as long as the number is two or more. In this case, the same effect as described above can be obtained.
The video whose composition has been determined as described above can be made into a commemorative photo by making it a still image. In addition, the still image created in this way can be easily created as a two-dimensional commemorative photo by converting from 3D to 2D.
Note that the other party's video received from a network or the like may be combined with an enlargement and / or reduction by providing a scaler function such as the
In the above embodiment, the camera /
また、通信装置100は映像変換装置の一例である。
また、実施の形態1-3においては、機器間を伝送する立体視可能な映像信号 の一例としてフレームシーケンシャルを用いて説明した。しかし、本発明はフレー ムシーケンシャルに限定されるものではなく、他の方式の立体視可能な映像信号 にも適用することができる。他の方式とは、サイドバイサイド、トップアンドボ トム、チェッカーパターン、ラインバイラインなどがある。
例えば、3Dカメラから入力されるストリームデータの方式が、サイドバイサイドの場合の例を、説明する。デコーダ1011は、サイドバイサイドのベースバンドの映像 信号にデコードした後、逆スキャン部1012で映像を反転させる。サイドバイサイド信号がデコーダ1011に入力された場合は、フレーム遅延変換部1013は、時間遅延をさせる作用ではなく、左目用と右目用の映像を逆にする作用を行うこととすれば、サイドバイサイド信号にも適用することができる。その後の動作は、実施の形態1-3に開示と同様である。 Thecommunication device 100 is an example of a video conversion device.
In Embodiment 1-3, the description has been given using the frame sequential as an example of a stereoscopically viewable video signal transmitted between devices. However, the present invention is not limited to frame sequential, and can be applied to other types of video signals that can be viewed stereoscopically. Other methods include side-by-side, top-and-bottom, checker pattern, and line-by-line.
For example, an example in which the method of stream data input from a 3D camera is side-by-side will be described. Thedecoder 1011 decodes the side-by-side baseband video signal, and then reverses the video by the reverse scanning unit 1012. When a side-by-side signal is input to the decoder 1011, the frame delay conversion unit 1013 does not perform time delay, but reverses the left-eye and right-eye images. Can be applied. Subsequent operations are the same as those disclosed in Embodiment 1-3.
また、実施の形態1-3においては、機器間を伝送する立体視可能な映像信号 の一例としてフレームシーケンシャルを用いて説明した。しかし、本発明はフレー ムシーケンシャルに限定されるものではなく、他の方式の立体視可能な映像信号 にも適用することができる。他の方式とは、サイドバイサイド、トップアンドボ トム、チェッカーパターン、ラインバイラインなどがある。
例えば、3Dカメラから入力されるストリームデータの方式が、サイドバイサイドの場合の例を、説明する。デコーダ1011は、サイドバイサイドのベースバンドの映像 信号にデコードした後、逆スキャン部1012で映像を反転させる。サイドバイサイド信号がデコーダ1011に入力された場合は、フレーム遅延変換部1013は、時間遅延をさせる作用ではなく、左目用と右目用の映像を逆にする作用を行うこととすれば、サイドバイサイド信号にも適用することができる。その後の動作は、実施の形態1-3に開示と同様である。 The
In Embodiment 1-3, the description has been given using the frame sequential as an example of a stereoscopically viewable video signal transmitted between devices. However, the present invention is not limited to frame sequential, and can be applied to other types of video signals that can be viewed stereoscopically. Other methods include side-by-side, top-and-bottom, checker pattern, and line-by-line.
For example, an example in which the method of stream data input from a 3D camera is side-by-side will be described. The
また、同様に、デコーダ1015が受信する立体視可能な映像信号が、フレームシーケンシャルと異なる方式であっても良い。
Similarly, the stereoscopically viewable video signal received by the decoder 1015 may be of a different system from the frame sequential.
本発明は、映像変換装置に適用できる。例えば、本発明は、BDレコーダ、BDプレーヤ等に適用できる。
The present invention can be applied to a video conversion device. For example, the present invention can be applied to a BD recorder, a BD player, and the like.
100 通信装置
200 カメラ・マイク
300 テレビ
400 リモコン
500 ネットワーク
600 パーソナルコンピュータ
700 テレビ
800 基地局
900 携帯端末
1000 端末
2000 通話用サーバ
101 制御LSI
103 ネットワークインターフェース(受信部)
104 無線受光部
105 USBインタフェース
107 HDMIインタフェース
112 フラッシュメモリ
201 カメラ
202 マイク
203 エンコーダ
205 USBインタフェース
301 モニタ
302 スピーカー
303、304 D/Aコンバータ
305 HDMIインタフェース
401 操作部
402 処理回路
403 無線送信部
1011 デコーダ
1012 逆スキャン部(第1反転部)
1013 フレーム遅延変換部(第1フレーム変換部)
1014 スケーラ(画像サイズ変換部)
1015 デコーダ
1016 映像合成部(合成部)
1017 深度検出部
1018 深度補正部(深度調整部)
1019 逆スキャン部(第2反転部)
1020 フレーム遅延変換部(第2フレーム変換部) DESCRIPTION OFSYMBOLS 100 Communication apparatus 200 Camera / microphone 300 Television 400 Remote control 500 Network 600 Personal computer 700 Television 800 Base station 900 Portable terminal 1000 Terminal 2000 Call server 101 Control LSI
103 Network interface (receiver)
DESCRIPTION OFSYMBOLS 104 Wireless light-receiving part 105 USB interface 107 HDMI interface 112 Flash memory 201 Camera 202 Microphone 203 Encoder 205 USB interface 301 Monitor 302 Speaker 303, 304 D / A converter 305 HDMI interface 401 Operation part 402 Processing circuit 403 Wireless transmission part 1011 Decoder 1012 Reverse Scan unit (first inversion unit)
1013 Frame delay conversion unit (first frame conversion unit)
1014 Scaler (image size converter)
1015Decoder 1016 Video composition unit (composition unit)
1017Depth detection unit 1018 Depth correction unit (depth adjustment unit)
1019 Reverse scan unit (second inversion unit)
1020 Frame delay conversion unit (second frame conversion unit)
200 カメラ・マイク
300 テレビ
400 リモコン
500 ネットワーク
600 パーソナルコンピュータ
700 テレビ
800 基地局
900 携帯端末
1000 端末
2000 通話用サーバ
101 制御LSI
103 ネットワークインターフェース(受信部)
104 無線受光部
105 USBインタフェース
107 HDMIインタフェース
112 フラッシュメモリ
201 カメラ
202 マイク
203 エンコーダ
205 USBインタフェース
301 モニタ
302 スピーカー
303、304 D/Aコンバータ
305 HDMIインタフェース
401 操作部
402 処理回路
403 無線送信部
1011 デコーダ
1012 逆スキャン部(第1反転部)
1013 フレーム遅延変換部(第1フレーム変換部)
1014 スケーラ(画像サイズ変換部)
1015 デコーダ
1016 映像合成部(合成部)
1017 深度検出部
1018 深度補正部(深度調整部)
1019 逆スキャン部(第2反転部)
1020 フレーム遅延変換部(第2フレーム変換部) DESCRIPTION OF
103 Network interface (receiver)
DESCRIPTION OF
1013 Frame delay conversion unit (first frame conversion unit)
1014 Scaler (image size converter)
1015
1017
1019 Reverse scan unit (second inversion unit)
1020 Frame delay conversion unit (second frame conversion unit)
Claims (10)
- 第1立体映像ストリームデータを、第1左目用画像と第1右目用画像からなる立体映像信号にデコードするデコーダと、
前記第1左目用画像の左右を反転し、前記第1右目用画像の左右を反転する第1反転部と、
前記左右が反転した第1左目用画像を右目用反転画像とし、前記左右が反転した第1右目用画像を左目用反転画像とすることによって、前記第1右目用画像と前記第1左目用画像とを入れ替えて出力する第1フレーム変換部と、
を備える映像変換装置。 A decoder for decoding the first stereoscopic video stream data into a stereoscopic video signal composed of a first left-eye image and a first right-eye image;
A first inversion unit for inverting the left and right of the first left-eye image and inverting the left and right of the first right-eye image;
The first left-eye image and the first left-eye image are obtained by setting the first left-eye image reversed left and right as the right-eye reversed image and the first right-eye image reversed left and right as the left-eye reversed image. And a first frame conversion unit that outputs by switching
A video conversion device comprising: - 第2左目用画像及び第2右目用画像を含む第2立体映像ストリームデータを、ネットワークを介して外部から受信する受信部と、
前記受信部が受信した前記第2左目用画像と、前記第1フレーム変換部が出力した前記左目用反転画像とを合成し、前記受信部が受信した前記第2右目用画像と、前記第1フレーム変換部が出力した前記右目用反転画像とを合成する合成部と、
を備える請求項1に記載の映像変換装置。 A receiving unit for receiving second stereoscopic video stream data including the second left-eye image and the second right-eye image from outside via a network;
The second left-eye image received by the receiving unit and the left-eye inverted image output by the first frame converting unit are combined with the second right-eye image received by the receiving unit, and the first A synthesis unit that synthesizes the reverse image for the right eye output by the frame conversion unit;
The video conversion apparatus according to claim 1, further comprising: - 前記第1フレーム変換部が出力した、前記左目用画像の画像サイズと前記右目用画像の画像サイズとを変換する画像サイズ変換部、
をさらに備え、
前記合成部は、前記受信部が受信した前記第2左目用画像と、前記画像サイズ変換部が出力した前記左目用反転画像とを合成し、前記受信部が受信した第2右目用画像と、前記画像サイズ変換部が出力した前記右目用反転画像とを合成する、
請求項2に記載の映像変換装置。 An image size conversion unit that converts the image size of the left-eye image and the image size of the right-eye image output from the first frame conversion unit;
Further comprising
The synthesizing unit synthesizes the second left-eye image received by the receiving unit and the inverted left-eye image output by the image size converting unit, and the second right-eye image received by the receiving unit; Combining the reverse image for the right eye output by the image size conversion unit;
The video conversion apparatus according to claim 2. - 前記左目用画像及び前記右目用画像における深度を検知する深度検出部と、
前記深度検出部が検出した深度に応じて、前記第1立体映像ストリームデータの深度を、調整する深度調整部と、
をさらに備え、
前記合成部は、前記受信部が受信した前記第2左目用画像と、前記深度調整部が調整した前記左目用反転画像とを合成し、前記受信部が受信した前記第2右目用画像と、前記深度調整部が出力した前記右目用反転画像とを合成する、
請求項3に記載の映像変換装置。 A depth detector for detecting the depth in the left-eye image and the right-eye image;
A depth adjustment unit that adjusts the depth of the first stereoscopic video stream data according to the depth detected by the depth detection unit;
Further comprising
The synthesizing unit synthesizes the second left-eye image received by the receiving unit and the inverted left-eye image adjusted by the depth adjusting unit, and the second right-eye image received by the receiving unit; Combining the reverse image for the right eye output by the depth adjustment unit;
The video conversion apparatus according to claim 3. - 前記深度調整部は、前記受信部が受信した第2立体映像ストリームデータの深度が、前記深度検出部が検出した深度より深くなるように、前記第1立体映像ストリームデータの深度を調整する、
請求項4に記載の映像変換装置。 The depth adjustment unit adjusts the depth of the first stereoscopic video stream data so that the depth of the second stereoscopic video stream data received by the reception unit is deeper than the depth detected by the depth detection unit;
The video conversion apparatus according to claim 4. - 前記深度調整部は、前記受信部が受信した第2立体映像ストリームデータの深度が、前記深度検出部が検出した深度より浅くなるように、前記第1立体映像ストリームデータの深度を調整する、
請求項4に記載の映像変換装置。 The depth adjustment unit adjusts the depth of the first stereoscopic video stream data so that the depth of the second stereoscopic video stream data received by the reception unit is shallower than the depth detected by the depth detection unit;
The video conversion apparatus according to claim 4. - 前記深度調整部は、前記受信部が受信した第2立体映像ストリームデータの深度と、前記深度検出部が検出した深度とが所定の範囲内で同じになるように、前記第1立体映像ストリームデータの深度を調整する、
請求項4に記載の映像変換装置。 The depth adjustment unit is configured such that the depth of the second stereoscopic video stream data received by the reception unit and the depth detected by the depth detection unit are the same within a predetermined range. Adjust the depth of the
The video conversion apparatus according to claim 4. - 第2左目用画像及び第2右目用画像を含む第2立体映像ストリームデータを、ネットワークを介して、外部から受信する受信部と、
前記受信部が受信した前記第2左目用画像の左右を反転し、前記受信部が受信した前記第2右目用画像の左右を反転する第2反転部と、
前記左右が反転した前記第2左目用画像を右目用反転画像とし、前記左右が反転した前記第2右目用画像を左目用反転画像とすることで、第2右目用画像と第2左目用画像とを入れ替えて出力する第2フレーム変換部と、
をさらに備える請求項1から7のいずれかに記載の映像変換装置。 A receiving unit for receiving second stereoscopic video stream data including the second left-eye image and the second right-eye image from outside via a network;
A second reversing unit for inverting the left and right of the second left-eye image received by the receiving unit, and inverting the left and right of the second right-eye image received by the receiving unit;
The second left-eye image and the second left-eye image are obtained by setting the second left-eye image reversed left and right as the right-eye reversed image and the second right-eye image reversed left and right as the left-eye reversed image. And a second frame conversion unit that outputs by replacing
The video conversion device according to claim 1, further comprising: - 前記デコーダに入力される前記第1立体映像ストリームデータは、自装置に接続された撮像部により撮像された立体映像に対応するデータである、
請求項1から8のいずれかに記載の映像変換装置。 The first stereoscopic video stream data input to the decoder is data corresponding to a stereoscopic video imaged by an imaging unit connected to the device.
The video conversion device according to claim 1. - 前記第1立体映像ストリームデータを未反転の状態で外部へ送信する送信部、
をさらに備える請求項1から9のいずれかに記載の映像変換装置。 A transmission unit for transmitting the first stereoscopic video stream data to the outside in an uninverted state;
The video conversion device according to claim 1, further comprising:
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-063811 | 2011-03-23 | ||
JP2011063811A JP2014112750A (en) | 2011-03-23 | 2011-03-23 | Video conversion device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012127539A1 true WO2012127539A1 (en) | 2012-09-27 |
Family
ID=46878742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/002846 WO2012127539A1 (en) | 2011-03-23 | 2011-05-23 | Video image conversion device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014112750A (en) |
WO (1) | WO2012127539A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016538790A (en) * | 2013-08-21 | 2016-12-08 | ジョーント・インコーポレイテッドJaunt Inc. | Camera array including camera module |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027498A (en) * | 2000-07-03 | 2002-01-25 | Canon Inc | Apparatus for imaging three-dimensional video |
JP2006084964A (en) * | 2004-09-17 | 2006-03-30 | Seiko Epson Corp | Stereoscopic image display device |
JP2008054331A (en) * | 2007-09-19 | 2008-03-06 | Toshiba Corp | Image processing method, and apparatus therefor |
WO2010122775A1 (en) * | 2009-04-21 | 2010-10-28 | パナソニック株式会社 | Video processing apparatus and video processing method |
-
2011
- 2011-03-23 JP JP2011063811A patent/JP2014112750A/en not_active Withdrawn
- 2011-05-23 WO PCT/JP2011/002846 patent/WO2012127539A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027498A (en) * | 2000-07-03 | 2002-01-25 | Canon Inc | Apparatus for imaging three-dimensional video |
JP2006084964A (en) * | 2004-09-17 | 2006-03-30 | Seiko Epson Corp | Stereoscopic image display device |
JP2008054331A (en) * | 2007-09-19 | 2008-03-06 | Toshiba Corp | Image processing method, and apparatus therefor |
WO2010122775A1 (en) * | 2009-04-21 | 2010-10-28 | パナソニック株式会社 | Video processing apparatus and video processing method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016538790A (en) * | 2013-08-21 | 2016-12-08 | ジョーント・インコーポレイテッドJaunt Inc. | Camera array including camera module |
Also Published As
Publication number | Publication date |
---|---|
JP2014112750A (en) | 2014-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010122711A1 (en) | 3d image display apparatus, 3d image playback apparatus, and 3d image viewing system | |
JP5573682B2 (en) | 3D image viewing system, display system, optical shutter, and 3D image viewing method | |
JP2011525075A (en) | Stereo image generation chip for mobile equipment and stereo image display method using the same | |
KR20110114620A (en) | Stereoscopic imaging apparatus and method | |
JP4748251B2 (en) | Video conversion method and video conversion apparatus | |
JP2006345246A (en) | Portable phone with three-dimensional photography function | |
JP2011066574A (en) | Video processor, video displaying system, and video displaying method | |
JP4806082B2 (en) | Electronic apparatus and image output method | |
US20110018882A1 (en) | 3-dimensional image providing and receiving apparatuses, 3-dimensional image providing and receiving methods using the same, and 3-dimensional image system | |
KR20120040622A (en) | Method and apparatus for video communication | |
KR20120117239A (en) | 3d image photographing optical modules | |
JP2012089906A (en) | Display controller | |
WO2012127539A1 (en) | Video image conversion device | |
US20120019616A1 (en) | 3D image capturing and playing device | |
WO2011024423A1 (en) | Control device for stereoscopic image display and imaging device for stereoscopic images | |
US20140022341A1 (en) | Stereoscopic video image transmission apparatus, stereoscopic video image transmission method, and stereoscopic video image processing apparatus | |
JP2012138655A (en) | Image processing device and image processing method | |
KR20110105830A (en) | Single-sensor juxtaposing type stereo-picture shooting method | |
KR100703713B1 (en) | 3D mobile devices capable offer 3D image acquisition and display | |
JP2012134885A (en) | Image processing system and image processing method | |
JP2014057219A (en) | Display control apparatus, image capture apparatus, control method, program, and recording medium | |
JP2006287812A (en) | Stereoscopic video image photographic apparatus and stereoscopic video image display apparatus | |
JP2013048358A (en) | Viewing system and control method of the same | |
JP2011103504A (en) | Stereoscopic display device, stereoscopic display method and stereoscopic display system | |
WO2004071101A1 (en) | 3-dimensional video recording/reproduction device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11861777 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11861777 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |